evidence/level4.json: all 17 scenarios of levels 3 and 4 and the eight invariants pass on 0b85edf; evidence/operator.txt shows the failed registry, a replay to ready, a noop replay, an expired replay and the DLQ. Smoke, topology, level3, persistence, failover, lab 4 scenarios, limits, student tests and contract checks are refreshed on the same commit. REPORT.md describes the variants, worker limits, jitter, lease renewal, crash points, replay and retention, adds rows 4.1-4.4, the level 4 failure experiments and the updated limitations. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
64 KiB
Отчёт — лабораторная 5
- Автор, группа: Костылев Артём, БПИ2303
- Целевая оценка: 5; трек «5» — трек 2 «Доказанная идемпотентность pipeline»
- Commit/PR: ветка
solution/bpi2303-kostylev, PR в репозиторий преподавателя - Использованные источники, библиотеки и помощь ИИ: FastAPI, gunicorn + uvicorn-worker, dishka и
dishka-faststream, pydantic, structlog, asyncpg, argon2-cffi, redis-py, aiobotocore/botocore, Pillow,
FastStream 0.7 (
faststream[rabbit]) поверх aio-pika, pytest, ruff, ty (версии —evidence/environment.txtиuv.lock); RabbitMQ docs (Reliability Guide, Consumer Acknowledgements and Publisher Confirms, Quorum Queues, Dead Lettering, Access Control, Definitions), документация FastStream 0.7 через context7 (ack policy,Channel,RabbitQueue(declare=False), publisher confirms), Pillow (ImageOps.exif_transpose, режимы и альфа-канал), Docker Compose (secrets,depends_on, healthcheck). Заготовки брокера, compose-фрагмент, хуки и suite сценариев — из моей подготовки.prep/lab5. Решение перенесено из моей лабы 4 и выполнено с помощью Claude Code; код, стенд и отказы проверены прогонами, перечисленными ниже.
Запуск из чистого clone
Требуются Docker с Compose v2, make, системный Python 3.9+ (публичные проверки и сценарии) и uv (собственные
тесты). Образы сторонних сервисов закреплены версией и digest, приложение собирается из исходников.
git clone <repo> && cd mtusi2026lab5 && git checkout solution/bpi2303-kostylev
make secrets # secrets/*: PostgreSQL, Valkey, ключ курсора, root/API/worker-ключи S3, пароли и URL брокера,
# rabbitmq_users.json с хешами паролей; .env из .env.example (существующее не перезаписывает)
docker compose --env-file .env config --quiet
make up # build, затем up -d --wait: postgres, valkey, s3, broker → migrate, s3-init → api ×2, relay, worker → lb
make test # публичный smoke через балансировщик, http://localhost:8080
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore # вернуть остановленную реплику и дождаться её в ротации LB
make suite-preflight && make level3 # сценарии уровня «3» и инварианты → evidence/level3.json
make level4 # сценарии уровней «3» и «4» и инварианты → evidence/level4.json (~8 мин)
make failed # реестр failed-заданий (python -m messenger.admin failed)
make replay ID=<attachment_id> # явный replay failed → queued с audit; ready → noop
make dlq # просмотр DLQ без извлечения (rabbitmqadmin, ack_requeue_true)
make pipeline-evidence # worker остановлен: 202, 409, задание в очереди, SIGTERM relay/worker
make topology # очереди, consumer с prefetch, права, пользователи брокера → evidence/topology.txt
make worker-stop / make worker-start / make broker-restart / make queues # ручная демонстрация защиты
make down # безопасная остановка: контейнеры удаляются, volumes pgdata, valkeydata, s3data, broker-data остаются
make reset-data # НАМЕРЕННОЕ удаление учебных данных, включая байты вложений и очередь: docker compose down -v
make up ждёт healthy всех долгоживущих сервисов и кода 0 одноразовых migrate (миграции под advisory lock)
и s3-init (bucket, анонимный доступ private, политики и пользователи API и worker, lifecycle). Топологию
брокера (vhost, exchanges, quorum-очереди, привязки, политики) и пользователей узел RabbitMQ импортирует из
/etc/rabbitmq/definitions.d на каждой загрузке; повторный make up, restart.sh и broker.sh restart проходят
без изменений состояния. Наружу публикуются только порты lb (LB_HTTP_PORT 8080, LB_STATS_PORT 8404) и UI
брокера (BROKER_MANAGEMENT_PORT 15672), все на 127.0.0.1. На машине, где выполнялась работа, параллельно
работали стенды других лаб, поэтому в локальном .env стояли LB_HTTP_PORT=18085, LB_STATS_PORT=25085,
BROKER_MANAGEMENT_PORT=25672, а проверки запускались с BASE_URL=http://localhost:18085. Доказательства уровня
«3» впервые сняты на стенде, поднятом после make reset-data (пустые volumes), на коммите fe26938; доказательства
уровней «3» и «4» в evidence/ обновлены на коммите 0b85edf (стенд пересобран make up, volumes сохранены).
Собственные проверки и тулчейн:
make install # uv sync --group dev (Python 3.14 и зависимости из uv.lock)
make lint # ruff check + ruff format --check (src, student-tests, Python-скрипты стенда) + ty check
make student-test # собственные тесты; поднимают одноразовые PostgreSQL, Valkey, RustFS и RabbitMQ тех же образов
make check # офлайн-проверка skeleton
make validate PYTHON=<venv с requirements-dev.txt>/bin/python # полная валидация OpenAPI и jobs.schema.json
make stack-evidence / make persistence-evidence / make failover-evidence # как в лабах 3–4
Версии и стенд: Python 3.14.7 в образе python:3.14-slim-trixie@sha256:51dafde8…,
rabbitmq:4.1.8-management-alpine@sha256:54ef5ff5… (RabbitMQ 4.1.8), rustfs/rustfs:1.0.4@sha256:ed9210d6…,
rustfs/rc:v0.1.36@sha256:ab024bfe…, haproxy:3.2.26-alpine@sha256:58938405…,
postgres:17.11-alpine@sha256:266d3c25…, valkey/valkey:8.1.11-alpine@sha256:2602ace2…; FastStream 0.7.8,
aio-pika 10.2.1, aiormq 7.2.4, dishka-faststream 0.7.0, Pillow 13.0.0; Docker 28.3.2, Compose 2.38.2. Машина —
Apple M4 Max, 16 CPU, 48 ГБ RAM, macOS 15.1; VM Docker Desktop — 16 CPU, 7.65 ГиБ (evidence/environment.txt).
Архитектура и решения
┌─ api ×2 (gunicorn) ─ upload: проверка → PUT staging/<id> ──────────────▶ s3: RustFS
клиент ─HTTP─▶ lb (HAProxy) ─────┤ одна транзакция: attachments(queued) + jobs + outbox + job_events ──▶ postgres
127.0.0.1:8080 └─ 202 снимок queued; GET метаданных/контента читает PostgreSQL и S3 (источник истины)
relay ── SELECT outbox … FOR UPDATE SKIP LOCKED ─▶ publish (confirm, mandatory, persistent) ─▶ broker: RabbitMQ
└─ UPDATE published_at; возврат истёкших аренд; staging у ready и у failed после retention quorum attachments.process
worker ◀── FastStream subscriber, prefetch = WORKER_CONCURRENCY, manual ack ───────────────────────┘ DLX → .dlq
└─ claim (lease_token) → продление аренды → GET staging → процесс рендера: thumbnail, crop, optimized
→ CopyObject originals/<id>, PUT variants/<id>/1/… → COMMIT (fencing, ON CONFLICT DO NOTHING,
published_version < v) → ack
admin (python -m messenger.admin, только PostgreSQL) ── failed: реестр; replay: failed → queued + outbox + audit
сеть edge: lb, broker (UI на 127.0.0.1) ─── сеть backend (internal): все сервисы
Источник истины. PostgreSQL — для всего, что знает система о вложении и задании: статус, ключи staging и
оригинала, опубликованная версия, варианты, попытки, аренда, намерение публикации и журнал переходов. S3 — только
для байтов (staging/<id>, originals/<id>, variants/<id>/<версия>/<имя>-<sha256[:16]>.jpg). Брокер —
транспорт и будильник: сообщение несёт только идентификаторы по jobs.schema.json, worker берёт ключи хранилища
из БД. Потерянное сообщение восстанавливается из PostgreSQL (outbox, возврат аренды), лишнее гасится захватом
задания.
Перенесено из лабы 4 без изменения поведения: зоны identity, messaging, attachments, порты и адаптеры,
UoW, шина событий с журналом аудита, ASGI-конвейер, Basic → Bearer, Argon2id, сессии в PostgreSQL с кэшем в
Valkey, X-Instance-Id, Idempotency-Key, HAProxy с проверкой готовности, RustFS с приватным bucket, порядок
проверок upload (лимит тела по маршруту, членство, filename, Content-Type, слоты, поток со счётчиком,
проверка изображения по заголовку), компенсация и уборка намерений pending по grace period, хуки, сценарии и
проверки уровня «4» лабы 4. Изменено: upload отвечает 202 queued, оригинал пишется в staging/, вместо
ready строка-намерение переходит в queued вместе с заданием и outbox; метаданные и /content показывают
статусы и варианты; messaging отказывает 409 на failed-вложение; новые процессы relay и worker, сервис
broker, миграция 0004; restart.sh перезапускает ещё брокер, relay и worker; сценарии лабы 4 ждут ready.
Процессы и границы зон. Три долгоживущих процесса из одного образа: api (messenger.main:create_app()),
relay (python -m messenger.relay), worker (python -m messenger.worker), и одноразовая CLI оператора
python -m messenger.admin. relay.py, worker.py и admin.py — сборки процессов рядом с main.py; они знают
только зону attachments и shared. Вся логика pipeline — в зоне attachments: домен заданий (Job и его
сообщение, Lease, Claim, RetryPolicy с jitter, FailureCode, Outcome, ReplayResult, FailedJob, Variant,
fit), обработчики ProcessJob, PublishOutbox, RecoverExpiredLeases, CleanStaging, ReplayAttachment, порты
JobPublisher, VariantRenderer, Faults, Jitter, расширенные ObjectStorage, UoW и AttachmentDirectory,
адаптеры FastStream (infrastructure/rabbitmq.py), Pillow и пула процессов рендера (infrastructure/images.py),
PostgreSQL, FAULT_POINT и jitter, точки входа FastStream-подписчика, циклов relay и CLI оператора.
Ядро shared/ не импортирует ни веб-фреймворк, ни FastStream, ни aio-pika; dishka-контейнер worker и relay
собирается из тех же PlatformProvider и адаптеров, что у API, через интеграцию dishka-faststream. Вопрос
messaging «есть ли среди вложений failed» — порт AttachmentStates зоны messaging, адаптер которого над
AttachmentDirectory собирает main.py. Правила проверяет student-tests/api/test_bounded_contexts.py.
Схема (0004_jobs.sql, expand): у attachments статусы pending/queued/processing/ready/failed,
staging_key, original_key, published_version, error_code (CHECK: invalid_image, processing_failed,
retry_exhausted); object_key лабы 4 перенесён в новые колонки и оставлен nullable до contract-миграции. Новые
таблицы: attachment_variants с PK (attachment_id, pipeline_version, name) — ключ эффекта — и уникальным
object_key; jobs (UNIQUE (attachment_id, pipeline_version), attempt, claims, lease_token,
lease_until, next_attempt_at, last_error); outbox (payload jsonb, available_at, published_at);
job_events (журнал переходов). Частичные индексы: outbox_pending_idx (available_at, id) WHERE published_at IS NULL — выборка relay, jobs_lease_idx (lease_until) WHERE status = 'processing' — истёкшие аренды,
attachments_staged_idx (updated_at) WHERE staging_key IS NOT NULL — уборка staging (ready и failed после
retention). 0005_failed_registry.sql (expand, только индекс): jobs_failed_idx (updated_at DESC) WHERE status = 'failed' — реестр оператора ORDER BY updated_at DESC LIMIT n.
Upload и что сохранено в момент 202. Лимиты и проверки лабы 4 не изменились. После проверки изображения:
INSERT attachments (pending, staging_key) и COMMIT → PutObject staging/<id> → одна транзакция:
UPDATE attachments SET status='queued' WHERE status='pending', INSERT jobs (pipeline_version=1, attempt=1),
INSERT outbox (payload по jobs.schema.json), INSERT job_events ('enqueued') → 202. Ответ — снимок объекта
из памяти (queued, variants=[], error_code=null), не перечитанный после фиксации. К моменту 202 устойчиво
сохранены полный проверенный оригинал в S3, метаданные, задание и намерение его публикации. API не строит
вариантов и не подключается к брокеру: недоступный worker или брокер не влияет на upload.
Outbox и relay. Раз в OUTBOX_POLL_SECONDS (1 с) relay в транзакции берёт до 50 строк WHERE published_at IS NULL AND available_at <= now() ORDER BY available_at, id FOR UPDATE SKIP LOCKED, публикует каждую через
RabbitBroker.publish (exchange attachments без объявления, routing key attachment.process.v1,
persist=True, mandatory=True, message_id = job_id, type = attachment.process.v1, тело — ровно payload)
и той же транзакцией ставит published_at. Канал открыт с publisher_confirms=True и on_return_raises=True:
unroutable-сообщение, basic.nack или обрыв соединения — ошибка, строка остаётся неопубликованной и
повторяется. Publisher confirm — подтверждение брокера, что сообщение записано в quorum queue; обработку он не
подтверждает. Раз в SWEEP_INTERVAL_SECONDS (5 с) relay возвращает задания processing с истёкшей арендой
(queued, attempt + 1, новая строка outbox, событие lease_expired; на пределе попыток — failed) и удаляет
staging-объекты ready-вложений (у worker нет права DeleteObject).
Worker: захват, фиксация, ack. FastStream RabbitBroker (logger=None: журнал только через порт Logger),
подписчик на RabbitQueue("attachments.process", declare=False, quorum) без привязки к exchange,
Channel(prefetch_count=WORKER_CONCURRENCY), AckPolicy.MANUAL, graceful_timeout 5 с. Сообщение не по схеме
(pydantic-модель с extra="forbid") — reject(requeue=False) в DLX. Дальше:
- Захват —
UPDATE jobs SET status='processing', lease_token=<новый uuid>, lease_until=now()+JOB_TIMEOUT_SECONDS, claims=claims+1 WHERE job_id=$1 AND attachment_id=$2 AND pipeline_version=$3 AND ((status='queued' AND next_attempt_at наступил) OR (status='processing' AND lease_until < now())), вложениеqueued → processing, событиеclaimed. Нет строки — задание ужеdone/failed, держится живой арендой или повтор ещё не наступил: событиеduplicate_noopиack.attemptиз сообщения информационный, захват идёт поjob_id. - Побочные эффекты под арендой — сначала продление аренды (
UPDATE jobs SET lease_until = now() + JOB_TIMEOUT_SECONDS WHERE job_id AND lease_token AND status='processing'), затем задачей: чтениеstaging/<id>, рендер трёх вариантов в процессе рендера,CopyObject staging → originals/<id>,PutObject variants/<id>/1/<имя>-<sha256[:16]>.<jpg|webp>; пока задача идёт, аренда продлевается раз вJOB_TIMEOUT_SECONDS / 3. Продление не удалось (аренду забрали или задание уже вернули в очередь) — задача отменяется вместе с процессом рендера, событиеfenced,ack. Ключ содержит хеш: повтор с другими байтами не перезапишет объект, на который уже ссылается БД. - Фиксация — одна транзакция:
UPDATE jobs SET status='done' … WHERE status='processing' AND lease_token=$2(0 строк — аренду перехватили: событиеfenced, ничего не публикуется);INSERT attachment_variants … ON CONFLICT DO NOTHING;UPDATE attachments SET status='ready', published_version=$v, original_key … WHERE published_version < $v(0 строк — опубликована более новая версия: заданиеsuperseded); событиеdone. ack— только послеCOMMIT. Ошибка PostgreSQL до или во время фиксации —nack(requeue=True)через 1 с; если аренда уже взята, задание вернёт relay по её истечении.
Повторы, jitter и классификация ошибок. Временная ошибка — Unavailable от S3 или PostgreSQL, падение процесса
рендера по внешней причине (BrokenProcessPool, например OOM killer), точка transient_error — возвращает задание
и вложение в queued (не failed — smoke падает на первом failed) с тем же job_id, attempt + 1 и новой
строкой outbox. Задержка — equal jitter: d = min(JOB_BACKOFF_CAP_SECONDS=60, JOB_BACKOFF_BASE_SECONDS · 2^(n−1)),
задержка d/2 + U(0, d/2) (RetryPolicy.delay(attempt, spread), spread — порт Jitter, адаптер на
secrets.SystemRandom); next_attempt_at и available_at считает PostgreSQL (now() + make_interval), задержка
пишется в job_events.detail.delay_seconds. Full jitter не выбран: все пять попыток могли бы уложиться в доли
секунды и короткий отказ S3 превратился бы в retry_exhausted; нижняя граница d/2 держит суммарное окно 15–30 с
при базе 2 с. После JOB_MAX_ATTEMPTS (5) попыток — failed с retry_exhausted. Постоянные ошибки — сразу
failed, без повторов: не декодируется или больше MAX_IMAGE_PIXELS по заголовку — invalid_image; превышены
время или память рендера, оригинал больше MAX_UPLOAD_BYTES, оригинала нет в хранилище, непредвиденная ошибка —
processing_failed. В error_code — короткий код, в jobs.last_error — имя класса ошибки без текста. Все переходы
— с fencing по lease_token и не трогают вложение в ready.
Варианты. Одно декодирование на задание (render_variants): проверка байтов (MAX_UPLOAD_BYTES) и пикселей по
заголовку (MAX_IMAGE_PIXELS) до декодирования → для JPEG draft() до размера optimized (libjpeg сразу уменьшает в
2/4/8 раз) → ImageOps.exif_transpose(in_place=True) до расчёта размеров → 16-битные режимы масштабируются в L,
палитра с прозрачностью, LA, RGBA компонуются на белый фон, прочее — convert("RGB") → три
resize(LANCZOS, reducing_gap=3). Размеры — от размеров после ориентации по заголовку, целочисленно вниз:
| Вариант | Геометрия | Кодирование | Fixture 320×200 |
|---|---|---|---|
thumbnail |
вписан в 256×256, без увеличения, вниз, минимум 1 px | JPEG quality=85, optimize=True |
256×160 |
crop |
ImageOps.fit в 128×128 по центру (centering=(0.5, 0.5)), увеличение разрешено |
JPEG quality=85, optimize=True |
128×128 |
optimized |
вписан в 1280×1280, без увеличения, вниз, минимум 1 px | WebP с потерями quality=80, method=4 |
320×200 |
Метаданные (EXIF, ICC, XMP) в варианты не пишутся: кодеры Pillow 13 берут их только из явных параметров save,
а мы их не передаём (student-tests/unit/test_renderer.py проверяет и getexif(), и info). Альфа в optimized
тоже на белом — один источник для трёх вариантов; уменьшения каждого маленького файла WebP не обещает. Примеры:
17×1000 → thumbnail 4×256, optimized 17×1000; 3000×2 → 256×1 и 1280×1; JPEG 4000×3000 → 256×192 и 1280×960; EXIF 6
400×200 → 128×256 и 200×400. ready выставляет та же транзакция, что пишет строки трёх вариантов: частичного
набора в API не бывает (test_partial_variant_set_is_never_published).
Пределы worker. Рендер — адаптер ProcessVariantRenderer порта VariantRenderer: WORKER_CONCURRENCY слотов,
слот — ProcessPoolExecutor(max_workers=1, max_tasks_per_child=RENDER_TASKS_PER_CHILD=100) (forkserver), в
процессе рендера RLIMIT_AS = RENDER_MEMORY_MB (448 MiB). Ожидание результата — asyncio.wait_for(…, RENDER_TIMEOUT_SECONDS=30); таймаут → kill_workers() этого слота и новый процесс, processing_failed;
MemoryError в процессе рендера → processing_failed; процесс убит снаружи → временная ошибка; отменённый рендер
(потеря аренды, остановка) тоже убивает свой процесс. Слот на процесс, а не общий пул: убийство по таймауту не
задевает соседнее задание. Замеры в образе: процесс рендера после импорта Pillow — 46 МБ адресного пространства,
рендер трёх вариантов 8000×5000 — пик 258 МБ (RGB) и 398 МБ (RGBA); с пределом 300 МБ RGBA-рендер получает
MemoryError. Поэтому RENDER_MEMORY_MB=448 покрывает любое 8-битное изображение до 40 Мпикс, а предел контейнера
WORKER_MEMORY=1g ≥ 2 × 448 MiB + ~120 MiB самого worker. Prefetch канала = WORKER_CONCURRENCY = число слотов:
в полёте у процесса не больше двух заданий.
Чтение. GET /attachments/{id} отдаёт любой статус, кроме внутреннего pending, с вариантами опубликованной
версии одним запросом (jsonb_agg по PK вариантов). /content: посторонний — 404; не ready — 409 conflict
для любого variant, включая original; original — original_key с типом оригинала; thumbnail — вариант;
thumbnail, crop, optimized — варианты опубликованной версии; варианта нет у опубликованной версии (вложение,
ставшее ready в лабе 4) — 404; иное значение variant — 400. Сообщение со ссылкой на failed —
409, на queued/processing — 201; повтор по Idempotency-Key возвращает исходный ответ, даже если
вложение потом стало failed.
Готовность и SIGTERM. /health/ready реплик API зависит только от PostgreSQL, как в лабе 4: брокер развязан
outbox-ом, а при недоступном S3 upload и скачивание отвечают 503 от приложения, тексты работают. Relay и worker
проверяются heartbeat-файлом, который обновляется, пока жив цикл событий и брокер отвечает на ping (от PostgreSQL и
S3 не зависит — иначе worker не стартовал бы при временно недоступном S3). SIGTERM: worker отменяет consumer, ждёт
задачи до 5 с, закрывает канал (неподтверждённые сообщения возвращаются в очередь); relay завершает циклы и
закрывает соединение; оба выходят с кодом 0 за 0,5 с (evidence/pipeline-stand.txt).
Окна отказа (contracts/attachment-states.md). Точки падения задаёт FAULT_POINT только в
infra/compose.faults.yaml (там же restart: "no", аренда 5 с, база backoff 1 с); падение — os._exit(137) после
сброса журналов, без какой-либо дальнейшей работы; порт Faults вызывается в обработчиках зоны:
| Окно | Точка FAULT_POINT (процесс) |
Что лежит после сбоя | Кто восстанавливает | Сценарий |
|---|---|---|---|---|
| 1: после staging, до записи задания | — (API) | невидимая строка pending и объект staging/, 202 не отдан |
компенсация сразу; уборка намерений лабы 4 после grace | make upload-faults (лаба 4) |
2: после COMMIT, до publish |
after_commit_before_publish (relay: строка взята FOR UPDATE, publish не отправлен) |
строка outbox без published_at, очередь пуста, вложение queued |
relay после рестарта, тот же job_id |
crash_commit_publish |
3: после publish, до confirm/published_at |
after_publish_before_confirm (relay: confirm получен, published_at не записан) |
сообщение в очереди, строка не помечена | relay публикует повторно, вторая копия — duplicate_noop |
crash_publish_confirm |
| — после захвата, до побочных эффектов | after_claim_before_side_effect (worker) |
processing, живая аренда, S3 пуст |
redelivery видит живую аренду → ack; relay возвращает задание по истечении аренды |
трек 2 |
4: после записи S3, до COMMIT результата |
after_s3_write_before_commit (worker) |
объекты трёх вариантов и оригинала, строк вариантов нет | relay возвращает аренду, попытка 2 пишет те же ключи и фиксирует | crash_after_s3_before_commit |
5: после COMMIT, до ack |
after_commit_before_ack (worker) |
ready, сообщение не подтверждено |
redelivery видит done → duplicate_noop и ack |
crash_after_commit_before_ack |
| зависший держатель | stall_after_claim (worker: один раз спит FAULT_STALL_SECONDS=15 с без продления) |
аренда истекает | relay возвращает задание, вторая попытка → ready; проснувшийся держатель не продлевает аренду → fenced |
lease_expiry_fencing |
Окно 3 воспроизводится состоянием, а не моментом: FastStream ждёт confirm внутри publish, поэтому процесс падает
уже после confirm, но до записи published_at; для системы это то же — брокер знает о сообщении, PostgreSQL нет.
At-least-once доставки + идемпотентный эффект по ключу (attachment_id, pipeline_version, variant) + fencing по
lease_token = один опубликованный результат. Это не exactly-once: окна 3 и 5 дают повторные доставки, их гасит
эффект, а не брокер.
Топология брокера (infra/rabbitmq/definitions.json, импорт на каждой загрузке): vhost messenger
(default_queue_type: quorum); exchange attachments (direct) → attachments.process (quorum, durable);
attachments.dlx (fanout) → attachments.process.dlq (quorum); политика attachments-process:
dead-letter-exchange=attachments.dlx, dead-letter-strategy=at-least-once, overflow=reject-publish,
delivery-limit=10; DLQ — max-length=100000. DLX и delivery-limit заданы политикой, поэтому клиенты делают
только пассивный declare и не получают PRECONDITION_FAILED. Права (evidence/topology.txt): messenger-api
(relay) — только запись в attachments, messenger-worker — только чтение attachments.process,
messenger-ops — оператор; guest нет. В rabbitmq.conf: consumer_timeout 300 с (больше аренды 60 с),
vm_memory_high_watermark 256 MiB, запрет transient-очередей и global QoS.
Роли и сервисы (compose.yaml; сети edge и backend с internal: true):
| Роль | Сервис | Версия / digest | Health / readiness | Volume | Сеть / порт | Credentials |
|---|---|---|---|---|---|---|
| load_balancer | lb |
haproxy:3.2.26-alpine@sha256:58938405…, uid 99, read_only |
/healthz :8404; реплики — GET /health/ready |
нет | edge + backend; 127.0.0.1:${LB_HTTP_PORT:-8080}, 127.0.0.1:${LB_STATS_PORT:-8404} |
нет |
api ×API_REPLICAS |
api |
сборка из Dockerfile, uid 10001, read_only |
GET /health/ready (PostgreSQL) |
нет | backend, без портов |
database_url, cache_url, cursor_secret, ключ API S3 через *_FILE; брокера нет |
| broker | broker |
rabbitmq:4.1.8-management-alpine@sha256:54ef5ff5…, uid 100, hostname: broker, read_only, cap_drop: ALL |
rabbitmq-diagnostics -q check_port_connectivity |
broker-data:/var/lib/rabbitmq |
backend + edge; AMQP 5672 внутри; UI 127.0.0.1:${BROKER_MANAGEMENT_PORT:-15672} |
definitions с хешами паролей — secret rabbitmq_users; пароль оператора — rabbitmq_ops_password |
| outbox relay | relay |
образ приложения, python -m messenger.relay, init, read_only |
heartbeat /tmp/heartbeat моложе 30 с |
нет | backend, без портов |
database_url, broker_url ← broker_url_api, ключ API S3 |
| worker | worker |
образ приложения, python -m messenger.worker, init, read_only |
heartbeat /tmp/heartbeat моложе 30 с |
нет | backend, без портов |
database_url, broker_url ← broker_url_worker, ключ worker S3 |
| postgres | postgres |
postgres:17.11-alpine@sha256:266d3c25…, uid 70 |
pg_isready |
pgdata |
backend |
postgres_password через POSTGRES_PASSWORD_FILE |
| s3 | s3 |
rustfs/rustfs:1.0.4@sha256:ed9210d6…, uid 10001, консоль выключена |
curl /health/ready |
s3data |
backend, :9000 без публикации |
root-ключи через RUSTFS_*_FILE |
| bootstrap S3 | s3-init |
rustfs/rc:v0.1.36@sha256:ab024bfe… |
код выхода 0 | нет | backend |
root-ключи, ключи API и worker (создаёт пользователей) |
| bootstrap схемы | migrate |
образ приложения, restart: "no" |
код выхода 0 | нет | backend |
database_url |
| сессии (кэш) | valkey |
valkey/valkey:8.1.11-alpine@sha256:2602ace2…, uid 999 |
valkey-cli ping |
valkeydata (AOF) |
backend |
valkey.conf |
| CLI S3 и нагрузка | s3-cli (профиль tools), k6 (профиль bench) |
как в лабе 4 | нет | нет | backend / edge |
как в лабе 4 |
Bootstrap: схема — migrate (advisory lock, повтор без изменений); bucket, политики messenger-api
(infra/s3/api-policy.json) и messenger-worker (infra/s3/worker-policy.json: чтение staging/, originals/,
variants/, запись originals/ и variants/), пользователи и lifecycle — s3-init (--ignore-existing, повтор
без изменений, самопроверка политик); топология и пользователи брокера — definitions на загрузке узла
(идемпотентный импорт; ротация пароля — удалить secrets/rabbitmq_<роль>_password и broker_url_<роль>,
make secrets, docker compose up -d broker relay worker). Лимиты: broker 1/512m, relay 0.5/192m, worker
2/1g (два процесса рендера по 448 MiB и сам worker), остальное как в лабе 4; make limits проверяет политику секретов, volumes, сетей и портов
(evidence/limits.txt).
Соответствие .env.example реальной конфигурации:
.env.example |
В решении | Комментарий |
|---|---|---|
APP_*, SESSION_*, DATABASE_URL_FILE, CACHE_URL_FILE, API_REPLICAS, IDEMPOTENCY_TTL_SECONDS, S3_*, MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS |
как в лабе 4 | |
BROKER_URL_FILE=/run/secrets/broker_url |
тот же у relay и worker |
разные secrets: broker_url_api и broker_url_worker; у API нет |
WORKER_CONCURRENCY=2 |
тот же | prefetch канала consumer и параллельные рендеры одного worker |
JOB_MAX_ATTEMPTS=5 |
тот же | предел попыток; последняя неудача — retry_exhausted |
JOB_TIMEOUT_SECONDS=60 |
тот же | аренда захваченного задания; меньше consumer_timeout 300 с |
STAGING_RETENTION_SECONDS=86400 |
тот же (настройка relay) | staging ready-вложения relay удаляет сразу после публикации, failed — через STAGING_RETENTION_SECONDS после перехода в failed (до этого возможен replay) |
| — | BROKER_MANAGEMENT_PORT, JOB_BACKOFF_BASE_SECONDS, OUTBOX_POLL_SECONDS, SWEEP_INTERVAL_SECONDS, WORKER_CPUS, WORKER_MEMORY, PIPELINE_DB_POOL_MAX_SIZE |
UI брокера; база backoff 2 с; опрос outbox 1 с; возврат аренд и уборка staging 5 с; лимиты worker; пул PostgreSQL relay и worker |
| — | RENDER_TIMEOUT_SECONDS=30, RENDER_MEMORY_MB=448, RENDER_TASKS_PER_CHILD=100, WORKER_MEMORY=1g |
время рендера (процесс убивается), адресное пространство процесса рендера, задач на процесс; WORKER_MEMORY ≥ WORKER_CONCURRENCY · RENDER_MEMORY_MB + ~120 MiB |
| — | FAULT_POINT, FAULT_STALL_SECONDS, FAULT_RENDER_TIMEOUT_SECONDS, FAULT_RENDER_MEMORY_MB, FAULT_STAGING_RETENTION_SECONDS |
только в infra/compose.faults.yaml (короткие аренда и backoff, restart: "no"), никогда в основном стенде; suite переводит relay и worker в этот режим и возвращает обратно |
| — | прочие LB_*, API_*, PG_*, UPLOAD_*, S3_*_TIMEOUT_SECONDS, MALLOC_MMAP_THRESHOLD_ |
как в лабе 4 |
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test BASE_URL=http://localhost:18085 |
PASS: lab5 public API scenario (upload → 202 queued, сразу сообщение text="" с вложением → 201, ready от bob, оригинал побайтно image/png, eve 404, один вариант thumbnail 256×160, настоящий JPEG той же длины и SHA-256, весь минимум lab2–lab4) |
evidence/smoke.txt |
make check / make validate / make lint |
make check; make validate в venv с requirements-dev.txt; make lint |
PASS: offline skeleton structure…; PASS: full OpenAPI 3.1 and JSON Schema validation; ruff, формат, ty — All checks passed! |
evidence/contract-checks.txt |
| Собственные тесты | make student-test |
417 passed, 1 skipped (предел RLIMIT_AS — только Linux; 15 проверок стенда под маркером stack — отдельно): pipeline против PostgreSQL, восстановление после внедрённых падений, продление аренды, replay и retention, пул процессов рендера, три варианта, jitter, CLI оператора, адаптеры против RabbitMQ и RustFS, контракт сообщения, архитектура |
evidence/student-tests.txt |
3.1 202 только после устойчивого staging и сохранения задания; остановка API после ответа не теряет работу |
make level3 (worker_down_broker_restart), make pipeline-evidence; тесты test_attachments.py, test_upload_consistency.py, test_pipeline.py |
ответ — снимок queued, в БД ключ staging/<id>, задание и строка outbox; отказ фиксации после записи staging → 503, нет ни строки, ни задания, ни объекта; после 202 перезапущены обе реплики API и relay — задание одно в очереди и доходит до ready |
evidence/level3.json, evidence/pipeline-stand.txt, evidence/student-tests.txt |
| 3.2 Отдельные broker и worker в общем стенде; durable, at-least-once, подтверждение после эффекта | make topology; make pipeline-evidence; test_rabbitmq.py |
attachments.process и .dlq — quorum, durable, политики применены; один consumer ack_required=true, prefetch_count=2; сообщение в очереди: delivery_mode: 2, message_id = job_id, тело — ровно 7 полей jobs.schema.json; ack только после COMMIT (ошибка обработки → nack → повторная доставка до успеха); сообщение не по схеме → DLQ; учётка worker не может публиковать |
evidence/topology.txt, evidence/pipeline-stand.txt, evidence/student-tests.txt |
| 3.2 Недоступность worker не заставляет API делать resize синхронно | make pipeline-evidence, worker_down_broker_restart |
worker остановлен: upload 202 queued, /content (original и thumbnail) → 409, сообщение с вложением 201, текст и история работают, вложение остаётся queued, задание лежит в очереди (messages_ready=1) |
evidence/pipeline-stand.txt, evidence/level3.json |
3.3 Состояния queued/processing/ready/failed; оригинал неизменен, thumbnail по контракту |
make test, smoke_pipeline, test_pipeline.py, test_renderer.py |
переходы видны в API и job_events (enqueued → claimed → done); оригинал из originals/<id> побайтно равен загруженному; thumbnail 256×160 JPEG, длина и SHA-256 равны метаданным; инвариант bytes_match_metadata — PASS |
evidence/smoke.txt, evidence/level3.json, evidence/student-tests.txt |
3.4 Ограниченный retry, финальное failed с безопасным error_code |
retry_exhausted, s3_outage_recovers (make level3); test_pipeline.py |
точка transient_error: задание failed, attempt = 5 = JOB_MAX_ATTEMPTS, error_code = retry_exhausted, /content и сообщение со ссылкой → 409; S3 остановлен во время обработки → вложение queued с attempt = 2, после возврата S3 — ready; нечитаемый оригинал → invalid_image с attempt = 1; следующая попытка отложена на базу backoff; инвариант bounded_attempts — PASS |
evidence/level3.json, evidence/student-tests.txt |
| 3.4 Повтор одной job не создаёт второго набора вариантов | duplicate_after_ready; test_pipeline.py |
копия сообщения после ready → duplicate_noop, метаданные и строки вариантов до и после равны; две копии одновременно → один done и один duplicate_noop, одна строка варианта, claims = 1; опоздавший держатель аренды → fenced, вариантов не добавил; инвариант single_effect — PASS |
evidence/level3.json, evidence/student-tests.txt |
3.5 Демонстрация: worker остановлен → upload 202 → сообщение → рестарт API → worker → ready; задание переживает рестарт broker с volume |
make level3 (worker_down_broker_restart) |
хронология с ID без токенов: worker остановлен 22:20:24.58; upload 202 queued (01a18499-a689…); /content 409; сообщение 201 (01a18499-a698…); в очереди [1, 0]; обе реплики API и relay перезапущены; broker перезапущен с volume — в очереди снова [1, 0]; worker запущен 22:20:49.24, ready с thumbnail 22:20:49.42 |
evidence/level3.json |
| 3.5 Минимум lab4: persistence | make persistence-evidence |
PASS: persistence …; StartedAt у lb, обеих api, relay, worker, postgres, valkey, s3, broker новее, контейнеры те же, hostname брокера broker |
evidence/persistence.txt |
| 3.5 Минимум lab4: failover | make failover-evidence |
PASS: failover …: 2 реплики до отказа, 134 записи, 0 ошибок, первая запись через 2,85 с; цель db66b246dcf8 в exited, в её журнале сигнал, окно readiness 503, выход; make restore вернул реплику |
evidence/failover.txt |
| Минимум lab4: download через другую реплику, недоступный S3, приватность, негативный suite, политика | make scenario SCENARIO=failover-upload, SCENARIO=s3-outage, make s3-check, make upload-faults, make limits |
upload принят db66b246dcf8, после ready и её остановки — скачивание через 6f688eb249b1 за 2,87 с, SHA-256 равен; S3 остановлен: upload и /content 503 за 4,5–4,7 с, метаданные, текст и readiness работают; RESULT: PASS; 5 проверок стенда, 0 × 5xx; политика портов, секретов и сетей — PASS |
evidence/failover-upload.json, evidence/s3-outage.json, evidence/s3-security.txt, evidence/upload-faults.txt, evidence/limits.txt |
| Инварианты suite уровня «3» | make suite-preflight && make level3 |
6/6 сценариев PASS; terminal, single_effect, no_ready_rollback, monotonic_publication, bytes_match_metadata, bounded_attempts, no_orphans (очереди пусты, outbox опубликован, staging ready убран, лишних писем в DLQ нет), no_lost_202 — PASS |
evidence/level3.json |
| 4.1 Crop 128×128 и optimized WebP по контракту, параметры качества и удаления метаданных | make level4 (image_matrix, smoke_pipeline), test_renderer.py, test_attachments.py |
17 изображений матрицы (RGB, RGBA, палитра с tRNS, серые 8/16 бит, CMYK, EXIF 6 и 3, 1×1, 3000×2, 4000×3000, ровно 10 MiB) → ready с crop, optimized, thumbnail; у каждого варианта реальные размеры из SOF/VP8 равны метаданным и manifest, длина и SHA-256 равны отдаваемым байтам; fixture: 256×160, 128×128, 320×200; в вариантах нет EXIF, ICC, XMP; частичный набор не публикуется |
evidence/level4.json, evidence/student-tests.txt |
| 4.1 Пределы по байтам, пикселям, времени и памяти worker | make level4 (image_matrix, worker_limits), test_render_pool.py, test_renderer.py |
вход: 10 485 761 B, 8001×5000 и 10000×5000 → 413, битые и не-изображения → 415; worker: PNG 8000×5000 при RENDER_TIMEOUT_SECONDS=0,5 и при RENDER_MEMORY_MB=200 → failed processing_failed с attempt 1, контейнер worker running; со штатными пределами тот же файл → ready, пик memory.peak 379 MiB при memory.max 1024 MiB; в тестах таймаут убивает процесс и освобождает слот, падение процесса рендера — временная ошибка, MemoryError — постоянная |
evidence/level4.json, evidence/student-tests.txt |
4.2 Transactional outbox; crash между COMMIT и publish, восстановление без нового задания |
make level4 (crash_commit_publish, crash_publish_confirm), test_recovery.py |
relay с after_commit_before_publish → exit 137, строка outbox published=false, очередь [0, 0], вложение queued; relay перезапущен без точки → ready с тем же job_id, outbox опубликован; after_publish_before_confirm → exit 137, строка не помечена, после рестарта повторная публикация, вторая копия — duplicate_noop |
evidence/level4.json, evidence/student-tests.txt |
| 4.3 Backoff с jitter, постоянные и временные ошибки | make level4 (retry_backoff_jitter, s3_outage_recovers, poison_image, retry_exhausted), test_pipeline_domain.py, test_pipeline.py |
задержки попыток 2–5 при базе 1 с: 0,69; 1,74; 2,83; 7,55 с — доли верхней границы 0,69; 0,87; 0,71; 0,94 в [0,5; 1] (make replay в evidence/operator.txt: 0,55; 1,71; 2,20; 4,25 с); S3 остановлен → queued, затем ready; таймаут/память рендера и пропавший оригинал → processing_failed, нечитаемое изображение → invalid_image, оба с attempt 1; 200 случайных задержек лежат в [d/2, d) |
evidence/level4.json, evidence/student-tests.txt |
4.3 DLQ, реестр failed и безопасный явный replay; повтор не исполняет дубль успешной job |
make level4 (replay_failed, malformed_message_dead_lettered, failed_retention); make failed, make replay ID=…, make dlq; test_recovery.py |
retry_exhausted → replay → {"result": "replayed"} → ready (журнал … failed, replayed, claimed, done); повторный replay ready → {"result": "noop"}, снимок вариантов равен, событие replay_noop; staging failed хранится до retention, после него replay → expired; сообщение не по схеме → DLQ, видно make dlq без извлечения |
evidence/level4.json, evidence/operator.txt |
4.4 Остановка worker после записи объекта, но до ack; повтор завершает тот же результат |
make level4 (crash_after_s3_before_commit, crash_after_commit_before_ack), test_recovery.py |
after_s3_write_before_commit → exit 137, вложение processing, строк вариантов 0; после запуска worker — ready на попытке 2, те же ключи объектов; after_commit_before_ack → exit 137, вложение уже ready; redelivery → duplicate_noop, строки вариантов до и после равны |
evidence/level4.json, evidence/student-tests.txt |
4.4 Timeout/lease для зависшего processing, ограниченная конкуренция/prefetch, очистка staging после фиксации |
make level4 (lease_expiry_fencing), make topology, инвариант no_orphans; test_recovery.py |
stall_after_claim (15 с при аренде 5 с): журнал claimed(1), lease_expired(2), claimed(2), done(2), fenced(1), снимок результата до и после пробуждения равен; долгий рендер (2,5 с при аренде 1 с) продлевает аренду и не возвращается relay; consumer prefetch_count=2 = WORKER_CONCURRENCY = слоты рендера; staging ready убран (staging_left пуст), failed — по retention |
evidence/level4.json, evidence/topology.txt |
| Инварианты suite уровня «4» | make suite-preflight && make level4 |
17/17 сценариев PASS за 6 мин 14 с; terminal, single_effect, no_ready_rollback, monotonic_publication, bytes_match_metadata (28 ready), bounded_attempts, no_orphans (очередь [0, 0], в DLQ ровно ожидаемое письмо), no_lost_202 (33 из 33) — PASS |
evidence/level4.json |
| Сценарий защиты п. 4 | make level4 или по одному: pipeline_suite.py --only crash_after_commit_before_ack,crash_commit_publish,replay_failed |
crash после side effect до ack, разрыв COMMIT/publish и replay failed — строки 4.2–4.4 |
evidence/level4.json |
| Трек 2 | — | заполняется изменением трека 2: versioned pipeline, fault-injection suite одной командой, инварианты | — |
Эксперименты и отказы
Стенд: 2 реплики api (1 CPU, 512 MiB), worker 2 CPU / 1 GiB, relay 0.5 CPU / 192 MiB, RabbitMQ 1 CPU /
512 MiB, RustFS 1 CPU / 512 MiB, PostgreSQL 2 CPU / 1 GiB; Docker Desktop VM 16 CPU, 7.65 ГиБ, параллельно
работали стенды других лаб. Данные — синтетические пользователи и fixture sample.png (111 817 B). Сценарии
suite идут с infra/compose.faults.yaml у relay и worker (аренда 5 с, база backoff 1 с, опрос outbox 0,5 с).
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Worker остановлен, upload и сообщение | 202 queued, 409 на /content, сообщения работают, задание в очереди |
так и есть; messages_ready=1 |
ready через 0,2 с после запуска worker; потерь нет |
Рестарт обеих реплик API и relay после 202 |
задание не теряется и не дублируется | в очереди одна копия до и после | потерь нет |
scripts/broker.sh restart при остановленном worker |
durable сообщение переживает рестарт | [1, 0] до и после, имя узла rabbit@broker неизменно |
брокер healthy за ~9 с; потерь нет |
Повторная доставка выполненной job (rabbitmqadmin publish той же копии) |
no-op с ack, результат не меняется |
duplicate_noop, снимок вариантов равен |
— |
| S3 остановлен во время обработки | временная ошибка, queued, повтор |
attempt 2, статус queued; после возврата S3 — ready |
сценарий 13,8 с; потерь нет |
Каждая попытка — временная ошибка (FAULT_POINT=transient_error) |
ровно 5 попыток, failed retry_exhausted |
attempt 5, retry_exhausted, 409 на /content и в сообщении |
22,9 с до failed; бесконечного повтора нет |
| Битый PNG (обрезан после IDAT) | 415 на входе или invalid_image без повторов |
415 на входе (API проверяет файл до 202); с подменой staging в тесте — invalid_image, attempt 1 |
— |
Сообщение не по jobs.schema.json |
в DLQ, worker жив | DLQ +1, очередь пуста (test_rabbitmq.py) |
— |
| Аренда истекла, старый держатель пытается зафиксировать | relay возвращает задание, старый — fenced |
queued, attempt 2, затем ready; старая фиксация → fenced, вариантов не добавила (test_pipeline.py) |
следующий проход relay (5 с) |
| Брокер не подтвердил публикацию | строка outbox остаётся | published_at IS NULL, после восстановления публикуется (test_pipeline.py) |
следующий опрос; потерь нет |
| SIGTERM worker и relay | выход ≤10 с, код 0, unacked в очередь | 0,5 с, код 0 | — |
| Перезапуск LB, API, relay, worker, PostgreSQL, Valkey, S3, broker с volumes | данные, сессия, вложение и байты на месте | PASS: persistence …, все StartedAt новее (повтор на 0b85edf) |
хранилища 00:33:04, relay и worker 00:33:22; потерь нет |
| Остановка реплики API под записью | запись ≤10 с, без дублей | 3,0 с, 133 записи, 0 ошибок (повтор на 0b85edf) |
≤3 с; потерь нет |
4 Relay падает после взятия строки outbox, до publish (after_commit_before_publish) |
exit 137, строка не опубликована, очередь пуста; после рестарта relay — ready без нового задания |
exit 137, published=false, [0, 0], queued; после запуска relay — ready, тот же job_id |
сценарий 17,5 с вместе с рестартом; потерь нет |
4 Relay падает после publish, до записи published_at |
повторная публикация, дубль гасится | exit 137, строка не помечена; журнал enqueued, claimed, done, duplicate_noop |
15,7 с; потерь и второго эффекта нет |
4 Worker падает после записи объектов в S3, до COMMIT |
строк нет; повтор пишет те же ключи и фиксирует | exit 137, processing, 0 строк вариантов; ready на попытке 2, варианты совпадают с метаданными |
23,1 с (аренда 5 с + проход relay); потерь нет |
4 Worker падает после COMMIT, до ack |
ready уже есть; redelivery — no-op |
exit 137, ready; redelivery → duplicate_noop, строки вариантов равны |
17,5 с; потерь нет |
| 4 Worker завис после захвата на 15 с при аренде 5 с | relay возвращает задание, вторая попытка → ready, старый держатель — fenced |
claimed(1), lease_expired(2), claimed(2), done(2), fenced(1); снимок до и после пробуждения равен |
40,0 с (включая ожидание пробуждения); перезаписи нет |
4 Рендер 40 Мпикс при RENDER_TIMEOUT_SECONDS=0,5 и при RENDER_MEMORY_MB=200 |
failed processing_failed без повторов, worker жив |
оба — processing_failed, attempt 1, контейнер running; со штатными пределами — ready, пик 379 MiB из 1024 MiB |
27,8 с на три загрузки |
| 4 Каждая попытка — временная ошибка, задержки | задержки в [d/2, d], разные доли |
0,69; 1,74; 2,83; 7,55 с при базе 1 с | 35,2 с до failed |
4 Replay failed, затем повторный replay |
failed → queued → ready; повтор для ready — noop без публикации |
replayed → ready за <6 с; noop, событие replay_noop, варианты не изменились |
44,6 с вместе с исчерпанием попыток |
4 Retention staging failed (1 с в сценарии) |
staging хранится до retention, затем удаляется; replay → expired |
staging был, удалён, {"result": "expired"}, статус failed не изменился |
41,8 с вместе с исчерпанием попыток |
Ограничения и следующие шаги
- Один Docker-host: RabbitMQ — один узел quorum-очереди без репликации, PostgreSQL и RustFS — единственные точки
отказа; это не HA. Отказы — остановка и
SIGKILLпроцессов и контейнеров, не сеть и не диск. - Это не exactly-once: брокер доставляет повторно (окна 3 и 5, redelivery после рестарта), дубли гасит захват задания и ключ эффекта. Publisher confirm подтверждает запись в очередь, consumer ack — устойчивый результат.
- Relay держит транзакцию outbox на время публикации пачки; при недоступном брокере он каждую секунду ждёт таймаут соединения, API это не затрагивает, outbox растёт. LISTEN/NOTIFY не введён: опроса раз в секунду хватает бюджету smoke.
- Ошибка PostgreSQL на захвате возвращает сообщение в очередь; после 10 возвратов оно уходит в DLQ, а задание
остаётся
queuedс опубликованной строкой outbox. Replay работает только дляfailed(дляqueued—noop): такое сообщение оператор видитmake dlqи возвращает из DLQ средствами брокера; автоматической переопубликации «застрявших»queuedнет. - Задание, прерванное SIGTERM посреди рендера, вернётся только по истечении аренды (до 60 с): аренда при штатной остановке не освобождается. Эффекта и дубля нет, только задержка.
RLIMIT_ASприменяется только в Linux: в собственных тестах на macOS проверяются таймаут, падение процесса рендера иMemoryError, а сам предел памяти — сценариемworker_limitsна стенде.- Replay сбрасывает
attemptв 1: оператор может повторять неудачную работу сколько угодно раз, каждый раз с записьюreplayedи именем оператора в журнале. optimizedтеряет прозрачность (компоновка на белый, как у остальных вариантов).object_keyлабы 4 вattachmentsоставлен nullable до contract-миграции.- Нестабильность, найденная прогоном: проверка лабы 2
test_valkey_restart_keeps_cache_and_revocationsодин раз увидела на 1 ключ меньше после рестарта Valkey (между подсчётами истёк TTL кэшированной сессии); повтор — PASS. - Подтверждено прогонами: всё в таблице доказательств уровней «3» и «4». Трек 2 — следующее изменение.