Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
9.9 KiB
Ответы на вопросы защиты ЛР 5
Подробности и схемы: PIPELINE.md. Тесты: test_pipeline_flow.py, test_consistency.py, трек 2: bench/pipeline_faults.py.
Чем publisher confirm отличается от consumer ack?
- Publisher confirm — ответ брокера отправителю (у нас relay): «сообщение принято и записано в quorum-очередь на диск». Без confirm relay не знает, дошло ли сообщение, поэтому строку outbox он помечает
published_atтолько после confirm.mandatory=True: если сообщение некуда положить, брокер вернёт его, и это будет ошибка, а не тихая потеря. - Consumer ack — ответ потребителя (worker) брокеру: «можно удалить сообщение, работа сделана». Worker шлёт ack только после COMMIT результата в PostgreSQL. Если упасть до ack, брокер отдаст сообщение снова.
- Это две разные границы. Confirm говорит «намерение надёжно лежит в очереди», ack — «эффект надёжно сохранён». Между ними могут пройти часы (worker остановлен), и сообщение всё это время лежит в quorum log на volume
rabbitmqdata. Тест: worker остановлен → upload 202 → relay публикует (confirm) → рестарт брокера → сообщение на месте → worker стартует → ack после ready.
Что именно уже сохранено в момент 202?
- Оригинал — полностью и уже проверенный (лимиты, PNG/JPEG-валидаторы, 413/415 решаются до записи), в приватном bucket
messenger-staging. S3 подтвердил PUT с Content-MD5. - Метаданные + задание + строка outbox — одной транзакцией PostgreSQL: вложение
queued,jobs(queued, attempt 0),outbox.
Чего ещё нет: варианта, опубликованного оригинала, сообщения в брокере (его отправит relay). После 202 можно убить API — ничего не пропадёт. Если брокер лежит, upload всё равно 202: API с брокером вообще не связан. Сбой до COMMIT задания (окно «после staging») 202 не даёт: клиент получает 503, строка pending невидима, janitor убирает staging и строку (test_consistency).
Почему повторная доставка нормальна и где ключ идемпотентности job?
- Гарантия at-least-once неизбежна: relay может упасть после confirm, но до отметки в outbox; worker может упасть после COMMIT, но до ack; соединение рвётся. Сообщение придёт ещё раз — это не ошибка, а цена того, что мы его не теряем.
- Ключ идемпотентности задания —
jobs.id(job_id) в PostgreSQL. Каждая доставка начинается сclaimподSELECT … FOR UPDATEстроки задания:succeeded→ ack без работы;processingс живым lease → ack (его судьбу решит reaper); backoff не истёк → ack. Попадание в работу возможно только изqueued. - Ключ эффекта —
(attachment_id, pipeline_version, variant): первичный ключattachment_variants. Объекты пишутся под ключами своей попытки (a/<id>/<token>/thumbnail); опубликовано ровно то, на что ссылается один COMMIT. Дубль не создаёт второго набора, а мусор прерванных попыток удаляет уборка. - Это не exactly-once доставка: работа может выполниться дважды (зависший worker досчитает). Exactly-once только у видимого результата.
Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?
- Lease с heartbeat. Claim даёт попытке
lease_until = now + 30 sи случайныйlease_token. Живой worker продлевает lease каждые 10 с (UPDATE … WHERE lease_token = мой). Долго работающий продлевает, зависший — нет. - Потолок времени. Даже живой heartbeat не продлевает lease дольше
JOB_TIMEOUT_SECONDS(60 с); дочерний процесс с Pillow в этот момент убивается. - Reaper (в relay, раз в 5 с) возвращает задания с истёкшим lease в
queuedчерез outbox. Попытка помечаетсяabandoned, токен обнуляется. - Fencing токеном. Второй исполнитель может появиться, но опубликовать результат может только владелец текущего токена: COMMIT результата, retry, heartbeat — все с условием
lease_token = мой. Старая попытка, если оживёт, получитfencedи ничего не изменит; её объекты лежат под её токеном, их удалит уборка. - Сторона брокера. AMQP heartbeat 10 с: соединение замороженного клиента закрывается, его неподтверждённые сообщения возвращаются в очередь.
consumer_timeout5 мин — для подключённого, но не отвечающего ack. - Тест: два worker,
docker pauseтого, кто держит lease → reaper → второй worker публикует →unpause→ опубликованный результат не меняется, попытки[abandoned, succeeded].
Частые уточняющие вопросы
Почему RabbitMQ, а не Valkey Streams? Термины README (confirm, ack, prefetch, DLX) — это его родные механизмы; quorum queue пишет на диск до confirm. Брокер отделён от хранилища сессий, отказ одного не задевает другое. Retry, lease и реестр failed всё равно в PostgreSQL, поэтому сложной логики брокера (TTL-очередей) нет.
Зачем outbox, а не «COMMIT, потом publish в API»? Между COMMIT и publish процесс может умереть — задание есть, сообщения нет. Outbox пишется в той же транзакции, relay дошлёт. Проверено остановкой брокера и relay.
Почему staging в отдельном bucket? У ключей разные права: API может только писать в staging и читать конечный bucket; worker читает/пишет оба; никто, кроме auditor, не может List. Это проверяет s3-init при каждом старте (api: read staging → refused, api: write final → refused).
Может ли уборка удалить исходник принятой работы? Нет, и на трёх уровнях: (1) кандидаты — только ready или failed старше retention; (2) решение повторяется под блокировкой строки в момент пометки deleting, которую берёт и replay; (3) CHECK attachments_active_has_source в БД запрещает queued/processing без источника. Тесты: retention 0 при queued (relay остановлен) — staging цел, а ручной UPDATE отвергнут БД; гонка «уборка прочитала кандидатов → replay → уборка продолжила» воспроизведена паузой pause_cleanup.
Replay = повтор задания? Нет. jobctl replay разрешён только для failed с живым источником. Он создаёт новое задание replay_of=<старое> и пишет оператора и причину в аудит. Для ready — отказ already_ready, ничего не создаётся.
Чем постоянная ошибка отличается от временной? Постоянная не исправится повтором с тем же входом: invalid_image, image_too_large, source_missing, source_corrupt → сразу failed. Временная — S3/БД недоступны, таймаут, процесс убит → повтор с backoff (full jitter), не более 5 claim-ов, затем retry_exhausted.
Почему 415 в API, а не в worker? Контракт требует 415 на upload. Преподаватель ловил «202 → failed/invalid_image» в чужих PR. Проверки lab4 (свой PNG-валидатор с проверкой фильтра строк и zlib-потока, djpeg -strict) остались синхронными; тесты включают все случаи из рецензий.