Files
mtusi2026lab5/docs/DEFENSE.md
T

9.9 KiB
Raw Blame History

Ответы на вопросы защиты ЛР 5

Подробности и схемы: PIPELINE.md. Тесты: test_pipeline_flow.py, test_consistency.py, трек 2: bench/pipeline_faults.py.

Чем publisher confirm отличается от consumer ack?

  • Publisher confirm — ответ брокера отправителю (у нас relay): «сообщение принято и записано в quorum-очередь на диск». Без confirm relay не знает, дошло ли сообщение, поэтому строку outbox он помечает published_at только после confirm. mandatory=True: если сообщение некуда положить, брокер вернёт его, и это будет ошибка, а не тихая потеря.
  • Consumer ack — ответ потребителя (worker) брокеру: «можно удалить сообщение, работа сделана». Worker шлёт ack только после COMMIT результата в PostgreSQL. Если упасть до ack, брокер отдаст сообщение снова.
  • Это две разные границы. Confirm говорит «намерение надёжно лежит в очереди», ack — «эффект надёжно сохранён». Между ними могут пройти часы (worker остановлен), и сообщение всё это время лежит в quorum log на volume rabbitmqdata. Тест: worker остановлен → upload 202 → relay публикует (confirm) → рестарт брокера → сообщение на месте → worker стартует → ack после ready.

Что именно уже сохранено в момент 202?

  1. Оригинал — полностью и уже проверенный (лимиты, PNG/JPEG-валидаторы, 413/415 решаются до записи), в приватном bucket messenger-staging. S3 подтвердил PUT с Content-MD5.
  2. Метаданные + задание + строка outbox — одной транзакцией PostgreSQL: вложение queued, jobs (queued, attempt 0), outbox.

Чего ещё нет: варианта, опубликованного оригинала, сообщения в брокере (его отправит relay). После 202 можно убить API — ничего не пропадёт. Если брокер лежит, upload всё равно 202: API с брокером вообще не связан. Сбой до COMMIT задания (окно «после staging») 202 не даёт: клиент получает 503, строка pending невидима, janitor убирает staging и строку (test_consistency).

Почему повторная доставка нормальна и где ключ идемпотентности job?

  • Гарантия at-least-once неизбежна: relay может упасть после confirm, но до отметки в outbox; worker может упасть после COMMIT, но до ack; соединение рвётся. Сообщение придёт ещё раз — это не ошибка, а цена того, что мы его не теряем.
  • Ключ идемпотентности задания — jobs.id (job_id) в PostgreSQL. Каждая доставка начинается с claim под SELECT … FOR UPDATE строки задания: succeeded → ack без работы; processing с живым lease → ack (его судьбу решит reaper); backoff не истёк → ack. Попадание в работу возможно только из queued.
  • Ключ эффекта — (attachment_id, pipeline_version, variant): первичный ключ attachment_variants. Объекты пишутся под ключами своей попытки (a/<id>/<token>/thumbnail); опубликовано ровно то, на что ссылается один COMMIT. Дубль не создаёт второго набора, а мусор прерванных попыток удаляет уборка.
  • Это не exactly-once доставка: работа может выполниться дважды (зависший worker досчитает). Exactly-once только у видимого результата.

Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?

  • Lease с heartbeat. Claim даёт попытке lease_until = now + 30 s и случайный lease_token. Живой worker продлевает lease каждые 10 с (UPDATE … WHERE lease_token = мой). Долго работающий продлевает, зависший — нет.
  • Потолок времени. Даже живой heartbeat не продлевает lease дольше JOB_TIMEOUT_SECONDS (60 с); дочерний процесс с Pillow в этот момент убивается.
  • Reaper (в relay, раз в 5 с) возвращает задания с истёкшим lease в queued через outbox. Попытка помечается abandoned, токен обнуляется.
  • Fencing токеном. Второй исполнитель может появиться, но опубликовать результат может только владелец текущего токена: COMMIT результата, retry, heartbeat — все с условием lease_token = мой. Старая попытка, если оживёт, получит fenced и ничего не изменит; её объекты лежат под её токеном, их удалит уборка.
  • Сторона брокера. AMQP heartbeat 10 с: соединение замороженного клиента закрывается, его неподтверждённые сообщения возвращаются в очередь. consumer_timeout 5 мин — для подключённого, но не отвечающего ack.
  • Тест: два worker, docker pause того, кто держит lease → reaper → второй worker публикует → unpause → опубликованный результат не меняется, попытки [abandoned, succeeded].

Частые уточняющие вопросы

Почему RabbitMQ, а не Valkey Streams? Термины README (confirm, ack, prefetch, DLX) — это его родные механизмы; quorum queue пишет на диск до confirm. Брокер отделён от хранилища сессий, отказ одного не задевает другое. Retry, lease и реестр failed всё равно в PostgreSQL, поэтому сложной логики брокера (TTL-очередей) нет.

Зачем outbox, а не «COMMIT, потом publish в API»? Между COMMIT и publish процесс может умереть — задание есть, сообщения нет. Outbox пишется в той же транзакции, relay дошлёт. Проверено остановкой брокера и relay.

Почему staging в отдельном bucket? У ключей разные права: API может только писать в staging и читать конечный bucket; worker читает/пишет оба; никто, кроме auditor, не может List. Это проверяет s3-init при каждом старте (api: read staging → refused, api: write final → refused).

Может ли уборка удалить исходник принятой работы? Нет, и на трёх уровнях: (1) кандидаты — только ready или failed старше retention; (2) решение повторяется под блокировкой строки в момент пометки deleting, которую берёт и replay; (3) CHECK attachments_active_has_source в БД запрещает queued/processing без источника. Тесты: retention 0 при queued (relay остановлен) — staging цел, а ручной UPDATE отвергнут БД; гонка «уборка прочитала кандидатов → replay → уборка продолжила» воспроизведена паузой pause_cleanup.

Replay = повтор задания? Нет. jobctl replay разрешён только для failed с живым источником. Он создаёт новое задание replay_of=<старое> и пишет оператора и причину в аудит. Для ready — отказ already_ready, ничего не создаётся.

Чем постоянная ошибка отличается от временной? Постоянная не исправится повтором с тем же входом: invalid_image, image_too_large, source_missing, source_corrupt → сразу failed. Временная — S3/БД недоступны, таймаут, процесс убит → повтор с backoff (full jitter), не более 5 claim-ов, затем retry_exhausted.

Почему 415 в API, а не в worker? Контракт требует 415 на upload. Преподаватель ловил «202 → failed/invalid_image» в чужих PR. Проверки lab4 (свой PNG-валидатор с проверкой фильтра строк и zlib-потока, djpeg -strict) остались синхронными; тесты включают все случаи из рецензий.