5.3 KiB
Сценарий защиты — лабораторная 5
Стенд поднят (make up, в .env FAULT_INJECTION=1). Все команды — из корня репозитория. В консоль не выводятся токены и пароли.
1. Публичный smoke
make test # 202 -> ready, оригинал побайтно, настоящий JPEG 256x160
make stats # jobs по статусам, outbox, глубина очереди, DLQ
2. Worker остановлен: приём продолжается, content = 409
make stop-worker
python3 student-tests/faults_test.py --only worker_down # автоматически: upload 202, сообщение с вложением,
# content 409, другие сообщения 201, рестарт RabbitMQ и API,
# старт worker -> ready (печатает ID вложения и глубину очереди)
Вручную, если преподаватель просит «руками»: make stop-worker → загрузить tests/fixtures/sample.png по examples/requests.http → GET …/content = 409 → docker compose restart rabbitmq api → make stats (сообщение в очереди сохранилось) → make start-worker → GET /attachments/{id} = ready.
3. Отказы уровня 4
python3 student-tests/faults_test.py --only outbox_gap,relay_crash_after_confirm # разрыв COMMIT/publish
python3 student-tests/faults_test.py --only crash_after_s3,crash_after_commit # crash после side effect до ack
python3 student-tests/faults_test.py --only transient_backoff,exhausted_then_replay # backoff+jitter, failed, replay
python3 student-tests/faults_test.py --only long_running_not_hung # lease + heartbeat
make failed # реестр failed
docker compose exec ops python -m app.ops inspect <attachment_id> # история событий, ключи S3
Ручной replay: docker compose exec ops python -m app.ops replay <id> --actor <фамилия>; на ready-вложении команда отвечает refused (код 3).
4. Трек 2: идемпотентность
python3 student-tests/faults_test.py --only duplicate,reorder,new_version,stale_version_race,poison_message
Что показать в выводе: duplicate_noop, stale_attempt_noop, порядок ready v2 → superseded v1, неизменные ключи S3 (инвариант I3).
Ответы на вопросы защиты
Чем publisher confirm отличается от consumer ack? Confirm (basic.ack от брокера издателю) — брокер принял сообщение и записал его в quorum queue (Raft-лог на диске); после него relay ставит published_at. Consumer ack (от worker брокеру) — потребитель закончил обработку и брокер может удалить сообщение; у нас ack отправляется только после COMMIT результата в PostgreSQL. Это две разные границы ответственности: confirm закрывает окно producer → broker, ack — broker → consumer.
Что сохранено в момент 202? Полный оригинал в staging/<id> (S3 проверил SHA-256), строка attachments(queued) с размером/SHA-256/ключами, jobs(queued) и строка outbox — всё одной транзакцией. Брокер в этот момент может ещё ничего не знать: публикацию гарантирует outbox.
Почему повторная доставка нормальна и где ключ идемпотентности? At-least-once неизбежно даёт дубли (падение после confirm до отметки outbox, после COMMIT до ack). Ключ эффекта — (attachment_id, pipeline_version, variant): это и ключи S3, и PK attachment_variants; логическая работа — jobs(job_id) с UNIQUE (attachment_id, pipeline_version); попытка — (job_id, attempt). Worker стартует попытку только из queued с attempt+1, всё остальное — no-op с ack.
Как отличить зависший worker от долго работающего? Живой worker продлевает lease heartbeat'ом каждые 5 с (lease 20 с) — даже при обработке 30 с вторая попытка не стартует. Зависшее преобразование убивается по JOB_TIMEOUT_SECONDS в дочернем процессе. Умерший worker перестаёт продлевать lease — reaper переводит job в queued. Если «умерший» оживёт, его COMMIT отклонит fencing: job уже не его (lease_owner, attempt) → fenced_out. Поэтому двух неконтролируемых зафиксированных результатов быть не может.