Files
mtusi2026lab5/DEMO.md
T

5.3 KiB
Raw Blame History

Сценарий защиты — лабораторная 5

Стенд поднят (make up, в .env FAULT_INJECTION=1). Все команды — из корня репозитория. В консоль не выводятся токены и пароли.

1. Публичный smoke

make test          # 202 -> ready, оригинал побайтно, настоящий JPEG 256x160
make stats         # jobs по статусам, outbox, глубина очереди, DLQ

2. Worker остановлен: приём продолжается, content = 409

make stop-worker
python3 student-tests/faults_test.py --only worker_down     # автоматически: upload 202, сообщение с вложением,
                                                            # content 409, другие сообщения 201, рестарт RabbitMQ и API,
                                                            # старт worker -> ready (печатает ID вложения и глубину очереди)

Вручную, если преподаватель просит «руками»: make stop-worker → загрузить tests/fixtures/sample.png по examples/requests.http → GET …/content = 409 → docker compose restart rabbitmq api → make stats (сообщение в очереди сохранилось) → make start-worker → GET /attachments/{id} = ready.

3. Отказы уровня 4

python3 student-tests/faults_test.py --only outbox_gap,relay_crash_after_confirm   # разрыв COMMIT/publish
python3 student-tests/faults_test.py --only crash_after_s3,crash_after_commit      # crash после side effect до ack
python3 student-tests/faults_test.py --only transient_backoff,exhausted_then_replay # backoff+jitter, failed, replay
python3 student-tests/faults_test.py --only long_running_not_hung                  # lease + heartbeat
make failed                                                                        # реестр failed
docker compose exec ops python -m app.ops inspect <attachment_id>                  # история событий, ключи S3

Ручной replay: docker compose exec ops python -m app.ops replay <id> --actor <фамилия>; на ready-вложении команда отвечает refused (код 3).

4. Трек 2: идемпотентность

python3 student-tests/faults_test.py --only duplicate,reorder,new_version,stale_version_race,poison_message

Что показать в выводе: duplicate_noop, stale_attempt_noop, порядок ready v2 → superseded v1, неизменные ключи S3 (инвариант I3).

Ответы на вопросы защиты

Чем publisher confirm отличается от consumer ack? Confirm (basic.ack от брокера издателю) — брокер принял сообщение и записал его в quorum queue (Raft-лог на диске); после него relay ставит published_at. Consumer ack (от worker брокеру) — потребитель закончил обработку и брокер может удалить сообщение; у нас ack отправляется только после COMMIT результата в PostgreSQL. Это две разные границы ответственности: confirm закрывает окно producer → broker, ack — broker → consumer.

Что сохранено в момент 202? Полный оригинал в staging/<id> (S3 проверил SHA-256), строка attachments(queued) с размером/SHA-256/ключами, jobs(queued) и строка outbox — всё одной транзакцией. Брокер в этот момент может ещё ничего не знать: публикацию гарантирует outbox.

Почему повторная доставка нормальна и где ключ идемпотентности? At-least-once неизбежно даёт дубли (падение после confirm до отметки outbox, после COMMIT до ack). Ключ эффекта — (attachment_id, pipeline_version, variant): это и ключи S3, и PK attachment_variants; логическая работа — jobs(job_id) с UNIQUE (attachment_id, pipeline_version); попытка — (job_id, attempt). Worker стартует попытку только из queued с attempt+1, всё остальное — no-op с ack.

Как отличить зависший worker от долго работающего? Живой worker продлевает lease heartbeat'ом каждые 5 с (lease 20 с) — даже при обработке 30 с вторая попытка не стартует. Зависшее преобразование убивается по JOB_TIMEOUT_SECONDS в дочернем процессе. Умерший worker перестаёт продлевать lease — reaper переводит job в queued. Если «умерший» оживёт, его COMMIT отклонит fencing: job уже не его (lease_owner, attempt) → fenced_out. Поэтому двух неконтролируемых зафиксированных результатов быть не может.