Files
mtusi2026lab5/DEMO.md
T

7.6 KiB
Raw Blame History

Шпаргалка для защиты — лабораторная 5, на 4

Рабочая папка: D:\VScodeproject\VNP\mtusi2026lab5. Нужен запущенный Docker Desktop. В Windows используем python -X utf8 для публичных скриптов. В Linux — python3, хукам .sh нужен chmod +x scripts/*.sh.

1. Запуск

cd D:\VScodeproject\VNP\mtusi2026lab5
python scripts/init_secrets.py
Copy-Item .env.example .env
docker compose up -d --build --wait
docker compose ps -a

Если .env уже настроен, повторно копировать пример не нужно. Секреты создаются только при отсутствии, не печатаются и не попадают в Git. Данные lab5 находятся в отдельных volumes проекта mtusi-lab5.

API — http://127.0.0.1:8080, состояние API-реплик — http://127.0.0.1:8404. У API нет web-интерфейса. При занятых портах остановите прежний стенд либо настройте APP_PUBLISHED_PORT/LB_STATS_PORT.

docker compose logs --tail 15 worker dispatcher

В логах видны job_id, попытка, ready/retry/failed; токены и содержимое файлов не пишутся.

2. Проверки API и вариантов

python -X utf8 scripts/verify.py

Проверяются skeleton, unit-тесты pipeline, публичный smoke, собственные тесты и фактическая топология. Upload возвращает 202 queued, затем GET достигает ready. Готовый результат содержит original без изменений, thumbnail JPEG fit256, crop JPEG128×128 и optimized WebP fit1280. Для fixture320×200 thumbnail256×160.

Можно запустить отдельно:

python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 -m unittest discover -s student-tests -v
python -X utf8 scripts/verify.py --only unit

3. Сохранность принятой работы

python -X utf8 scripts/lab5_checks.py --only durability

Скрипт останавливает worker, загружает файл, получает 202 queued и 409 на content, создаёт сообщение с вложением. Затем перезапускает API и broker с volumes. После запуска worker та же логическая job становится ready, оригинал и три варианта проверяются по SHA-256.

4. Все дополнительные требования на 4

python -X utf8 scripts/lab5_checks.py --only outbox broker_outage
python -X utf8 scripts/lab5_checks.py --only redelivery
python -X utf8 scripts/lab5_checks.py --only crash lease
python -X utf8 scripts/lab5_checks.py --only retries permanent
python -X utf8 scripts/lab5_checks.py --only staging
  • Outbox: dispatcher остановлен; upload COMMIT уже прошёл; API убивается до publish. После запуска задача доходит до ready без нового задания.
  • Broker outage: 202 и сообщения работают через устойчивый DB outbox, после возврата брокера работа обрабатывается.
  • Redelivery: дубль ready подтверждается без изменения результата/attempt/времени готовности.
  • Crash: одноразовый fault завершает worker после четырёх S3 PUT, до публикации ready и ack. Lease истекает; повтор формирует тот же набор из трёх вариантов.
  • Lease: зависший processing worker убивается; новая попытка завершается, старая аренда уже не может записать ready или failed.
  • Retry: временные ошибки используют backoff+jitter; после пяти попыток failed. Операторский replay сохраняет job_id и audit. Постоянная ошибка сразу failed, content/прикрепление дают409.
  • Staging: queued исходник защищён, удаление staging разрешено только после COMMIT ready. Оригинал остаётся.

Полный сбойный прогон:

python -X utf8 scripts/verify.py --faults

Тесты восстанавливают остановленные сервисы в finally. Сценарии crash/lease ждут реальный lease45с, поэтому занимают заметное время. Не запускайте их одновременно друг с другом.

5. Операторские команды

docker compose --profile tools run --rm jobs failed
docker compose --profile tools run --rm jobs show JOB_UUID
docker compose --profile tools run --rm jobs replay ATTACHMENT_UUID --actor Chernikov --reason "Причина исправлена"
docker compose --profile tools run --rm jobs redeliver JOB_UUID
docker compose --profile tools run --rm jobs cleanup

UUID берутся из результата загрузки/реестра/логов. Replay ready — no-op с записью audit; только failed с сохранённым staging запускается заново. Внешнего административного API нет.

Очистка orphan и failed staging после retention24ч:

docker compose --profile tools run --rm cleanup
docker compose --profile tools run --rm cleanup --apply

По умолчанию dry-run. Queued/processing защищены; неучтённые объекты моложе часа пропускаются. Failed staging удаляется только после явного durable tombstone, который запрещает дальнейший replay.

6. Общий перезапуск и остановка

python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080
python -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080
docker compose up -d --wait
docker compose stop

Повторный запуск: docker compose up -d --wait. docker compose down сохраняет volumes. docker compose down -v удаляет все учебные данные lab5, включая БД, S3 и очередь.

Что объяснить преподавателю

  • В момент202 уже сохранены все bytes в S3 staging и DB-намерение обработки. 202 не означает, что resize завершён.
  • Outbox закрывает промежуток между DB COMMIT и публикацией в брокер.
  • XADD/долговечный приём брокера и XACK worker — разные границы подтверждения.
  • Доставка at least once допускает дубль; ключ результата (attachment_id,pipeline_version,variant) делает эффект идемпотентным.
  • Lease имеет срок, а token/attempt fencing запрещает устаревшему worker зафиксировать результат.
  • Задания на 5 и исследовательские треки не заявлены.