# Шпаргалка для защиты — лабораторная 5, на 4 Рабочая папка: `D:\VScodeproject\VNP\mtusi2026lab5`. Нужен запущенный Docker Desktop. В Windows используем `python -X utf8` для публичных скриптов. В Linux — `python3`, хукам `.sh` нужен `chmod +x scripts/*.sh`. ## 1. Запуск ```powershell cd D:\VScodeproject\VNP\mtusi2026lab5 python scripts/init_secrets.py Copy-Item .env.example .env docker compose up -d --build --wait docker compose ps -a ``` Если `.env` уже настроен, повторно копировать пример не нужно. Секреты создаются только при отсутствии, не печатаются и не попадают в Git. Данные lab5 находятся в отдельных volumes проекта `mtusi-lab5`. API — http://127.0.0.1:8080, состояние API-реплик — http://127.0.0.1:8404. У API нет web-интерфейса. При занятых портах остановите прежний стенд либо настройте APP_PUBLISHED_PORT/LB_STATS_PORT. ```powershell docker compose logs --tail 15 worker dispatcher ``` В логах видны job_id, попытка, ready/retry/failed; токены и содержимое файлов не пишутся. ## 2. Проверки API и вариантов ```powershell python -X utf8 scripts/verify.py ``` Проверяются skeleton, unit-тесты pipeline, публичный smoke, собственные тесты и фактическая топология. Upload возвращает 202 queued, затем GET достигает ready. Готовый результат содержит original без изменений, thumbnail JPEG fit256, crop JPEG128×128 и optimized WebP fit1280. Для fixture320×200 thumbnail256×160. Можно запустить отдельно: ```powershell python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080 python -X utf8 -m unittest discover -s student-tests -v python -X utf8 scripts/verify.py --only unit ``` ## 3. Сохранность принятой работы ```powershell python -X utf8 scripts/lab5_checks.py --only durability ``` Скрипт останавливает worker, загружает файл, получает 202 queued и 409 на content, создаёт сообщение с вложением. Затем перезапускает API и broker с volumes. После запуска worker та же логическая job становится ready, оригинал и три варианта проверяются по SHA-256. ## 4. Все дополнительные требования на 4 ```powershell python -X utf8 scripts/lab5_checks.py --only outbox broker_outage python -X utf8 scripts/lab5_checks.py --only redelivery python -X utf8 scripts/lab5_checks.py --only crash lease python -X utf8 scripts/lab5_checks.py --only retries permanent python -X utf8 scripts/lab5_checks.py --only staging ``` - Outbox: dispatcher остановлен; upload COMMIT уже прошёл; API убивается до publish. После запуска задача доходит до ready без нового задания. - Broker outage: 202 и сообщения работают через устойчивый DB outbox, после возврата брокера работа обрабатывается. - Redelivery: дубль ready подтверждается без изменения результата/attempt/времени готовности. - Crash: одноразовый fault завершает worker после четырёх S3 PUT, до публикации ready и ack. Lease истекает; повтор формирует тот же набор из трёх вариантов. - Lease: зависший processing worker убивается; новая попытка завершается, старая аренда уже не может записать ready или failed. - Retry: временные ошибки используют backoff+jitter; после пяти попыток failed. Операторский replay сохраняет job_id и audit. Постоянная ошибка сразу failed, content/прикрепление дают409. - Staging: queued исходник защищён, удаление staging разрешено только после COMMIT ready. Оригинал остаётся. Полный сбойный прогон: ```powershell python -X utf8 scripts/verify.py --faults ``` Тесты восстанавливают остановленные сервисы в finally. Сценарии crash/lease ждут реальный lease45с, поэтому занимают заметное время. Не запускайте их одновременно друг с другом. ## 5. Операторские команды ```powershell docker compose --profile tools run --rm jobs failed docker compose --profile tools run --rm jobs show JOB_UUID docker compose --profile tools run --rm jobs replay ATTACHMENT_UUID --actor Chernikov --reason "Причина исправлена" docker compose --profile tools run --rm jobs redeliver JOB_UUID docker compose --profile tools run --rm jobs cleanup ``` UUID берутся из результата загрузки/реестра/логов. Replay ready — no-op с записью audit; только failed с сохранённым staging запускается заново. Внешнего административного API нет. Очистка orphan и failed staging после retention24ч: ```powershell docker compose --profile tools run --rm cleanup docker compose --profile tools run --rm cleanup --apply ``` По умолчанию dry-run. Queued/processing защищены; неучтённые объекты моложе часа пропускаются. Failed staging удаляется только после явного durable tombstone, который запрещает дальнейший replay. ## 6. Общий перезапуск и остановка ```powershell python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080 python -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080 docker compose up -d --wait docker compose stop ``` Повторный запуск: `docker compose up -d --wait`. `docker compose down` сохраняет volumes. **`docker compose down -v` удаляет все учебные данные lab5**, включая БД, S3 и очередь. ## Что объяснить преподавателю - В момент202 уже сохранены все bytes в S3 staging и DB-намерение обработки. 202 не означает, что resize завершён. - Outbox закрывает промежуток между DB COMMIT и публикацией в брокер. - XADD/долговечный приём брокера и XACK worker — разные границы подтверждения. - Доставка at least once допускает дубль; ключ результата `(attachment_id,pipeline_version,variant)` делает эффект идемпотентным. - Lease имеет срок, а token/attempt fencing запрещает устаревшему worker зафиксировать результат. - Задания на 5 и исследовательские треки не заявлены.