7.6 KiB
Шпаргалка для защиты — лабораторная 5, на 4
Рабочая папка: D:\VScodeproject\VNP\mtusi2026lab5. Нужен запущенный Docker Desktop. В Windows используем python -X utf8 для публичных скриптов. В Linux — python3, хукам .sh нужен chmod +x scripts/*.sh.
1. Запуск
cd D:\VScodeproject\VNP\mtusi2026lab5
python scripts/init_secrets.py
Copy-Item .env.example .env
docker compose up -d --build --wait
docker compose ps -a
Если .env уже настроен, повторно копировать пример не нужно. Секреты создаются только при отсутствии, не печатаются и не попадают в Git. Данные lab5 находятся в отдельных volumes проекта mtusi-lab5.
API — http://127.0.0.1:8080, состояние API-реплик — http://127.0.0.1:8404. У API нет web-интерфейса. При занятых портах остановите прежний стенд либо настройте APP_PUBLISHED_PORT/LB_STATS_PORT.
docker compose logs --tail 15 worker dispatcher
В логах видны job_id, попытка, ready/retry/failed; токены и содержимое файлов не пишутся.
2. Проверки API и вариантов
python -X utf8 scripts/verify.py
Проверяются skeleton, unit-тесты pipeline, публичный smoke, собственные тесты и фактическая топология. Upload возвращает 202 queued, затем GET достигает ready. Готовый результат содержит original без изменений, thumbnail JPEG fit256, crop JPEG128×128 и optimized WebP fit1280. Для fixture320×200 thumbnail256×160.
Можно запустить отдельно:
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 -m unittest discover -s student-tests -v
python -X utf8 scripts/verify.py --only unit
3. Сохранность принятой работы
python -X utf8 scripts/lab5_checks.py --only durability
Скрипт останавливает worker, загружает файл, получает 202 queued и 409 на content, создаёт сообщение с вложением. Затем перезапускает API и broker с volumes. После запуска worker та же логическая job становится ready, оригинал и три варианта проверяются по SHA-256.
4. Все дополнительные требования на 4
python -X utf8 scripts/lab5_checks.py --only outbox broker_outage
python -X utf8 scripts/lab5_checks.py --only redelivery
python -X utf8 scripts/lab5_checks.py --only crash lease
python -X utf8 scripts/lab5_checks.py --only retries permanent
python -X utf8 scripts/lab5_checks.py --only staging
- Outbox: dispatcher остановлен; upload COMMIT уже прошёл; API убивается до publish. После запуска задача доходит до ready без нового задания.
- Broker outage: 202 и сообщения работают через устойчивый DB outbox, после возврата брокера работа обрабатывается.
- Redelivery: дубль ready подтверждается без изменения результата/attempt/времени готовности.
- Crash: одноразовый fault завершает worker после четырёх S3 PUT, до публикации ready и ack. Lease истекает; повтор формирует тот же набор из трёх вариантов.
- Lease: зависший processing worker убивается; новая попытка завершается, старая аренда уже не может записать ready или failed.
- Retry: временные ошибки используют backoff+jitter; после пяти попыток failed. Операторский replay сохраняет job_id и audit. Постоянная ошибка сразу failed, content/прикрепление дают409.
- Staging: queued исходник защищён, удаление staging разрешено только после COMMIT ready. Оригинал остаётся.
Полный сбойный прогон:
python -X utf8 scripts/verify.py --faults
Тесты восстанавливают остановленные сервисы в finally. Сценарии crash/lease ждут реальный lease45с, поэтому занимают заметное время. Не запускайте их одновременно друг с другом.
5. Операторские команды
docker compose --profile tools run --rm jobs failed
docker compose --profile tools run --rm jobs show JOB_UUID
docker compose --profile tools run --rm jobs replay ATTACHMENT_UUID --actor Chernikov --reason "Причина исправлена"
docker compose --profile tools run --rm jobs redeliver JOB_UUID
docker compose --profile tools run --rm jobs cleanup
UUID берутся из результата загрузки/реестра/логов. Replay ready — no-op с записью audit; только failed с сохранённым staging запускается заново. Внешнего административного API нет.
Очистка orphan и failed staging после retention24ч:
docker compose --profile tools run --rm cleanup
docker compose --profile tools run --rm cleanup --apply
По умолчанию dry-run. Queued/processing защищены; неучтённые объекты моложе часа пропускаются. Failed staging удаляется только после явного durable tombstone, который запрещает дальнейший replay.
6. Общий перезапуск и остановка
python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080
python -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080
docker compose up -d --wait
docker compose stop
Повторный запуск: docker compose up -d --wait. docker compose down сохраняет volumes. docker compose down -v удаляет все учебные данные lab5, включая БД, S3 и очередь.
Что объяснить преподавателю
- В момент202 уже сохранены все bytes в S3 staging и DB-намерение обработки. 202 не означает, что resize завершён.
- Outbox закрывает промежуток между DB COMMIT и публикацией в брокер.
- XADD/долговечный приём брокера и XACK worker — разные границы подтверждения.
- Доставка at least once допускает дубль; ключ результата
(attachment_id,pipeline_version,variant)делает эффект идемпотентным. - Lease имеет срок, а token/attempt fencing запрещает устаревшему worker зафиксировать результат.
- Задания на 5 и исследовательские треки не заявлены.