Files
mtusi2026lab5/DEMO.md
T

115 lines
7.6 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Шпаргалка для защиты — лабораторная 5, на 4
Рабочая папка: `D:\VScodeproject\VNP\mtusi2026lab5`. Нужен запущенный Docker Desktop. В Windows используем `python -X utf8` для публичных скриптов. В Linux — `python3`, хукам `.sh` нужен `chmod +x scripts/*.sh`.
## 1. Запуск
```powershell
cd D:\VScodeproject\VNP\mtusi2026lab5
python scripts/init_secrets.py
Copy-Item .env.example .env
docker compose up -d --build --wait
docker compose ps -a
```
Если `.env` уже настроен, повторно копировать пример не нужно. Секреты создаются только при отсутствии, не печатаются и не попадают в Git. Данные lab5 находятся в отдельных volumes проекта `mtusi-lab5`.
API — http://127.0.0.1:8080, состояние API-реплик — http://127.0.0.1:8404. У API нет web-интерфейса. При занятых портах остановите прежний стенд либо настройте APP_PUBLISHED_PORT/LB_STATS_PORT.
```powershell
docker compose logs --tail 15 worker dispatcher
```
В логах видны job_id, попытка, ready/retry/failed; токены и содержимое файлов не пишутся.
## 2. Проверки API и вариантов
```powershell
python -X utf8 scripts/verify.py
```
Проверяются skeleton, unit-тесты pipeline, публичный smoke, собственные тесты и фактическая топология. Upload возвращает 202 queued, затем GET достигает ready. Готовый результат содержит original без изменений, thumbnail JPEG fit256, crop JPEG128×128 и optimized WebP fit1280. Для fixture320×200 thumbnail256×160.
Можно запустить отдельно:
```powershell
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 -m unittest discover -s student-tests -v
python -X utf8 scripts/verify.py --only unit
```
## 3. Сохранность принятой работы
```powershell
python -X utf8 scripts/lab5_checks.py --only durability
```
Скрипт останавливает worker, загружает файл, получает 202 queued и 409 на content, создаёт сообщение с вложением. Затем перезапускает API и broker с volumes. После запуска worker та же логическая job становится ready, оригинал и три варианта проверяются по SHA-256.
## 4. Все дополнительные требования на 4
```powershell
python -X utf8 scripts/lab5_checks.py --only outbox broker_outage
python -X utf8 scripts/lab5_checks.py --only redelivery
python -X utf8 scripts/lab5_checks.py --only crash lease
python -X utf8 scripts/lab5_checks.py --only retries permanent
python -X utf8 scripts/lab5_checks.py --only staging
```
- Outbox: dispatcher остановлен; upload COMMIT уже прошёл; API убивается до publish. После запуска задача доходит до ready без нового задания.
- Broker outage: 202 и сообщения работают через устойчивый DB outbox, после возврата брокера работа обрабатывается.
- Redelivery: дубль ready подтверждается без изменения результата/attempt/времени готовности.
- Crash: одноразовый fault завершает worker после четырёх S3 PUT, до публикации ready и ack. Lease истекает; повтор формирует тот же набор из трёх вариантов.
- Lease: зависший processing worker убивается; новая попытка завершается, старая аренда уже не может записать ready или failed.
- Retry: временные ошибки используют backoff+jitter; после пяти попыток failed. Операторский replay сохраняет job_id и audit. Постоянная ошибка сразу failed, content/прикрепление дают409.
- Staging: queued исходник защищён, удаление staging разрешено только после COMMIT ready. Оригинал остаётся.
Полный сбойный прогон:
```powershell
python -X utf8 scripts/verify.py --faults
```
Тесты восстанавливают остановленные сервисы в finally. Сценарии crash/lease ждут реальный lease45с, поэтому занимают заметное время. Не запускайте их одновременно друг с другом.
## 5. Операторские команды
```powershell
docker compose --profile tools run --rm jobs failed
docker compose --profile tools run --rm jobs show JOB_UUID
docker compose --profile tools run --rm jobs replay ATTACHMENT_UUID --actor Chernikov --reason "Причина исправлена"
docker compose --profile tools run --rm jobs redeliver JOB_UUID
docker compose --profile tools run --rm jobs cleanup
```
UUID берутся из результата загрузки/реестра/логов. Replay ready — no-op с записью audit; только failed с сохранённым staging запускается заново. Внешнего административного API нет.
Очистка orphan и failed staging после retention24ч:
```powershell
docker compose --profile tools run --rm cleanup
docker compose --profile tools run --rm cleanup --apply
```
По умолчанию dry-run. Queued/processing защищены; неучтённые объекты моложе часа пропускаются. Failed staging удаляется только после явного durable tombstone, который запрещает дальнейший replay.
## 6. Общий перезапуск и остановка
```powershell
python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080
python -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080
docker compose up -d --wait
docker compose stop
```
Повторный запуск: `docker compose up -d --wait`. `docker compose down` сохраняет volumes. **`docker compose down -v` удаляет все учебные данные lab5**, включая БД, S3 и очередь.
## Что объяснить преподавателю
- В момент202 уже сохранены все bytes в S3 staging и DB-намерение обработки. 202 не означает, что resize завершён.
- Outbox закрывает промежуток между DB COMMIT и публикацией в брокер.
- XADD/долговечный приём брокера и XACK worker — разные границы подтверждения.
- Доставка at least once допускает дубль; ключ результата `(attachment_id,pipeline_version,variant)` делает эффект идемпотентным.
- Lease имеет срок, а token/attempt fencing запрещает устаревшему worker зафиксировать результат.
- Задания на 5 и исследовательские треки не заявлены.