forked from mtusi2026/mtusi2026lab5
115 lines
7.6 KiB
Markdown
115 lines
7.6 KiB
Markdown
# Шпаргалка для защиты — лабораторная 5, на 4
|
||
|
||
Рабочая папка: `D:\VScodeproject\VNP\mtusi2026lab5`. Нужен запущенный Docker Desktop. В Windows используем `python -X utf8` для публичных скриптов. В Linux — `python3`, хукам `.sh` нужен `chmod +x scripts/*.sh`.
|
||
|
||
## 1. Запуск
|
||
|
||
```powershell
|
||
cd D:\VScodeproject\VNP\mtusi2026lab5
|
||
python scripts/init_secrets.py
|
||
Copy-Item .env.example .env
|
||
docker compose up -d --build --wait
|
||
docker compose ps -a
|
||
```
|
||
|
||
Если `.env` уже настроен, повторно копировать пример не нужно. Секреты создаются только при отсутствии, не печатаются и не попадают в Git. Данные lab5 находятся в отдельных volumes проекта `mtusi-lab5`.
|
||
|
||
API — http://127.0.0.1:8080, состояние API-реплик — http://127.0.0.1:8404. У API нет web-интерфейса. При занятых портах остановите прежний стенд либо настройте APP_PUBLISHED_PORT/LB_STATS_PORT.
|
||
|
||
```powershell
|
||
docker compose logs --tail 15 worker dispatcher
|
||
```
|
||
|
||
В логах видны job_id, попытка, ready/retry/failed; токены и содержимое файлов не пишутся.
|
||
|
||
## 2. Проверки API и вариантов
|
||
|
||
```powershell
|
||
python -X utf8 scripts/verify.py
|
||
```
|
||
|
||
Проверяются skeleton, unit-тесты pipeline, публичный smoke, собственные тесты и фактическая топология. Upload возвращает 202 queued, затем GET достигает ready. Готовый результат содержит original без изменений, thumbnail JPEG fit256, crop JPEG128×128 и optimized WebP fit1280. Для fixture320×200 thumbnail256×160.
|
||
|
||
Можно запустить отдельно:
|
||
|
||
```powershell
|
||
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
|
||
python -X utf8 -m unittest discover -s student-tests -v
|
||
python -X utf8 scripts/verify.py --only unit
|
||
```
|
||
|
||
## 3. Сохранность принятой работы
|
||
|
||
```powershell
|
||
python -X utf8 scripts/lab5_checks.py --only durability
|
||
```
|
||
|
||
Скрипт останавливает worker, загружает файл, получает 202 queued и 409 на content, создаёт сообщение с вложением. Затем перезапускает API и broker с volumes. После запуска worker та же логическая job становится ready, оригинал и три варианта проверяются по SHA-256.
|
||
|
||
## 4. Все дополнительные требования на 4
|
||
|
||
```powershell
|
||
python -X utf8 scripts/lab5_checks.py --only outbox broker_outage
|
||
python -X utf8 scripts/lab5_checks.py --only redelivery
|
||
python -X utf8 scripts/lab5_checks.py --only crash lease
|
||
python -X utf8 scripts/lab5_checks.py --only retries permanent
|
||
python -X utf8 scripts/lab5_checks.py --only staging
|
||
```
|
||
|
||
- Outbox: dispatcher остановлен; upload COMMIT уже прошёл; API убивается до publish. После запуска задача доходит до ready без нового задания.
|
||
- Broker outage: 202 и сообщения работают через устойчивый DB outbox, после возврата брокера работа обрабатывается.
|
||
- Redelivery: дубль ready подтверждается без изменения результата/attempt/времени готовности.
|
||
- Crash: одноразовый fault завершает worker после четырёх S3 PUT, до публикации ready и ack. Lease истекает; повтор формирует тот же набор из трёх вариантов.
|
||
- Lease: зависший processing worker убивается; новая попытка завершается, старая аренда уже не может записать ready или failed.
|
||
- Retry: временные ошибки используют backoff+jitter; после пяти попыток failed. Операторский replay сохраняет job_id и audit. Постоянная ошибка сразу failed, content/прикрепление дают409.
|
||
- Staging: queued исходник защищён, удаление staging разрешено только после COMMIT ready. Оригинал остаётся.
|
||
|
||
Полный сбойный прогон:
|
||
|
||
```powershell
|
||
python -X utf8 scripts/verify.py --faults
|
||
```
|
||
|
||
Тесты восстанавливают остановленные сервисы в finally. Сценарии crash/lease ждут реальный lease45с, поэтому занимают заметное время. Не запускайте их одновременно друг с другом.
|
||
|
||
## 5. Операторские команды
|
||
|
||
```powershell
|
||
docker compose --profile tools run --rm jobs failed
|
||
docker compose --profile tools run --rm jobs show JOB_UUID
|
||
docker compose --profile tools run --rm jobs replay ATTACHMENT_UUID --actor Chernikov --reason "Причина исправлена"
|
||
docker compose --profile tools run --rm jobs redeliver JOB_UUID
|
||
docker compose --profile tools run --rm jobs cleanup
|
||
```
|
||
|
||
UUID берутся из результата загрузки/реестра/логов. Replay ready — no-op с записью audit; только failed с сохранённым staging запускается заново. Внешнего административного API нет.
|
||
|
||
Очистка orphan и failed staging после retention24ч:
|
||
|
||
```powershell
|
||
docker compose --profile tools run --rm cleanup
|
||
docker compose --profile tools run --rm cleanup --apply
|
||
```
|
||
|
||
По умолчанию dry-run. Queued/processing защищены; неучтённые объекты моложе часа пропускаются. Failed staging удаляется только после явного durable tombstone, который запрещает дальнейший replay.
|
||
|
||
## 6. Общий перезапуск и остановка
|
||
|
||
```powershell
|
||
python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080
|
||
python -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080
|
||
docker compose up -d --wait
|
||
docker compose stop
|
||
```
|
||
|
||
Повторный запуск: `docker compose up -d --wait`. `docker compose down` сохраняет volumes. **`docker compose down -v` удаляет все учебные данные lab5**, включая БД, S3 и очередь.
|
||
|
||
## Что объяснить преподавателю
|
||
|
||
- В момент202 уже сохранены все bytes в S3 staging и DB-намерение обработки. 202 не означает, что resize завершён.
|
||
- Outbox закрывает промежуток между DB COMMIT и публикацией в брокер.
|
||
- XADD/долговечный приём брокера и XACK worker — разные границы подтверждения.
|
||
- Доставка at least once допускает дубль; ключ результата `(attachment_id,pipeline_version,variant)` делает эффект идемпотентным.
|
||
- Lease имеет срок, а token/attempt fencing запрещает устаревшему worker зафиксировать результат.
|
||
- Задания на 5 и исследовательские треки не заявлены.
|