forked from mtusi2026/mtusi2026lab5
53 lines
7.3 KiB
Markdown
53 lines
7.3 KiB
Markdown
## Лабораторная 5
|
||
|
||
Автор / группа: Кушнаренко Николай Вячеславович, БПИ2302
|
||
Целевая оценка (3/4/5): 5
|
||
Трек 5, если заявлен: Трек 1 — очередь под перегрузкой
|
||
|
||
Что реализовано и что перенесено:
|
||
Из ЛР4 перенесены PostgreSQL, сессии/Valkey, две API-реплики за HAProxy, идемпотентность сообщений, приватный S3 и вложения. Upload возвращает 202 queued только после сохранения staging в S3 и одной транзакции attachments + outbox. Relay публикует durable задания в RabbitMQ с publisher confirm; отдельный worker создаёт JPEG thumbnail, crop 128×128 и optimized WebP, сохраняет результат и подтверждает сообщение после COMMIT. Есть ограниченные retry с backoff/jitter, lease, failed registry, DLQ, безопасный replay и очистка staging. Исправлен перенесённый reconciler: варианты и незавершённые эффекты worker больше не считаются orphan. Сохранено исправление HAProxy для контрактных ошибок при отказе общей БД.
|
||
|
||
Команды запуска из чистого clone (bash / Git Bash):
|
||
|
||
```sh
|
||
sh scripts/init-secrets.sh
|
||
cp .env.example .env
|
||
docker compose --env-file .env config --quiet
|
||
docker compose --env-file .env up -d --build --wait --wait-timeout 120
|
||
python3 scripts/check_contract.py
|
||
python3 tests/smoke.py --base-url http://127.0.0.1:8080
|
||
python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080
|
||
python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8080
|
||
sh scripts/restore-replicas.sh
|
||
```
|
||
|
||
Windows: PYTHONUTF8=1, hooks scripts/restart.cmd и scripts/stop-one.cmd. Все собственные проверки и исследование — [student-tests/README.md](https://gitea.privcloud.tech/kolya/mtusi2026lab5/src/branch/solution/bpi2302-kushnarenko/student-tests/README.md).
|
||
|
||
Результаты проверок и ссылка на REPORT.md (повтор 12.11.2026):
|
||
|
||
- check_contract, полная OpenAPI-валидация, публичный smoke — PASS;
|
||
- **60 собственных тестов — OK**, включая EXIF/alpha/размеры вариантов, оригинал/ACL, идемпотентность, безопасную сверку S3, TTL и отказы зависимостей;
|
||
- семь сценариев pipeline: worker down, API/broker restart, broker down/outbox, crash COMMIT→publish, crash worker до COMMIT/ack, lease recovery, retry exhaustion и replay — OK;
|
||
- persistence и failover — PASS; 121 успешных записей, 0 неуспешных попыток, восстановление 2.344 с;
|
||
- дополнительный рестарт после нагрузки выявил раннюю готовность S3; hook исправлен и три последовательных persistence прошли. Проверено чтение 3670 объектов после восстановления; исходный сбой и повторы сохранены в evidence;
|
||
- bootstrap дважды: приватность и ограниченные права API подтверждены;
|
||
- трек 1: матрица 3×3 при worker 1 CPU / 768 MiB; 348/348 загрузок ready, failed=0, OOM нет, пик RSS 430.0 MiB; измерены throughput, p95, глубина и возраст очереди;
|
||
- burst 200: принято 54, ответов 503 — 146 с реально проверенным Retry-After; все принятые ready; после разгрузки три новые загрузки тоже ready. Порог 30 мягкий, измеренный пик 48.
|
||
|
||
Отчёт: [REPORT.md](https://gitea.privcloud.tech/kolya/mtusi2026lab5/src/branch/solution/bpi2302-kushnarenko/REPORT.md), [Word](https://gitea.privcloud.tech/kolya/mtusi2026lab5/src/branch/solution/bpi2302-kushnarenko/docs/report_lab5.docx). Доказательства: [checks_2026-11-12.txt](https://gitea.privcloud.tech/kolya/mtusi2026lab5/src/branch/solution/bpi2302-kushnarenko/evidence/checks_2026-11-12.txt), [JSON и графики](https://gitea.privcloud.tech/kolya/mtusi2026lab5/src/branch/solution/bpi2302-kushnarenko/evidence/recheck_2026-11-12).
|
||
|
||
Ограничения / известные ошибки:
|
||
Один узел PostgreSQL, RabbitMQ и S3; at-least-once доставка с идемпотентным эффектом. Версионирование нескольких pipeline как исследование трека 2 не заявлено. Ограничение очереди мягкое: конкурентный приём может превысить порог; строгая атомарная резервация слотов не реализована. Reconciler сохраняет неизвестные объекты внутри префикса существующего вложения; их удаление требует отдельного разбора. Замеры — по одному прогону на точку на одном компьютере с фоновой нагрузкой; устойчивый оптимум concurrency не доказан.
|
||
|
||
Источники и использование ИИ:
|
||
Python, uvicorn, asyncpg, aiobotocore, aio-pika, Pillow, RabbitMQ, SeaweedFS, PostgreSQL, Valkey, HAProxy; первичные материалы перечислены в README задания. ИИ-ассистенты помогали с кодом, тестами и отчётом; Codex исправил перенос reconciler и методику исследования, проверил результаты реальными запусками.
|
||
|
||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||
- [x] Контракт и публичные тесты не ослаблены.
|
||
- [x] make check и make test выполнены через эквивалентные Python-команды; приложен реальный вывод.
|
||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||
|
||
Дополнительная сверка после открытия PR №52: в REPORT.md добавлены аппаратная конфигурация, прогрев, второй прогон с CPU/p50/p95/p99, проверка отказа обеих API-реплик и чистого clone. Добавлены отдельный application CI-job и LF для shell scripts. Серверный CI на Gitea не заявляется; реальные локальные результаты — evidence/pr52_audit_2026-11-12/.
|