Files
mtusi2026lab5/docs/pull_request_lab5.md
T

6.8 KiB
Raw Blame History

Лабораторная 5

Автор / группа: Кушнаренко Николай Вячеславович, БПИ2302 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: Трек 1 — очередь под перегрузкой

Что реализовано и что перенесено: Из ЛР4 перенесены PostgreSQL, сессии/Valkey, две API-реплики за HAProxy, идемпотентность сообщений, приватный S3 и вложения. Upload возвращает 202 queued только после сохранения staging в S3 и одной транзакции attachments + outbox. Relay публикует durable задания в RabbitMQ с publisher confirm; отдельный worker создаёт JPEG thumbnail, crop 128×128 и optimized WebP, сохраняет результат и подтверждает сообщение после COMMIT. Есть ограниченные retry с backoff/jitter, lease, failed registry, DLQ, безопасный replay и очистка staging. Исправлен перенесённый reconciler: варианты и незавершённые эффекты worker больше не считаются orphan. Сохранено исправление HAProxy для контрактных ошибок при отказе общей БД.

Команды запуска из чистого clone (bash / Git Bash):

sh scripts/init-secrets.sh
cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --wait-timeout 120
python3 scripts/check_contract.py
python3 tests/smoke.py --base-url http://127.0.0.1:8080
python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080
python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8080
sh scripts/restore-replicas.sh

Windows: PYTHONUTF8=1, hooks scripts/restart.cmd и scripts/stop-one.cmd. Все собственные проверки и исследование — student-tests/README.md.

Результаты проверок и ссылка на REPORT.md (повтор 12.11.2026):

  • check_contract, полная OpenAPI-валидация, публичный smoke — PASS;
  • 60 собственных тестов — OK, включая EXIF/alpha/размеры вариантов, оригинал/ACL, идемпотентность, безопасную сверку S3, TTL и отказы зависимостей;
  • семь сценариев pipeline: worker down, API/broker restart, broker down/outbox, crash COMMIT→publish, crash worker до COMMIT/ack, lease recovery, retry exhaustion и replay — OK;
  • persistence и failover — PASS; 121 успешных записей, 0 неуспешных попыток, восстановление 2.344 с;
  • дополнительный рестарт после нагрузки выявил раннюю готовность S3; hook исправлен и три последовательных persistence прошли. Проверено чтение 3670 объектов после восстановления; исходный сбой и повторы сохранены в evidence;
  • bootstrap дважды: приватность и ограниченные права API подтверждены;
  • трек 1: матрица 3×3 при worker 1 CPU / 768 MiB; 348/348 загрузок ready, failed=0, OOM нет, пик RSS 430.0 MiB; измерены throughput, p95, глубина и возраст очереди;
  • burst 200: принято 54, ответов 503 — 146 с реально проверенным Retry-After; все принятые ready; после разгрузки три новые загрузки тоже ready. Порог 30 мягкий, измеренный пик 48.

Отчёт: REPORT.md, Word. Доказательства: checks_2026-11-12.txt, JSON и графики.

Ограничения / известные ошибки: Один узел PostgreSQL, RabbitMQ и S3; at-least-once доставка с идемпотентным эффектом. Версионирование нескольких pipeline как исследование трека 2 не заявлено. Ограничение очереди мягкое: конкурентный приём может превысить порог; строгая атомарная резервация слотов не реализована. Reconciler сохраняет неизвестные объекты внутри префикса существующего вложения; их удаление требует отдельного разбора. Замеры — по одному прогону на точку на одном компьютере с фоновой нагрузкой; устойчивый оптимум concurrency не доказан.

Источники и использование ИИ: Python, uvicorn, asyncpg, aiobotocore, aio-pika, Pillow, RabbitMQ, SeaweedFS, PostgreSQL, Valkey, HAProxy; первичные материалы перечислены в README задания. ИИ-ассистенты помогали с кодом, тестами и отчётом; Codex исправил перенос reconciler и методику исследования, проверил результаты реальными запусками.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены через эквивалентные Python-команды; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.