Files
mtusi2026lab5/.github/pull_request_template.md
2026-10-27 12:24:31 +03:00

7.3 KiB
Raw Permalink Blame History

Лабораторная 5: асинхронная обработка изображений

Автор / группа: Матвей Козырев / BVT2301. Целевая оценка: 5. Трек 1 — «Очередь под перегрузкой». Ветка решения: solution/BVT2301-Kozyrev.

Upload принимает исходный файл в устойчивое S3 staging и возвращает 202 queued после фиксации attachment, job и outbox в PostgreSQL. Отдельный worker создаёт варианты изображения; клиент получает состояние через метаданные. Доказательства уровней 3–5 и ограничения исследования приведены в REPORT.md и evidence.

Реализация

  • Перенесена база lab4: FastAPI, PostgreSQL, сессии, чаты/сообщения, идемпотентность сообщений, приватное S3-хранилище SeaweedFS, две API-реплики за HAProxy.
  • Добавлены RabbitMQ с persistent volume, transactional outbox и отдельные dispatcher/worker.
  • Реализованы состояния queued/processing/ready/failed, thumbnail JPEG, crop JPEG 128×128 и optimized WebP.
  • Добавлены ограниченные retries с backoff/jitter, классификация ошибок, lease recovery, защита от устаревших попыток, реестр failed и операторский replay. Некорректные сообщения направляются в DLQ.
  • Рендер выполняется в отдельном процессе с timeout и Linux-лимитом памяти. Worker имеет heartbeat healthcheck; staging и непривязанные объекты очищаются с блокировкой активных writers.
  • Добавлены глобальный лимит принятых jobs с ответом 429, отдельные concurrency/prefetch и генератор исследования с измерением queue wait, времени до ready, throughput, RSS и проверкой восстановления.

Запуск и проверка

Нужны работающий Docker Engine с Compose v2, Python 3.12+, uv и свободный порт 127.0.0.1:8080. Из корня clone:

git switch solution/BVT2301-Kozyrev
python3 scripts/init-secrets.py
docker compose config --quiet
docker compose up -d --build
docker compose ps -a
curl --fail http://localhost:8080/health/ready
make test

Миграции и bootstrap bucket выполняются сервисами migrate и s3-init. Остановка с сохранением данных: docker compose down.

Локальные регрессии:

uv sync --locked --no-dev
make check
.venv/bin/python student-tests/pipeline_critical.py
.venv/bin/python student-tests/remaining_regressions.py

Выполнено локально: make check, docker compose config --quiet, git diff --check; 8 тестов критических ошибок и 7 дополнительных регрессионных тестов прошли. Часть сценариев использует mocks и не проверяет SQL на реальном PostgreSQL.

Подробные команды, результаты, архитектура и матрица критериев: REPORT.md.

Интеграционные проверки

  • Публичный smoke, persistence и failover обеих API-реплик.
  • Worker stop → upload 202 → сообщение с вложением → restart API/broker → ready.
  • Дубли доставки; crash между COMMIT и publish; crash worker после S3 до COMMIT/ack; lease recovery.
  • Исчерпание retry, permanent failure, реестр failed, явный replay и отказ replay для ready.
  • Реальные SQL-проверки backoff, счётчика lease, fencing и watchdog зависших queued jobs.
  • Linux memory/timeout, приватность S3, ACL вариантов, безопасная уборка stale-объектов.
  • Трек 1: concurrency/prefetch 1/1, 2/2, 4/4 на двух размерах PNG; throughput, p95, queue wait, RSS, 429, drain и контрольный upload.

Повторяемые команды и результаты: REPORT.md, pipeline-integration.json, pipeline-invariants.json, resilience.json.

Исправлены запуск RabbitMQ с Docker secret, обход backoff/lease дублем и отсутствие повторной публикации для зависших queued jobs. Контракты и публичные тесты не менялись.

Ограничения: один Docker-host; closed-loop burst и polling; один прогон на профиль, без статистической оценки; RSS может учитывать shared pages повторно и пропускать пики. Failed staging сохраняется для replay. Чистый clone отдельно не запускался; исторические student-tests lab4 вне перечисленного набора не заявляются пройденными. Оценку определяет преподаватель.

Источники и использование ИИ

Основа — README задания, обязательные контракты и публичные тесты; версии библиотек зафиксированы в pyproject.toml/uv.lock, образы — в compose.yaml/Dockerfile. Источники и детали перечислены в REPORT.md.

Codex использовался для переноса кода, реализации, аудита, исправлений, тестов и документации. Mock-регрессии отделены от реальных интеграционных и нагрузочных результатов.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

Проверка секретов: совпадений с локальными credentials и проверенными форматами ключей не обнаружено в отслеживаемых файлах и доступной Git-истории. Область и ограничения проверки: evidence/checklist-review.txt.