7.3 KiB
Лабораторная 5: асинхронная обработка изображений
Автор / группа: Матвей Козырев / BVT2301.
Целевая оценка: 5. Трек 1 — «Очередь под перегрузкой».
Ветка решения: solution/BVT2301-Kozyrev.
Upload принимает исходный файл в устойчивое S3 staging и возвращает 202 queued после фиксации attachment, job и outbox в PostgreSQL. Отдельный worker создаёт варианты изображения; клиент получает состояние через метаданные. Доказательства уровней 3–5 и ограничения исследования приведены в REPORT.md и evidence.
Реализация
- Перенесена база lab4: FastAPI, PostgreSQL, сессии, чаты/сообщения, идемпотентность сообщений, приватное S3-хранилище SeaweedFS, две API-реплики за HAProxy.
- Добавлены RabbitMQ с persistent volume, transactional outbox и отдельные dispatcher/worker.
- Реализованы состояния
queued/processing/ready/failed, thumbnail JPEG, crop JPEG 128×128 и optimized WebP. - Добавлены ограниченные retries с backoff/jitter, классификация ошибок, lease recovery, защита от устаревших попыток, реестр failed и операторский replay. Некорректные сообщения направляются в DLQ.
- Рендер выполняется в отдельном процессе с timeout и Linux-лимитом памяти. Worker имеет heartbeat healthcheck; staging и непривязанные объекты очищаются с блокировкой активных writers.
- Добавлены глобальный лимит принятых jobs с ответом
429, отдельные concurrency/prefetch и генератор исследования с измерением queue wait, времени до ready, throughput, RSS и проверкой восстановления.
Запуск и проверка
Нужны работающий Docker Engine с Compose v2, Python 3.12+, uv и свободный порт 127.0.0.1:8080. Из корня clone:
git switch solution/BVT2301-Kozyrev
python3 scripts/init-secrets.py
docker compose config --quiet
docker compose up -d --build
docker compose ps -a
curl --fail http://localhost:8080/health/ready
make test
Миграции и bootstrap bucket выполняются сервисами migrate и s3-init. Остановка с сохранением данных: docker compose down.
Локальные регрессии:
uv sync --locked --no-dev
make check
.venv/bin/python student-tests/pipeline_critical.py
.venv/bin/python student-tests/remaining_regressions.py
Выполнено локально: make check, docker compose config --quiet, git diff --check; 8 тестов критических ошибок и 7 дополнительных регрессионных тестов прошли. Часть сценариев использует mocks и не проверяет SQL на реальном PostgreSQL.
Подробные команды, результаты, архитектура и матрица критериев: REPORT.md.
Интеграционные проверки
- Публичный smoke, persistence и failover обеих API-реплик.
- Worker stop → upload 202 → сообщение с вложением → restart API/broker → ready.
- Дубли доставки; crash между COMMIT и publish; crash worker после S3 до COMMIT/ack; lease recovery.
- Исчерпание retry, permanent failure, реестр failed, явный replay и отказ replay для ready.
- Реальные SQL-проверки backoff, счётчика lease, fencing и watchdog зависших queued jobs.
- Linux memory/timeout, приватность S3, ACL вариантов, безопасная уборка stale-объектов.
- Трек 1: concurrency/prefetch 1/1, 2/2, 4/4 на двух размерах PNG; throughput, p95, queue wait, RSS, 429, drain и контрольный upload.
Повторяемые команды и результаты: REPORT.md, pipeline-integration.json, pipeline-invariants.json, resilience.json.
Исправлены запуск RabbitMQ с Docker secret, обход backoff/lease дублем и отсутствие повторной публикации для зависших queued jobs. Контракты и публичные тесты не менялись.
Ограничения: один Docker-host; closed-loop burst и polling; один прогон на профиль, без статистической оценки; RSS может учитывать shared pages повторно и пропускать пики. Failed staging сохраняется для replay. Чистый clone отдельно не запускался; исторические student-tests lab4 вне перечисленного набора не заявляются пройденными. Оценку определяет преподаватель.
Источники и использование ИИ
Основа — README задания, обязательные контракты и публичные тесты; версии библиотек зафиксированы в pyproject.toml/uv.lock, образы — в compose.yaml/Dockerfile. Источники и детали перечислены в REPORT.md.
Codex использовался для переноса кода, реализации, аудита, исправлений, тестов и документации. Mock-регрессии отделены от реальных интеграционных и нагрузочных результатов.
- Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- Контракт и публичные тесты не ослаблены.
- make check и make test выполнены; приложен реальный вывод.
- Сценарии отказов/безопасности своего уровня воспроизведены.
- Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Проверка секретов: совпадений с локальными credentials и проверенными форматами ключей не обнаружено в отслеживаемых файлах и доступной Git-истории. Область и ограничения проверки: evidence/checklist-review.txt.