## Лабораторная 5: асинхронная обработка изображений Автор / группа: Матвей Козырев / BVT2301. Целевая оценка: 5. Трек 1 — «Очередь под перегрузкой». Ветка решения: `solution/BVT2301-Kozyrev`. Upload принимает исходный файл в устойчивое S3 staging и возвращает `202 queued` после фиксации attachment, job и outbox в PostgreSQL. Отдельный worker создаёт варианты изображения; клиент получает состояние через метаданные. Доказательства уровней 3–5 и ограничения исследования приведены в REPORT.md и evidence. ## Реализация - Перенесена база lab4: FastAPI, PostgreSQL, сессии, чаты/сообщения, идемпотентность сообщений, приватное S3-хранилище SeaweedFS, две API-реплики за HAProxy. - Добавлены RabbitMQ с persistent volume, transactional outbox и отдельные dispatcher/worker. - Реализованы состояния `queued/processing/ready/failed`, thumbnail JPEG, crop JPEG 128×128 и optimized WebP. - Добавлены ограниченные retries с backoff/jitter, классификация ошибок, lease recovery, защита от устаревших попыток, реестр failed и операторский replay. Некорректные сообщения направляются в DLQ. - Рендер выполняется в отдельном процессе с timeout и Linux-лимитом памяти. Worker имеет heartbeat healthcheck; staging и непривязанные объекты очищаются с блокировкой активных writers. - Добавлены глобальный лимит принятых jobs с ответом `429`, отдельные concurrency/prefetch и генератор исследования с измерением queue wait, времени до ready, throughput, RSS и проверкой восстановления. ## Запуск и проверка Нужны работающий Docker Engine с Compose v2, Python 3.12+, uv и свободный порт `127.0.0.1:8080`. Из корня clone: ```sh git switch solution/BVT2301-Kozyrev python3 scripts/init-secrets.py docker compose config --quiet docker compose up -d --build docker compose ps -a curl --fail http://localhost:8080/health/ready make test ``` Миграции и bootstrap bucket выполняются сервисами `migrate` и `s3-init`. Остановка с сохранением данных: `docker compose down`. Локальные регрессии: ```sh uv sync --locked --no-dev make check .venv/bin/python student-tests/pipeline_critical.py .venv/bin/python student-tests/remaining_regressions.py ``` Выполнено локально: `make check`, `docker compose config --quiet`, `git diff --check`; 8 тестов критических ошибок и 7 дополнительных регрессионных тестов прошли. Часть сценариев использует mocks и не проверяет SQL на реальном PostgreSQL. Подробные команды, результаты, архитектура и матрица критериев: [REPORT.md](../REPORT.md). ## Интеграционные проверки - Публичный smoke, persistence и failover обеих API-реплик. - Worker stop → upload 202 → сообщение с вложением → restart API/broker → ready. - Дубли доставки; crash между COMMIT и publish; crash worker после S3 до COMMIT/ack; lease recovery. - Исчерпание retry, permanent failure, реестр failed, явный replay и отказ replay для ready. - Реальные SQL-проверки backoff, счётчика lease, fencing и watchdog зависших queued jobs. - Linux memory/timeout, приватность S3, ACL вариантов, безопасная уборка stale-объектов. - Трек 1: concurrency/prefetch 1/1, 2/2, 4/4 на двух размерах PNG; throughput, p95, queue wait, RSS, 429, drain и контрольный upload. Повторяемые команды и результаты: [REPORT.md](../REPORT.md), [pipeline-integration.json](../evidence/pipeline-integration.json), [pipeline-invariants.json](../evidence/pipeline-invariants.json), [resilience.json](../evidence/resilience.json). Исправлены запуск RabbitMQ с Docker secret, обход backoff/lease дублем и отсутствие повторной публикации для зависших queued jobs. Контракты и публичные тесты не менялись. Ограничения: один Docker-host; closed-loop burst и polling; один прогон на профиль, без статистической оценки; RSS может учитывать shared pages повторно и пропускать пики. Failed staging сохраняется для replay. Чистый clone отдельно не запускался; исторические student-tests lab4 вне перечисленного набора не заявляются пройденными. Оценку определяет преподаватель. ## Источники и использование ИИ Основа — README задания, обязательные контракты и публичные тесты; версии библиотек зафиксированы в `pyproject.toml`/`uv.lock`, образы — в `compose.yaml`/`Dockerfile`. Источники и детали перечислены в [REPORT.md](../REPORT.md). Codex использовался для переноса кода, реализации, аудита, исправлений, тестов и документации. Mock-регрессии отделены от реальных интеграционных и нагрузочных результатов. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. Проверка секретов: совпадений с локальными credentials и проверенными форматами ключей не обнаружено в отслеживаемых файлах и доступной Git-истории. Область и ограничения проверки: [evidence/checklist-review.txt](../evidence/checklist-review.txt).