forked from mtusi2026/mtusi2026lab5
77 lines
7.3 KiB
Markdown
77 lines
7.3 KiB
Markdown
## Лабораторная 5: асинхронная обработка изображений
|
||
|
||
Автор / группа: Матвей Козырев / BVT2301.
|
||
Целевая оценка: 5. Трек 1 — «Очередь под перегрузкой».
|
||
Ветка решения: `solution/BVT2301-Kozyrev`.
|
||
|
||
Upload принимает исходный файл в устойчивое S3 staging и возвращает `202 queued` после фиксации attachment, job и outbox в PostgreSQL. Отдельный worker создаёт варианты изображения; клиент получает состояние через метаданные. Доказательства уровней 3–5 и ограничения исследования приведены в REPORT.md и evidence.
|
||
|
||
## Реализация
|
||
|
||
- Перенесена база lab4: FastAPI, PostgreSQL, сессии, чаты/сообщения, идемпотентность сообщений, приватное S3-хранилище SeaweedFS, две API-реплики за HAProxy.
|
||
- Добавлены RabbitMQ с persistent volume, transactional outbox и отдельные dispatcher/worker.
|
||
- Реализованы состояния `queued/processing/ready/failed`, thumbnail JPEG, crop JPEG 128×128 и optimized WebP.
|
||
- Добавлены ограниченные retries с backoff/jitter, классификация ошибок, lease recovery, защита от устаревших попыток, реестр failed и операторский replay. Некорректные сообщения направляются в DLQ.
|
||
- Рендер выполняется в отдельном процессе с timeout и Linux-лимитом памяти. Worker имеет heartbeat healthcheck; staging и непривязанные объекты очищаются с блокировкой активных writers.
|
||
- Добавлены глобальный лимит принятых jobs с ответом `429`, отдельные concurrency/prefetch и генератор исследования с измерением queue wait, времени до ready, throughput, RSS и проверкой восстановления.
|
||
|
||
## Запуск и проверка
|
||
|
||
Нужны работающий Docker Engine с Compose v2, Python 3.12+, uv и свободный порт `127.0.0.1:8080`. Из корня clone:
|
||
|
||
```sh
|
||
git switch solution/BVT2301-Kozyrev
|
||
python3 scripts/init-secrets.py
|
||
docker compose config --quiet
|
||
docker compose up -d --build
|
||
docker compose ps -a
|
||
curl --fail http://localhost:8080/health/ready
|
||
make test
|
||
```
|
||
|
||
Миграции и bootstrap bucket выполняются сервисами `migrate` и `s3-init`. Остановка с сохранением данных: `docker compose down`.
|
||
|
||
Локальные регрессии:
|
||
|
||
```sh
|
||
uv sync --locked --no-dev
|
||
make check
|
||
.venv/bin/python student-tests/pipeline_critical.py
|
||
.venv/bin/python student-tests/remaining_regressions.py
|
||
```
|
||
|
||
Выполнено локально: `make check`, `docker compose config --quiet`, `git diff --check`; 8 тестов критических ошибок и 7 дополнительных регрессионных тестов прошли. Часть сценариев использует mocks и не проверяет SQL на реальном PostgreSQL.
|
||
|
||
Подробные команды, результаты, архитектура и матрица критериев: [REPORT.md](../REPORT.md).
|
||
|
||
## Интеграционные проверки
|
||
|
||
- Публичный smoke, persistence и failover обеих API-реплик.
|
||
- Worker stop → upload 202 → сообщение с вложением → restart API/broker → ready.
|
||
- Дубли доставки; crash между COMMIT и publish; crash worker после S3 до COMMIT/ack; lease recovery.
|
||
- Исчерпание retry, permanent failure, реестр failed, явный replay и отказ replay для ready.
|
||
- Реальные SQL-проверки backoff, счётчика lease, fencing и watchdog зависших queued jobs.
|
||
- Linux memory/timeout, приватность S3, ACL вариантов, безопасная уборка stale-объектов.
|
||
- Трек 1: concurrency/prefetch 1/1, 2/2, 4/4 на двух размерах PNG; throughput, p95, queue wait, RSS, 429, drain и контрольный upload.
|
||
|
||
Повторяемые команды и результаты: [REPORT.md](../REPORT.md), [pipeline-integration.json](../evidence/pipeline-integration.json), [pipeline-invariants.json](../evidence/pipeline-invariants.json), [resilience.json](../evidence/resilience.json).
|
||
|
||
Исправлены запуск RabbitMQ с Docker secret, обход backoff/lease дублем и отсутствие повторной публикации для зависших queued jobs. Контракты и публичные тесты не менялись.
|
||
|
||
Ограничения: один Docker-host; closed-loop burst и polling; один прогон на профиль, без статистической оценки; RSS может учитывать shared pages повторно и пропускать пики. Failed staging сохраняется для replay. Чистый clone отдельно не запускался; исторические student-tests lab4 вне перечисленного набора не заявляются пройденными. Оценку определяет преподаватель.
|
||
|
||
## Источники и использование ИИ
|
||
|
||
Основа — README задания, обязательные контракты и публичные тесты; версии библиотек зафиксированы в `pyproject.toml`/`uv.lock`, образы — в `compose.yaml`/`Dockerfile`. Источники и детали перечислены в [REPORT.md](../REPORT.md).
|
||
|
||
Codex использовался для переноса кода, реализации, аудита, исправлений, тестов и документации. Mock-регрессии отделены от реальных интеграционных и нагрузочных результатов.
|
||
|
||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||
- [x] Контракт и публичные тесты не ослаблены.
|
||
- [x] make check и make test выполнены; приложен реальный вывод.
|
||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||
|
||
Проверка секретов: совпадений с локальными credentials и проверенными форматами ключей не обнаружено в отслеживаемых файлах и доступной Git-истории. Область и ограничения проверки: [evidence/checklist-review.txt](../evidence/checklist-review.txt).
|