8.3 KiB
Отчёт — лабораторная 5
- Автор, группа: Ромашко Владимир, БВТ2301.
- Целевая оценка; выбранный трек 5: 5, трек 1 — очередь под перегрузкой.
- Commit/PR: проверенная реализация —
ff6d7c1 - Источники, библиотеки и помощь ИИ: задание, контракт; FastAPI, SQLAlchemy, Redis, boto3, Pillow, MinIO. Codex использовался для реализации, тестов и оформления.
Запуск из чистого clone
Нужны Docker с Compose, Python на хосте и свободный порт 8080. В контейнерах: Python 3.12.8, PostgreSQL 17.4, Redis 7.4.2, Nginx 1.28.0; MinIO закреплён digest в compose.yaml, зависимости — в requirements.txt.
cp .env.example .env
# Задать свои POSTGRES_PASSWORD, MINIO_ROOT_PASSWORD и S3_SECRET_ACCESS_KEY.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождаться 200 {"status":"ok"}:
curl http://127.0.0.1:8080/health/ready
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
Последние две команды эквивалентны make check и make test. Миграции выполняет сервис migrate до запуска API/worker. Остановка с сохранением данных: docker compose down. Намеренное удаление учебных данных: docker compose down -v. .env не входит в Git.
Архитектура и решения
Из lab4 перенесены API, две реплики за Nginx, PostgreSQL, Redis-сессии и private MinIO. Добавлены Redis Streams broker, dispatcher и worker. PostgreSQL — источник истины: после сохранения оригинала в staging вложение и job/outbox записываются одной транзакцией; затем возвращается 202 queued.
Dispatcher публикует job в брокер с AOF/appendfsync=always. Worker сохраняет оригинал и варианты, затем атомарно фиксирует ready. Доставка at least once; состояние job, lease-token и постоянные ключи объектов защищают от дублей. Ответ на XADD подтверждает приём брокером, XACK — обработку потребителем.
Thumbnail — JPEG до 256×256, crop — JPEG 128×128, quality=85; optimized — WebP до 1280×1280, quality=80. Применяется EXIF orientation, прозрачность заменяется белым, EXIF/ICC удаляются; оригинал неизменен.
Настройки .env.example передаются через Compose: 2 обработчика, prefetch=1, 5 попыток с backoff/jitter, timeout 60 с, lease 75 с, 768 MiB на процесс. Файл ограничен 10 MiB и 40 млн пикселей. Общий лимит — 64 queued/processing; превышение даёт 429 с Retry-After. Cleanup удаляет ready-staging и просроченные failed/orphan-объекты, retention — сутки. Команды failed/replay и детали — в infra/async.md.
Доказательства критериев
Ниже pipeline — python -X utf8 student-tests/pipeline.py, edge_cases — python -X utf8 student-tests/edge_cases.py.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke, 202/queued, доступ, оригинал | Команда smoke выше | PASS, thumbnail соответствует контракту | Проверка |
| Отдельные broker/worker и сохранность | pipeline: остановка worker, рестарт API/broker |
Прежний ID становится ready | Вывод |
| Ограниченные попытки и дубли | pipeline |
5 попыток → failed; дубль ready — no-op | Вывод |
| Варианты, EXIF, alpha, размеры | Unittest из infra/async.md, pipeline |
5/5 OK; проверены варианты и checksum | Проверка |
| Лимиты и постоянные ошибки | edge_cases, unittest |
Невалидные файлы отклонены, timeout завершает процесс | Вывод |
| Outbox: crash до publish | pipeline --outbox-only: SIGKILL API |
Задание восстановлено без нового upload | Вывод |
| Retry, failed-реестр и replay | pipeline |
Replay с audit, ready повторять нельзя | Вывод |
| Crash после S3, lease и cleanup | pipeline, edge_cases |
Нет лишних вариантов; активный staging сохранён | Вывод |
| Трек 1: нагрузка и backpressure | python -X utf8 scripts/queue_experiment.py |
18 замеров; при лимите 12 приняты 12/24; все принятые ID восстановлены | Результаты |
Эксперименты и отказы
Гипотеза: 2 обработчика ускорят обработку относительно 1; 4 дадут меньшую отдачу при большем RSS. Docker: 8 CPU, около 7.76 GiB RAM; worker — 2 CPU и 2 GiB. Профиль: concurrency 1/2/4, prefetch=1; JPEG 320×200, 1280×800, 2560×1600; по 18 файлов, 6 клиентов, 2 повтора, прогрев 6 файлами. Все 324 измеряемые загрузки успешны с первой попытки.
При concurrency=2 средний throughput — 0.53–0.62 файла/с, p95 до ready — 28.74–32.25 с, пиковый RSS — 357–423 MiB. При concurrency=4 — 0.52–0.58 файла/с и до 713 MiB. Оставлено 2 обработчика. Длительности, queue lag и замеры: CSV, JSON, методика. p50/p99 и фактическая загрузка CPU отдельно не измерялись.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| SIGKILL API до publish | Outbox сохранит работу | Прежний ID стал ready | После запуска dispatcher/worker; потерь нет |
| Crash после S3 / до ACK | Безопасный повтор | Нет лишних объектов; ready не обрабатывается заново | Незавершённая попытка — после lease 75 с и backoff; потерь нет |
| Перегрузка, worker остановлен | Ограничение очереди | 12 ответов 202, 12 ответов 429; после рестартов все принятые ID готовы | Наблюдаемое опустошение 18.63 с; потерь нет |
Ограничения и следующие шаги
Хранилища работают по одному экземпляру; потеря volumes не покрывается. Лимит очереди действует после приёма HTTP bytes. После истечения failed-retention нужен новый upload. Всего два повтора нагрузки; p95 по 18 файлам равен максимуму, RSS может повторно учитывать общие страницы. Новый чистый clone отдельно не разворачивался. Следующий шаг — более длинный эксперимент на разных изображениях и CPU-профилирование.