# Отчёт — лабораторная 5 - Автор, группа: Ромашко Владимир, БВТ2301. - Целевая оценка; выбранный трек 5: **5, трек 1 — очередь под перегрузкой**. - Commit/PR: проверенная реализация — `ff6d7c1` - Источники, библиотеки и помощь ИИ: [задание](README.md), [контракт](contracts/README.md); FastAPI, SQLAlchemy, Redis, boto3, Pillow, MinIO. Codex использовался для реализации, тестов и оформления. ## Запуск из чистого clone Нужны Docker с Compose, Python на хосте и свободный порт 8080. В контейнерах: Python 3.12.8, PostgreSQL 17.4, Redis 7.4.2, Nginx 1.28.0; MinIO закреплён digest в `compose.yaml`, зависимости — в `requirements.txt`. ```sh cp .env.example .env # Задать свои POSTGRES_PASSWORD, MINIO_ROOT_PASSWORD и S3_SECRET_ACCESS_KEY. docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build # Дождаться 200 {"status":"ok"}: curl http://127.0.0.1:8080/health/ready python -X utf8 scripts/check_contract.py python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080 ``` Последние две команды эквивалентны `make check` и `make test`. Миграции выполняет сервис `migrate` до запуска API/worker. Остановка с сохранением данных: `docker compose down`. Намеренное удаление учебных данных: `docker compose down -v`. `.env` не входит в Git. ## Архитектура и решения Из lab4 перенесены API, две реплики за Nginx, PostgreSQL, Redis-сессии и private MinIO. Добавлены Redis Streams broker, dispatcher и worker. PostgreSQL — источник истины: после сохранения оригинала в staging вложение и job/outbox записываются одной транзакцией; затем возвращается `202 queued`. Dispatcher публикует job в брокер с AOF/`appendfsync=always`. Worker сохраняет оригинал и варианты, затем атомарно фиксирует ready. Доставка at least once; состояние job, lease-token и постоянные ключи объектов защищают от дублей. Ответ на XADD подтверждает приём брокером, XACK — обработку потребителем. Thumbnail — JPEG до 256×256, crop — JPEG 128×128, quality=85; optimized — WebP до 1280×1280, quality=80. Применяется EXIF orientation, прозрачность заменяется белым, EXIF/ICC удаляются; оригинал неизменен. Настройки `.env.example` передаются через Compose: 2 обработчика, prefetch=1, 5 попыток с backoff/jitter, timeout 60 с, lease 75 с, 768 MiB на процесс. Файл ограничен 10 MiB и 40 млн пикселей. Общий лимит — 64 queued/processing; превышение даёт 429 с `Retry-After`. Cleanup удаляет ready-staging и просроченные failed/orphan-объекты, retention — сутки. Команды failed/replay и детали — в [infra/async.md](infra/async.md). ## Доказательства критериев Ниже `pipeline` — `python -X utf8 student-tests/pipeline.py`, `edge_cases` — `python -X utf8 student-tests/edge_cases.py`. | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | | Публичный smoke, 202/queued, доступ, оригинал | Команда smoke выше | PASS, thumbnail соответствует контракту | [Проверка](evidence/defense-check.md) | | Отдельные broker/worker и сохранность | `pipeline`: остановка worker, рестарт API/broker | Прежний ID становится ready | [Вывод](evidence/defense-pipeline.txt) | | Ограниченные попытки и дубли | `pipeline` | 5 попыток → failed; дубль ready — no-op | [Вывод](evidence/defense-pipeline.txt) | | Варианты, EXIF, alpha, размеры | Unittest из `infra/async.md`, `pipeline` | 5/5 OK; проверены варианты и checksum | [Проверка](evidence/defense-check.md) | | Лимиты и постоянные ошибки | `edge_cases`, unittest | Невалидные файлы отклонены, timeout завершает процесс | [Вывод](evidence/defense-edge-cases.txt) | | Outbox: crash до publish | `pipeline --outbox-only`: SIGKILL API | Задание восстановлено без нового upload | [Вывод](evidence/defense-outbox-crash.txt) | | Retry, failed-реестр и replay | `pipeline` | Replay с audit, ready повторять нельзя | [Вывод](evidence/defense-pipeline.txt) | | Crash после S3, lease и cleanup | `pipeline`, `edge_cases` | Нет лишних вариантов; активный staging сохранён | [Вывод](evidence/defense-pipeline.txt) | | Трек 1: нагрузка и backpressure | `python -X utf8 scripts/queue_experiment.py` | 18 замеров; при лимите 12 приняты 12/24; все принятые ID восстановлены | [Результаты](evidence/queue-results.md) | ## Эксперименты и отказы Гипотеза: 2 обработчика ускорят обработку относительно 1; 4 дадут меньшую отдачу при большем RSS. Docker: 8 CPU, около 7.76 GiB RAM; worker — 2 CPU и 2 GiB. Профиль: concurrency 1/2/4, prefetch=1; JPEG 320×200, 1280×800, 2560×1600; по 18 файлов, 6 клиентов, 2 повтора, прогрев 6 файлами. Все 324 измеряемые загрузки успешны с первой попытки. При concurrency=2 средний throughput — 0.53–0.62 файла/с, p95 до ready — 28.74–32.25 с, пиковый RSS — 357–423 MiB. При concurrency=4 — 0.52–0.58 файла/с и до 713 MiB. Оставлено 2 обработчика. Длительности, queue lag и замеры: [CSV](evidence/queue-load.csv), [JSON](evidence/queue-load.json), [методика](evidence/queue-method.md). p50/p99 и фактическая загрузка CPU отдельно не измерялись. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | | SIGKILL API до publish | Outbox сохранит работу | Прежний ID стал ready | После запуска dispatcher/worker; потерь нет | | Crash после S3 / до ACK | Безопасный повтор | Нет лишних объектов; ready не обрабатывается заново | Незавершённая попытка — после lease 75 с и backoff; потерь нет | | Перегрузка, worker остановлен | Ограничение очереди | 12 ответов 202, 12 ответов 429; после рестартов все принятые ID готовы | Наблюдаемое опустошение 18.63 с; потерь нет | ## Ограничения и следующие шаги Хранилища работают по одному экземпляру; потеря volumes не покрывается. Лимит очереди действует после приёма HTTP bytes. После истечения failed-retention нужен новый upload. Всего два повтора нагрузки; p95 по 18 файлам равен максимуму, RSS может повторно учитывать общие страницы. Новый чистый clone отдельно не разворачивался. Следующий шаг — более длинный эксперимент на разных изображениях и CPU-профилирование.