Files
2026-11-06 19:43:01 +03:00

8.3 KiB
Raw Permalink Blame History

Отчёт — лабораторная 5

  • Автор, группа: Ромашко Владимир, БВТ2301.
  • Целевая оценка; выбранный трек 5: 5, трек 1 — очередь под перегрузкой.
  • Commit/PR: проверенная реализация — ff6d7c1
  • Источники, библиотеки и помощь ИИ: задание, контракт; FastAPI, SQLAlchemy, Redis, boto3, Pillow, MinIO. Codex использовался для реализации, тестов и оформления.

Запуск из чистого clone

Нужны Docker с Compose, Python на хосте и свободный порт 8080. В контейнерах: Python 3.12.8, PostgreSQL 17.4, Redis 7.4.2, Nginx 1.28.0; MinIO закреплён digest в compose.yaml, зависимости — в requirements.txt.

cp .env.example .env
# Задать свои POSTGRES_PASSWORD, MINIO_ROOT_PASSWORD и S3_SECRET_ACCESS_KEY.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождаться 200 {"status":"ok"}:
curl http://127.0.0.1:8080/health/ready
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080

Последние две команды эквивалентны make check и make test. Миграции выполняет сервис migrate до запуска API/worker. Остановка с сохранением данных: docker compose down. Намеренное удаление учебных данных: docker compose down -v. .env не входит в Git.

Архитектура и решения

Из lab4 перенесены API, две реплики за Nginx, PostgreSQL, Redis-сессии и private MinIO. Добавлены Redis Streams broker, dispatcher и worker. PostgreSQL — источник истины: после сохранения оригинала в staging вложение и job/outbox записываются одной транзакцией; затем возвращается 202 queued.

Dispatcher публикует job в брокер с AOF/appendfsync=always. Worker сохраняет оригинал и варианты, затем атомарно фиксирует ready. Доставка at least once; состояние job, lease-token и постоянные ключи объектов защищают от дублей. Ответ на XADD подтверждает приём брокером, XACK — обработку потребителем.

Thumbnail — JPEG до 256×256, crop — JPEG 128×128, quality=85; optimized — WebP до 1280×1280, quality=80. Применяется EXIF orientation, прозрачность заменяется белым, EXIF/ICC удаляются; оригинал неизменен.

Настройки .env.example передаются через Compose: 2 обработчика, prefetch=1, 5 попыток с backoff/jitter, timeout 60 с, lease 75 с, 768 MiB на процесс. Файл ограничен 10 MiB и 40 млн пикселей. Общий лимит — 64 queued/processing; превышение даёт 429 с Retry-After. Cleanup удаляет ready-staging и просроченные failed/orphan-объекты, retention — сутки. Команды failed/replay и детали — в infra/async.md.

Доказательства критериев

Ниже pipeline — python -X utf8 student-tests/pipeline.py, edge_cases — python -X utf8 student-tests/edge_cases.py.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke, 202/queued, доступ, оригинал Команда smoke выше PASS, thumbnail соответствует контракту Проверка
Отдельные broker/worker и сохранность pipeline: остановка worker, рестарт API/broker Прежний ID становится ready Вывод
Ограниченные попытки и дубли pipeline 5 попыток → failed; дубль ready — no-op Вывод
Варианты, EXIF, alpha, размеры Unittest из infra/async.md, pipeline 5/5 OK; проверены варианты и checksum Проверка
Лимиты и постоянные ошибки edge_cases, unittest Невалидные файлы отклонены, timeout завершает процесс Вывод
Outbox: crash до publish pipeline --outbox-only: SIGKILL API Задание восстановлено без нового upload Вывод
Retry, failed-реестр и replay pipeline Replay с audit, ready повторять нельзя Вывод
Crash после S3, lease и cleanup pipeline, edge_cases Нет лишних вариантов; активный staging сохранён Вывод
Трек 1: нагрузка и backpressure python -X utf8 scripts/queue_experiment.py 18 замеров; при лимите 12 приняты 12/24; все принятые ID восстановлены Результаты

Эксперименты и отказы

Гипотеза: 2 обработчика ускорят обработку относительно 1; 4 дадут меньшую отдачу при большем RSS. Docker: 8 CPU, около 7.76 GiB RAM; worker — 2 CPU и 2 GiB. Профиль: concurrency 1/2/4, prefetch=1; JPEG 320×200, 1280×800, 2560×1600; по 18 файлов, 6 клиентов, 2 повтора, прогрев 6 файлами. Все 324 измеряемые загрузки успешны с первой попытки.

При concurrency=2 средний throughput — 0.53–0.62 файла/с, p95 до ready — 28.74–32.25 с, пиковый RSS — 357–423 MiB. При concurrency=4 — 0.52–0.58 файла/с и до 713 MiB. Оставлено 2 обработчика. Длительности, queue lag и замеры: CSV, JSON, методика. p50/p99 и фактическая загрузка CPU отдельно не измерялись.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
SIGKILL API до publish Outbox сохранит работу Прежний ID стал ready После запуска dispatcher/worker; потерь нет
Crash после S3 / до ACK Безопасный повтор Нет лишних объектов; ready не обрабатывается заново Незавершённая попытка — после lease 75 с и backoff; потерь нет
Перегрузка, worker остановлен Ограничение очереди 12 ответов 202, 12 ответов 429; после рестартов все принятые ID готовы Наблюдаемое опустошение 18.63 с; потерь нет

Ограничения и следующие шаги

Хранилища работают по одному экземпляру; потеря volumes не покрывается. Лимит очереди действует после приёма HTTP bytes. После истечения failed-retention нужен новый upload. Всего два повтора нагрузки; p95 по 18 файлам равен максимуму, RSS может повторно учитывать общие страницы. Новый чистый clone отдельно не разворачивался. Следующий шаг — более длинный эксперимент на разных изображениях и CPU-профилирование.