7.9 KiB
Отчёт — лабораторная 5
- Автор, группа: Долда Кирилл, БПИ2301
- Целевая оценка: 5, трек 1 «Очередь под перегрузкой»
- Commit/PR: TODO после публикации
- Источники, библиотеки и помощь ИИ: README лабораторной, FastAPI, SQLAlchemy, asyncpg, Alembic, RabbitMQ (aio-pika), PostgreSQL, Redis, MinIO, Pillow, Docker Compose.
Запуск из чистого clone
Требования: Docker Desktop, Docker Compose, Git, make, curl. Для локальной разработки — Python 3.13.
Основные образы: python:3.13-slim, postgres:16-alpine, redis:7-alpine, rabbitmq:3.12-management-alpine, nginx:alpine, pgsty/silo:latest, pgsty/mc:latest.
Подготовка, сборка, миграции и проверка:
cp .env.example .env
docker compose up -d --build
docker compose exec -T app1 alembic upgrade head
make check
make test
Архитектура и решения
Схема: клиент → Nginx → FastAPI (app1/app2) → PostgreSQL -> MinIO (исходники и варианты) → Outbox dispatcher → RabbitMQ → Worker → subprocess Pillow → MinIO + PostgreSQL. Redis используется для сессий.
Источник истины: PostgreSQL хранит состояние задания (queued, processing, ready, failed), ошибки и lease. MinIO хранит файлы; RabbitMQ доставляет задания, но не определяет их итоговый статус.
Транзакции и надёжность:
- API сохраняет исходник в MinIO, затем создаёт
AttachmentиOutboxEventв одной транзакции БД; возвращает HTTP202. - Диспетчер публикует события в RabbitMQ с publisher confirm. Если публикация прервалась, неопубликованное событие остаётся в outbox.
- Worker подтверждает сообщение (
ack) после фиксации результата. Повторная доставка уже готового задания безопасна (идемпотентность). - Для зависших задач используется lease; для временных ошибок — ограниченные повторы (до 5) с backoff и jitter, затем
failedс безопаснымerror_code.
Обработка: отдельный subprocess с таймаутом и ограничением памяти создаёт thumbnail JPEG 256×256, crop JPEG 128×128 и WebP.
Лимиты: загрузка до 10 МБ и 40 млн пикселей; WORKER_CONCURRENCY и WORKER_PREFETCH управляют параллелизмом. API принимает не более 100 активных (queued + processing) задач; при переполнении — HTTP 429.
Из lab4 перенесено: FastAPI, Nginx, PostgreSQL, Redis, MinIO, авторизация, ограничения загрузки, миграции, reconciler. Добавлено в lab5: RabbitMQ, worker, outbox, варианты изображений, retry, lease, prefetch и нагрузочные эксперименты.
Доказательства критериев
| Критерий | Команда / сценарий | Наблюдаемый результат | Доказательство |
|---|---|---|---|
| Публичный smoke | make test |
PASS | evidence/smoke-lab5.txt |
| Асинхронная обработка | Upload → Outbox → RabbitMQ → Worker | Задания переходят в ready |
app/worker.py, app/outbox_dispatcher.py |
Retry и failed |
Ошибка обработки, до 5 попыток | Реализовано; отдельный финальный лог не сохранён | app/worker.py |
| Варианты и изоляция | Обработка PNG/JPEG | Thumbnail, crop, WebP; subprocess с лимитами | app/image_processor.py |
| Outbox и идемпотентность | Crash после COMMIT до ack | REDELIVERED: True, CRASH TEST: PASSED |
Вывод ручного теста |
| Трек 1: три режима | benchmark_rss.py, 60 задач на режим |
60/60 ready в каждом, 0 failed |
benchmark_results/summary.csv, rss_*.csv |
| Трек 1: перегрузка | backpressure_test.py, 120 задач |
Recovery: PASSED, потерь нет |
benchmark_results/backpressure_queue.csv |
| Лимит приёма | Имитация 100/99 активных задач | HTTP 429 / разрешённая загрузка; PASSED |
Вывод ручного теста |
Эксперименты и отказы
Трек 1: очередь под перегрузкой
Гипотеза: большее число параллельных обработчиков повышает throughput, но увеличивает расход RAM. При перегрузке RabbitMQ должен накопить задания, а затем разобрать очередь без потерь.
Методика: app/load_test.py создаёт JPEG трёх размеров: 512×512 (~172 КБ), 1024×1024 (~688 КБ), 2048×2048 (~2751 КБ). На каждый режим — 60 задач (20 каждого размера). Время до ready и queue lag оценивались опросом БД; RSS — по процессам worker-контейнера.
| Concurrency / Prefetch | Ready / Failed | Время | Throughput | Пик RSS | p95 ready: 512 / 1024 / 2048, с |
|---|---|---|---|---|---|
| 1 / 1 | 60 / 0 | 39.34 с | 1.53 img/s | 214.80 МБ | 36.85 / 38.84 / 36.62 |
| 2 / 2 | 60 / 0 | 21.72 с | 2.76 img/s | 337.21 МБ | 16.67 / 17.15 / 20.43 |
| 4 / 4 | 60 / 0 | 11.67 с | 5.14 img/s | 536.34 МБ | 9.84 / 10.13 / 11.67 |
Средний наблюдаемый queue lag (512 / 1024 / 2048), с: 1/1 — 18.98 / 22.74 / 18.76; 2/2 — 7.42 / 9.58 / 11.14; 4/4 — 5.72 / 5.14 / 5.70.
Вывод: переход с 1/1 на 4/4 повысил throughput в 3.36 раза и сократил время обработки пакета примерно на 70%, но увеличил пиковый RSS в 2.5 раза. Режим 2/2 — компромисс.
Перегрузка (120 задач, 1/1): 120/120 ready, 0 ошибок; 79.06 с, 1.52 img/s. Максимум в очереди — 119, максимум unacked — 1. После обработки queued=0, unacked=0, Recovery: PASSED. Это подтверждает backpressure по prefetch и восстановление после всплеска нагрузки.
| Воздействие | Что наблюдали | Результат |
|---|---|---|
| Перегрузка 120 изображениями | Очередь выросла до 119, затем опустела | 120/120 готовы, потерь нет |
| Истечение lease | Зависшая задача возвращена в обработку | Ручная проверка пройдена |
| 100 активных задач | Новый upload отклонён | HTTP 429, тест PASSED |
Ограничения и следующие шаги
Подтверждено: три режима worker обработали все задания; при перегрузке очередь восстановилась без потерь; повторная доставка после COMMIT безопасна; ветки лимита 100/99 работают.