Files

7.9 KiB
Raw Permalink Blame History

Отчёт — лабораторная 5

  • Автор, группа: Долда Кирилл, БПИ2301
  • Целевая оценка: 5, трек 1 «Очередь под перегрузкой»
  • Commit/PR: TODO после публикации
  • Источники, библиотеки и помощь ИИ: README лабораторной, FastAPI, SQLAlchemy, asyncpg, Alembic, RabbitMQ (aio-pika), PostgreSQL, Redis, MinIO, Pillow, Docker Compose.

Запуск из чистого clone

Требования: Docker Desktop, Docker Compose, Git, make, curl. Для локальной разработки — Python 3.13.

Основные образы: python:3.13-slim, postgres:16-alpine, redis:7-alpine, rabbitmq:3.12-management-alpine, nginx:alpine, pgsty/silo:latest, pgsty/mc:latest.

Подготовка, сборка, миграции и проверка:

cp .env.example .env
docker compose up -d --build
docker compose exec -T app1 alembic upgrade head
make check
make test

Архитектура и решения

Схема: клиент → Nginx → FastAPI (app1/app2) → PostgreSQL -> MinIO (исходники и варианты) → Outbox dispatcher → RabbitMQ → Worker → subprocess Pillow → MinIO + PostgreSQL. Redis используется для сессий.

Источник истины: PostgreSQL хранит состояние задания (queued, processing, ready, failed), ошибки и lease. MinIO хранит файлы; RabbitMQ доставляет задания, но не определяет их итоговый статус.

Транзакции и надёжность:

  • API сохраняет исходник в MinIO, затем создаёт Attachment и OutboxEvent в одной транзакции БД; возвращает HTTP 202.
  • Диспетчер публикует события в RabbitMQ с publisher confirm. Если публикация прервалась, неопубликованное событие остаётся в outbox.
  • Worker подтверждает сообщение (ack) после фиксации результата. Повторная доставка уже готового задания безопасна (идемпотентность).
  • Для зависших задач используется lease; для временных ошибок — ограниченные повторы (до 5) с backoff и jitter, затем failed с безопасным error_code.

Обработка: отдельный subprocess с таймаутом и ограничением памяти создаёт thumbnail JPEG 256×256, crop JPEG 128×128 и WebP.

Лимиты: загрузка до 10 МБ и 40 млн пикселей; WORKER_CONCURRENCY и WORKER_PREFETCH управляют параллелизмом. API принимает не более 100 активных (queued + processing) задач; при переполнении — HTTP 429.

Из lab4 перенесено: FastAPI, Nginx, PostgreSQL, Redis, MinIO, авторизация, ограничения загрузки, миграции, reconciler. Добавлено в lab5: RabbitMQ, worker, outbox, варианты изображений, retry, lease, prefetch и нагрузочные эксперименты.

Доказательства критериев

Критерий Команда / сценарий Наблюдаемый результат Доказательство
Публичный smoke make test PASS evidence/smoke-lab5.txt
Асинхронная обработка Upload → Outbox → RabbitMQ → Worker Задания переходят в ready app/worker.py, app/outbox_dispatcher.py
Retry и failed Ошибка обработки, до 5 попыток Реализовано; отдельный финальный лог не сохранён app/worker.py
Варианты и изоляция Обработка PNG/JPEG Thumbnail, crop, WebP; subprocess с лимитами app/image_processor.py
Outbox и идемпотентность Crash после COMMIT до ack REDELIVERED: True, CRASH TEST: PASSED Вывод ручного теста
Трек 1: три режима benchmark_rss.py, 60 задач на режим 60/60 ready в каждом, 0 failed benchmark_results/summary.csv, rss_*.csv
Трек 1: перегрузка backpressure_test.py, 120 задач Recovery: PASSED, потерь нет benchmark_results/backpressure_queue.csv
Лимит приёма Имитация 100/99 активных задач HTTP 429 / разрешённая загрузка; PASSED Вывод ручного теста

Эксперименты и отказы

Трек 1: очередь под перегрузкой

Гипотеза: большее число параллельных обработчиков повышает throughput, но увеличивает расход RAM. При перегрузке RabbitMQ должен накопить задания, а затем разобрать очередь без потерь.

Методика: app/load_test.py создаёт JPEG трёх размеров: 512×512 (~172 КБ), 1024×1024 (~688 КБ), 2048×2048 (~2751 КБ). На каждый режим — 60 задач (20 каждого размера). Время до ready и queue lag оценивались опросом БД; RSS — по процессам worker-контейнера.

Concurrency / Prefetch Ready / Failed Время Throughput Пик RSS p95 ready: 512 / 1024 / 2048, с
1 / 1 60 / 0 39.34 с 1.53 img/s 214.80 МБ 36.85 / 38.84 / 36.62
2 / 2 60 / 0 21.72 с 2.76 img/s 337.21 МБ 16.67 / 17.15 / 20.43
4 / 4 60 / 0 11.67 с 5.14 img/s 536.34 МБ 9.84 / 10.13 / 11.67

Средний наблюдаемый queue lag (512 / 1024 / 2048), с: 1/1 — 18.98 / 22.74 / 18.76; 2/2 — 7.42 / 9.58 / 11.14; 4/4 — 5.72 / 5.14 / 5.70.

Вывод: переход с 1/1 на 4/4 повысил throughput в 3.36 раза и сократил время обработки пакета примерно на 70%, но увеличил пиковый RSS в 2.5 раза. Режим 2/2 — компромисс.

Перегрузка (120 задач, 1/1): 120/120 ready, 0 ошибок; 79.06 с, 1.52 img/s. Максимум в очереди — 119, максимум unacked — 1. После обработки queued=0, unacked=0, Recovery: PASSED. Это подтверждает backpressure по prefetch и восстановление после всплеска нагрузки.

Воздействие Что наблюдали Результат
Перегрузка 120 изображениями Очередь выросла до 119, затем опустела 120/120 готовы, потерь нет
Истечение lease Зависшая задача возвращена в обработку Ручная проверка пройдена
100 активных задач Новый upload отклонён HTTP 429, тест PASSED

Ограничения и следующие шаги

Подтверждено: три режима worker обработали все задания; при перегрузке очередь восстановилась без потерь; повторная доставка после COMMIT безопасна; ветки лимита 100/99 работают.