Files
mtusi2026lab5/REPORT.md

17 KiB
Raw Permalink Blame History

Отчёт — лабораторная 5

  • Автор, группа: Кузнецова Марина, БВТ2304
  • Целевая оценка: 5, Трек 1 — очередь под перегрузкой
  • Commit/PR: пока пусто
  • Использованные источники и помощь ИИ: официальная документация FastAPI, asyncpg, aio-pika, MinIO, Pillow, RabbitMQ reliability/confirms, Docker Compose. ИИ применялся для пояснения требований, обсуждения архитектурных решений и проверки корректности реализации.

Запуск из чистого clone

Требования: Python 3.13.15, Docker 26.1.1, git.

cp .env.example .env
docker compose --env-file .env up -d --build

Готовность: {"status":"ok"} на http://localhost:8080/health/ready. В логах migrate — migrations applied, Exited (0). В логах minio-init — bucket ready, Exited (0). Реплики api-1, api-2 — healthy. rabbitmq, worker, outbox, lease_checker — running.

Проверки:

python -X utf8 tests/smoke.py --base-url http://localhost:8080
python -X utf8 -m pytest student-tests/test_worker_crash.py -v

Сценарий защиты уровня 3:

docker compose --env-file .env stop worker
# upload sample.png → 202 queued
# message с attachment_ids → 201
# GET /content → 409; обычное сообщение → 201
docker compose --env-file .env restart api outbox rabbitmq
docker compose --env-file .env start worker
# GET /attachments/{id} → status=ready
docker compose --env-file .env restart rabbitmq
# GET /attachments/{id} → status=ready (задача не потеряна)

Трек 1:

python student-tests/queue_benchmark.py --prefetch 1  --size small  --files 50 --output evidence/queue-prefetch1-small.json
python student-tests/queue_benchmark.py --prefetch 5  --size small  --files 50 --output evidence/queue-prefetch5-small.json
python student-tests/queue_benchmark.py --prefetch 20 --size small  --files 50 --output evidence/queue-prefetch20-small.json
python student-tests/queue_benchmark.py --prefetch 1  --size medium --files 30 --output evidence/queue-prefetch1-medium.json
python student-tests/queue_benchmark.py --prefetch 5  --size medium --files 30 --output evidence/queue-prefetch5-medium.json
python student-tests/queue_benchmark.py --prefetch 20 --size medium --files 30 --output evidence/queue-prefetch20-medium.json
python student-tests/queue_benchmark.py --prefetch 1  --size large  --files 15 --output evidence/queue-prefetch1-large.json
python student-tests/queue_benchmark.py --prefetch 5  --size large  --files 15 --output evidence/queue-prefetch5-large.json
python student-tests/queue_benchmark.py --prefetch 20 --size large  --files 15 --output evidence/queue-prefetch20-large.json
python student-tests/queue_recovery.py --files 100 --output evidence/queue-recovery.json

Остановка:

  • docker compose down — без потери данных.
  • docker compose down -v — удаление volumes.

Архитектура и решения

Client → HTTP (Nginx :8080) → api-1, api-2 (FastAPI/Uvicorn)
                                  ↓
                           PostgreSQL (users/chats/messages/idempotency_keys/attachments/jobs/outbox)
                           Valkey (sessions + cache)
                           MinIO (bucket attachments, приватный; staging/ + originals/ + варианты)
                           RabbitMQ (durable queue attachment.process.v1, dlq)
                           worker, outbox_relay, lease_checker (отдельные процессы)

Минимум lab4 сохранён: две реплики API за Nginx, PostgreSQL и Valkey, идемпотентность, failover, persistence, приватный S3, вложения. В lab5 добавлены RabbitMQ, worker, outbox, lease_checker, состояния вложений, асинхронная обработка изображений.

Приём файла. POST /chats/{chat_id}/attachments?filename= принимает сырые bytes, проверяет членство, filename, лимиты (10 MiB, 40 Мпикс), MIME по содержимому, пишет staging в MinIO. В одной транзакции создаёт attachments (status=queued), jobs, outbox, затем возвращает 202 queued. Остановка API после ответа работу не теряет.

Публикация и обработка. outbox_relay публикует job в durable очередь RabbitMQ, помечает published_at. worker берёт job (prefetch из env), переводит queued → processing, ставит lease_until, пишет оригинал и варианты, обновляет attachments.variants/variant_keys, ставит ready, удаляет staging. Ack — только после устойчивого эффекта. lease_checker возвращает зависшие processing в queued.

Варианты. thumbnail JPEG q85, fit 256×256, EXIF transpose, alpha→белый; crop JPEG q85, центр 128×128; optimized WebP q80, вписан 1280×1280 без увеличения.

Ошибки. Единый формат {"error": {"code", "message", "request_id"}}. Недоступность PostgreSQL, Valkey, MinIO, RabbitMQ → 503. Пользовательские ошибки (400/413/415/404/409) не превращаются в 500. Постоянные ошибки worker (UnidentifiedImageError, битые/truncated) → failed invalid_image + DLQ без retry. Временные → backoff с jitter до MAX_ATTEMPTS=5, затем failed retry_exhausted + DLQ.

Replay. POST /attachments/{id}/replay — только для failed; ready → 409 already_ready, queued/processing → 409 not_failed. Внутри FOR UPDATE, новый job+outbox, attempt=1.

Доказательства критериев «3»

Критерий Команда Результат
Возможности lab4 сохранены docker compose ps api-1, api-2 healthy; postgres, valkey, minio, rabbitmq healthy; worker, outbox, lease_checker Up; lb Up
Upload → 202 queued сценарий защиты, шаг 4 upload=202, status=queued
202 только после durable staging + job код app/api/attachments.py staging в S3 → create_attachment_with_job_and_outbox (одна транзакция) → 202
broker и worker отдельно, durable, at-least-once compose.yaml, app/broker.py сервисы rabbitmq, worker; durable=True, DeliveryMode.PERSISTENT, ack после handler
queued/processing/ready/failed 013_jobs.sql, app/worker.py, app/api/attachments.py att_status=queued в сценарии, final_status=ready
thumbnail 256×160, оригинал неизменен сценарий защиты, шаги 9–11 thumbnail 256×160 image/jpeg; SHA-256 оригинала = SHA-256 fixture 99EA…BD75
Ограниченный retry, финальный failed с error_code MAX_ATTEMPTS=5, app/worker.py fail_attachment(...,"retry_exhausted") + DLQ
Повтор не создаёт второй набор вариантов app/worker.py ключи thumbnails/{chat}/{id}.jpg детерминированы; if att["status"]=="ready": return
Остановка worker → content 409, остальное работает сценарий защиты, шаги 4–7 content_status=409, other_message_id получен
Рестарт broker с volume сохраняет работу docker compose restart rabbitmq + GET status=ready после рестарта
Публичный smoke python -X utf8 tests/smoke.py --base-url http://localhost:8080 PASS: lab5 public API scenario

Доказательства критериев «4»

Критерий Команда Результат
crop 128×128 и optimized WebP сценарий защиты crop 128×128 image/jpeg, optimized 320×200 image/webp
Параметры качества/удаления EXIF описаны app/worker.py thumbnail JPEG q85, fit 256×256, EXIF transpose, alpha→белый; crop JPEG q85, центр 128×128; optimized WebP q80, вписан 1280×1280 без увеличения
Невалидные/огромные изображения ограничены app/api/attachments.py MAX_BYTES=10 MiB, MAX_PIXELS=40M; worker обрабатывает только провалидированные
Транзакция attachment + job + outbox storage.create_attachment_with_job_and_outbox одна транзакция; разрыв COMMIT↔publish закрыт
Различение постоянных/временных ошибок app/worker.py, is_permanent битые → failed invalid_image без retry; временные → backoff+jitter до MAX_ATTEMPTS, затем retry_exhausted + DLQ
Replay failed POST /attachments/{id}/replay ready → 409; failed → 202 и ready; evidence/replay.txt
Worker crash до ack python -m pytest student-tests/test_worker_crash.py -v 1 passed; variants совпадают; evidence/worker-crash.txt
Timeout/lease для зависшего processing app/lease_checker.py get_expired_jobs, reset_job_status
Ограниченная конкуренция/prefetch app/broker.py PREFETCH_COUNT из env
Очистка staging после безопасной фиксации app/worker.py s3.remove(staging_key) после complete_attachment_ready
DLQ/реестр failed app/worker.py publish_job(job, is_dlq=True) + attachments.status='failed'

Replay: att_id=559d9cab-90a0-4baf-b36f-355ad93ffae2, chat_id=ce16016a-c647-4d87-8697-1061f25ff47c, POST /replay на ready → 409, после failed/simulated_failure → 202 → ready.

Worker crash: файл готов → удалили thumbnail из S3 → attachments.status='failed', error_code='ack_lost' → POST /replay → 202 → ready; variants совпадают.

Трек 1: очередь под перегрузкой

Гипотеза. Увеличение PREFETCH_COUNT повышает throughput на малых изображениях, но на больших (4000×3000) выигрыш ограничен CPU и памятью worker; при перегрузке queue lag растёт, потому что API не делает backpressure.

Методика. Docker Desktop (Compose v2) на Windows. Лимиты: worker 1 CPU / 512 MiB, API 0.5 CPU / 256 MiB, RabbitMQ 0.5 CPU / 256 MiB. Размеры: small 320×200, medium 1280×800, large 4000×3000 PNG. Prefetch: 1, 5, 20. Файлов на прогон: small 50, medium 30, large 15. Метрики: throughput, queue lag (t_processing - t_upload, p50/p95/p99), time-to-ready (t_ready - t_upload, p50/p95/p99), RSS worker. Скрипт: student-tests/queue_benchmark.py, вывод в evidence/queue-prefetch{P}-{size}.json. Recovery: student-tests/queue_recovery.py, 100 medium при остановленном worker, вывод в evidence/queue-recovery.json.

Результаты:

prefetch size files ok throughput files/s queue lag p95, s time-to-ready p95, s worker RSS, MiB
1 small 50/50 5.56 5.79 5.82 37.9
5 small 50/50 5.98 5.04 5.21 43.8
20 small 50/50 5.84 5.35 5.39 42.5
1 medium 30/30 5.02 3.04 3.08 50.6
5 medium 30/30 4.76 3.30 3.52 114.0
20 medium 30/30 4.89 2.95 3.43 112.6
1 large 15/15 1.36 7.28 7.93 97.5
5 large 15/15 0.83 11.22 14.84 511.7
20 large 0/15 (таймаут скрипта) — — — —

Наблюдения. На small оптимум prefetch=5: throughput 5.98 против 5.56 (prefetch=1) и 5.84 (prefetch=20), queue lag и time-to-ready минимальны (5.04 / 5.21 с). На medium prefetch=1 даёт лучший throughput (5.02) и минимальный RSS (50.6 MiB); prefetch=5 и 20 дают RSS 112–114 MiB без выигрыша. На large prefetch=1 даёт throughput 1.36 files/s и RSS 97.5 MiB; prefetch=5 — throughput 0.83 и RSS 511.7 MiB (почти лимит 512 MiB); prefetch=20 не завершил 15 файлов за 600 с — скрипт зафиксировал files_ok=0, по логам worker доработал после таймаута, OOMKilled: false. Компромисс: prefetch=1 — минимальный RSS; prefetch=5 — лучший throughput на small; prefetch=20 не даёт выигрыша ни на одном размере. Для этого стенда оптимум — prefetch 1–5 в зависимости от размера.

Backpressure. Не реализован: API возвращает 202 независимо от глубины очереди. Цена — queue lag растёт при накоплении; ограничение — только PREFETCH_COUNT и память worker.

Восстановление после перегрузки. 100 medium загружены при остановленном worker, очередь копилась, затем worker запущен: 100/100 обработаны за 22.749 с. См. evidence/queue-recovery.json.

Ограничения Трека 1. Closed-loop клиент, один Docker-host, шум от Docker Desktop, prefetch меняется через пересоздание worker (не на лету), large-прогоны короткие (15 файлов), для prefetch=20 large — таймаут скрипта. Числа — сравнение конфигураций на одном стенде, не production SLA.

Ограничения и следующие шаги

Что выдерживается:

  • Перезапуск API, broker и worker с сохранением volumes: принятая работа не теряется, задача доходит до ready.
  • Остановка worker: accepted-задачи остаются в queued, content отдаёт 409, остальные сообщения работают.
  • Рестарт RabbitMQ с volume: status=ready сохраняется.
  • Повторная доставка: набор вариантов не размножается, ключи объектов детерминированы.
  • Постоянные ошибки worker: failed invalid_image + DLQ, без бесконечного retry.
  • Replay failed: failed → queued → ready, ready не перезаписывается.
  • Недоступность PostgreSQL, Valkey, MinIO или RabbitMQ: /health/ready → 503.
  • Пользовательские ошибки вложений (400/413/415/404/409) не превращаются в 500.

Что не выдерживается:

  • Потеря Docker-хоста целиком: все контейнеры на одном узле.
  • Потеря узла PostgreSQL: без репликации БД не выживет.
  • Потеря узла Nginx: LB — SPOF.
  • Потеря узла MinIO: без репликации S3 не выживет.
  • Потеря узла RabbitMQ: durable очередь на одном узле, без кластера.
  • outbox_relay и lease_checker в одном экземпляре — SPOF для публикации и восстановления зависших задач.
  • Backpressure не реализован: API принимает upload всегда, очередь может расти.

Учебные упрощения:

  • Все контейнеры на одном Docker-хосте.
  • Nginx без активных healthcheck (только пассивные по max_fails).
  • HTTP без TLS
  • Миграции не поддерживают rollback.
  • Ключ эффекта (attachment_id, pipeline_version, variant) обеспечен детерминированными ключами объектов, а не отдельной таблицей; повторная доставка перезаписывает те же объекты.
  • Worker crash-тест имитирует потерю ack через удаление объекта в S3 и UPDATE status='failed', а не через SIGKILL в момент ack.