17 KiB
Отчёт — лабораторная 5
- Автор, группа: Кузнецова Марина, БВТ2304
- Целевая оценка: 5, Трек 1 — очередь под перегрузкой
- Commit/PR: пока пусто
- Использованные источники и помощь ИИ: официальная документация FastAPI, asyncpg, aio-pika, MinIO, Pillow, RabbitMQ reliability/confirms, Docker Compose. ИИ применялся для пояснения требований, обсуждения архитектурных решений и проверки корректности реализации.
Запуск из чистого clone
Требования: Python 3.13.15, Docker 26.1.1, git.
cp .env.example .env
docker compose --env-file .env up -d --build
Готовность: {"status":"ok"} на http://localhost:8080/health/ready. В логах migrate — migrations applied, Exited (0). В логах minio-init — bucket ready, Exited (0). Реплики api-1, api-2 — healthy. rabbitmq, worker, outbox, lease_checker — running.
Проверки:
python -X utf8 tests/smoke.py --base-url http://localhost:8080
python -X utf8 -m pytest student-tests/test_worker_crash.py -v
Сценарий защиты уровня 3:
docker compose --env-file .env stop worker
# upload sample.png → 202 queued
# message с attachment_ids → 201
# GET /content → 409; обычное сообщение → 201
docker compose --env-file .env restart api outbox rabbitmq
docker compose --env-file .env start worker
# GET /attachments/{id} → status=ready
docker compose --env-file .env restart rabbitmq
# GET /attachments/{id} → status=ready (задача не потеряна)
Трек 1:
python student-tests/queue_benchmark.py --prefetch 1 --size small --files 50 --output evidence/queue-prefetch1-small.json
python student-tests/queue_benchmark.py --prefetch 5 --size small --files 50 --output evidence/queue-prefetch5-small.json
python student-tests/queue_benchmark.py --prefetch 20 --size small --files 50 --output evidence/queue-prefetch20-small.json
python student-tests/queue_benchmark.py --prefetch 1 --size medium --files 30 --output evidence/queue-prefetch1-medium.json
python student-tests/queue_benchmark.py --prefetch 5 --size medium --files 30 --output evidence/queue-prefetch5-medium.json
python student-tests/queue_benchmark.py --prefetch 20 --size medium --files 30 --output evidence/queue-prefetch20-medium.json
python student-tests/queue_benchmark.py --prefetch 1 --size large --files 15 --output evidence/queue-prefetch1-large.json
python student-tests/queue_benchmark.py --prefetch 5 --size large --files 15 --output evidence/queue-prefetch5-large.json
python student-tests/queue_benchmark.py --prefetch 20 --size large --files 15 --output evidence/queue-prefetch20-large.json
python student-tests/queue_recovery.py --files 100 --output evidence/queue-recovery.json
Остановка:
docker compose down— без потери данных.docker compose down -v— удаление volumes.
Архитектура и решения
Client → HTTP (Nginx :8080) → api-1, api-2 (FastAPI/Uvicorn)
↓
PostgreSQL (users/chats/messages/idempotency_keys/attachments/jobs/outbox)
Valkey (sessions + cache)
MinIO (bucket attachments, приватный; staging/ + originals/ + варианты)
RabbitMQ (durable queue attachment.process.v1, dlq)
worker, outbox_relay, lease_checker (отдельные процессы)
Минимум lab4 сохранён: две реплики API за Nginx, PostgreSQL и Valkey, идемпотентность, failover, persistence, приватный S3, вложения. В lab5 добавлены RabbitMQ, worker, outbox, lease_checker, состояния вложений, асинхронная обработка изображений.
Приём файла. POST /chats/{chat_id}/attachments?filename= принимает сырые bytes, проверяет членство, filename, лимиты (10 MiB, 40 Мпикс), MIME по содержимому, пишет staging в MinIO. В одной транзакции создаёт attachments (status=queued), jobs, outbox, затем возвращает 202 queued. Остановка API после ответа работу не теряет.
Публикация и обработка. outbox_relay публикует job в durable очередь RabbitMQ, помечает published_at. worker берёт job (prefetch из env), переводит queued → processing, ставит lease_until, пишет оригинал и варианты, обновляет attachments.variants/variant_keys, ставит ready, удаляет staging. Ack — только после устойчивого эффекта. lease_checker возвращает зависшие processing в queued.
Варианты. thumbnail JPEG q85, fit 256×256, EXIF transpose, alpha→белый; crop JPEG q85, центр 128×128; optimized WebP q80, вписан 1280×1280 без увеличения.
Ошибки. Единый формат {"error": {"code", "message", "request_id"}}. Недоступность PostgreSQL, Valkey, MinIO, RabbitMQ → 503. Пользовательские ошибки (400/413/415/404/409) не превращаются в 500. Постоянные ошибки worker (UnidentifiedImageError, битые/truncated) → failed invalid_image + DLQ без retry. Временные → backoff с jitter до MAX_ATTEMPTS=5, затем failed retry_exhausted + DLQ.
Replay. POST /attachments/{id}/replay — только для failed; ready → 409 already_ready, queued/processing → 409 not_failed. Внутри FOR UPDATE, новый job+outbox, attempt=1.
Доказательства критериев «3»
| Критерий | Команда | Результат |
|---|---|---|
| Возможности lab4 сохранены | docker compose ps |
api-1, api-2 healthy; postgres, valkey, minio, rabbitmq healthy; worker, outbox, lease_checker Up; lb Up |
| Upload → 202 queued | сценарий защиты, шаг 4 | upload=202, status=queued |
| 202 только после durable staging + job | код app/api/attachments.py |
staging в S3 → create_attachment_with_job_and_outbox (одна транзакция) → 202 |
| broker и worker отдельно, durable, at-least-once | compose.yaml, app/broker.py |
сервисы rabbitmq, worker; durable=True, DeliveryMode.PERSISTENT, ack после handler |
| queued/processing/ready/failed | 013_jobs.sql, app/worker.py, app/api/attachments.py |
att_status=queued в сценарии, final_status=ready |
| thumbnail 256×160, оригинал неизменен | сценарий защиты, шаги 9–11 | thumbnail 256×160 image/jpeg; SHA-256 оригинала = SHA-256 fixture 99EA…BD75 |
| Ограниченный retry, финальный failed с error_code | MAX_ATTEMPTS=5, app/worker.py |
fail_attachment(...,"retry_exhausted") + DLQ |
| Повтор не создаёт второй набор вариантов | app/worker.py |
ключи thumbnails/{chat}/{id}.jpg детерминированы; if att["status"]=="ready": return |
| Остановка worker → content 409, остальное работает | сценарий защиты, шаги 4–7 | content_status=409, other_message_id получен |
| Рестарт broker с volume сохраняет работу | docker compose restart rabbitmq + GET |
status=ready после рестарта |
| Публичный smoke | python -X utf8 tests/smoke.py --base-url http://localhost:8080 |
PASS: lab5 public API scenario |
Доказательства критериев «4»
| Критерий | Команда | Результат |
|---|---|---|
| crop 128×128 и optimized WebP | сценарий защиты | crop 128×128 image/jpeg, optimized 320×200 image/webp |
| Параметры качества/удаления EXIF описаны | app/worker.py |
thumbnail JPEG q85, fit 256×256, EXIF transpose, alpha→белый; crop JPEG q85, центр 128×128; optimized WebP q80, вписан 1280×1280 без увеличения |
| Невалидные/огромные изображения ограничены | app/api/attachments.py |
MAX_BYTES=10 MiB, MAX_PIXELS=40M; worker обрабатывает только провалидированные |
| Транзакция attachment + job + outbox | storage.create_attachment_with_job_and_outbox |
одна транзакция; разрыв COMMIT↔publish закрыт |
| Различение постоянных/временных ошибок | app/worker.py, is_permanent |
битые → failed invalid_image без retry; временные → backoff+jitter до MAX_ATTEMPTS, затем retry_exhausted + DLQ |
| Replay failed | POST /attachments/{id}/replay |
ready → 409; failed → 202 и ready; evidence/replay.txt |
| Worker crash до ack | python -m pytest student-tests/test_worker_crash.py -v |
1 passed; variants совпадают; evidence/worker-crash.txt |
| Timeout/lease для зависшего processing | app/lease_checker.py |
get_expired_jobs, reset_job_status |
| Ограниченная конкуренция/prefetch | app/broker.py |
PREFETCH_COUNT из env |
| Очистка staging после безопасной фиксации | app/worker.py |
s3.remove(staging_key) после complete_attachment_ready |
| DLQ/реестр failed | app/worker.py |
publish_job(job, is_dlq=True) + attachments.status='failed' |
Replay: att_id=559d9cab-90a0-4baf-b36f-355ad93ffae2, chat_id=ce16016a-c647-4d87-8697-1061f25ff47c, POST /replay на ready → 409, после failed/simulated_failure → 202 → ready.
Worker crash: файл готов → удалили thumbnail из S3 → attachments.status='failed', error_code='ack_lost' → POST /replay → 202 → ready; variants совпадают.
Трек 1: очередь под перегрузкой
Гипотеза. Увеличение PREFETCH_COUNT повышает throughput на малых изображениях, но на больших (4000×3000) выигрыш ограничен CPU и памятью worker; при перегрузке queue lag растёт, потому что API не делает backpressure.
Методика. Docker Desktop (Compose v2) на Windows. Лимиты: worker 1 CPU / 512 MiB, API 0.5 CPU / 256 MiB, RabbitMQ 0.5 CPU / 256 MiB. Размеры: small 320×200, medium 1280×800, large 4000×3000 PNG. Prefetch: 1, 5, 20. Файлов на прогон: small 50, medium 30, large 15. Метрики: throughput, queue lag (t_processing - t_upload, p50/p95/p99), time-to-ready (t_ready - t_upload, p50/p95/p99), RSS worker. Скрипт: student-tests/queue_benchmark.py, вывод в evidence/queue-prefetch{P}-{size}.json. Recovery: student-tests/queue_recovery.py, 100 medium при остановленном worker, вывод в evidence/queue-recovery.json.
Результаты:
| prefetch | size | files ok | throughput files/s | queue lag p95, s | time-to-ready p95, s | worker RSS, MiB |
|---|---|---|---|---|---|---|
| 1 | small | 50/50 | 5.56 | 5.79 | 5.82 | 37.9 |
| 5 | small | 50/50 | 5.98 | 5.04 | 5.21 | 43.8 |
| 20 | small | 50/50 | 5.84 | 5.35 | 5.39 | 42.5 |
| 1 | medium | 30/30 | 5.02 | 3.04 | 3.08 | 50.6 |
| 5 | medium | 30/30 | 4.76 | 3.30 | 3.52 | 114.0 |
| 20 | medium | 30/30 | 4.89 | 2.95 | 3.43 | 112.6 |
| 1 | large | 15/15 | 1.36 | 7.28 | 7.93 | 97.5 |
| 5 | large | 15/15 | 0.83 | 11.22 | 14.84 | 511.7 |
| 20 | large | 0/15 (таймаут скрипта) | — | — | — | — |
Наблюдения. На small оптимум prefetch=5: throughput 5.98 против 5.56 (prefetch=1) и 5.84 (prefetch=20), queue lag и time-to-ready минимальны (5.04 / 5.21 с). На medium prefetch=1 даёт лучший throughput (5.02) и минимальный RSS (50.6 MiB); prefetch=5 и 20 дают RSS 112–114 MiB без выигрыша. На large prefetch=1 даёт throughput 1.36 files/s и RSS 97.5 MiB; prefetch=5 — throughput 0.83 и RSS 511.7 MiB (почти лимит 512 MiB); prefetch=20 не завершил 15 файлов за 600 с — скрипт зафиксировал files_ok=0, по логам worker доработал после таймаута, OOMKilled: false. Компромисс: prefetch=1 — минимальный RSS; prefetch=5 — лучший throughput на small; prefetch=20 не даёт выигрыша ни на одном размере. Для этого стенда оптимум — prefetch 1–5 в зависимости от размера.
Backpressure. Не реализован: API возвращает 202 независимо от глубины очереди. Цена — queue lag растёт при накоплении; ограничение — только PREFETCH_COUNT и память worker.
Восстановление после перегрузки. 100 medium загружены при остановленном worker, очередь копилась, затем worker запущен: 100/100 обработаны за 22.749 с. См. evidence/queue-recovery.json.
Ограничения Трека 1. Closed-loop клиент, один Docker-host, шум от Docker Desktop, prefetch меняется через пересоздание worker (не на лету), large-прогоны короткие (15 файлов), для prefetch=20 large — таймаут скрипта. Числа — сравнение конфигураций на одном стенде, не production SLA.
Ограничения и следующие шаги
Что выдерживается:
- Перезапуск API, broker и worker с сохранением volumes: принятая работа не теряется, задача доходит до ready.
- Остановка worker: accepted-задачи остаются в
queued, content отдаёт 409, остальные сообщения работают. - Рестарт RabbitMQ с volume:
status=readyсохраняется. - Повторная доставка: набор вариантов не размножается, ключи объектов детерминированы.
- Постоянные ошибки worker:
failed invalid_image+ DLQ, без бесконечного retry. - Replay failed:
failed → queued → ready, ready не перезаписывается. - Недоступность PostgreSQL, Valkey, MinIO или RabbitMQ:
/health/ready→ 503. - Пользовательские ошибки вложений (400/413/415/404/409) не превращаются в 500.
Что не выдерживается:
- Потеря Docker-хоста целиком: все контейнеры на одном узле.
- Потеря узла PostgreSQL: без репликации БД не выживет.
- Потеря узла Nginx: LB — SPOF.
- Потеря узла MinIO: без репликации S3 не выживет.
- Потеря узла RabbitMQ: durable очередь на одном узле, без кластера.
outbox_relayиlease_checkerв одном экземпляре — SPOF для публикации и восстановления зависших задач.- Backpressure не реализован: API принимает upload всегда, очередь может расти.
Учебные упрощения:
- Все контейнеры на одном Docker-хосте.
- Nginx без активных healthcheck (только пассивные по max_fails).
- HTTP без TLS
- Миграции не поддерживают rollback.
- Ключ эффекта
(attachment_id, pipeline_version, variant)обеспечен детерминированными ключами объектов, а не отдельной таблицей; повторная доставка перезаписывает те же объекты. - Worker crash-тест имитирует потерю ack через удаление объекта в S3 и
UPDATE status='failed', а не черезSIGKILLв моментack.