17 KiB
Отчёт — лабораторная 5
- Автор, группа: Дадайкин Андрей, БВТ2302
- Целевая оценка: 5; трек: 1 — очередь под перегрузкой
- Commit/PR: локальная работа, не опубликована
- Использованные источники, библиотеки и помощь ИИ: README и контракты курса; реализация продолжает lab4; Flask, psycopg, Argon2id, boto3, Pillow, Redis Streams, PostgreSQL, RustFS, HAProxy.
Запуск из чистого clone
Нужны Docker Engine/Desktop с Compose v2 и Python 3.9+ на хосте для команд проверок. Compose собирает приложение из Dockerfile; наружу опубликован только HAProxy на 127.0.0.1:8081. Теги образов зафиксированы в compose.yaml; Python-образ приложения — python:3.12.12-slim, зависимости приложения — в requirements.lock.
python scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build --scale api=2 --wait --wait-timeout 180
python scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://localhost:8081
bootstrap.py создаёт локальные secrets и .env с правами доступа, не печатая значения. Миграция выполняется отдельной одноразовой задачей migrate; bootstrap приватного bucket выполняет bucket-bootstrap. Тесты используют http://localhost:8081. Для контрольных отказов и исследования:
python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8081
python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url http://localhost:8081
python tests/worker_outage.py --base-url http://localhost:8081
python tests/broker_restart.py --base-url http://localhost:8081
python tests/retry_replay.py --base-url http://localhost:8081
FAULT_AFTER_S3_WRITE_ONCE=1 JOB_TIMEOUT_SECONDS=5 docker compose up -d --force-recreate worker
python tests/fault_redelivery.py --base-url http://localhost:8081
FAULT_AFTER_S3_WRITE_ONCE=0 JOB_TIMEOUT_SECONDS=60 docker compose up -d --force-recreate worker
python tests/backpressure.py --base-url http://localhost:8081
Трек нагрузки запускается трижды (concurrency 1, 2, 4):
WORKER_CONCURRENCY=1 docker compose up -d --force-recreate worker
python tests/pipeline_load.py --base-url http://localhost:8081 --count 12 --profile mixed --upload-concurrency 6 --worker-concurrency 1 --output evidence/pipeline-load-c1.json
WORKER_CONCURRENCY=2 docker compose up -d --force-recreate worker
python tests/pipeline_load.py --base-url http://localhost:8081 --count 12 --profile mixed --upload-concurrency 6 --worker-concurrency 2 --output evidence/pipeline-load-c2.json
WORKER_CONCURRENCY=4 docker compose up -d --force-recreate worker
python tests/pipeline_load.py --base-url http://localhost:8081 --count 12 --profile mixed --upload-concurrency 6 --worker-concurrency 4 --output evidence/pipeline-load-c4.json
Архитектура и решения
клиент → HAProxy → API × 2 → PostgreSQL
├── Redis: кэш профиля
└── RustFS/S3: staging, оригиналы, варианты
PostgreSQL outbox → Redis Streams/AOF → отдельный worker → RustFS/S3
Сохранены маршруты и поведение lab4. Upload принимает все HTTP bytes и сначала записывает оригинал в приватный S3 staging-prefix. Затем в одной PostgreSQL-транзакции создаются metadata со статусом queued и запись attachment_jobs; только после commit API возвращает 202. Если API остановится после этого ответа, durable staging и намерение остаются. Worker обслуживает PostgreSQL outbox: после успешного XADD отмечает запись опубликованной. Неподтверждённые публикации и опубликованные записи с истёкшим временем повтора отправляются снова; Redis Streams доставляет at least once, а не exactly once.
Worker получает только ID job и вложения. Он блокирует запись job, получает lease, проверяет исходник и пишет оригинал/варианты по детерминированным ключам. Для pipeline v1 ключи вариантов имеют префикс variants/v1//. Ready и список вариантов фиксируются в PostgreSQL только после завершения S3-записей; после этого удаляется staging и подтверждается сообщение. Дубль уже ready job — no-op. Потерянный worker восстанавливается по истёкшему lease; попытки ограничены JOB_MAX_ATTEMPTS=5, задержка повторов растёт экспоненциально и содержит jitter. Финальная ошибка сохраняется в metadata/audit и Redis Stream attachment-jobs-dlq; отдельная команда replay принимает только failed job.
Thumbnail — JPEG, вписан в 256×256 без увеличения, сохраняет пропорции, применяет EXIF orientation, alpha композитится на белый. Crop — центрированный JPEG 128×128. Optimized — WebP, вписанный в 1280×1280 без увеличения, качество 82, EXIF исключён. Проверяются лимиты upload 10 MiB и декодирования 40 млн пикселей; worker ограничен контейнерным лимитом памяти и WORKER_CONCURRENCY. S3 I/O имеет connect/read timeout; зависшая job получает lease timeout и ограниченно переходит к повторам.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Офлайн-контракт и синтаксис | python scripts/check_contract.py |
PASS | вывод команды |
| Полная OpenAPI/JSON Schema | python scripts/validate_openapi.py |
PASS | вывод команды |
| Compose, версии, миграция и готовность | docker compose up -d --scale api=2 --wait |
PASS: PostgreSQL, Redis, брокер, RustFS, 2 API, HAProxy и worker healthy; миграция и bucket bootstrap завершились | compose.yaml |
| Публичный smoke | python -X utf8 tests/smoke.py |
PASS: API flow lab1–5, 202 upload, ready, байты/SHA-256 оригинала, JPEG thumbnail 256×160 | tests/smoke.py |
| Durable staging и 202 | python tests/worker_outage.py |
PASS: worker остановлен, upload вернул 202; после рестарта API та же запись оставалась queued; после старта worker стала ready | evidence/worker-outage.json |
| Отдельные broker/worker и сохранение брокера | python tests/broker_restart.py |
PASS: опубликованное сообщение пережило рестарт Redis с AOF volume; stream длина 3 до/после; задача дошла до ready | evidence/broker-restart.json |
| At-least-once, side effect до ack | python tests/fault_redelivery.py |
PASS: после записи S3 worker аварийно упал (fault injection); перезапущенный worker повторно обработал ту же job без дублей вариантов | evidence/fault-redelivery.json |
| Ограниченные retry, DLQ и replay | python tests/retry_replay.py |
PASS: отсутствующий staging дал retry_exhausted после 5 попыток; попало в DLQ; после восстановления staging явный replay завершился ready |
evidence/retry-replay.json |
| Backpressure и ограничение приёма | python tests/backpressure.py |
PASS: при заполненной очереди (лимит 1) второй upload отклонен (503); первый успешно завершился | evidence/backpressure.json |
| Все сервисы и данные переживают рестарт | python tests/resilience.py --mode persistence |
PASS: прежний bearer token, чат, сообщение и вложение сохранились | evidence/ |
| Отказ API-реплики | python tests/resilience.py --mode failover |
PASS: до отказа 2 instance; переключение за 2.39 с, подтвержденные сообщения сохранились | evidence/ |
| Track 5: три concurrency и смешанные размеры | tests/pipeline_load.py, concurrency 1/2/4 |
PASS: 36/36 ready, ошибок 0; измерены ready throughput, latency, queue-wait и RSS | evidence/pipeline-load-c*.json |
Эксперименты и отказы
Трек 1 — очередь под нагрузкой
Гипотеза. Увеличение числа обработчиков с 1 до 2 уменьшит очередь и p95 до ready, но поднимет RSS; после точки насыщения CPU/S3 throughput перестанет расти. Входной лимит очереди должен останавливать приём новых задач и сохранять уже подтверждённые.
Методика. Docker Compose локально, Python 3.12 в контейнерах, хост Windows 11. API×2, один worker. Для каждого concurrency (1, 2, 4) созданы 12 синтетических PNG: 320×200, 1024×768 и 2048×1536. Upload-клиенты — 6. Замерялись время до ready, оценка queue wait и RSS docker stats (интервал 250 мс).
| Worker concurrency / prefetch | Успешно / ошибки | Ready throughput | Ready p50 / p95 / p99 | Оценка queue-wait p50 / p95 | Пиковая sampled RSS |
|---|---|---|---|---|---|
| 1 | 12 / 0 | 1,311 файла/с | 3253,53 / 5788,39 / 5788,39 мс | 2775,81 / 4955,47 мс | 104,10 MiB |
| 2 | 12 / 0 | 1,482 файла/с | 3449,67 / 5566,78 / 5566,78 мс | 2163,50 / 4059,81 мс | 150,50 MiB |
| 4 | 12 / 0 | 1,510 файла/с | 2091,93 / 5172,02 / 5172,02 мс | 1615,54 / 2800,88 мс | 186,10 MiB |
Рост concurrency с 1 до 4 сократил медианное время ожидания в очереди с 2775 мс до 1615 мс (в 1.7 раза) и медианную задержку ready с 3253 мс до 2091 мс. При этом пиковый RSS воркера увеличился со 104 MiB до 186 MiB из-за одновременной обработки нескольких изображений в памяти Pillow. Пропускная способность выросла умеренно (с 1.31 до 1.51 файла/с) из-за насыщения хостового CPU при компрессии/ресайзе картинок на короткой дистанции.
Backpressure. В backpressure.py worker был остановлен, а лимит MAX_QUEUED_JOBS временно выставлен в 1. Первая загрузка получила 202 и сохранилась queued, вторая получила 503 до записи staging/metadata. После запуска worker исходная задача завершилась ready и SHA-256 совпал. Восстановление завершилось за 8.38 с.
Отказы и сохранность
| Воздействие | Ожидание | Наблюдение | Восстановление / потеря данных |
|---|---|---|---|
| Worker остановлен, затем API рестартован | 202 job остаётся в durable outbox/staging | queued после API restart, ready после запуска worker | 10,24 с; потери нет |
| Broker рестартован при непрочитанном сообщении | Redis AOF volume сохраняет stream | stream сохранен (длина 3); задача стала ready | автоматическое; потери нет |
| Worker crash после S3 writes, до DB ready/ack | повторная доставка завершает ту же job | worker restart 0→1, готово 3 варианта, SHA совпал | 6,13 с; дубль не создал набор вариантов |
| Временная ошибка staging | максимум 5 попыток, затем failed и DLQ | retry_exhausted, DLQ зафиксирован; операторский replay стал ready |
34,52 с до отказа и replay; успешную job replay отвергает |
| Очередь заполнена | новое задание отклоняется, принятые остаются | 202, затем 503; первая job завершилась | 8,38 с; потери нет |
| Рестарт всех Compose контейнеров | session и подтверждённые данные доступны | persistence hook PASS с прежним token | потери нет; volumes сохранены |
| Остановка API-реплики | другая реплика продолжает писать | более 100 успешных запросов, восстановление 2.39 с | подтверждённые сообщения сохранились |
Ограничения и следующие шаги
Эксперимент проведён на локальном Docker Desktop под Windows 11. Нагрузка closed-loop, 12 объектов на профиль; p95/p99 чувствительны к малым выборкам.
Broker развёрнут одним Redis с AOF volume, PostgreSQL и RustFS также одиночные экземпляры; Compose сценарий проверяет сохранность данных, но не HA узлов. Варианты и ключи используют pipeline version v1. Очередь ограничивает число активных jobs, но для длительной эксплуатации требуются retention/cleanup policy устаревшего staging и мониторинг DLQ. EOF