Files

17 KiB
Raw Permalink Blame History

Отчёт — лабораторная 5

  • Автор, группа: Дадайкин Андрей, БВТ2302
  • Целевая оценка: 5; трек: 1 — очередь под перегрузкой
  • Commit/PR: локальная работа, не опубликована
  • Использованные источники, библиотеки и помощь ИИ: README и контракты курса; реализация продолжает lab4; Flask, psycopg, Argon2id, boto3, Pillow, Redis Streams, PostgreSQL, RustFS, HAProxy.

Запуск из чистого clone

Нужны Docker Engine/Desktop с Compose v2 и Python 3.9+ на хосте для команд проверок. Compose собирает приложение из Dockerfile; наружу опубликован только HAProxy на 127.0.0.1:8081. Теги образов зафиксированы в compose.yaml; Python-образ приложения — python:3.12.12-slim, зависимости приложения — в requirements.lock.

python scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build --scale api=2 --wait --wait-timeout 180
python scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://localhost:8081

bootstrap.py создаёт локальные secrets и .env с правами доступа, не печатая значения. Миграция выполняется отдельной одноразовой задачей migrate; bootstrap приватного bucket выполняет bucket-bootstrap. Тесты используют http://localhost:8081. Для контрольных отказов и исследования:

python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8081
python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url http://localhost:8081
python tests/worker_outage.py --base-url http://localhost:8081
python tests/broker_restart.py --base-url http://localhost:8081
python tests/retry_replay.py --base-url http://localhost:8081
FAULT_AFTER_S3_WRITE_ONCE=1 JOB_TIMEOUT_SECONDS=5 docker compose up -d --force-recreate worker
python tests/fault_redelivery.py --base-url http://localhost:8081
FAULT_AFTER_S3_WRITE_ONCE=0 JOB_TIMEOUT_SECONDS=60 docker compose up -d --force-recreate worker
python tests/backpressure.py --base-url http://localhost:8081

Трек нагрузки запускается трижды (concurrency 1, 2, 4):

WORKER_CONCURRENCY=1 docker compose up -d --force-recreate worker
python tests/pipeline_load.py --base-url http://localhost:8081 --count 12 --profile mixed --upload-concurrency 6 --worker-concurrency 1 --output evidence/pipeline-load-c1.json

WORKER_CONCURRENCY=2 docker compose up -d --force-recreate worker
python tests/pipeline_load.py --base-url http://localhost:8081 --count 12 --profile mixed --upload-concurrency 6 --worker-concurrency 2 --output evidence/pipeline-load-c2.json

WORKER_CONCURRENCY=4 docker compose up -d --force-recreate worker
python tests/pipeline_load.py --base-url http://localhost:8081 --count 12 --profile mixed --upload-concurrency 6 --worker-concurrency 4 --output evidence/pipeline-load-c4.json

Архитектура и решения

клиент → HAProxy → API × 2 → PostgreSQL
                         ├── Redis: кэш профиля
                         └── RustFS/S3: staging, оригиналы, варианты
PostgreSQL outbox → Redis Streams/AOF → отдельный worker → RustFS/S3

Сохранены маршруты и поведение lab4. Upload принимает все HTTP bytes и сначала записывает оригинал в приватный S3 staging-prefix. Затем в одной PostgreSQL-транзакции создаются metadata со статусом queued и запись attachment_jobs; только после commit API возвращает 202. Если API остановится после этого ответа, durable staging и намерение остаются. Worker обслуживает PostgreSQL outbox: после успешного XADD отмечает запись опубликованной. Неподтверждённые публикации и опубликованные записи с истёкшим временем повтора отправляются снова; Redis Streams доставляет at least once, а не exactly once.

Worker получает только ID job и вложения. Он блокирует запись job, получает lease, проверяет исходник и пишет оригинал/варианты по детерминированным ключам. Для pipeline v1 ключи вариантов имеют префикс variants/v1//. Ready и список вариантов фиксируются в PostgreSQL только после завершения S3-записей; после этого удаляется staging и подтверждается сообщение. Дубль уже ready job — no-op. Потерянный worker восстанавливается по истёкшему lease; попытки ограничены JOB_MAX_ATTEMPTS=5, задержка повторов растёт экспоненциально и содержит jitter. Финальная ошибка сохраняется в metadata/audit и Redis Stream attachment-jobs-dlq; отдельная команда replay принимает только failed job.

Thumbnail — JPEG, вписан в 256×256 без увеличения, сохраняет пропорции, применяет EXIF orientation, alpha композитится на белый. Crop — центрированный JPEG 128×128. Optimized — WebP, вписанный в 1280×1280 без увеличения, качество 82, EXIF исключён. Проверяются лимиты upload 10 MiB и декодирования 40 млн пикселей; worker ограничен контейнерным лимитом памяти и WORKER_CONCURRENCY. S3 I/O имеет connect/read timeout; зависшая job получает lease timeout и ограниченно переходит к повторам.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Офлайн-контракт и синтаксис python scripts/check_contract.py PASS вывод команды
Полная OpenAPI/JSON Schema python scripts/validate_openapi.py PASS вывод команды
Compose, версии, миграция и готовность docker compose up -d --scale api=2 --wait PASS: PostgreSQL, Redis, брокер, RustFS, 2 API, HAProxy и worker healthy; миграция и bucket bootstrap завершились compose.yaml
Публичный smoke python -X utf8 tests/smoke.py PASS: API flow lab1–5, 202 upload, ready, байты/SHA-256 оригинала, JPEG thumbnail 256×160 tests/smoke.py
Durable staging и 202 python tests/worker_outage.py PASS: worker остановлен, upload вернул 202; после рестарта API та же запись оставалась queued; после старта worker стала ready evidence/worker-outage.json
Отдельные broker/worker и сохранение брокера python tests/broker_restart.py PASS: опубликованное сообщение пережило рестарт Redis с AOF volume; stream длина 3 до/после; задача дошла до ready evidence/broker-restart.json
At-least-once, side effect до ack python tests/fault_redelivery.py PASS: после записи S3 worker аварийно упал (fault injection); перезапущенный worker повторно обработал ту же job без дублей вариантов evidence/fault-redelivery.json
Ограниченные retry, DLQ и replay python tests/retry_replay.py PASS: отсутствующий staging дал retry_exhausted после 5 попыток; попало в DLQ; после восстановления staging явный replay завершился ready evidence/retry-replay.json
Backpressure и ограничение приёма python tests/backpressure.py PASS: при заполненной очереди (лимит 1) второй upload отклонен (503); первый успешно завершился evidence/backpressure.json
Все сервисы и данные переживают рестарт python tests/resilience.py --mode persistence PASS: прежний bearer token, чат, сообщение и вложение сохранились evidence/
Отказ API-реплики python tests/resilience.py --mode failover PASS: до отказа 2 instance; переключение за 2.39 с, подтвержденные сообщения сохранились evidence/
Track 5: три concurrency и смешанные размеры tests/pipeline_load.py, concurrency 1/2/4 PASS: 36/36 ready, ошибок 0; измерены ready throughput, latency, queue-wait и RSS evidence/pipeline-load-c*.json

Эксперименты и отказы

Трек 1 — очередь под нагрузкой

Гипотеза. Увеличение числа обработчиков с 1 до 2 уменьшит очередь и p95 до ready, но поднимет RSS; после точки насыщения CPU/S3 throughput перестанет расти. Входной лимит очереди должен останавливать приём новых задач и сохранять уже подтверждённые.

Методика. Docker Compose локально, Python 3.12 в контейнерах, хост Windows 11. API×2, один worker. Для каждого concurrency (1, 2, 4) созданы 12 синтетических PNG: 320×200, 1024×768 и 2048×1536. Upload-клиенты — 6. Замерялись время до ready, оценка queue wait и RSS docker stats (интервал 250 мс).

Worker concurrency / prefetch Успешно / ошибки Ready throughput Ready p50 / p95 / p99 Оценка queue-wait p50 / p95 Пиковая sampled RSS
1 12 / 0 1,311 файла/с 3253,53 / 5788,39 / 5788,39 мс 2775,81 / 4955,47 мс 104,10 MiB
2 12 / 0 1,482 файла/с 3449,67 / 5566,78 / 5566,78 мс 2163,50 / 4059,81 мс 150,50 MiB
4 12 / 0 1,510 файла/с 2091,93 / 5172,02 / 5172,02 мс 1615,54 / 2800,88 мс 186,10 MiB

Рост concurrency с 1 до 4 сократил медианное время ожидания в очереди с 2775 мс до 1615 мс (в 1.7 раза) и медианную задержку ready с 3253 мс до 2091 мс. При этом пиковый RSS воркера увеличился со 104 MiB до 186 MiB из-за одновременной обработки нескольких изображений в памяти Pillow. Пропускная способность выросла умеренно (с 1.31 до 1.51 файла/с) из-за насыщения хостового CPU при компрессии/ресайзе картинок на короткой дистанции.

Backpressure. В backpressure.py worker был остановлен, а лимит MAX_QUEUED_JOBS временно выставлен в 1. Первая загрузка получила 202 и сохранилась queued, вторая получила 503 до записи staging/metadata. После запуска worker исходная задача завершилась ready и SHA-256 совпал. Восстановление завершилось за 8.38 с.

Отказы и сохранность

Воздействие Ожидание Наблюдение Восстановление / потеря данных
Worker остановлен, затем API рестартован 202 job остаётся в durable outbox/staging queued после API restart, ready после запуска worker 10,24 с; потери нет
Broker рестартован при непрочитанном сообщении Redis AOF volume сохраняет stream stream сохранен (длина 3); задача стала ready автоматическое; потери нет
Worker crash после S3 writes, до DB ready/ack повторная доставка завершает ту же job worker restart 0→1, готово 3 варианта, SHA совпал 6,13 с; дубль не создал набор вариантов
Временная ошибка staging максимум 5 попыток, затем failed и DLQ retry_exhausted, DLQ зафиксирован; операторский replay стал ready 34,52 с до отказа и replay; успешную job replay отвергает
Очередь заполнена новое задание отклоняется, принятые остаются 202, затем 503; первая job завершилась 8,38 с; потери нет
Рестарт всех Compose контейнеров session и подтверждённые данные доступны persistence hook PASS с прежним token потери нет; volumes сохранены
Остановка API-реплики другая реплика продолжает писать более 100 успешных запросов, восстановление 2.39 с подтверждённые сообщения сохранились

Ограничения и следующие шаги

Эксперимент проведён на локальном Docker Desktop под Windows 11. Нагрузка closed-loop, 12 объектов на профиль; p95/p99 чувствительны к малым выборкам.

Broker развёрнут одним Redis с AOF volume, PostgreSQL и RustFS также одиночные экземпляры; Compose сценарий проверяет сохранность данных, но не HA узлов. Варианты и ключи используют pipeline version v1. Очередь ограничивает число активных jobs, но для длительной эксплуатации требуются retention/cleanup policy устаревшего staging и мониторинг DLQ. EOF