Files

19 KiB
Raw Permalink Blame History

Отчёт — лабораторная 5

  • Автор, группа: Булла Максим, БПИ2301
  • Целевая оценка: 5, трек 1 («Очередь под перегрузкой»)
  • Commit/PR: 186fc95
  • Использованные источники и библиотеки: RabbitMQ quorum queues и publisher confirms; amqp091-go, gen2brain/webp, golang.org/x/image/draw, golang.org/x/sync/semaphore; стандартные image/png, image/jpeg. Генерация отчёта и графиков — Python standard library. DeepSeek V4.1 Flash использовался для реализации, ревью кода и подготовки текста; все приведённые результаты получены запуском команд на этом стенде.

Запуск из чистого clone

Требования: Docker Engine + Compose v2, Python 3.9+. Точные версии образов закреплены в compose.yaml (PostgreSQL 16.10, RabbitMQ 4.2, RustFS 1.0.4, Redis 7.4.7, HAProxy 3.2.6); приложение собирается из golang:1.27.1-alpine.

cp .env.example .env
# Заполнить POSTGRES_PASSWORD, S3_ROOT_ACCESS_KEY, S3_ROOT_SECRET_KEY,
# S3_SECRET_ACCESS_KEY, RABBITMQ_PASSWORD. S3_ACCESS_KEY_ID и S3_APP_USER
# обязаны совпадать: RustFS использует имя пользователя как access key.
docker compose --env-file .env up -d --build
curl -fsS http://localhost:8080/health/ready
make test BASE_URL=http://localhost:8080

migrate применяет миграции 0001–0005; s3-init создаёт приватный bucket и scoped-пользователя. Оператору не нужно вручную создавать очередь: worker и publisher объявляют durable quorum queue attachment.process.v1.

Безопасная остановка: docker compose down (volumes сохраняются). Намеренное удаление учебных данных: docker compose down -v. Секреты в git не попадают; .env находится в .gitignore.

Архитектура и решения

client ──HTTP──> API ──stream──> staging/{chat}/{attachment} (S3)
                  │
                  └─ ONE TX: attachments(queued) + attachment_jobs(outbox)
                                     │
                         outbox loop │ publisher confirm
                                     v
                              RabbitMQ quorum queue
                                     │ at-least-once
                                     v
                                  worker
                     DB lease ─> read metadata ─> verify staging
                        │
                        ├─> attachments/{chat}/{attachment} (original, byte-equal)
                        ├─> .../thumbnail (JPEG 256 fit)
                        ├─> .../crop      (JPEG 128 square)
                        └─> .../optimized (WebP 1280 fit)
                        │
                        └─ CompleteJob (attempt/version CAS) ─> ready
                                     │
                                  ack + delete staging

Источник истины — PostgreSQL. Сообщение RabbitMQ — только идентификатор и снимок намерения; worker перечитывает attachment из БД. Поэтому подмена сообщения не даёт доступа к чужим байтам, а повторная доставка безопасна.

Граница 202. До ответа выполнены: авторизация, валидация заголовка и лимитов, потоковая запись во временный файл, SHA-256, PUT в durable staging и одна транзакция, создающая attachment + job. Ответ 202 означает «байты и намерение сохранены», а не «resize выполнен».

Outbox. attachment_jobs.published_at IS NULL — committed intent без publisher confirm. Outbox-цикл работает в каждой API-реплике и в worker; дубли публикации схлопываются DB-lease. Это закрывает окно «COMMIT прошёл, publish не прошёл».

Идемпотентность эффекта. ClaimJob выдаёт lease только одной попытке. CompleteJob обновляет строку при совпадении job_id + attempt + processing и проверяет pipeline_version; устаревшая попытка не может перезаписать новый результат. Ключи вариантов детерминированы, повтор пишет те же байты.

Retry. Постоянные ошибки (invalid_image, staging_corrupt, staging_missing) сразу дают failed. Временные (storage_unavailable, processing_timeout, processing_failed) повторяются с экспоненциальным backoff ±50% jitter до JOB_MAX_ATTEMPTS. После исчерпания — failed с retry_exhausted. Явный replay: docker compose exec worker /usr/local/bin/worker -replay <uuid>.

Память и лимиты. Upload не использует io.ReadAll: тело копируется буфером 32 KiB. API и worker декодируют изображение только после проверки width*height, под общим semaphore-budget IMAGE_DECODE_MEMORY_MB. Байтовый лимит 10 MiB и пиксельный 40 MP — жёсткие сверху, конфигурация может только ужесточить их.

Reconciler. Удаляет только брошенные pending-строки и объекты без метаданных после grace period; ready не трогает. Это не часть happy path, а страховка от падений между PUT и COMMIT.

Доказательства критериев

Все команды выполнялись на локальном Compose-стенде; из sandbox-контейнера использовался адрес Docker host http://172.18.0.1:8080, для обычного хоста — http://localhost:8080. Токены и секреты не сохранены.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke (уровень 3) make test PASS: lab5 public API scenario; upload 202 → ready, оригинал и JPEG thumbnail проверены evidence/lab5-smoke.txt
Upload 202 только после durable приёма scripts/lab5_resilience.py сценарий worker_stopped worker остановлен: 202 queued, content 409, после старта worker — ready; queue 2.316 s evidence/lab5-grade4.json
Отдельные broker и worker docker compose ps контейнеры rabbitmq, worker, два api, postgres, rustfs, reconciler evidence/lab5-persistence-containers.txt
Остановка API/broker не теряет принятое make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS; все контейнеры перезапущены с новыми StartedAt, volumes сохранены evidence/lab5-persistence.txt, evidence/lab5-persistence-containers.txt
Broker outage / outbox сценарий broker_outage 202 при выключенном RabbitMQ, published_at IS NULL, readiness 200; после старта broker job опубликован и ready, attempt 1 evidence/lab5-grade4.json
Retry с backoff и jitter сценарий transient_retry первая попытка failed, retry через 2.25 s, attempt 2 → ready evidence/lab5-grade4.md
Permanent failure + replay сценарий permanent_failure_replay invalid_image, content/link 409, replay_count 1, после replay ready, 3 варианта evidence/lab5-grade4.json
Crash после эффекта до ack сценарий crash_after_effect worker restart 0→1, повтор завершает ту же job, 3 варианта evidence/lab5-grade4.md
Зависший processing / lease сценарий lease_recovery one-shot exit 10, статус processing, sweeper вернул job, attempt 2 → ready evidence/lab5-grade4.md
Ограниченная конкуренция/prefetch конфигурация worker WORKER_CONCURRENCY, WORKER_PREFETCH, ch.Qos(prefetch); матрица трека 1 REPORT.md, evidence/track1.json
Очистка staging после фиксации сценарии worker_stopped, crash_after_effect staging_cleared: true; reconciler удаляет только брошенное evidence/lab5-grade4.json, evidence/reconcile.txt
Негативные случаи и лимиты python3 tests/custom/attachments.py 413 по bytes и по 42 MP, 415 corrupt/spoof, 404/400, нет 5xx evidence/lab5-negative-cases.txt
Failover API make test-failover ACTION_SCRIPT=scripts/stop-one.sh 118 успешных записей, 1 переходная ошибка, восстановление 2.659 s; остановлена именно api-2 evidence/lab5-failover.txt
Трек 1, уровень 5 python3 scripts/track1_experiment.py 3 профиля × 3 размера; eager/small 15.58 jobs/s против serial 6.84; exactly_right/huge_few ~0.44–0.50 jobs/s, encode share 83% против 61–64%; RSS до 950 MiB; 503 + Retry-After 5, recovery 7.653 s evidence/track1.json, evidence/track1.html

Эксперименты и отказы

Воздействие Что ожидали Что наблюдали Время восстановления / потеря данных
Worker остановлен после upload 202, content 409, job ждёт 202 queued; после старта ready, attempt 1 2.316 s до ready, потерь нет
RabbitMQ остановлен между COMMIT и publish 202 и восстановление outbox 202, published_at IS NULL, readiness 200; после старта job ready 9.005 s до ready, потерь нет
Worker exit 9 после записи вариантов до ack redelivery завершает ту же job restart 0→1, 3 объекта, ready без потери и без второго набора
Worker exit 10 после claim lease истекает, sweeper возвращает job processing → recovered → attempt 2 → ready 8 s (lease sweep), потерь нет
Временная ошибка storage retry с jitter attempt 1 failed, attempt 2 ready ~2.25 s backoff
Постоянная ошибка invalid_image failed + безопасный replay content/link 409, replay_count 1, ready ручной replay, без дубля
Остановка одной API-реплики сессия и подтверждённые данные живы 118 успешных записей, 1 ошибка, recovery 2.659 s потерь нет
Перезапуск всех контейнеров с volumes данные и сессия сохраняются persistence PASS, новые StartedAt потерь нет

Ограничения измерения отказов

restart.sh перезапускает контейнеры, а не эмулирует падение ядра или потеру диска. RabbitMQ и PostgreSQL — одиночные экземпляры, поэтому это проверка durability на volume, а не HA-кластера. Failover измеряет один API-инстанс за HAProxy; отказ БД или брокера в этом сценарии не имитируется. Времена включают опрос готовности и запуск контейнера, поэтому это верхняя оценка, не SLA.

Эксперимент трека 1 (уровень 5)

Гипотеза

Стоимость задания = decode + scaling + encode. exactly_right (1280×1280) не масштабирует optimized WebP и показывает нижнюю границу стоимости сжатия; huge_few добавляет downscale. Ожидаем: на тяжёлых изображениях concurrency снижает queue lag, но не throughput при 1 CPU, а RSS растёт.

Методика

  • Профили: serial 1/1, balanced 4/4, eager 8/32 (concurrency/prefetch).
  • Сценарии: small_many 30×192×128; exactly_right 18×1280×1280 (optimized WebP без scaling); huge_few 12×2400×1800 (optimized → 1280×960).
  • 9 ячеек; worker пересоздаётся на профиль, изображения загружаются параллельно, все задания доводятся до терминального состояния.
  • Queue lag, time-to-ready и processing — из attachment_jobs; throughput = ready / (последний finished_at − первый created_at).
  • Decode/scale/JPEG/WebP — из worker-лога; encode share = encode / (decode + scale + encode). Это wall-clock под данным профилем.
  • RSS — VmRSS из /proc/1/status примерно каждые 100 мс.
  • Worker 1 CPU, memory limit 2 GiB (в .env 1 GiB), чтобы eager не падал по OOM; зафиксировано в JSON.
  • Backpressure: MAX_PENDING_JOBS=3, worker остановлен, upload-ы до 503, затем recovery. Cap выбран намеренно; важны Retry-After и отсутствие потерь.

Команда:

make track1 BASE_URL=http://localhost:8080

Сырые данные: evidence/track1.json; графики: evidence/track1.html; краткая таблица: evidence/track1.md.

Результаты

Профиль Сценарий Jobs/s Queue lag p95, ms Ready p95, ms Processing p95, ms Encode p95, ms Encode share, % RSS peak, MiB Max parallel
serial small_many 6.837 3 256 3 338 170 80 83.8 28.2 1
serial exactly_right 0.475 33 591 35 714 2 180 1 722 82.0 174.3 1
serial huge_few 0.436 23 668 25 896 2 359 1 508 63.8 212.9 1
balanced small_many 13.694 1 147 1 274 396 90 83.8 28.9 4
balanced exactly_right 0.495 31 510 35 764 8 174 6 562 83.1 433.8 4
balanced huge_few 0.441 18 161 26 576 9 046 5 606 61.4 756.4 4
eager small_many 15.576 924 1 166 410 95 79.9 32.1 8
eager exactly_right 0.495 31 735 35 797 16 363 13 330 83.1 818.4 8
eager huge_few 0.443 17 648 26 641 17 678 11 124 61.4 949.6 8

Backpressure: cap 3 задан намеренно; первый 503 пришёл с Retry-After: 5. После старта worker принятые задания стали ready за 7.653 s (включая запуск контейнера и healthcheck), probe upload получил 202 и дошёл до ready.

Выводы

  1. Compression, not scaling, is the floor. exactly_right даёт 82–83% encode share и ~0.48 jobs/s; huge_few — 61–64% и ~0.44 jobs/s. Убрать downscale недостаточно, чтобы 1280×1280 стал дешёвым: доминирует WebP. На huge_few scale p95 выше (balanced: 3.4 s против 1.5 s), но optimized output меньше (1.23 MP против 1.64 MP), поэтому throughput почти совпадает.
  2. Маленькие изображения масштабируются concurrency. 6.84 → 13.69 → 15.58 jobs/s, RSS 28 → 32 MiB.
  3. Тяжёлые изображения CPU-bound. ~0.44–0.50 jobs/s у всех профилей; queue lag падает, ready p95 держится ~26–36 s, RSS растёт 174 → 818 MiB (exactly_right) и 213 → 950 MiB (huge_few). Concurrency покупает latency ценой памяти, а не throughput.
  4. Backpressure. 503 + Retry-After: 5; принятые задания восстановились за 7.65 s.
  5. Практический выбор. balanced для тяжёлых, eager для лёгких.

Ограничения

  • exactly_right кодирует 1.64 MP WebP, huge_few после downscale — ~1.23 MP: сценарий убирает scaling, но не уравнивает объём encode.
  • PNG-фикстуры синтетические; один прогон на ячейку, p95 по 12–18 заданиям чувствителен к выбросу.
  • Время recovery включает docker compose start и healthcheck.

Ограничения и следующие шаги

  • Стенд учебный: один RabbitMQ, один PostgreSQL, один worker; горизонтальное масштабирование worker проверяется конфигурацией, но не HA-кластером.
  • MAX_PENDING_JOBS считается по репликам приблизительно; глобальный лимит потребовал бы общего счётчика (например, Redis) и отдельной транзакционной семантики.
  • Replay намеренно ручной и явный: автоматический replay постоянных ошибок маскировал бы дефекты входных данных.
  • WebP-энкодер gen2brain/webp выбран без CGO; качество и скорость могут отличаться от libwebp CLI, но результаты детерминированы на стенде.
  • Измерения RSS зависят от cgroup/докер-обвязки; для production нужен длительный профиль и p99, а не короткий учебный прогон.
  • Следующий шаг: versioned pipeline и автоматический fault-injection для трека 2, если потребуется доказывать более сильную идемпотентность.