19 KiB
Отчёт — лабораторная 5
- Автор, группа: TODO
- Целевая оценка: 5, трек 1 («Очередь под перегрузкой»)
- Commit/PR: TODO после публикации
- Использованные источники и библиотеки: RabbitMQ quorum queues и publisher
confirms;
amqp091-go,gen2brain/webp,golang.org/x/image/draw,golang.org/x/sync/semaphore; стандартныеimage/png,image/jpeg. Генерация отчёта и графиков — Python standard library. ИИ-ассистент использовался для реализации, ревью кода и подготовки текста; все приведённые результаты получены запуском команд на этом стенде.
Запуск из чистого clone
Требования: Docker Engine + Compose v2, Python 3.9+. Точные версии образов
закреплены в compose.yaml (PostgreSQL 16.10, RabbitMQ 4.2, RustFS 1.0.4,
Redis 7.4.7, HAProxy 3.2.6); приложение собирается из golang:1.27.1-alpine.
cp .env.example .env
# Заполнить POSTGRES_PASSWORD, S3_ROOT_ACCESS_KEY, S3_ROOT_SECRET_KEY,
# S3_SECRET_ACCESS_KEY, RABBITMQ_PASSWORD. S3_ACCESS_KEY_ID и S3_APP_USER
# обязаны совпадать: RustFS использует имя пользователя как access key.
docker compose --env-file .env up -d --build
curl -fsS http://localhost:8080/health/ready
make test BASE_URL=http://localhost:8080
migrate применяет миграции 0001–0005; s3-init создаёт приватный bucket и
scoped-пользователя. Оператору не нужно вручную создавать очередь: worker и
publisher объявляют durable quorum queue attachment.process.v1.
Безопасная остановка: docker compose down (volumes сохраняются).
Намеренное удаление учебных данных: docker compose down -v. Секреты в git не
попадают; .env находится в .gitignore.
Архитектура и решения
client ──HTTP──> API ──stream──> staging/{chat}/{attachment} (S3)
│
└─ ONE TX: attachments(queued) + attachment_jobs(outbox)
│
outbox loop │ publisher confirm
v
RabbitMQ quorum queue
│ at-least-once
v
worker
DB lease ─> read metadata ─> verify staging
│
├─> attachments/{chat}/{attachment} (original, byte-equal)
├─> .../thumbnail (JPEG 256 fit)
├─> .../crop (JPEG 128 square)
└─> .../optimized (WebP 1280 fit)
│
└─ CompleteJob (attempt/version CAS) ─> ready
│
ack + delete staging
Источник истины — PostgreSQL. Сообщение RabbitMQ — только идентификатор и снимок намерения; worker перечитывает attachment из БД. Поэтому подмена сообщения не даёт доступа к чужим байтам, а повторная доставка безопасна.
Граница 202. До ответа выполнены: авторизация, валидация заголовка и
лимитов, потоковая запись во временный файл, SHA-256, PUT в durable staging и
одна транзакция, создающая attachment + job. Ответ 202 означает «байты и
намерение сохранены», а не «resize выполнен».
Outbox. attachment_jobs.published_at IS NULL — committed intent без
publisher confirm. Outbox-цикл работает в каждой API-реплике и в worker; дубли
публикации схлопываются DB-lease. Это закрывает окно «COMMIT прошёл, publish
не прошёл».
Идемпотентность эффекта. ClaimJob выдаёт lease только одной попытке.
CompleteJob обновляет строку при совпадении job_id + attempt + processing и
проверяет pipeline_version; устаревшая попытка не может перезаписать новый
результат. Ключи вариантов детерминированы, повтор пишет те же байты.
Retry. Постоянные ошибки (invalid_image, staging_corrupt,
staging_missing) сразу дают failed. Временные (storage_unavailable,
processing_timeout, processing_failed) повторяются с экспоненциальным
backoff ±50% jitter до JOB_MAX_ATTEMPTS. После исчерпания — failed с
retry_exhausted. Явный replay: docker compose exec worker /usr/local/bin/worker -replay <uuid>.
Память и лимиты. Upload не использует io.ReadAll: тело копируется
буфером 32 KiB. API и worker декодируют изображение только после проверки
width*height, под общим semaphore-budget IMAGE_DECODE_MEMORY_MB. Байтовый
лимит 10 MiB и пиксельный 40 MP — жёсткие сверху, конфигурация может только
ужесточить их.
Reconciler. Удаляет только брошенные pending-строки и объекты без
метаданных после grace period; ready не трогает. Это не часть happy path, а
страховка от падений между PUT и COMMIT.
Доказательства критериев
Все команды выполнялись на локальном Compose-стенде; из sandbox-контейнера
использовался адрес Docker host http://172.18.0.1:8080, для обычного хоста —
http://localhost:8080. Токены и секреты не сохранены.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke (уровень 3) | make test |
PASS: lab5 public API scenario; upload 202 → ready, оригинал и JPEG thumbnail проверены |
evidence/lab5-smoke.txt |
| Upload 202 только после durable приёма | scripts/lab5_resilience.py сценарий worker_stopped |
worker остановлен: 202 queued, content 409, после старта worker — ready; queue 2.316 s |
evidence/lab5-grade4.json |
| Отдельные broker и worker | docker compose ps |
контейнеры rabbitmq, worker, два api, postgres, rustfs, reconciler |
evidence/lab5-persistence-containers.txt |
| Остановка API/broker не теряет принятое | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS; все контейнеры перезапущены с новыми StartedAt, volumes сохранены |
evidence/lab5-persistence.txt, evidence/lab5-persistence-containers.txt |
| Broker outage / outbox | сценарий broker_outage |
202 при выключенном RabbitMQ, published_at IS NULL, readiness 200; после старта broker job опубликован и ready, attempt 1 |
evidence/lab5-grade4.json |
| Retry с backoff и jitter | сценарий transient_retry |
первая попытка failed, retry через 2.25 s, attempt 2 → ready | evidence/lab5-grade4.md |
| Permanent failure + replay | сценарий permanent_failure_replay |
invalid_image, content/link 409, replay_count 1, после replay ready, 3 варианта |
evidence/lab5-grade4.json |
| Crash после эффекта до ack | сценарий crash_after_effect |
worker restart 0→1, повтор завершает ту же job, 3 варианта | evidence/lab5-grade4.md |
| Зависший processing / lease | сценарий lease_recovery |
one-shot exit 10, статус processing, sweeper вернул job, attempt 2 → ready | evidence/lab5-grade4.md |
| Ограниченная конкуренция/prefetch | конфигурация worker | WORKER_CONCURRENCY, WORKER_PREFETCH, ch.Qos(prefetch); матрица трека 1 |
REPORT.md, evidence/track1.json |
| Очистка staging после фиксации | сценарии worker_stopped, crash_after_effect |
staging_cleared: true; reconciler удаляет только брошенное |
evidence/lab5-grade4.json, evidence/reconcile.txt |
| Негативные случаи и лимиты | python3 tests/custom/attachments.py |
413 по bytes и по 42 MP, 415 corrupt/spoof, 404/400, нет 5xx | evidence/lab5-negative-cases.txt |
| Failover API | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
118 успешных записей, 1 переходная ошибка, восстановление 2.659 s; остановлена именно api-2 |
evidence/lab5-failover.txt |
| Трек 1, уровень 5 | python3 scripts/track1_experiment.py |
3 профиля × 3 размера; eager/small 15.58 jobs/s против serial 6.84; exactly_right/huge_few ~0.44–0.50 jobs/s, encode share 83% против 61–64%; RSS до 950 MiB; 503 + Retry-After 5, recovery 7.653 s | evidence/track1.json, evidence/track1.html |
Эксперименты и отказы
| Воздействие | Что ожидали | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Worker остановлен после upload | 202, content 409, job ждёт | 202 queued; после старта ready, attempt 1 | 2.316 s до ready, потерь нет |
| RabbitMQ остановлен между COMMIT и publish | 202 и восстановление outbox | 202, published_at IS NULL, readiness 200; после старта job ready |
9.005 s до ready, потерь нет |
Worker exit 9 после записи вариантов до ack |
redelivery завершает ту же job | restart 0→1, 3 объекта, ready | без потери и без второго набора |
Worker exit 10 после claim |
lease истекает, sweeper возвращает job | processing → recovered → attempt 2 → ready | 8 s (lease sweep), потерь нет |
| Временная ошибка storage | retry с jitter | attempt 1 failed, attempt 2 ready | ~2.25 s backoff |
Постоянная ошибка invalid_image |
failed + безопасный replay | content/link 409, replay_count 1, ready | ручной replay, без дубля |
| Остановка одной API-реплики | сессия и подтверждённые данные живы | 118 успешных записей, 1 ошибка, recovery 2.659 s | потерь нет |
| Перезапуск всех контейнеров с volumes | данные и сессия сохраняются | persistence PASS, новые StartedAt |
потерь нет |
Ограничения измерения отказов
restart.sh перезапускает контейнеры, а не эмулирует падение ядра или потеру
диска. RabbitMQ и PostgreSQL — одиночные экземпляры, поэтому это проверка
durability на volume, а не HA-кластера. Failover измеряет один API-инстанс за
HAProxy; отказ БД или брокера в этом сценарии не имитируется. Времена включают
опрос готовности и запуск контейнера, поэтому это верхняя оценка, не SLA.
Эксперимент трека 1 (уровень 5)
Гипотеза
Стоимость задания = decode + scaling + encode. exactly_right (1280×1280) не
масштабирует optimized WebP и показывает нижнюю границу стоимости сжатия;
huge_few добавляет downscale. Ожидаем: на тяжёлых изображениях concurrency
снижает queue lag, но не throughput при 1 CPU, а RSS растёт.
Методика
- Профили:
serial1/1,balanced4/4,eager8/32 (concurrency/prefetch). - Сценарии:
small_many30×192×128;exactly_right18×1280×1280 (optimized WebP без scaling);huge_few12×2400×1800 (optimized → 1280×960). - 9 ячеек; worker пересоздаётся на профиль, изображения загружаются параллельно, все задания доводятся до терминального состояния.
- Queue lag, time-to-ready и processing — из
attachment_jobs; throughput = ready / (последнийfinished_at− первыйcreated_at). - Decode/scale/JPEG/WebP — из worker-лога; encode share =
encode / (decode + scale + encode). Это wall-clock под данным профилем. - RSS —
VmRSSиз/proc/1/statusпримерно каждые 100 мс. - Worker 1 CPU, memory limit 2 GiB (в
.env1 GiB), чтобыeagerне падал по OOM; зафиксировано в JSON. - Backpressure:
MAX_PENDING_JOBS=3, worker остановлен, upload-ы до503, затем recovery. Cap выбран намеренно; важныRetry-Afterи отсутствие потерь.
Команда:
make track1 BASE_URL=http://localhost:8080
Сырые данные: evidence/track1.json; графики: evidence/track1.html;
краткая таблица: evidence/track1.md.
Результаты
| Профиль | Сценарий | Jobs/s | Queue lag p95, ms | Ready p95, ms | Processing p95, ms | Encode p95, ms | Encode share, % | RSS peak, MiB | Max parallel |
|---|---|---|---|---|---|---|---|---|---|
| serial | small_many | 6.837 | 3 256 | 3 338 | 170 | 80 | 83.8 | 28.2 | 1 |
| serial | exactly_right | 0.475 | 33 591 | 35 714 | 2 180 | 1 722 | 82.0 | 174.3 | 1 |
| serial | huge_few | 0.436 | 23 668 | 25 896 | 2 359 | 1 508 | 63.8 | 212.9 | 1 |
| balanced | small_many | 13.694 | 1 147 | 1 274 | 396 | 90 | 83.8 | 28.9 | 4 |
| balanced | exactly_right | 0.495 | 31 510 | 35 764 | 8 174 | 6 562 | 83.1 | 433.8 | 4 |
| balanced | huge_few | 0.441 | 18 161 | 26 576 | 9 046 | 5 606 | 61.4 | 756.4 | 4 |
| eager | small_many | 15.576 | 924 | 1 166 | 410 | 95 | 79.9 | 32.1 | 8 |
| eager | exactly_right | 0.495 | 31 735 | 35 797 | 16 363 | 13 330 | 83.1 | 818.4 | 8 |
| eager | huge_few | 0.443 | 17 648 | 26 641 | 17 678 | 11 124 | 61.4 | 949.6 | 8 |
Backpressure: cap 3 задан намеренно; первый 503 пришёл с Retry-After: 5.
После старта worker принятые задания стали ready за 7.653 s (включая
запуск контейнера и healthcheck), probe upload получил 202 и дошёл до ready.
Выводы
- Compression, not scaling, is the floor.
exactly_rightдаёт 82–83% encode share и ~0.48 jobs/s;huge_few— 61–64% и ~0.44 jobs/s. Убрать downscale недостаточно, чтобы 1280×1280 стал дешёвым: доминирует WebP. Наhuge_fewscale p95 выше (balanced: 3.4 s против 1.5 s), но optimized output меньше (1.23 MP против 1.64 MP), поэтому throughput почти совпадает. - Маленькие изображения масштабируются concurrency. 6.84 → 13.69 → 15.58 jobs/s, RSS 28 → 32 MiB.
- Тяжёлые изображения CPU-bound. ~0.44–0.50 jobs/s у всех профилей;
queue lag падает, ready p95 держится ~26–36 s, RSS растёт 174 → 818 MiB
(
exactly_right) и 213 → 950 MiB (huge_few). Concurrency покупает latency ценой памяти, а не throughput. - Backpressure.
503+Retry-After: 5; принятые задания восстановились за 7.65 s. - Практический выбор.
balancedдля тяжёлых,eagerдля лёгких.
Ограничения
exactly_rightкодирует 1.64 MP WebP,huge_fewпосле downscale — ~1.23 MP: сценарий убирает scaling, но не уравнивает объём encode.- PNG-фикстуры синтетические; один прогон на ячейку, p95 по 12–18 заданиям чувствителен к выбросу.
- Время recovery включает
docker compose startи healthcheck.
Ограничения и следующие шаги
- Стенд учебный: один RabbitMQ, один PostgreSQL, один worker; горизонтальное масштабирование worker проверяется конфигурацией, но не HA-кластером.
MAX_PENDING_JOBSсчитается по репликам приблизительно; глобальный лимит потребовал бы общего счётчика (например, Redis) и отдельной транзакционной семантики.- Replay намеренно ручной и явный: автоматический replay постоянных ошибок маскировал бы дефекты входных данных.
- WebP-энкодер
gen2brain/webpвыбран без CGO; качество и скорость могут отличаться от libwebp CLI, но результаты детерминированы на стенде. - Измерения RSS зависят от cgroup/докер-обвязки; для production нужен длительный профиль и p99, а не короткий учебный прогон.
- Следующий шаг: versioned pipeline и автоматический fault-injection для трека 2, если потребуется доказывать более сильную идемпотентность.