# Отчёт — лабораторная 5 - Автор, группа: Булла Максим, БПИ2301 - Целевая оценка: **5**, трек 1 («Очередь под перегрузкой») - Commit/PR: ``186fc95`` - Использованные источники и библиотеки: RabbitMQ quorum queues и publisher confirms; `amqp091-go`, `gen2brain/webp`, `golang.org/x/image/draw`, `golang.org/x/sync/semaphore`; стандартные `image/png`, `image/jpeg`. Генерация отчёта и графиков — Python standard library. DeepSeek V4.1 Flash использовался для реализации, ревью кода и подготовки текста; все приведённые результаты получены запуском команд на этом стенде. ## Запуск из чистого clone Требования: Docker Engine + Compose v2, Python 3.9+. Точные версии образов закреплены в `compose.yaml` (PostgreSQL 16.10, RabbitMQ 4.2, RustFS 1.0.4, Redis 7.4.7, HAProxy 3.2.6); приложение собирается из `golang:1.27.1-alpine`. ```sh cp .env.example .env # Заполнить POSTGRES_PASSWORD, S3_ROOT_ACCESS_KEY, S3_ROOT_SECRET_KEY, # S3_SECRET_ACCESS_KEY, RABBITMQ_PASSWORD. S3_ACCESS_KEY_ID и S3_APP_USER # обязаны совпадать: RustFS использует имя пользователя как access key. docker compose --env-file .env up -d --build curl -fsS http://localhost:8080/health/ready make test BASE_URL=http://localhost:8080 ``` `migrate` применяет миграции 0001–0005; `s3-init` создаёт приватный bucket и scoped-пользователя. Оператору не нужно вручную создавать очередь: worker и publisher объявляют durable quorum queue `attachment.process.v1`. Безопасная остановка: `docker compose down` (volumes сохраняются). Намеренное удаление учебных данных: `docker compose down -v`. Секреты в git не попадают; `.env` находится в `.gitignore`. ## Архитектура и решения ``` client ──HTTP──> API ──stream──> staging/{chat}/{attachment} (S3) │ └─ ONE TX: attachments(queued) + attachment_jobs(outbox) │ outbox loop │ publisher confirm v RabbitMQ quorum queue │ at-least-once v worker DB lease ─> read metadata ─> verify staging │ ├─> attachments/{chat}/{attachment} (original, byte-equal) ├─> .../thumbnail (JPEG 256 fit) ├─> .../crop (JPEG 128 square) └─> .../optimized (WebP 1280 fit) │ └─ CompleteJob (attempt/version CAS) ─> ready │ ack + delete staging ``` **Источник истины — PostgreSQL.** Сообщение RabbitMQ — только идентификатор и снимок намерения; worker перечитывает attachment из БД. Поэтому подмена сообщения не даёт доступа к чужим байтам, а повторная доставка безопасна. **Граница 202.** До ответа выполнены: авторизация, валидация заголовка и лимитов, потоковая запись во временный файл, SHA-256, PUT в durable staging и одна транзакция, создающая attachment + job. Ответ `202` означает «байты и намерение сохранены», а не «resize выполнен». **Outbox.** `attachment_jobs.published_at IS NULL` — committed intent без publisher confirm. Outbox-цикл работает в каждой API-реплике и в worker; дубли публикации схлопываются DB-lease. Это закрывает окно «COMMIT прошёл, publish не прошёл». **Идемпотентность эффекта.** `ClaimJob` выдаёт lease только одной попытке. `CompleteJob` обновляет строку при совпадении `job_id + attempt + processing` и проверяет `pipeline_version`; устаревшая попытка не может перезаписать новый результат. Ключи вариантов детерминированы, повтор пишет те же байты. **Retry.** Постоянные ошибки (`invalid_image`, `staging_corrupt`, `staging_missing`) сразу дают `failed`. Временные (`storage_unavailable`, `processing_timeout`, `processing_failed`) повторяются с экспоненциальным backoff ±50% jitter до `JOB_MAX_ATTEMPTS`. После исчерпания — `failed` с `retry_exhausted`. Явный replay: `docker compose exec worker /usr/local/bin/worker -replay `. **Память и лимиты.** Upload не использует `io.ReadAll`: тело копируется буфером 32 KiB. API и worker декодируют изображение только после проверки `width*height`, под общим semaphore-budget `IMAGE_DECODE_MEMORY_MB`. Байтовый лимит 10 MiB и пиксельный 40 MP — жёсткие сверху, конфигурация может только ужесточить их. **Reconciler.** Удаляет только брошенные `pending`-строки и объекты без метаданных после grace period; `ready` не трогает. Это не часть happy path, а страховка от падений между PUT и COMMIT. ## Доказательства критериев Все команды выполнялись на локальном Compose-стенде; из sandbox-контейнера использовался адрес Docker host `http://172.18.0.1:8080`, для обычного хоста — `http://localhost:8080`. Токены и секреты не сохранены. | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | | Публичный smoke (уровень 3) | `make test` | `PASS: lab5 public API scenario`; upload 202 → ready, оригинал и JPEG thumbnail проверены | `evidence/lab5-smoke.txt` | | Upload 202 только после durable приёма | `scripts/lab5_resilience.py` сценарий `worker_stopped` | worker остановлен: `202 queued`, content `409`, после старта worker — `ready`; queue 2.316 s | `evidence/lab5-grade4.json` | | Отдельные broker и worker | `docker compose ps` | контейнеры `rabbitmq`, `worker`, два `api`, `postgres`, `rustfs`, `reconciler` | `evidence/lab5-persistence-containers.txt` | | Остановка API/broker не теряет принятое | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; все контейнеры перезапущены с новыми `StartedAt`, volumes сохранены | `evidence/lab5-persistence.txt`, `evidence/lab5-persistence-containers.txt` | | Broker outage / outbox | сценарий `broker_outage` | 202 при выключенном RabbitMQ, `published_at IS NULL`, readiness 200; после старта broker job опубликован и ready, attempt 1 | `evidence/lab5-grade4.json` | | Retry с backoff и jitter | сценарий `transient_retry` | первая попытка failed, retry через 2.25 s, attempt 2 → ready | `evidence/lab5-grade4.md` | | Permanent failure + replay | сценарий `permanent_failure_replay` | `invalid_image`, content/link 409, replay_count 1, после replay ready, 3 варианта | `evidence/lab5-grade4.json` | | Crash после эффекта до ack | сценарий `crash_after_effect` | worker restart 0→1, повтор завершает ту же job, 3 варианта | `evidence/lab5-grade4.md` | | Зависший processing / lease | сценарий `lease_recovery` | one-shot exit 10, статус processing, sweeper вернул job, attempt 2 → ready | `evidence/lab5-grade4.md` | | Ограниченная конкуренция/prefetch | конфигурация worker | `WORKER_CONCURRENCY`, `WORKER_PREFETCH`, `ch.Qos(prefetch)`; матрица трека 1 | `REPORT.md`, `evidence/track1.json` | | Очистка staging после фиксации | сценарии `worker_stopped`, `crash_after_effect` | `staging_cleared: true`; reconciler удаляет только брошенное | `evidence/lab5-grade4.json`, `evidence/reconcile.txt` | | Негативные случаи и лимиты | `python3 tests/custom/attachments.py` | 413 по bytes и по 42 MP, 415 corrupt/spoof, 404/400, нет 5xx | `evidence/lab5-negative-cases.txt` | | Failover API | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | 118 успешных записей, 1 переходная ошибка, восстановление 2.659 s; остановлена именно `api-2` | `evidence/lab5-failover.txt` | | Трек 1, уровень 5 | `python3 scripts/track1_experiment.py` | 3 профиля × 3 размера; eager/small 15.58 jobs/s против serial 6.84; exactly_right/huge_few ~0.44–0.50 jobs/s, encode share 83% против 61–64%; RSS до 950 MiB; 503 + Retry-After 5, recovery 7.653 s | `evidence/track1.json`, `evidence/track1.html` | ## Эксперименты и отказы | Воздействие | Что ожидали | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | | Worker остановлен после upload | 202, content 409, job ждёт | 202 queued; после старта ready, attempt 1 | 2.316 s до ready, потерь нет | | RabbitMQ остановлен между COMMIT и publish | 202 и восстановление outbox | 202, `published_at IS NULL`, readiness 200; после старта job ready | 9.005 s до ready, потерь нет | | Worker `exit 9` после записи вариантов до ack | redelivery завершает ту же job | restart 0→1, 3 объекта, ready | без потери и без второго набора | | Worker `exit 10` после claim | lease истекает, sweeper возвращает job | processing → recovered → attempt 2 → ready | 8 s (lease sweep), потерь нет | | Временная ошибка storage | retry с jitter | attempt 1 failed, attempt 2 ready | ~2.25 s backoff | | Постоянная ошибка `invalid_image` | failed + безопасный replay | content/link 409, replay_count 1, ready | ручной replay, без дубля | | Остановка одной API-реплики | сессия и подтверждённые данные живы | 118 успешных записей, 1 ошибка, recovery 2.659 s | потерь нет | | Перезапуск всех контейнеров с volumes | данные и сессия сохраняются | persistence PASS, новые `StartedAt` | потерь нет | ### Ограничения измерения отказов `restart.sh` перезапускает контейнеры, а не эмулирует падение ядра или потеру диска. RabbitMQ и PostgreSQL — одиночные экземпляры, поэтому это проверка durability на volume, а не HA-кластера. Failover измеряет один API-инстанс за HAProxy; отказ БД или брокера в этом сценарии не имитируется. Времена включают опрос готовности и запуск контейнера, поэтому это верхняя оценка, не SLA. ## Эксперимент трека 1 (уровень 5) ### Гипотеза Стоимость задания = decode + scaling + encode. `exactly_right` (1280×1280) не масштабирует optimized WebP и показывает нижнюю границу стоимости сжатия; `huge_few` добавляет downscale. Ожидаем: на тяжёлых изображениях concurrency снижает queue lag, но не throughput при 1 CPU, а RSS растёт. ### Методика - Профили: `serial` 1/1, `balanced` 4/4, `eager` 8/32 (concurrency/prefetch). - Сценарии: `small_many` 30×192×128; `exactly_right` 18×1280×1280 (optimized WebP без scaling); `huge_few` 12×2400×1800 (optimized → 1280×960). - 9 ячеек; worker пересоздаётся на профиль, изображения загружаются параллельно, все задания доводятся до терминального состояния. - Queue lag, time-to-ready и processing — из `attachment_jobs`; throughput = ready / (последний `finished_at` − первый `created_at`). - Decode/scale/JPEG/WebP — из worker-лога; encode share = `encode / (decode + scale + encode)`. Это wall-clock под данным профилем. - RSS — `VmRSS` из `/proc/1/status` примерно каждые 100 мс. - Worker 1 CPU, memory limit 2 GiB (в `.env` 1 GiB), чтобы `eager` не падал по OOM; зафиксировано в JSON. - Backpressure: `MAX_PENDING_JOBS=3`, worker остановлен, upload-ы до `503`, затем recovery. Cap выбран намеренно; важны `Retry-After` и отсутствие потерь. Команда: ```sh make track1 BASE_URL=http://localhost:8080 ``` Сырые данные: `evidence/track1.json`; графики: `evidence/track1.html`; краткая таблица: `evidence/track1.md`. ### Результаты | Профиль | Сценарий | Jobs/s | Queue lag p95, ms | Ready p95, ms | Processing p95, ms | Encode p95, ms | Encode share, % | RSS peak, MiB | Max parallel | | --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | | serial | small_many | 6.837 | 3 256 | 3 338 | 170 | 80 | 83.8 | 28.2 | 1 | | serial | exactly_right | 0.475 | 33 591 | 35 714 | 2 180 | 1 722 | 82.0 | 174.3 | 1 | | serial | huge_few | 0.436 | 23 668 | 25 896 | 2 359 | 1 508 | 63.8 | 212.9 | 1 | | balanced | small_many | 13.694 | 1 147 | 1 274 | 396 | 90 | 83.8 | 28.9 | 4 | | balanced | exactly_right | 0.495 | 31 510 | 35 764 | 8 174 | 6 562 | 83.1 | 433.8 | 4 | | balanced | huge_few | 0.441 | 18 161 | 26 576 | 9 046 | 5 606 | 61.4 | 756.4 | 4 | | eager | small_many | 15.576 | 924 | 1 166 | 410 | 95 | 79.9 | 32.1 | 8 | | eager | exactly_right | 0.495 | 31 735 | 35 797 | 16 363 | 13 330 | 83.1 | 818.4 | 8 | | eager | huge_few | 0.443 | 17 648 | 26 641 | 17 678 | 11 124 | 61.4 | 949.6 | 8 | Backpressure: cap `3` задан намеренно; первый `503` пришёл с `Retry-After: 5`. После старта worker принятые задания стали `ready` за **7.653 s** (включая запуск контейнера и healthcheck), probe upload получил `202` и дошёл до `ready`. ### Выводы 1. **Compression, not scaling, is the floor.** `exactly_right` даёт 82–83% encode share и ~0.48 jobs/s; `huge_few` — 61–64% и ~0.44 jobs/s. Убрать downscale недостаточно, чтобы 1280×1280 стал дешёвым: доминирует WebP. На `huge_few` scale p95 выше (balanced: 3.4 s против 1.5 s), но optimized output меньше (1.23 MP против 1.64 MP), поэтому throughput почти совпадает. 2. **Маленькие изображения масштабируются concurrency.** 6.84 → 13.69 → 15.58 jobs/s, RSS 28 → 32 MiB. 3. **Тяжёлые изображения CPU-bound.** ~0.44–0.50 jobs/s у всех профилей; queue lag падает, ready p95 держится ~26–36 s, RSS растёт 174 → 818 MiB (`exactly_right`) и 213 → 950 MiB (`huge_few`). Concurrency покупает latency ценой памяти, а не throughput. 4. **Backpressure.** `503` + `Retry-After: 5`; принятые задания восстановились за 7.65 s. 5. **Практический выбор.** `balanced` для тяжёлых, `eager` для лёгких. ### Ограничения - `exactly_right` кодирует 1.64 MP WebP, `huge_few` после downscale — ~1.23 MP: сценарий убирает scaling, но не уравнивает объём encode. - PNG-фикстуры синтетические; один прогон на ячейку, p95 по 12–18 заданиям чувствителен к выбросу. - Время recovery включает `docker compose start` и healthcheck. ## Ограничения и следующие шаги - Стенд учебный: один RabbitMQ, один PostgreSQL, один worker; горизонтальное масштабирование worker проверяется конфигурацией, но не HA-кластером. - `MAX_PENDING_JOBS` считается по репликам приблизительно; глобальный лимит потребовал бы общего счётчика (например, Redis) и отдельной транзакционной семантики. - Replay намеренно ручной и явный: автоматический replay постоянных ошибок маскировал бы дефекты входных данных. - WebP-энкодер `gen2brain/webp` выбран без CGO; качество и скорость могут отличаться от libwebp CLI, но результаты детерминированы на стенде. - Измерения RSS зависят от cgroup/докер-обвязки; для production нужен длительный профиль и p99, а не короткий учебный прогон. - Следующий шаг: versioned pipeline и автоматический fault-injection для трека 2, если потребуется доказывать более сильную идемпотентность.