Files

236 lines
19 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 5
- Автор, группа: Булла Максим, БПИ2301
- Целевая оценка: **5**, трек 1 («Очередь под перегрузкой»)
- Commit/PR: ``186fc95``
- Использованные источники и библиотеки: RabbitMQ quorum queues и publisher
confirms; `amqp091-go`, `gen2brain/webp`, `golang.org/x/image/draw`,
`golang.org/x/sync/semaphore`; стандартные `image/png`, `image/jpeg`.
Генерация отчёта и графиков — Python standard library. DeepSeek V4.1 Flash
использовался для реализации, ревью кода и подготовки текста; все
приведённые результаты получены запуском команд на этом стенде.
## Запуск из чистого clone
Требования: Docker Engine + Compose v2, Python 3.9+. Точные версии образов
закреплены в `compose.yaml` (PostgreSQL 16.10, RabbitMQ 4.2, RustFS 1.0.4,
Redis 7.4.7, HAProxy 3.2.6); приложение собирается из `golang:1.27.1-alpine`.
```sh
cp .env.example .env
# Заполнить POSTGRES_PASSWORD, S3_ROOT_ACCESS_KEY, S3_ROOT_SECRET_KEY,
# S3_SECRET_ACCESS_KEY, RABBITMQ_PASSWORD. S3_ACCESS_KEY_ID и S3_APP_USER
# обязаны совпадать: RustFS использует имя пользователя как access key.
docker compose --env-file .env up -d --build
curl -fsS http://localhost:8080/health/ready
make test BASE_URL=http://localhost:8080
```
`migrate` применяет миграции 0001–0005; `s3-init` создаёт приватный bucket и
scoped-пользователя. Оператору не нужно вручную создавать очередь: worker и
publisher объявляют durable quorum queue `attachment.process.v1`.
Безопасная остановка: `docker compose down` (volumes сохраняются).
Намеренное удаление учебных данных: `docker compose down -v`. Секреты в git не
попадают; `.env` находится в `.gitignore`.
## Архитектура и решения
```
client ──HTTP──> API ──stream──> staging/{chat}/{attachment} (S3)
│
└─ ONE TX: attachments(queued) + attachment_jobs(outbox)
│
outbox loop │ publisher confirm
v
RabbitMQ quorum queue
│ at-least-once
v
worker
DB lease ─> read metadata ─> verify staging
│
├─> attachments/{chat}/{attachment} (original, byte-equal)
├─> .../thumbnail (JPEG 256 fit)
├─> .../crop (JPEG 128 square)
└─> .../optimized (WebP 1280 fit)
│
└─ CompleteJob (attempt/version CAS) ─> ready
│
ack + delete staging
```
**Источник истины — PostgreSQL.** Сообщение RabbitMQ — только идентификатор и
снимок намерения; worker перечитывает attachment из БД. Поэтому подмена
сообщения не даёт доступа к чужим байтам, а повторная доставка безопасна.
**Граница 202.** До ответа выполнены: авторизация, валидация заголовка и
лимитов, потоковая запись во временный файл, SHA-256, PUT в durable staging и
одна транзакция, создающая attachment + job. Ответ `202` означает «байты и
намерение сохранены», а не «resize выполнен».
**Outbox.** `attachment_jobs.published_at IS NULL` — committed intent без
publisher confirm. Outbox-цикл работает в каждой API-реплике и в worker; дубли
публикации схлопываются DB-lease. Это закрывает окно «COMMIT прошёл, publish
не прошёл».
**Идемпотентность эффекта.** `ClaimJob` выдаёт lease только одной попытке.
`CompleteJob` обновляет строку при совпадении `job_id + attempt + processing` и
проверяет `pipeline_version`; устаревшая попытка не может перезаписать новый
результат. Ключи вариантов детерминированы, повтор пишет те же байты.
**Retry.** Постоянные ошибки (`invalid_image`, `staging_corrupt`,
`staging_missing`) сразу дают `failed`. Временные (`storage_unavailable`,
`processing_timeout`, `processing_failed`) повторяются с экспоненциальным
backoff ±50% jitter до `JOB_MAX_ATTEMPTS`. После исчерпания — `failed` с
`retry_exhausted`. Явный replay: `docker compose exec worker /usr/local/bin/worker -replay <uuid>`.
**Память и лимиты.** Upload не использует `io.ReadAll`: тело копируется
буфером 32 KiB. API и worker декодируют изображение только после проверки
`width*height`, под общим semaphore-budget `IMAGE_DECODE_MEMORY_MB`. Байтовый
лимит 10 MiB и пиксельный 40 MP — жёсткие сверху, конфигурация может только
ужесточить их.
**Reconciler.** Удаляет только брошенные `pending`-строки и объекты без
метаданных после grace period; `ready` не трогает. Это не часть happy path, а
страховка от падений между PUT и COMMIT.
## Доказательства критериев
Все команды выполнялись на локальном Compose-стенде; из sandbox-контейнера
использовался адрес Docker host `http://172.18.0.1:8080`, для обычного хоста —
`http://localhost:8080`. Токены и секреты не сохранены.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke (уровень 3) | `make test` | `PASS: lab5 public API scenario`; upload 202 → ready, оригинал и JPEG thumbnail проверены | `evidence/lab5-smoke.txt` |
| Upload 202 только после durable приёма | `scripts/lab5_resilience.py` сценарий `worker_stopped` | worker остановлен: `202 queued`, content `409`, после старта worker — `ready`; queue 2.316 s | `evidence/lab5-grade4.json` |
| Отдельные broker и worker | `docker compose ps` | контейнеры `rabbitmq`, `worker`, два `api`, `postgres`, `rustfs`, `reconciler` | `evidence/lab5-persistence-containers.txt` |
| Остановка API/broker не теряет принятое | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; все контейнеры перезапущены с новыми `StartedAt`, volumes сохранены | `evidence/lab5-persistence.txt`, `evidence/lab5-persistence-containers.txt` |
| Broker outage / outbox | сценарий `broker_outage` | 202 при выключенном RabbitMQ, `published_at IS NULL`, readiness 200; после старта broker job опубликован и ready, attempt 1 | `evidence/lab5-grade4.json` |
| Retry с backoff и jitter | сценарий `transient_retry` | первая попытка failed, retry через 2.25 s, attempt 2 → ready | `evidence/lab5-grade4.md` |
| Permanent failure + replay | сценарий `permanent_failure_replay` | `invalid_image`, content/link 409, replay_count 1, после replay ready, 3 варианта | `evidence/lab5-grade4.json` |
| Crash после эффекта до ack | сценарий `crash_after_effect` | worker restart 0→1, повтор завершает ту же job, 3 варианта | `evidence/lab5-grade4.md` |
| Зависший processing / lease | сценарий `lease_recovery` | one-shot exit 10, статус processing, sweeper вернул job, attempt 2 → ready | `evidence/lab5-grade4.md` |
| Ограниченная конкуренция/prefetch | конфигурация worker | `WORKER_CONCURRENCY`, `WORKER_PREFETCH`, `ch.Qos(prefetch)`; матрица трека 1 | `REPORT.md`, `evidence/track1.json` |
| Очистка staging после фиксации | сценарии `worker_stopped`, `crash_after_effect` | `staging_cleared: true`; reconciler удаляет только брошенное | `evidence/lab5-grade4.json`, `evidence/reconcile.txt` |
| Негативные случаи и лимиты | `python3 tests/custom/attachments.py` | 413 по bytes и по 42 MP, 415 corrupt/spoof, 404/400, нет 5xx | `evidence/lab5-negative-cases.txt` |
| Failover API | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | 118 успешных записей, 1 переходная ошибка, восстановление 2.659 s; остановлена именно `api-2` | `evidence/lab5-failover.txt` |
| Трек 1, уровень 5 | `python3 scripts/track1_experiment.py` | 3 профиля × 3 размера; eager/small 15.58 jobs/s против serial 6.84; exactly_right/huge_few ~0.44–0.50 jobs/s, encode share 83% против 61–64%; RSS до 950 MiB; 503 + Retry-After 5, recovery 7.653 s | `evidence/track1.json`, `evidence/track1.html` |
## Эксперименты и отказы
| Воздействие | Что ожидали | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| Worker остановлен после upload | 202, content 409, job ждёт | 202 queued; после старта ready, attempt 1 | 2.316 s до ready, потерь нет |
| RabbitMQ остановлен между COMMIT и publish | 202 и восстановление outbox | 202, `published_at IS NULL`, readiness 200; после старта job ready | 9.005 s до ready, потерь нет |
| Worker `exit 9` после записи вариантов до ack | redelivery завершает ту же job | restart 0→1, 3 объекта, ready | без потери и без второго набора |
| Worker `exit 10` после claim | lease истекает, sweeper возвращает job | processing → recovered → attempt 2 → ready | 8 s (lease sweep), потерь нет |
| Временная ошибка storage | retry с jitter | attempt 1 failed, attempt 2 ready | ~2.25 s backoff |
| Постоянная ошибка `invalid_image` | failed + безопасный replay | content/link 409, replay_count 1, ready | ручной replay, без дубля |
| Остановка одной API-реплики | сессия и подтверждённые данные живы | 118 успешных записей, 1 ошибка, recovery 2.659 s | потерь нет |
| Перезапуск всех контейнеров с volumes | данные и сессия сохраняются | persistence PASS, новые `StartedAt` | потерь нет |
### Ограничения измерения отказов
`restart.sh` перезапускает контейнеры, а не эмулирует падение ядра или потеру
диска. RabbitMQ и PostgreSQL — одиночные экземпляры, поэтому это проверка
durability на volume, а не HA-кластера. Failover измеряет один API-инстанс за
HAProxy; отказ БД или брокера в этом сценарии не имитируется. Времена включают
опрос готовности и запуск контейнера, поэтому это верхняя оценка, не SLA.
## Эксперимент трека 1 (уровень 5)
<!-- TRACK1:START -->
### Гипотеза
Стоимость задания = decode + scaling + encode. `exactly_right` (1280×1280) не
масштабирует optimized WebP и показывает нижнюю границу стоимости сжатия;
`huge_few` добавляет downscale. Ожидаем: на тяжёлых изображениях concurrency
снижает queue lag, но не throughput при 1 CPU, а RSS растёт.
### Методика
- Профили: `serial` 1/1, `balanced` 4/4, `eager` 8/32 (concurrency/prefetch).
- Сценарии: `small_many` 30×192×128; `exactly_right` 18×1280×1280 (optimized
WebP без scaling); `huge_few` 12×2400×1800 (optimized → 1280×960).
- 9 ячеек; worker пересоздаётся на профиль, изображения загружаются параллельно,
все задания доводятся до терминального состояния.
- Queue lag, time-to-ready и processing — из `attachment_jobs`; throughput =
ready / (последний `finished_at` − первый `created_at`).
- Decode/scale/JPEG/WebP — из worker-лога; encode share =
`encode / (decode + scale + encode)`. Это wall-clock под данным профилем.
- RSS — `VmRSS` из `/proc/1/status` примерно каждые 100 мс.
- Worker 1 CPU, memory limit 2 GiB (в `.env` 1 GiB), чтобы `eager` не падал по
OOM; зафиксировано в JSON.
- Backpressure: `MAX_PENDING_JOBS=3`, worker остановлен, upload-ы до `503`, затем
recovery. Cap выбран намеренно; важны `Retry-After` и отсутствие потерь.
Команда:
```sh
make track1 BASE_URL=http://localhost:8080
```
Сырые данные: `evidence/track1.json`; графики: `evidence/track1.html`;
краткая таблица: `evidence/track1.md`.
### Результаты
| Профиль | Сценарий | Jobs/s | Queue lag p95, ms | Ready p95, ms | Processing p95, ms | Encode p95, ms | Encode share, % | RSS peak, MiB | Max parallel |
| --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
| serial | small_many | 6.837 | 3 256 | 3 338 | 170 | 80 | 83.8 | 28.2 | 1 |
| serial | exactly_right | 0.475 | 33 591 | 35 714 | 2 180 | 1 722 | 82.0 | 174.3 | 1 |
| serial | huge_few | 0.436 | 23 668 | 25 896 | 2 359 | 1 508 | 63.8 | 212.9 | 1 |
| balanced | small_many | 13.694 | 1 147 | 1 274 | 396 | 90 | 83.8 | 28.9 | 4 |
| balanced | exactly_right | 0.495 | 31 510 | 35 764 | 8 174 | 6 562 | 83.1 | 433.8 | 4 |
| balanced | huge_few | 0.441 | 18 161 | 26 576 | 9 046 | 5 606 | 61.4 | 756.4 | 4 |
| eager | small_many | 15.576 | 924 | 1 166 | 410 | 95 | 79.9 | 32.1 | 8 |
| eager | exactly_right | 0.495 | 31 735 | 35 797 | 16 363 | 13 330 | 83.1 | 818.4 | 8 |
| eager | huge_few | 0.443 | 17 648 | 26 641 | 17 678 | 11 124 | 61.4 | 949.6 | 8 |
Backpressure: cap `3` задан намеренно; первый `503` пришёл с `Retry-After: 5`.
После старта worker принятые задания стали `ready` за **7.653 s** (включая
запуск контейнера и healthcheck), probe upload получил `202` и дошёл до `ready`.
### Выводы
1. **Compression, not scaling, is the floor.** `exactly_right` даёт 82–83%
encode share и ~0.48 jobs/s; `huge_few` — 61–64% и ~0.44 jobs/s. Убрать
downscale недостаточно, чтобы 1280×1280 стал дешёвым: доминирует WebP.
На `huge_few` scale p95 выше (balanced: 3.4 s против 1.5 s), но optimized
output меньше (1.23 MP против 1.64 MP), поэтому throughput почти совпадает.
2. **Маленькие изображения масштабируются concurrency.** 6.84 → 13.69 →
15.58 jobs/s, RSS 28 → 32 MiB.
3. **Тяжёлые изображения CPU-bound.** ~0.44–0.50 jobs/s у всех профилей;
queue lag падает, ready p95 держится ~26–36 s, RSS растёт 174 → 818 MiB
(`exactly_right`) и 213 → 950 MiB (`huge_few`). Concurrency покупает latency
ценой памяти, а не throughput.
4. **Backpressure.** `503` + `Retry-After: 5`; принятые задания восстановились
за 7.65 s.
5. **Практический выбор.** `balanced` для тяжёлых, `eager` для лёгких.
### Ограничения
- `exactly_right` кодирует 1.64 MP WebP, `huge_few` после downscale — ~1.23 MP:
сценарий убирает scaling, но не уравнивает объём encode.
- PNG-фикстуры синтетические; один прогон на ячейку, p95 по 12–18 заданиям
чувствителен к выбросу.
- Время recovery включает `docker compose start` и healthcheck.
<!-- TRACK1:END -->
## Ограничения и следующие шаги
- Стенд учебный: один RabbitMQ, один PostgreSQL, один worker; горизонтальное
масштабирование worker проверяется конфигурацией, но не HA-кластером.
- `MAX_PENDING_JOBS` считается по репликам приблизительно; глобальный лимит
потребовал бы общего счётчика (например, Redis) и отдельной транзакционной
семантики.
- Replay намеренно ручной и явный: автоматический replay постоянных ошибок
маскировал бы дефекты входных данных.
- WebP-энкодер `gen2brain/webp` выбран без CGO; качество и скорость могут
отличаться от libwebp CLI, но результаты детерминированы на стенде.
- Измерения RSS зависят от cgroup/докер-обвязки; для production нужен
длительный профиль и p99, а не короткий учебный прогон.
- Следующий шаг: versioned pipeline и автоматический fault-injection для
трека 2, если потребуется доказывать более сильную идемпотентность.