5.0 KiB
Лабораторная 5
Автор / группа: TODO Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 1 — «Очередь под перегрузкой»
Что реализовано и что перенесено:
Реализован durable-асинхронный pipeline: upload пишет байты в S3 staging и в
одной транзакции создаёт attachments(queued) + attachment_jobs (outbox);
publisher подтверждает доставку в RabbitMQ quorum queue, отдельный worker
перечитывает метаданные из PostgreSQL, под DB-lease проверяет staging, пишет
оригинал и три варианта (thumbnail, crop, optimized), затем атомарно
фиксирует ready и только после этого делает ack. Добавлены retry с
экспоненциальным backoff и jitter, различение постоянных/временных ошибок,
replay, lease recovery, reconciler для брошенного staging и admission cap с
503/Retry-After. Параметры вариантов вынесены в
app/internal/config/config.go. Обязательный минимум предыдущих работ сохранён;
устаревшие файлы *.lab3/*.lab4 удалены, публичный контракт и тесты не
ослаблены. Для трека 1 добавлен сценарий exactly_right (1280×1280) и
измерение compression overhead отдельно от decode/scaling.
Команды запуска из чистого clone:
cp .env.example .env
# заполнить POSTGRES_PASSWORD, S3_ROOT_ACCESS_KEY, S3_ROOT_SECRET_KEY,
# S3_SECRET_ACCESS_KEY, RABBITMQ_PASSWORD; S3_ACCESS_KEY_ID == S3_APP_USER
docker compose --env-file .env up -d --build
curl -fsS http://localhost:8080/health/ready
make check
make test BASE_URL=http://localhost:8080
make track1 BASE_URL=http://localhost:8080 # эксперимент трека 1
Результаты проверок и ссылка на REPORT.md:
make check — PASS (offline structure, local refs, Python syntax); make test —
PASS: lab5 public API scenario; go test ./... в app — все пакеты зелёные.
Сценарии уровня 4 воспроизведены: broker outage/outbox, worker crash до и после
эффекта, retry, permanent failure + replay, lease recovery, перезапуск всех
контейнеров с сохранением volumes. Трек 1: 9 ячеек (3 профиля × 3 размера),
eager/small — 15.58 jobs/s против 6.84 у serial; exactly_right/huge_few —
~0.44–0.50 jobs/s, encode share 82–83% против 61–64%; backpressure — 503 +
Retry-After: 5, recovery 7.653 s. Подробности, таблица критериев и ограничения —
REPORT.md; сырые данные — evidence/track1.json,
evidence/lab5-grade4.json.
Ограничения / известные ошибки:
Стенд учебный: один RabbitMQ, один PostgreSQL и один worker, поэтому проверяется
durability на volume, а не HA-кластер. MAX_PENDING_JOBS считается по каждой
API-реплике приблизительно, без общей транзакции с вставкой. Время recovery
включает запуск контейнера и healthcheck. PNG-фикстуры синтетические; один
прогон на ячейку, p95 по 12–18 заданиям чувствителен к выбросу.
exactly_right убирает scaling, но не уравнивает объём WebP-encode с
huge_few.
Источники и использование ИИ:
RabbitMQ quorum queues и publisher confirms; amqp091-go, gen2brain/webp,
golang.org/x/image/draw, golang.org/x/sync/semaphore; стандартные
image/png, image/jpeg. ИИ: DeepSeek Flash V4.1 under OpenCode harness for
generating the solution and partial review. Все приведённые результаты получены
запуском команд на этом стенде.
- Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- Контракт и публичные тесты не ослаблены.
- make check и make test выполнены; приложен реальный вывод.
- Сценарии отказов/безопасности своего уровня воспроизведены.
- Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- README задания сохранён, REPORT.md содержит инструкцию именно моего решения.