forked from mtusi2026/mtusi2026lab5
69 lines
5.0 KiB
Markdown
69 lines
5.0 KiB
Markdown
## Лабораторная 5
|
||
|
||
Автор / группа: Булла Максим, БПИ2301
|
||
Целевая оценка (3/4/5): 5
|
||
Трек 5, если заявлен: трек 1 — «Очередь под перегрузкой»
|
||
|
||
Что реализовано и что перенесено:
|
||
Реализован durable-асинхронный pipeline: upload пишет байты в S3 staging и в
|
||
одной транзакции создаёт `attachments(queued)` + `attachment_jobs` (outbox);
|
||
publisher подтверждает доставку в RabbitMQ quorum queue, отдельный worker
|
||
перечитывает метаданные из PostgreSQL, под DB-lease проверяет staging, пишет
|
||
оригинал и три варианта (`thumbnail`, `crop`, `optimized`), затем атомарно
|
||
фиксирует `ready` и только после этого делает ack. Добавлены retry с
|
||
экспоненциальным backoff и jitter, различение постоянных/временных ошибок,
|
||
replay, lease recovery, reconciler для брошенного staging и admission cap с
|
||
`503`/`Retry-After`. Параметры вариантов вынесены в
|
||
`app/internal/config/config.go`. Обязательный минимум предыдущих работ сохранён;
|
||
устаревшие файлы `*.lab3`/`*.lab4` удалены, публичный контракт и тесты не
|
||
ослаблены. Для трека 1 добавлен сценарий `exactly_right` (1280×1280) и
|
||
измерение compression overhead отдельно от decode/scaling.
|
||
|
||
Команды запуска из чистого clone:
|
||
|
||
```sh
|
||
cp .env.example .env
|
||
# заполнить POSTGRES_PASSWORD, S3_ROOT_ACCESS_KEY, S3_ROOT_SECRET_KEY,
|
||
# S3_SECRET_ACCESS_KEY, RABBITMQ_PASSWORD; S3_ACCESS_KEY_ID == S3_APP_USER
|
||
docker compose --env-file .env up -d --build
|
||
curl -fsS http://localhost:8080/health/ready
|
||
make check
|
||
make test BASE_URL=http://localhost:8080
|
||
make track1 BASE_URL=http://localhost:8080 # эксперимент трека 1
|
||
```
|
||
|
||
Результаты проверок и ссылка на REPORT.md:
|
||
`make check` — PASS (offline structure, local refs, Python syntax); `make test` —
|
||
`PASS: lab5 public API scenario`; `go test ./...` в `app` — все пакеты зелёные.
|
||
Сценарии уровня 4 воспроизведены: broker outage/outbox, worker crash до и после
|
||
эффекта, retry, permanent failure + replay, lease recovery, перезапуск всех
|
||
контейнеров с сохранением volumes. Трек 1: 9 ячеек (3 профиля × 3 размера),
|
||
eager/small — 15.58 jobs/s против 6.84 у serial; `exactly_right`/`huge_few` —
|
||
~0.44–0.50 jobs/s, encode share 82–83% против 61–64%; backpressure — `503` +
|
||
`Retry-After: 5`, recovery 7.653 s. Подробности, таблица критериев и ограничения —
|
||
[REPORT.md](REPORT.md); сырые данные — `evidence/track1.json`,
|
||
`evidence/lab5-grade4.json`.
|
||
|
||
Ограничения / известные ошибки:
|
||
Стенд учебный: один RabbitMQ, один PostgreSQL и один worker, поэтому проверяется
|
||
durability на volume, а не HA-кластер. `MAX_PENDING_JOBS` считается по каждой
|
||
API-реплике приблизительно, без общей транзакции с вставкой. Время recovery
|
||
включает запуск контейнера и healthcheck. PNG-фикстуры синтетические; один
|
||
прогон на ячейку, p95 по 12–18 заданиям чувствителен к выбросу.
|
||
`exactly_right` убирает scaling, но не уравнивает объём WebP-encode с
|
||
`huge_few`.
|
||
|
||
Источники и использование ИИ:
|
||
RabbitMQ quorum queues и publisher confirms; `amqp091-go`, `gen2brain/webp`,
|
||
`golang.org/x/image/draw`, `golang.org/x/sync/semaphore`; стандартные
|
||
`image/png`, `image/jpeg`. ИИ: DeepSeek Flash V4.1 + OpenCode harness для генерации
|
||
решения и частичного ревью. Все приведённые результаты получены
|
||
запуском команд на этом стенде.
|
||
|
||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||
- [x] Контракт и публичные тесты не ослаблены.
|
||
- [x] make check и make test выполнены; приложен реальный вывод.
|
||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|