ЛР 5 - БПИ2301 - Булла - на 5 #109

Open
gitmaxlla wants to merge 8 commits from gitmaxlla/mtusi2026lab5:main into main
First-time contributor

Лабораторная 5

Автор / группа: Булла Максим, БПИ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 1 — «Очередь под перегрузкой»

Что реализовано и что перенесено:
Реализован durable-асинхронный pipeline: upload пишет байты в S3 staging и в
одной транзакции создаёт attachments(queued) + attachment_jobs (outbox);
publisher подтверждает доставку в RabbitMQ quorum queue, отдельный worker
перечитывает метаданные из PostgreSQL, под DB-lease проверяет staging, пишет
оригинал и три варианта (thumbnail, crop, optimized), затем атомарно
фиксирует ready и только после этого делает ack. Добавлены retry с
экспоненциальным backoff и jitter, различение постоянных/временных ошибок,
replay, lease recovery, reconciler для брошенного staging и admission cap с
503/Retry-After. Параметры вариантов вынесены в
app/internal/config/config.go. Обязательный минимум предыдущих работ сохранён;
публичный контракт и тесты не ослаблены.

Команды запуска из чистого clone:

cp .env.example .env
# заполнить POSTGRES_PASSWORD, S3_ROOT_ACCESS_KEY, S3_ROOT_SECRET_KEY,
# S3_SECRET_ACCESS_KEY, RABBITMQ_PASSWORD; S3_ACCESS_KEY_ID == S3_APP_USER
docker compose --env-file .env up -d --build
curl -fsS http://localhost:8080/health/ready
make check
make test BASE_URL=http://localhost:8080
make track1 BASE_URL=http://localhost:8080   # эксперимент трека 1

Результаты проверок и ссылка на REPORT.md:
make check — PASS (offline structure, local refs, Python syntax); make test —
PASS: lab5 public API scenario; go test ./... в app — все пакеты зелёные.
Сценарии уровня 4 воспроизведены: broker outage/outbox, worker crash до и после
эффекта, retry, permanent failure + replay, lease recovery, перезапуск всех
контейнеров с сохранением volumes. Трек 1: 9 ячеек (3 профиля × 3 размера),
eager/small — 15.58 jobs/s против 6.84 у serial; exactly_right/huge_few —
~0.44–0.50 jobs/s, encode share 82–83% против 61–64%; backpressure — 503 +
Retry-After: 5, recovery 7.653 s. Подробности, таблица критериев и ограничения —
REPORT.md; сырые данные — evidence/track1.json,
evidence/lab5-grade4.json.

Ограничения / известные ошибки:
Стенд учебный: один RabbitMQ, один PostgreSQL и один worker, поэтому проверяется
durability на volume, а не HA-кластер. MAX_PENDING_JOBS считается по каждой
API-реплике приблизительно, без общей транзакции с вставкой. Время recovery
включает запуск контейнера и healthcheck. PNG-фикстуры синтетические; один
прогон на ячейку, p95 по 12–18 заданиям чувствителен к выбросу.

Источники и использование ИИ:
RabbitMQ quorum queues и publisher confirms; amqp091-go, gen2brain/webp,
golang.org/x/image/draw, golang.org/x/sync/semaphore; стандартные
image/png, image/jpeg. ИИ: DeepSeek Flash V4.1 + OpenCode harness для генерации
решения и частичного ревью. Все приведённые результаты получены
запуском команд на этом стенде.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 Автор / группа: Булла Максим, БПИ2301 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 1 — «Очередь под перегрузкой» Что реализовано и что перенесено: Реализован durable-асинхронный pipeline: upload пишет байты в S3 staging и в одной транзакции создаёт `attachments(queued)` + `attachment_jobs` (outbox); publisher подтверждает доставку в RabbitMQ quorum queue, отдельный worker перечитывает метаданные из PostgreSQL, под DB-lease проверяет staging, пишет оригинал и три варианта (`thumbnail`, `crop`, `optimized`), затем атомарно фиксирует `ready` и только после этого делает ack. Добавлены retry с экспоненциальным backoff и jitter, различение постоянных/временных ошибок, replay, lease recovery, reconciler для брошенного staging и admission cap с `503`/`Retry-After`. Параметры вариантов вынесены в `app/internal/config/config.go`. Обязательный минимум предыдущих работ сохранён; публичный контракт и тесты не ослаблены. Команды запуска из чистого clone: ```sh cp .env.example .env # заполнить POSTGRES_PASSWORD, S3_ROOT_ACCESS_KEY, S3_ROOT_SECRET_KEY, # S3_SECRET_ACCESS_KEY, RABBITMQ_PASSWORD; S3_ACCESS_KEY_ID == S3_APP_USER docker compose --env-file .env up -d --build curl -fsS http://localhost:8080/health/ready make check make test BASE_URL=http://localhost:8080 make track1 BASE_URL=http://localhost:8080 # эксперимент трека 1 ``` Результаты проверок и ссылка на REPORT.md: `make check` — PASS (offline structure, local refs, Python syntax); `make test` — `PASS: lab5 public API scenario`; `go test ./...` в `app` — все пакеты зелёные. Сценарии уровня 4 воспроизведены: broker outage/outbox, worker crash до и после эффекта, retry, permanent failure + replay, lease recovery, перезапуск всех контейнеров с сохранением volumes. Трек 1: 9 ячеек (3 профиля × 3 размера), eager/small — 15.58 jobs/s против 6.84 у serial; `exactly_right`/`huge_few` — ~0.44–0.50 jobs/s, encode share 82–83% против 61–64%; backpressure — `503` + `Retry-After: 5`, recovery 7.653 s. Подробности, таблица критериев и ограничения — [REPORT.md](REPORT.md); сырые данные — `evidence/track1.json`, `evidence/lab5-grade4.json`. Ограничения / известные ошибки: Стенд учебный: один RabbitMQ, один PostgreSQL и один worker, поэтому проверяется durability на volume, а не HA-кластер. `MAX_PENDING_JOBS` считается по каждой API-реплике приблизительно, без общей транзакции с вставкой. Время recovery включает запуск контейнера и healthcheck. PNG-фикстуры синтетические; один прогон на ячейку, p95 по 12–18 заданиям чувствителен к выбросу. Источники и использование ИИ: RabbitMQ quorum queues и publisher confirms; `amqp091-go`, `gen2brain/webp`, `golang.org/x/image/draw`, `golang.org/x/sync/semaphore`; стандартные `image/png`, `image/jpeg`. ИИ: DeepSeek Flash V4.1 + OpenCode harness для генерации решения и частичного ревью. Все приведённые результаты получены запуском команд на этом стенде. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
gitmaxlla added 8 commits 2026-11-20 20:54:36 +03:00
- RabbitMQ quorum queue, persistent messages and publisher confirms
- S3 staging plus PostgreSQL attachments/jobs outbox transaction
- worker variants (thumbnail, crop, optimized WebP), DB lease and lease sweeper
- jittered retry, permanent failures, explicit replay and admission cap
- deterministic crash hooks, resilience script and evidence for grade 4
- async-aware custom tests, oversized pixel case, docs and changelog
- 3 profiles (serial 1/1, balanced 4/4, eager 8/32) x 2 image sizes
- measure throughput, DB-derived queue lag and p95 time-to-ready, worker RSS
- separate MAX_PENDING_JOBS=3 backpressure and worker recovery run
- self-contained HTML/SVG dashboard plus JSON/Markdown evidence
- document methodology, results and limitations in REPORT/README/CHANGELOG
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/gitmaxlla/mtusi2026lab5 main:gitmaxlla-main
git checkout gitmaxlla-main
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#109