ЛР 5 - БПИ2303 - Морару - на 5 #12

Closed
s.s.moraru wants to merge 2 commits from s.s.moraru/mtusi2026lab5:solution/bpi2303-moraru into main
First-time contributor

Лабораторная 5

Автор / группа: Морару С. С., БПИ2303
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Доказанная идемпотентность pipeline»

Что реализовано и что перенесено

Из lab4 перенёс без изменений: весь API lab1–4, HAProxy, PostgreSQL, SeaweedFS, потоковый валидатор PNG/JPEG, reconciler.

Добавил:

  • upload отвечает 202 queued только после двух шагов: записи оригинала в staging/ и одной транзакции attachments + jobs + outbox;
  • RabbitMQ 4.3: quorum-очередь, publisher confirms, ручной ack. api только публикует, worker только читает, guest отключён;
  • relay outbox → брокер в каждой реплике API и sweeper для заданий с истёкшей арендой;
  • worker ×2: захват по номеру попытки, аренда с fencing-токеном, варианты thumbnail / crop / WebP через sharp, ack только после фиксации результата;
  • 5 попыток с backoff и jitter, постоянные и временные ошибки различаются. Для упавших заданий есть реестр failed, replay с аудитом и reprocess --version=N;
  • reconciler дочищает staging/ и variants/;
  • точки внедрения отказов (только при FAILPOINTS=1) для трека 2.

Команды запуска из чистого clone

scripts/init-secrets.sh
docker compose --env-file .env up -d --build --wait
make check && make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && docker compose start api
python3 student-tests/worker_outage.py   --base-url http://localhost:8080
python3 student-tests/pipeline_faults.py --base-url http://localhost:8080
python3 student-tests/reprocess_v2.py    --base-url http://localhost:8080

Результаты проверок — REPORT.md, вывод лежит в evidence/

  • make check, make validate, make test — PASS.
  • Persistence и failover — PASS, ни одна запись не потерялась.
  • Остановленный worker: upload принимается, задание переживает рестарт API и брокера и становится ready после запуска worker.
  • 14 сценариев отказов (падения API, relay и worker в разных точках, дубли, reorder, недоступный S3, битый PNG, остановленный брокер) — PASS. Работа не теряется, у каждого вложения ровно один набор вариантов, повтор даёт тот же результат.
  • Выкатка pipeline v2: 64 вложения переобработаны за 8.8 с, повторный запуск ничего не ставит.
  • Пик памяти worker на худших входах — 160 MiB при лимите 768 MiB.

Ограничения / известные ошибки

  • RabbitMQ, PostgreSQL и SeaweedFS работают в одном экземпляре.
  • Аренда не продлевается: долгая запись в S3 ведёт к повтору через fencing.
  • Outbox и журнал replay не чистятся.

Источники: Node.js 24, pg, @aws-sdk/client-s3, amqplib, sharp, RabbitMQ 4.3, SeaweedFS 4.48, HAProxy 3.2, PostgreSQL 18; документация RabbitMQ (publisher confirms, quorum queues); паттерн transactional outbox.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 Автор / группа: Морару С. С., БПИ2303 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 2 «Доказанная идемпотентность pipeline» **Что реализовано и что перенесено** Из lab4 перенёс без изменений: весь API lab1–4, HAProxy, PostgreSQL, SeaweedFS, потоковый валидатор PNG/JPEG, reconciler. Добавил: - upload отвечает 202 queued только после двух шагов: записи оригинала в `staging/` и одной транзакции attachments + jobs + outbox; - RabbitMQ 4.3: quorum-очередь, publisher confirms, ручной ack. api только публикует, worker только читает, guest отключён; - relay outbox → брокер в каждой реплике API и sweeper для заданий с истёкшей арендой; - worker ×2: захват по номеру попытки, аренда с fencing-токеном, варианты thumbnail / crop / WebP через sharp, ack только после фиксации результата; - 5 попыток с backoff и jitter, постоянные и временные ошибки различаются. Для упавших заданий есть реестр failed, replay с аудитом и `reprocess --version=N`; - reconciler дочищает `staging/` и `variants/`; - точки внедрения отказов (только при `FAILPOINTS=1`) для трека 2. **Команды запуска из чистого clone** ```sh scripts/init-secrets.sh docker compose --env-file .env up -d --build --wait make check && make test make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh && docker compose start api python3 student-tests/worker_outage.py --base-url http://localhost:8080 python3 student-tests/pipeline_faults.py --base-url http://localhost:8080 python3 student-tests/reprocess_v2.py --base-url http://localhost:8080 ``` **Результаты проверок** — [REPORT.md](https://gitea.privcloud.tech/s.s.moraru/mtusi2026lab5/src/branch/solution/bpi2303-moraru/REPORT.md), вывод лежит в `evidence/` - `make check`, `make validate`, `make test` — PASS. - Persistence и failover — PASS, ни одна запись не потерялась. - Остановленный worker: upload принимается, задание переживает рестарт API и брокера и становится ready после запуска worker. - 14 сценариев отказов (падения API, relay и worker в разных точках, дубли, reorder, недоступный S3, битый PNG, остановленный брокер) — PASS. Работа не теряется, у каждого вложения ровно один набор вариантов, повтор даёт тот же результат. - Выкатка pipeline v2: 64 вложения переобработаны за 8.8 с, повторный запуск ничего не ставит. - Пик памяти worker на худших входах — 160 MiB при лимите 768 MiB. **Ограничения / известные ошибки** - RabbitMQ, PostgreSQL и SeaweedFS работают в одном экземпляре. - Аренда не продлевается: долгая запись в S3 ведёт к повтору через fencing. - Outbox и журнал replay не чистятся. **Источники:** Node.js 24, `pg`, `@aws-sdk/client-s3`, `amqplib`, `sharp`, RabbitMQ 4.3, SeaweedFS 4.48, HAProxy 3.2, PostgreSQL 18; документация RabbitMQ (publisher confirms, quorum queues); паттерн transactional outbox. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
s.s.moraru added 1 commit 2026-10-31 00:42:24 +03:00
- upload возвращает 202 после записи оригинала в staging/ и одной
  транзакции attachments + jobs + outbox
- relay outbox → RabbitMQ (quorum-очередь, publisher confirms) в каждой
  реплике API; sweeper возвращает работу с истёкшей арендой
- worker: аренда с fencing-токеном, варианты thumbnail/crop/optimized
  (sharp), retry с backoff и jitter, реестр failed, replay с аудитом,
  reprocess новой версией pipeline
- reconciler дочищает staging/ и variants/
- сценарии уровней 3–4, fault-injection трека 2 (14 сценариев,
  инварианты I1–I6), evidence и REPORT.md
s.s.moraru added 1 commit 2026-10-31 10:31:07 +03:00
PNG: тип фильтра каждой строки (с учётом Adam7) только 0–4, длина PLTE
кратна 3 и не больше 256 цветов. JPEG: заголовки и таблицы проверяются
так же, как в libjpeg-turbo — вид SOF, 8 бит, 1/3/4 компонента,
прореживание, DQT/DHT для каждого скана, параметры SOS, непустой скан.
Файлы из замечаний (PNG 1x1 с фильтром 5, JPEG 27 байт без таблиц и
данных скана) теперь получают 415; добавлены тесты.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 16:00:15 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#12