Автор / группа: Морару С. С., БПИ2303
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Доказанная идемпотентность pipeline»
Что реализовано и что перенесено
Из lab4 перенёс без изменений: весь API lab1–4, HAProxy, PostgreSQL, SeaweedFS, потоковый валидатор PNG/JPEG, reconciler.
Добавил:
upload отвечает 202 queued только после двух шагов: записи оригинала в staging/ и одной транзакции attachments + jobs + outbox;
RabbitMQ 4.3: quorum-очередь, publisher confirms, ручной ack. api только публикует, worker только читает, guest отключён;
relay outbox → брокер в каждой реплике API и sweeper для заданий с истёкшей арендой;
worker ×2: захват по номеру попытки, аренда с fencing-токеном, варианты thumbnail / crop / WebP через sharp, ack только после фиксации результата;
5 попыток с backoff и jitter, постоянные и временные ошибки различаются. Для упавших заданий есть реестр failed, replay с аудитом и reprocess --version=N;
reconciler дочищает staging/ и variants/;
точки внедрения отказов (только при FAILPOINTS=1) для трека 2.
Команды запуска из чистого clone
scripts/init-secrets.sh
docker compose --env-file .env up -d --build --wait
make check && make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && docker compose start api
python3 student-tests/worker_outage.py --base-url http://localhost:8080
python3 student-tests/pipeline_faults.py --base-url http://localhost:8080
python3 student-tests/reprocess_v2.py --base-url http://localhost:8080
Результаты проверок — REPORT.md, вывод лежит в evidence/
make check, make validate, make test — PASS.
Persistence и failover — PASS, ни одна запись не потерялась.
Остановленный worker: upload принимается, задание переживает рестарт API и брокера и становится ready после запуска worker.
14 сценариев отказов (падения API, relay и worker в разных точках, дубли, reorder, недоступный S3, битый PNG, остановленный брокер) — PASS. Работа не теряется, у каждого вложения ровно один набор вариантов, повтор даёт тот же результат.
Выкатка pipeline v2: 64 вложения переобработаны за 8.8 с, повторный запуск ничего не ставит.
Пик памяти worker на худших входах — 160 MiB при лимите 768 MiB.
Ограничения / известные ошибки
RabbitMQ, PostgreSQL и SeaweedFS работают в одном экземпляре.
Аренда не продлевается: долгая запись в S3 ведёт к повтору через fencing.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5
Автор / группа: Морару С. С., БПИ2303
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Доказанная идемпотентность pipeline»
**Что реализовано и что перенесено**
Из lab4 перенёс без изменений: весь API lab1–4, HAProxy, PostgreSQL, SeaweedFS, потоковый валидатор PNG/JPEG, reconciler.
Добавил:
- upload отвечает 202 queued только после двух шагов: записи оригинала в `staging/` и одной транзакции attachments + jobs + outbox;
- RabbitMQ 4.3: quorum-очередь, publisher confirms, ручной ack. api только публикует, worker только читает, guest отключён;
- relay outbox → брокер в каждой реплике API и sweeper для заданий с истёкшей арендой;
- worker ×2: захват по номеру попытки, аренда с fencing-токеном, варианты thumbnail / crop / WebP через sharp, ack только после фиксации результата;
- 5 попыток с backoff и jitter, постоянные и временные ошибки различаются. Для упавших заданий есть реестр failed, replay с аудитом и `reprocess --version=N`;
- reconciler дочищает `staging/` и `variants/`;
- точки внедрения отказов (только при `FAILPOINTS=1`) для трека 2.
**Команды запуска из чистого clone**
```sh
scripts/init-secrets.sh
docker compose --env-file .env up -d --build --wait
make check && make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && docker compose start api
python3 student-tests/worker_outage.py --base-url http://localhost:8080
python3 student-tests/pipeline_faults.py --base-url http://localhost:8080
python3 student-tests/reprocess_v2.py --base-url http://localhost:8080
```
**Результаты проверок** — [REPORT.md](https://gitea.privcloud.tech/s.s.moraru/mtusi2026lab5/src/branch/solution/bpi2303-moraru/REPORT.md), вывод лежит в `evidence/`
- `make check`, `make validate`, `make test` — PASS.
- Persistence и failover — PASS, ни одна запись не потерялась.
- Остановленный worker: upload принимается, задание переживает рестарт API и брокера и становится ready после запуска worker.
- 14 сценариев отказов (падения API, relay и worker в разных точках, дубли, reorder, недоступный S3, битый PNG, остановленный брокер) — PASS. Работа не теряется, у каждого вложения ровно один набор вариантов, повтор даёт тот же результат.
- Выкатка pipeline v2: 64 вложения переобработаны за 8.8 с, повторный запуск ничего не ставит.
- Пик памяти worker на худших входах — 160 MiB при лимите 768 MiB.
**Ограничения / известные ошибки**
- RabbitMQ, PostgreSQL и SeaweedFS работают в одном экземпляре.
- Аренда не продлевается: долгая запись в S3 ведёт к повтору через fencing.
- Outbox и журнал replay не чистятся.
**Источники:** Node.js 24, `pg`, `@aws-sdk/client-s3`, `amqplib`, `sharp`, RabbitMQ 4.3, SeaweedFS 4.48, HAProxy 3.2, PostgreSQL 18; документация RabbitMQ (publisher confirms, quorum queues); паттерн transactional outbox.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
- upload возвращает 202 после записи оригинала в staging/ и одной
транзакции attachments + jobs + outbox
- relay outbox → RabbitMQ (quorum-очередь, publisher confirms) в каждой
реплике API; sweeper возвращает работу с истёкшей арендой
- worker: аренда с fencing-токеном, варианты thumbnail/crop/optimized
(sharp), retry с backoff и jitter, реестр failed, replay с аудитом,
reprocess новой версией pipeline
- reconciler дочищает staging/ и variants/
- сценарии уровней 3–4, fault-injection трека 2 (14 сценариев,
инварианты I1–I6), evidence и REPORT.md
PNG: тип фильтра каждой строки (с учётом Adam7) только 0–4, длина PLTE
кратна 3 и не больше 256 цветов. JPEG: заголовки и таблицы проверяются
так же, как в libjpeg-turbo — вид SOF, 8 бит, 1/3/4 компонента,
прореживание, DQT/DHT для каждого скана, параметры SOS, непустой скан.
Файлы из замечаний (PNG 1x1 с фильтром 5, JPEG 27 байт без таблиц и
данных скана) теперь получают 415; добавлены тесты.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 5
Автор / группа: Морару С. С., БПИ2303
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Доказанная идемпотентность pipeline»
Что реализовано и что перенесено
Из lab4 перенёс без изменений: весь API lab1–4, HAProxy, PostgreSQL, SeaweedFS, потоковый валидатор PNG/JPEG, reconciler.
Добавил:
staging/и одной транзакции attachments + jobs + outbox;reprocess --version=N;staging/иvariants/;FAILPOINTS=1) для трека 2.Команды запуска из чистого clone
Результаты проверок — REPORT.md, вывод лежит в
evidence/make check,make validate,make test— PASS.Ограничения / известные ошибки
Источники: Node.js 24,
pg,@aws-sdk/client-s3,amqplib,sharp, RabbitMQ 4.3, SeaweedFS 4.48, HAProxy 3.2, PostgreSQL 18; документация RabbitMQ (publisher confirms, quorum queues); паттерн transactional outbox.Принято. Закрываю МР.
Pull request closed