ЛР 5 — БПИ2301 — Антипин — на 5 #90

Open
Egor_Antipin wants to merge 3 commits from Egor_Antipin/mtusi2026lab5:solution/bpi2301-antipin into main
First-time contributor

Лабораторная 5

Автор / группа: Антипин Егор Иванович / БПИ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2

Что реализовано и что перенесено:
Реализован versioned pipeline v1/v2: attachments.pipeline_version, уникальность
attachment_jobs(attachment_id, pipeline_version), состояние superseded,
audit-таблица attachment_pipeline_promotions и маркеры fault-injection до/после
side effect (миграция V7__versioned_pipeline_and_fault_points.sql). Повышение
версии выполняется одной аудированной транзакцией scripts/promote-pipeline.ps1
(.sh для Linux): старые queued/processing jobs становятся superseded, новая
job создаётся в outbox, attachment переводится в queued. Fencing по
pipeline_version, lease token и terminal state добавлен в claim, markReady,
markFailed, retry, expired-lease recovery и replay, поэтому stale job не может
записать variants или перевести attachment в ready. ImageVariantProcessor
кодирует v1/v2 с разными quality и версионированными S3 keys; общий original
неизменяем. Автоматический student_tests/lab5_pipeline_idempotency.py
проверяет duplicate, reorder, stale, superseded и падения до/после S3 PUT и после
result COMMIT.

Перенесено из предыдущих работ без ослабления контракта: публичный контракт
upload/status, idempotency по Idempotency-Key, readiness gate, failover и
rolling update (лабораторная 3), лимиты bytes/pixels, negative-сценарии, memory
budget и DLQ/replay/lease (лабораторная 4). Все обязательные варианты
(original, thumbnail, crop, optimized) и прежние состояния сохранены.

Команды запуска из чистого clone:
cp .env.example .env

Заменить все replace-with-* уникальными локальными значениями.

docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
python -X utf8 tests/smoke.py --base-url http://localhost:8080
gradlew test

Результаты проверок и ссылка на REPORT.md:

  • student_tests/lab5_pipeline_idempotency.py — PASS: version fencing,
    superseded, duplicate/reorder и падения до/после side effect.
  • gradlew test — BUILD SUCCESSFUL, 30 tests.
  • scripts/check_contract.py — PASS; docker compose config — exit 0.
  • Регрессия 3–4: smoke, worker_recovery, fault_injection,
    dlq_replay_lease, idempotency_concurrent, readiness_gate,
    failover_each, rolling_update, lab4_negative,
    concurrent_upload_memory — все PASS.
  • SQL-инварианты на текущем прогоне: 0 ready с неверным числом variants,
    0 attachment с двумя активными jobs, 0 дублей variant keys, 0 stale results
    для активной версии.
    Подробности: REPORT.md, журнал с SQL и JSON —
    evidence/lab5-level5-2026-11-19.md.

Ограничения / известные ошибки:

  • Exactly-once доставки нет: RabbitMQ даёт at-least-once, между S3 PUT и
    PostgreSQL COMMIT нет распределённой транзакции. Доказан at-least-once +
    идемпотентный (effectively-once) эффект; тест сознательно показывает лишние
    повторы S3 PUT, не меняющие результат.
  • Один Docker-host и по одному экземпляру PostgreSQL, RabbitMQ, Redis, MinIO;
    устойчивость к потере host/диска не проверялась.
  • Orphan-объекты старых версий после promotion «в полёте» не перезаписывают
    active результат, но автоматического GC для них нет.
  • promote-pipeline — операторский скрипт с SQL-транзакцией, не публичный API.
  • Исторические 3 attachment от 2026-11-18 созданы до V7 и имеют один вариант;
    инвариант трёх вариантов действует на чистом volume и для новых данных.
  • Числа failover/rolling — проверка сохранности на одном Windows-хосте, не
    benchmark пропускной способности.

Источники и использование ИИ:
Источники: документация Spring AMQP и RabbitMQ (publisher confirms, consumer
ack, at-least-once), PostgreSQL (транзакции, ON CONFLICT, advisory/row locks),
MinIO SDK, Thumbnailator, webp-imageio, материалы курса и README задания.
ИИ использован для проектирования versioned pipeline, fencing и fault-injection,
реализации, подготовки тестов и черновиков evidence. Результат проверен сборкой,
unit-, black-box- и аварийными тестами; секреты в Git не добавлялись.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 Автор / группа: Антипин Егор Иванович / БПИ2301 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: 2 Что реализовано и что перенесено: Реализован versioned pipeline v1/v2: `attachments.pipeline_version`, уникальность `attachment_jobs(attachment_id, pipeline_version)`, состояние `superseded`, audit-таблица `attachment_pipeline_promotions` и маркеры fault-injection до/после side effect (миграция `V7__versioned_pipeline_and_fault_points.sql`). Повышение версии выполняется одной аудированной транзакцией `scripts/promote-pipeline.ps1` (`.sh` для Linux): старые `queued/processing` jobs становятся `superseded`, новая job создаётся в outbox, attachment переводится в `queued`. Fencing по `pipeline_version`, lease token и terminal state добавлен в `claim`, `markReady`, `markFailed`, retry, expired-lease recovery и replay, поэтому stale job не может записать variants или перевести attachment в `ready`. `ImageVariantProcessor` кодирует v1/v2 с разными quality и версионированными S3 keys; общий `original` неизменяем. Автоматический `student_tests/lab5_pipeline_idempotency.py` проверяет duplicate, reorder, stale, superseded и падения до/после S3 PUT и после result COMMIT. Перенесено из предыдущих работ без ослабления контракта: публичный контракт upload/status, idempotency по `Idempotency-Key`, readiness gate, failover и rolling update (лабораторная 3), лимиты bytes/pixels, negative-сценарии, memory budget и DLQ/replay/lease (лабораторная 4). Все обязательные варианты (`original`, `thumbnail`, `crop`, `optimized`) и прежние состояния сохранены. Команды запуска из чистого clone: cp .env.example .env # Заменить все replace-with-* уникальными локальными значениями. docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build python -X utf8 tests/smoke.py --base-url http://localhost:8080 gradlew test Результаты проверок и ссылка на REPORT.md: - `student_tests/lab5_pipeline_idempotency.py` — PASS: version fencing, superseded, duplicate/reorder и падения до/после side effect. - `gradlew test` — `BUILD SUCCESSFUL`, 30 tests. - `scripts/check_contract.py` — PASS; `docker compose config` — exit 0. - Регрессия 3–4: `smoke`, `worker_recovery`, `fault_injection`, `dlq_replay_lease`, `idempotency_concurrent`, `readiness_gate`, `failover_each`, `rolling_update`, `lab4_negative`, `concurrent_upload_memory` — все PASS. - SQL-инварианты на текущем прогоне: 0 `ready` с неверным числом variants, 0 attachment с двумя активными jobs, 0 дублей variant keys, 0 stale results для активной версии. Подробности: [REPORT.md](../REPORT.md), журнал с SQL и JSON — `evidence/lab5-level5-2026-11-19.md`. Ограничения / известные ошибки: - Exactly-once доставки нет: RabbitMQ даёт at-least-once, между S3 PUT и PostgreSQL COMMIT нет распределённой транзакции. Доказан at-least-once + идемпотентный (effectively-once) эффект; тест сознательно показывает лишние повторы S3 PUT, не меняющие результат. - Один Docker-host и по одному экземпляру PostgreSQL, RabbitMQ, Redis, MinIO; устойчивость к потере host/диска не проверялась. - Orphan-объекты старых версий после promotion «в полёте» не перезаписывают active результат, но автоматического GC для них нет. - `promote-pipeline` — операторский скрипт с SQL-транзакцией, не публичный API. - Исторические 3 attachment от 2026-11-18 созданы до V7 и имеют один вариант; инвариант трёх вариантов действует на чистом volume и для новых данных. - Числа failover/rolling — проверка сохранности на одном Windows-хосте, не benchmark пропускной способности. Источники и использование ИИ: Источники: документация Spring AMQP и RabbitMQ (publisher confirms, consumer ack, at-least-once), PostgreSQL (транзакции, `ON CONFLICT`, advisory/row locks), MinIO SDK, Thumbnailator, webp-imageio, материалы курса и README задания. ИИ использован для проектирования versioned pipeline, fencing и fault-injection, реализации, подготовки тестов и черновиков evidence. Результат проверен сборкой, unit-, black-box- и аварийными тестами; секреты в Git не добавлялись. - [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [ ] Контракт и публичные тесты не ослаблены. - [ ] make check и make test выполнены; приложен реальный вывод. - [ ] Сценарии отказов/безопасности своего уровня воспроизведены. - [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Egor_Antipin added 3 commits 2026-11-19 11:03:10 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/Egor_Antipin/mtusi2026lab5 solution/bpi2301-antipin:Egor_Antipin-solution/bpi2301-antipin
git checkout Egor_Antipin-solution/bpi2301-antipin
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#90