ЛР 5 — БВТ2301 — Майорова — на 5 #7

Closed
mayorovasonya wants to merge 1 commits from mayorovasonya/mtusi2026lab5:solution/BVT2301-Mayorova into main
First-time contributor

Лабораторная 5

Майорова Софья, БВТ2301. Целевая оценка: 5. Трек 2 — доказанная идемпотентность versioned pipeline.

Продолжено моё решение lab4, PR 18: две API за HAProxy, PostgreSQL/сессии, Redis-кэш, keyset-пагинация, идемпотентность сообщений и приватные S3-вложения. Исходное задание, контракты и публичные тесты lab5 сохранены.

Upload возвращает 202 queued после полного S3 staging и COMMIT задания/outbox в PostgreSQL. Отдельные dispatcher и worker используют Redis Streams с AOF. Worker создаёт thumbnail, crop и optimized WebP; bounded subprocess, retry с backoff/jitter, lease, конечный failed registry, операторский replay и cleanup. В API resize не выполняется, bytes в broker/БД не передаются.

Трек 2: immutable versioned S3 keys, условный PUT, уникальность job/version, транзакционная публикация всех вариантов и fencing по current job/version/lease. Повторная доставка, concurrent duplicate, падение до/после side effect и ACK, перестановка и уже работающий устаревший worker не затирают новую версию.

Запуск из чистого clone

Выбрать ветку solution/BVT2301-Mayorova, затем из её корня:

python3 scripts/bootstrap.py
docker compose build api
docker compose up -d --wait
export BASE_URL=http://127.0.0.1:18091
python3 scripts/wait_ready.py
make check test test-student BASE_URL=$BASE_URL

На этом Mac Docker работает в Colima: export DOCKER_CONTEXT=colima-mtusi-labs. Все локальные секреты генерируются bootstrap и исключены из Git.

Фактические проверки

  • Публичные check/smoke, OpenAPI и 18 собственных тестов прошли.
  • 13 групп инвариантов pipeline: реальные завершения publisher/worker с кодом 77, Redis pending reclaim/ACK, дубли и конкуренция, version fencing, permanent/transient failure, исчерпание retry и replay, retention/cleanup, неверные envelope.
  • После 202 и до публикации задания выполнен SIGKILL обеих API, затем рестарт broker с volume: queued и исходник сохранились, тот же Bearer получил ready со всеми вариантами.
  • Полный restart PostgreSQL/Redis/S3/broker, публичный failover и безопасность приватного S3 прошли.
  • 30 заданий в трёх профилях, по 10 одновременных upload, все завершились ready; RGB 40 Мп: ready p95 11,659 с, cgroup peak worker с renderer 253,67 MiB, OOM kill 0. Это проверка границ, не заявление трека 1.
  • Настоящий отдельный clean clone с новыми секретами и пустыми volumes прошёл сборку, check/smoke, 18 тестов, crash/restart durability и persistence; временный стенд удалён.

Полный REPORT.md с методикой и ограничениями · Реальный вывод, JSON и график

Ограничения: один локальный host; PostgreSQL, S3, broker и LB остаются SPOF. Доставка at-least-once, не exactly-once. Проверены process/container/restart, не потеря питания/диска. Старые versioned результаты сохраняются; cleanup операторский. Hosted CI не объявляется прошедшим. Источники: собственная lab4, задание и официальная документация; использован Codex для реализации и проверок, раскрыто в отчёте.

  • Обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Отказы/безопасность выбранного уровня воспроизведены.
  • Секреты и приватные ключи вне Git; отчёт не содержит tokens.
  • README задания сохранён; REPORT.md описывает моё решение.
## Лабораторная 5 **Майорова Софья, БВТ2301. Целевая оценка: 5. Трек 2 — доказанная идемпотентность versioned pipeline.** Продолжено [моё решение lab4, PR 18](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/18): две API за HAProxy, PostgreSQL/сессии, Redis-кэш, keyset-пагинация, идемпотентность сообщений и приватные S3-вложения. Исходное задание, контракты и публичные тесты lab5 сохранены. Upload возвращает **202 queued** после полного S3 staging и COMMIT задания/outbox в PostgreSQL. Отдельные dispatcher и worker используют Redis Streams с AOF. Worker создаёт thumbnail, crop и optimized WebP; bounded subprocess, retry с backoff/jitter, lease, конечный failed registry, операторский replay и cleanup. В API resize не выполняется, bytes в broker/БД не передаются. Трек 2: immutable versioned S3 keys, условный PUT, уникальность job/version, транзакционная публикация всех вариантов и fencing по current job/version/lease. Повторная доставка, concurrent duplicate, падение до/после side effect и ACK, перестановка и уже работающий устаревший worker не затирают новую версию. ### Запуск из чистого clone Выбрать ветку `solution/BVT2301-Mayorova`, затем из её корня: ```sh python3 scripts/bootstrap.py docker compose build api docker compose up -d --wait export BASE_URL=http://127.0.0.1:18091 python3 scripts/wait_ready.py make check test test-student BASE_URL=$BASE_URL ``` На этом Mac Docker работает в Colima: `export DOCKER_CONTEXT=colima-mtusi-labs`. Все локальные секреты генерируются bootstrap и исключены из Git. ### Фактические проверки - Публичные check/smoke, OpenAPI и **18 собственных тестов** прошли. - **13 групп инвариантов** pipeline: реальные завершения publisher/worker с кодом 77, Redis pending reclaim/ACK, дубли и конкуренция, version fencing, permanent/transient failure, исчерпание retry и replay, retention/cleanup, неверные envelope. - После 202 и до публикации задания выполнен **SIGKILL обеих API**, затем рестарт broker с volume: queued и исходник сохранились, тот же Bearer получил ready со всеми вариантами. - Полный restart PostgreSQL/Redis/S3/broker, публичный failover и безопасность приватного S3 прошли. - **30 заданий в трёх профилях**, по 10 одновременных upload, все завершились ready; RGB 40 Мп: ready p95 11,659 с, cgroup peak worker с renderer 253,67 MiB, OOM kill 0. Это проверка границ, не заявление трека 1. - Настоящий отдельный clean clone с новыми секретами и пустыми volumes прошёл сборку, check/smoke, 18 тестов, crash/restart durability и persistence; временный стенд удалён. [Полный REPORT.md с методикой и ограничениями](https://gitea.privcloud.tech/mayorovasonya/mtusi2026lab5/src/branch/solution/BVT2301-Mayorova/REPORT.md) · [Реальный вывод, JSON и график](https://gitea.privcloud.tech/mayorovasonya/mtusi2026lab5/src/branch/solution/BVT2301-Mayorova/evidence) Ограничения: один локальный host; PostgreSQL, S3, broker и LB остаются SPOF. Доставка at-least-once, не exactly-once. Проверены process/container/restart, не потеря питания/диска. Старые versioned результаты сохраняются; cleanup операторский. Hosted CI не объявляется прошедшим. Источники: собственная lab4, задание и официальная документация; использован Codex для реализации и проверок, раскрыто в отчёте. - [x] Обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Отказы/безопасность выбранного уровня воспроизведены. - [x] Секреты и приватные ключи вне Git; отчёт не содержит tokens. - [x] README задания сохранён; REPORT.md описывает моё решение.
mayorovasonya added 1 commit 2026-10-27 18:22:38 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 16:00:17 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#7