Solution/bpi2301 bakulin #96

Open
kudesn1k wants to merge 15 commits from kudesn1k/mtusi2026lab5:solution/bpi2301-bakulin into main
First-time contributor

Лабораторная работа 5

Бакулин, БПИ2301. Целевая оценка 5. Трек 2 — доказанная идемпотентность pipeline.

Что перенесено и что реализовано

Из ЛР 4 перенесены API чатов и сообщений, PostgreSQL, сессии в Valkey, две API-реплики за балансировщиком и приватное S3-хранилище SeaweedFS. Коммит переноса — 911d97a. С него удобно смотреть изменения ЛР 5.

Upload сохраняет исходник в staging и одной транзакцией PostgreSQL создаёт вложение и задание. После COMMIT клиент получает 202 queued и может сразу прикрепить ID к сообщению. Строка задания служит transactional outbox. После подтверждённой публикации в RabbitMQ отдельный worker формирует JPEG thumbnail, центральный JPEG crop и WebP. Перед публикацией вариантов транзакция проверяет версию и токен аренды. Worker подтверждает доставку после фиксации результата. Для временных ошибок предусмотрен ограниченный retry с backoff и jitter, для исчерпанных попыток — реестр и операторский replay.

Запуск и воспроизведение

Из корня клона на ветке решения, в Git Bash с Docker Compose v2, Make и Python 3.9+:

export PYTHONUTF8=1
export PUBLISH=127.0.0.1:18085 STATS_PUBLISH=127.0.0.1:18405 BASE_URL=http://localhost:18085
cp .env.example .env
make secrets
make up
make check test PYTHON=python

Отказный эксперимент останавливает компоненты. Для него используется отдельный Compose-проект со своими портами и томами:

export COMPOSE_PROJECT_NAME=lab5-track2
export PUBLISH=127.0.0.1:18086 STATS_PUBLISH=127.0.0.1:18406 BASE_URL=http://localhost:18086
make track2 PYTHON=python

Результаты

  • При остановленном worker API принял upload и два сообщения. После перезапуска API и RabbitMQ данные сохранились. После запуска worker то же задание перешло в ready на первой попытке. Контрольное скачивание совпало с оригиналом. Протокол
  • В матрице пройдены 11 из 11 сценариев. Две копии задания пережили рестарт RabbitMQ. После запоздалого подтверждения v1 клиент по-прежнему получал байты v2. При потере исходника автоматические попытки закончились на пятой, а после восстановления исходника операторский replay завершился на шестой с одной записью аудита. Матрица отказов
  • Прошли публичные smoke, persistence и failover, валидация OpenAPI, сборка Go, go vet и тесты с -race. При остановке одной API-реплики 19 ноября прошла 131 запись, при повторе на свежем стенде 20 ноября — 114. В обоих прогонах ошибок записи было 0. Команды и результаты проверок

Границы результата

Доставка выполняется at least once. При сбое кодек может запуститься повторно. Проверяемая гарантия — одна согласованная публикация версии и сохранение результата новой версии при опоздавшей старой попытке. Опыты проведены на одном хосте с сохранением томов. Для загрузки требуется положительный Content-Length, пределы — 10 MiB и 40 млн пикселей. Архитектура, методика и ограничения

Источники и использование ИИ

Контракт курса, собственная реализация ЛР 4, документация RabbitMQ, PostgreSQL, SeaweedFS и используемых кодеков. Источники в отчёте

ИИ-ассистент использовался как парный программист: генерация кода, тестов и черновиков документации по моим архитектурным решениям с последующим ревью каждого модуля и переработкой по замечаниям; выбор стека, структура проекта, модель данных, обработка ошибок, логирование и границы модулей определены мной.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная работа 5 Бакулин, БПИ2301. Целевая оценка **5**. Трек 2 — **доказанная идемпотентность pipeline**. ### Что перенесено и что реализовано Из ЛР 4 перенесены API чатов и сообщений, PostgreSQL, сессии в Valkey, две API-реплики за балансировщиком и приватное S3-хранилище SeaweedFS. Коммит переноса — `911d97a`. С него удобно смотреть изменения ЛР 5. Upload сохраняет исходник в staging и одной транзакцией PostgreSQL создаёт вложение и задание. После COMMIT клиент получает `202 queued` и может сразу прикрепить ID к сообщению. Строка задания служит transactional outbox. После подтверждённой публикации в RabbitMQ отдельный worker формирует JPEG thumbnail, центральный JPEG crop и WebP. Перед публикацией вариантов транзакция проверяет версию и токен аренды. Worker подтверждает доставку после фиксации результата. Для временных ошибок предусмотрен ограниченный retry с backoff и jitter, для исчерпанных попыток — реестр и операторский replay. ### Запуск и воспроизведение Из корня клона на ветке решения, в Git Bash с Docker Compose v2, Make и Python 3.9+: ```sh export PYTHONUTF8=1 export PUBLISH=127.0.0.1:18085 STATS_PUBLISH=127.0.0.1:18405 BASE_URL=http://localhost:18085 cp .env.example .env make secrets make up make check test PYTHON=python ``` Отказный эксперимент останавливает компоненты. Для него используется отдельный Compose-проект со своими портами и томами: ```sh export COMPOSE_PROJECT_NAME=lab5-track2 export PUBLISH=127.0.0.1:18086 STATS_PUBLISH=127.0.0.1:18406 BASE_URL=http://localhost:18086 make track2 PYTHON=python ``` ### Результаты - При остановленном worker API принял upload и два сообщения. После перезапуска API и RabbitMQ данные сохранились. После запуска worker то же задание перешло в `ready` на первой попытке. Контрольное скачивание совпало с оригиналом. [Протокол](https://gitea.privcloud.tech/kudesn1k/mtusi2026lab5/src/branch/solution/bpi2301-bakulin/evidence/worker-off-after-fixes.json) - В матрице пройдены 11 из 11 сценариев. Две копии задания пережили рестарт RabbitMQ. После запоздалого подтверждения v1 клиент по-прежнему получал байты v2. При потере исходника автоматические попытки закончились на пятой, а после восстановления исходника операторский replay завершился на шестой с одной записью аудита. [Матрица отказов](https://gitea.privcloud.tech/kudesn1k/mtusi2026lab5/src/branch/solution/bpi2301-bakulin/evidence/track2/run-after-fixes.json) - Прошли публичные smoke, persistence и failover, валидация OpenAPI, сборка Go, `go vet` и тесты с `-race`. При остановке одной API-реплики 19 ноября прошла 131 запись, при повторе на свежем стенде 20 ноября — 114. В обоих прогонах ошибок записи было 0. [Команды и результаты проверок](https://gitea.privcloud.tech/kudesn1k/mtusi2026lab5/src/branch/solution/bpi2301-bakulin/evidence/public-checks.txt) ### Границы результата Доставка выполняется **at least once**. При сбое кодек может запуститься повторно. Проверяемая гарантия — одна согласованная публикация версии и сохранение результата новой версии при опоздавшей старой попытке. Опыты проведены на одном хосте с сохранением томов. Для загрузки требуется положительный `Content-Length`, пределы — 10 MiB и 40 млн пикселей. [Архитектура, методика и ограничения](https://gitea.privcloud.tech/kudesn1k/mtusi2026lab5/src/branch/solution/bpi2301-bakulin/REPORT.md) ### Источники и использование ИИ Контракт курса, собственная реализация ЛР 4, документация RabbitMQ, PostgreSQL, SeaweedFS и используемых кодеков. [Источники в отчёте](https://gitea.privcloud.tech/kudesn1k/mtusi2026lab5/src/branch/solution/bpi2301-bakulin/REPORT.md) ИИ-ассистент использовался как парный программист: генерация кода, тестов и черновиков документации по моим архитектурным решениям с последующим ревью каждого модуля и переработкой по замечаниям; выбор стека, структура проекта, модель данных, обработка ошибок, логирование и границы модулей определены мной. <!-- После личного прогона дополнить предыдущую фразу по шаблону курса: «все проверки воспроизведены мной вручную». --> - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
kudesn1k added 15 commits 2026-11-20 13:09:44 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/kudesn1k/mtusi2026lab5 solution/bpi2301-bakulin:kudesn1k-solution/bpi2301-bakulin
git checkout kudesn1k-solution/bpi2301-bakulin
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#96