ЛР 5 - БВТ2302 - Миронов - на 4 #32

Closed
ALMiron wants to merge 2 commits from ALMiron/mtusi2026lab5-fork:solution/bvt2302-mironov into main
First-time contributor

Лабораторная работа 5

  • Автор / группа: Алексей Миронов, БВТ2302
  • Целевая оценка: 4
  • Трек 5: не заявляется

Что реализовано

Реализована асинхронная обработка изображений с durable handoff и доставкой at-least-once:

  • API сохраняет загруженный файл в приватный S3 staging, атомарно записывает attachments, attachment_jobs и outbox в PostgreSQL и возвращает 202 Accepted.
  • Dispatcher публикует задания из transactional outbox в Kafka; publisher delivery report используется как подтверждение публикации.
  • Отдельный worker получает сообщения с идентификаторами, захватывает job в PostgreSQL с lease, обрабатывает изображение в дочернем процессе и публикует оригинал и три варианта в S3.
  • Результат фиксируется в PostgreSQL до commit Kafka offset. Повторная доставка безопасна за счёт состояния job, lease, детерминированных ключей S3 и уникальности вариантов.
  • Реализованы retry с exponential backoff и jitter, различение постоянных и временных ошибок, reaper истёкших lease, реестр окончательно неудавшихся задач в PostgreSQL и безопасный операторский replay.
  • Добавлены ограничения размера файла, числа пикселей, времени, памяти и CPU обработки, ограниченная конкуренция worker и очистка staging/s3-сирот.
  • Сохранены функциональность и контракты предыдущей лабораторной работы.

Архитектурные решения

  • PostgreSQL - источник истины для состояния вложений и заданий.
  • Kafka - персистентный транспорт at-least-once; используется основной топик attachment-jobs.
  • Неудавшиеся задания хранятся в реестре PostgreSQL (attachment_jobs и job_events).
  • Задержка повторной попытки реализована через available_at в outbox, поскольку Kafka не предоставляет per-message delayed delivery.
  • Dispatcher выполняет relay outbox и reaper истёкших lease.

Проверки

  • make check - успешно (scripts/check_contract.py).
  • make validate
  • docker compose --env-file .env config --quiet
  • docker compose --env-file .env up -d --build
  • make test
  • python3 student-tests/level4_failures.py all

Результаты проверок и ссылка на REPORT1.md: подробности, таблица критериев и эксперименты - в REPORT1.md, а доказательства - в evidence/evidence.txt

Команды запуска из чистого clone

- `make check` 
- `make validate`
cp .env.example .env
# Заполнить локальные значения секретов в .env; файл .env не коммитить.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
until curl -fs http://localhost:8080/health/ready; do sleep 2; done
make test
python3 student-tests/level4_failures.py all
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh

Ограничения

  • Kafka развёрнута одним брокером с RF=1; потеря его диска может привести к потере сообщений брокерного лога. Автоматическое восстановление потерянного лога не заявляется.
  • Replay доступен оператору через CLI, а не через публичный API.
  • Трек 5 и нагрузочные измерения pipeline не входят в объём этой реализации.

Источники и использование ИИ

Реализация основана на предыдущей лабораторной. Исользовалась помощь ИИ

Чек-лист

  • Сохранён README задания и контракты лабораторной.
  • Основная реализация уровня 4 и реестр failed/replay сохранены.
  • make check выполнен успешно.
  • make test выполнен на запущенном стенде; вывод приложен.
  • Сценарии отказов уровня 4 воспроизведены; выводы приложены в evidence/.
  • .env исключён из Git через .gitignore; перед созданием PR нужно проверить git status и staged diff, чтобы локальные секреты не попали в коммит, более подробное описание в REPORT1.md отчёте.
## Лабораторная работа 5 - Автор / группа: Алексей Миронов, БВТ2302 - Целевая оценка: **4** - Трек 5: не заявляется ## Что реализовано Реализована асинхронная обработка изображений с durable handoff и доставкой at-least-once: - API сохраняет загруженный файл в приватный S3 staging, атомарно записывает `attachments`, `attachment_jobs` и `outbox` в PostgreSQL и возвращает `202 Accepted`. - Dispatcher публикует задания из transactional outbox в Kafka; publisher delivery report используется как подтверждение публикации. - Отдельный worker получает сообщения с идентификаторами, захватывает job в PostgreSQL с lease, обрабатывает изображение в дочернем процессе и публикует оригинал и три варианта в S3. - Результат фиксируется в PostgreSQL до commit Kafka offset. Повторная доставка безопасна за счёт состояния job, lease, детерминированных ключей S3 и уникальности вариантов. - Реализованы retry с exponential backoff и jitter, различение постоянных и временных ошибок, reaper истёкших lease, реестр окончательно неудавшихся задач в PostgreSQL и безопасный операторский replay. - Добавлены ограничения размера файла, числа пикселей, времени, памяти и CPU обработки, ограниченная конкуренция worker и очистка staging/s3-сирот. - Сохранены функциональность и контракты предыдущей лабораторной работы. ## Архитектурные решения - PostgreSQL - источник истины для состояния вложений и заданий. - Kafka - персистентный транспорт at-least-once; используется основной топик `attachment-jobs`. - Неудавшиеся задания хранятся в реестре PostgreSQL (`attachment_jobs` и `job_events`). - Задержка повторной попытки реализована через `available_at` в outbox, поскольку Kafka не предоставляет per-message delayed delivery. - Dispatcher выполняет relay outbox и reaper истёкших lease. ## Проверки - `make check` - успешно (`scripts/check_contract.py`). - `make validate` - `docker compose --env-file .env config --quiet` - `docker compose --env-file .env up -d --build` - `make test` - `python3 student-tests/level4_failures.py all` Результаты проверок и ссылка на REPORT1.md: подробности, таблица критериев и эксперименты - в `REPORT1.md`, а доказательства - в `evidence/evidence.txt` ## Команды запуска из чистого clone ```sh - `make check` - `make validate` cp .env.example .env # Заполнить локальные значения секретов в .env; файл .env не коммитить. docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build until curl -fs http://localhost:8080/health/ready; do sleep 2; done make test python3 student-tests/level4_failures.py all make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh ``` ## Ограничения - Kafka развёрнута одним брокером с RF=1; потеря его диска может привести к потере сообщений брокерного лога. Автоматическое восстановление потерянного лога не заявляется. - Replay доступен оператору через CLI, а не через публичный API. - Трек 5 и нагрузочные измерения pipeline не входят в объём этой реализации. ## Источники и использование ИИ Реализация основана на предыдущей лабораторной. Исользовалась помощь ИИ ## Чек-лист - [x] Сохранён README задания и контракты лабораторной. - [x] Основная реализация уровня 4 и реестр failed/replay сохранены. - [x] `make check` выполнен успешно. - [x] `make test` выполнен на запущенном стенде; вывод приложен. - [x] Сценарии отказов уровня 4 воспроизведены; выводы приложены в `evidence/`. - [x] `.env` исключён из Git через `.gitignore`; перед созданием PR нужно проверить `git status` и staged diff, чтобы локальные секреты не попали в коммит, более подробное описание в REPORT1.md отчёте.
ALMiron added 1 commit 2026-11-07 19:53:55 +03:00
ALMiron added 1 commit 2026-11-07 19:56:54 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-13 21:47:56 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#32