ЛР 5 — БПИ2303 — Поликарпов — на 5 #65

Closed
Grbisba wants to merge 2 commits from Grbisba/mtusi2026lab5:solution/bpi2303-polikarpov into main
First-time contributor

Лабораторная 5

Автор / группа: Поликарпов Даниил Александрович БПИ2303
Целевая оценка (3/4/5): 5
Трек 5: трек 2 — доказанная идемпотентность versioned pipeline.

Что реализовано и что перенесено:

  • Сохранена основа lab4: авторизация, чаты, сообщения, идемпотентность запросов, PostgreSQL, Redis, приватный S3 и две API-реплики за HAProxy.
  • Реализован асинхронный pipeline: durable staging → transactional outbox → RabbitMQ → отдельный worker → S3 и PostgreSQL.
  • Upload возвращает 202 queued. Добавлены состояния queued/processing/ready/failed, thumbnail JPEG, центральный crop и optimized WebP.
  • Реализованы ограниченные retry с backoff и jitter, lease recovery, реестр failed, операторский replay и безопасная очистка staging.
  • Добавлены версии pipeline и защита от дублей, устаревших заданий и завершения работы просроченным worker.
  • Соблюдено разделение ответственности: handler — парсинг и валидация, service — бизнес-логика, repository/storage — хранение данных.

Команды запуска из чистого clone:

Требуются Docker Compose, Python 3.9+ и Go 1.27+ для локальной сборки.

make check build vet
make up
curl --fail http://localhost:18085/health/ready
make test
make test-go
make test-storage
make test-images test-staging test-broker-persistence
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore
make test-pipeline
make down

Bootstrap автоматически создаёт локальные secrets и настройки. Проверки с остановкой процессов выполняются последовательно. make down сохраняет volumes.

Результаты проверок и ссылка на REPORT.md:

  • Сборка, go vet, Go-проверки с race detector, структурная и полная валидация контрактов — PASS.
  • Публичный smoke, persistence и failover — PASS.
  • Проверены реальные форматы и размеры изображений, EXIF orientation, alpha, checksums, ACL и отрицательные входы.
  • Проверены защита staging, retention, восстановление оригинала и replay.
  • Подтверждена сохранность опубликованного сообщения при пересоздании контейнера RabbitMQ с тем же volume и остановленным dispatcher.
  • В исследовании выполнены 13 сценариев отказов и идемпотентности по три раза: 39/39 PASS.
  • На итоговом образе дополнительно выполнены три сценария: 3/3 PASS.
  • При проверке failover запись восстановилась за 1,273 секунды.

Подробный отчёт: REPORT.md.
Вывод проверок: evidence/checks.txt.
Результаты эксперимента: evidence/pipeline.json.
Дополнительные результаты итогового образа: evidence/pipeline-final.json.

Ограничения / известные ошибки:

  • Проверки выполнены на одном Docker-host. Потеря host или volumes не покрывается; кластеризация хранилищ и backup/restore не реализованы.
  • Доставка остаётся at least once; обеспечивается идемпотентность опубликованного эффекта, а не exactly-once доставка.
  • После окончательной ошибки необходим явный операторский replay.
  • Глобальная квота накопления jobs/outbox не реализована; ограничены concurrency, prefetch и ресурсы процессов.
  • Трек исследования перегрузки не заявляется.

Источники и использование ИИ:

  • Документация RabbitMQ: reliability, publisher confirms и consumer acknowledgements.

  • Документация ImageMagick по преобразованиям и ограничениям ресурсов.

  • Использованы Go, pgx, AWS SDK и amqp091-go.

  • Использовано адаптированное ядро outbox из предоставленного проекта mamont-optics.

  • Codex использовался для анализа проекта, подготовки проверок, экспериментов и отчёта.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.

  • Контракт и публичные тесты не ослаблены.

  • make check и make test выполнены; приложен реальный вывод.

  • Сценарии отказов своего уровня воспроизведены.

  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит session tokens.

  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

## Лабораторная 5 Автор / группа: Поликарпов Даниил Александрович БПИ2303 Целевая оценка (3/4/5): 5 Трек 5: трек 2 — доказанная идемпотентность versioned pipeline. Что реализовано и что перенесено: - Сохранена основа lab4: авторизация, чаты, сообщения, идемпотентность запросов, PostgreSQL, Redis, приватный S3 и две API-реплики за HAProxy. - Реализован асинхронный pipeline: durable staging → transactional outbox → RabbitMQ → отдельный worker → S3 и PostgreSQL. - Upload возвращает 202 queued. Добавлены состояния queued/processing/ready/failed, thumbnail JPEG, центральный crop и optimized WebP. - Реализованы ограниченные retry с backoff и jitter, lease recovery, реестр failed, операторский replay и безопасная очистка staging. - Добавлены версии pipeline и защита от дублей, устаревших заданий и завершения работы просроченным worker. - Соблюдено разделение ответственности: handler — парсинг и валидация, service — бизнес-логика, repository/storage — хранение данных. Команды запуска из чистого clone: Требуются Docker Compose, Python 3.9+ и Go 1.27+ для локальной сборки. make check build vet make up curl --fail http://localhost:18085/health/ready make test make test-go make test-storage make test-images test-staging test-broker-persistence make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh make restore make test-pipeline make down Bootstrap автоматически создаёт локальные secrets и настройки. Проверки с остановкой процессов выполняются последовательно. make down сохраняет volumes. Результаты проверок и ссылка на REPORT.md: - Сборка, go vet, Go-проверки с race detector, структурная и полная валидация контрактов — PASS. - Публичный smoke, persistence и failover — PASS. - Проверены реальные форматы и размеры изображений, EXIF orientation, alpha, checksums, ACL и отрицательные входы. - Проверены защита staging, retention, восстановление оригинала и replay. - Подтверждена сохранность опубликованного сообщения при пересоздании контейнера RabbitMQ с тем же volume и остановленным dispatcher. - В исследовании выполнены 13 сценариев отказов и идемпотентности по три раза: 39/39 PASS. - На итоговом образе дополнительно выполнены три сценария: 3/3 PASS. - При проверке failover запись восстановилась за 1,273 секунды. Подробный отчёт: [REPORT.md](REPORT.md). Вывод проверок: [evidence/checks.txt](evidence/checks.txt). Результаты эксперимента: [evidence/pipeline.json](evidence/pipeline.json). Дополнительные результаты итогового образа: [evidence/pipeline-final.json](evidence/pipeline-final.json). Ограничения / известные ошибки: - Проверки выполнены на одном Docker-host. Потеря host или volumes не покрывается; кластеризация хранилищ и backup/restore не реализованы. - Доставка остаётся at least once; обеспечивается идемпотентность опубликованного эффекта, а не exactly-once доставка. - После окончательной ошибки необходим явный операторский replay. - Глобальная квота накопления jobs/outbox не реализована; ограничены concurrency, prefetch и ресурсы процессов. - Трек исследования перегрузки не заявляется. Источники и использование ИИ: - Документация RabbitMQ: reliability, publisher confirms и consumer acknowledgements. - Документация ImageMagick по преобразованиям и ограничениям ресурсов. - Использованы Go, pgx, AWS SDK и amqp091-go. - Использовано адаптированное ядро outbox из предоставленного проекта mamont-optics. - Codex использовался для анализа проекта, подготовки проверок, экспериментов и отчёта. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит session tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Grbisba added 2 commits 2026-11-13 12:53:00 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-17 19:25:47 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#65