ЛР 5 — БПИ2301 — Авзалов — на 4 #74

Closed
Ferraronp wants to merge 1 commits from Ferraronp/mtusi2026lab5:main into main
First-time contributor

Лабораторная 5

Автор / группа: Авзалов Артур Марсович / БПИ2301
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен.

Что реализовано и что перенесено

Из Lab4 перенесены две FastAPI-реплики за HAProxy, PostgreSQL, Redis-сессии, приватное S3-совместимое хранилище SeaweedFS, авторизация, ACL вложений и идемпотентность сообщений.

В Lab5 реализованы:

  • Асинхронная загрузка изображений с HTTP 202 Accepted и состояниями queued, processing, ready, failed.
  • RabbitMQ с устойчивой очередью, persistent messages и publisher confirms.
  • PostgreSQL Transactional Outbox и отдельный dispatcher для надёжной публикации заданий.
  • Отдельный worker с созданием thumbnail, crop и optimized WebP.
  • Consumer acknowledgements, идемпотентность обработки, lease, retry с backoff и jitter.
  • Обработка постоянных ошибок, операторский replay с аудитом, очистка временных S3-объектов.

Команды запуска из чистого clone

В PowerShell:

Copy-Item .env.example .env
notepad .env

Заменить примерные пароли PostgreSQL, RabbitMQ и S3 на собственные значения.

docker compose --env-file .env up -d --build --wait
docker compose --env-file .env ps

python scripts/check_contract.py
python tests/smoke.py
python tests/own_unit.py
python tests/attachments_negative.py

Для сценариев отказов установить LAB5_ALLOW_FAILURE_TEST=yes и выполнить тесты из tests/pipeline_resilience.py и tests/pipeline_extended.py на отдельном учебном стенде.

Результаты проверок и ссылка на REPORT.md

Функциональные проверки — PASS:

  • Публичный smoke, негативные проверки MIME, размеров и ACL.
  • Идемпотентность сообщений между двумя API-репликами.
  • 10 параллельных загрузок: 10/10 HTTP 202, 10/10 обработаны до ready, 0 ошибок, по 3 варианта изображения.

Проверки отказоустойчивости — PASS:

  • Остановка worker и восстановление обработки.
  • Падение dispatcher между фиксацией outbox и публикацией.
  • Падение worker после записи в S3, до подтверждения обработки.
  • Сохранность подтверждённого сообщения RabbitMQ после перезапуска брокера.
  • Permanent failure → операторский replay → ready.
  • Очистка временного объекта в S3.
  • Persistence после перезапуска: данные и сессия сохранены.
  • Failover API: 6 успешных записей, 1 неудачная попытка, первое восстановление через 6,172 с.

Нагрузка: 10 файлов по 111817 байт; HTTP acceptance — 4,182 RPS; завершение всех обработок — 29,781 с.

Память по выборочным замерам: API1 — 163,10 MiB, API2 — 157,10 MiB, worker — 128,90 MiB.

Подробности: (REPORT.md).
Результаты тестов: (evidence/verified_results_2026-11-15.md).

Ограничения / известные ошибки

  • Инфраструктура развёрнута на одном Docker-хосте. Отказ физического хоста не покрывается.
  • PostgreSQL, RabbitMQ, Redis, SeaweedFS и HAProxy представлены одиночными экземплярами.
  • Доставка сообщений — at-least-once, не exactly-once. Повторная обработка контролируется идемпотентностью.
  • Failover API не является бесшовным: зафиксирована одна неудачная попытка.
  • Нагрузочный эксперимент ограничен 10 файлами и не подтверждает устойчивую производительность при большой нагрузке.
  • Проверки persistence/failover подавляют вывод управляющих скриптов; область воздействия дополнительно подтверждается их исходниками.

Источники и использование ИИ

Использованы официальная документация RabbitMQ, Python, FastAPI, PostgreSQL и исходные материалы курса.

ChatGPT применялся для проектирования архитектуры, написания кода, тестов, поиска и исправления ошибок, подготовки документации. Интеграционные проверки выполнены на учебном Windows/Docker Desktop стенде.

Чек-лист

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 **Автор / группа:** Авзалов Артур Марсович / БПИ2301 **Целевая оценка (3/4/5):** 4 **Трек 5, если заявлен:** не заявлен. ### Что реализовано и что перенесено Из Lab4 перенесены две FastAPI-реплики за HAProxy, PostgreSQL, Redis-сессии, приватное S3-совместимое хранилище SeaweedFS, авторизация, ACL вложений и идемпотентность сообщений. В Lab5 реализованы: - Асинхронная загрузка изображений с HTTP `202 Accepted` и состояниями `queued`, `processing`, `ready`, `failed`. - RabbitMQ с устойчивой очередью, persistent messages и publisher confirms. - PostgreSQL Transactional Outbox и отдельный dispatcher для надёжной публикации заданий. - Отдельный worker с созданием thumbnail, crop и optimized WebP. - Consumer acknowledgements, идемпотентность обработки, lease, retry с backoff и jitter. - Обработка постоянных ошибок, операторский replay с аудитом, очистка временных S3-объектов. ### Команды запуска из чистого clone В PowerShell: ```powershell Copy-Item .env.example .env notepad .env ``` Заменить примерные пароли PostgreSQL, RabbitMQ и S3 на собственные значения. ```powershell docker compose --env-file .env up -d --build --wait docker compose --env-file .env ps python scripts/check_contract.py python tests/smoke.py python tests/own_unit.py python tests/attachments_negative.py ``` Для сценариев отказов установить `LAB5_ALLOW_FAILURE_TEST=yes` и выполнить тесты из `tests/pipeline_resilience.py` и `tests/pipeline_extended.py` на отдельном учебном стенде. ### Результаты проверок и ссылка на REPORT.md **Функциональные проверки — PASS:** - Публичный smoke, негативные проверки MIME, размеров и ACL. - Идемпотентность сообщений между двумя API-репликами. - 10 параллельных загрузок: 10/10 HTTP `202`, 10/10 обработаны до `ready`, 0 ошибок, по 3 варианта изображения. **Проверки отказоустойчивости — PASS:** - Остановка worker и восстановление обработки. - Падение dispatcher между фиксацией outbox и публикацией. - Падение worker после записи в S3, до подтверждения обработки. - Сохранность подтверждённого сообщения RabbitMQ после перезапуска брокера. - Permanent failure → операторский replay → `ready`. - Очистка временного объекта в S3. - Persistence после перезапуска: данные и сессия сохранены. - Failover API: 6 успешных записей, 1 неудачная попытка, первое восстановление через 6,172 с. **Нагрузка:** 10 файлов по 111817 байт; HTTP acceptance — 4,182 RPS; завершение всех обработок — 29,781 с. **Память по выборочным замерам:** API1 — 163,10 MiB, API2 — 157,10 MiB, worker — 128,90 MiB. Подробности: (REPORT.md). Результаты тестов: (evidence/verified_results_2026-11-15.md). ### Ограничения / известные ошибки - Инфраструктура развёрнута на одном Docker-хосте. Отказ физического хоста не покрывается. - PostgreSQL, RabbitMQ, Redis, SeaweedFS и HAProxy представлены одиночными экземплярами. - Доставка сообщений — at-least-once, не exactly-once. Повторная обработка контролируется идемпотентностью. - Failover API не является бесшовным: зафиксирована одна неудачная попытка. - Нагрузочный эксперимент ограничен 10 файлами и не подтверждает устойчивую производительность при большой нагрузке. - Проверки persistence/failover подавляют вывод управляющих скриптов; область воздействия дополнительно подтверждается их исходниками. ### Источники и использование ИИ Использованы официальная документация RabbitMQ, Python, FastAPI, PostgreSQL и исходные материалы курса. ChatGPT применялся для проектирования архитектуры, написания кода, тестов, поиска и исправления ошибок, подготовки документации. Интеграционные проверки выполнены на учебном Windows/Docker Desktop стенде. ### Чек-лист - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] `make check` и `make test` выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Ferraronp added 1 commit 2026-11-16 16:31:58 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-17 19:25:46 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#74