ЛР5 - БПИ2303 - Григорян - на 4 #63

Closed
gytall wants to merge 6 commits from gytall/mtusi2026lab5-fork:solution/BPI2303-Grigoryan into main
First-time contributor

Лабораторная 5

Автор / группа: Григорян Илья Мурадович, БПИ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено:

  • Реализованы все пункты уровней 3 и 4.
  • Перенесено из предыдущих работ: аутентификация, чаты, сообщения, пагинация и идемпотентность (сессии хранятся в Redis).
  • Приём и архитектура: разделены API и отдельный worker. Загрузка сохраняется в приватный MinIO staging и PostgreSQL (job/outbox) и возвращает 202 queued. Состояния вложений: queued / processing / ready / failed (скачивание до ready возвращает 409).
  • Брокер и надёжность: настроен RabbitMQ 4.4.0 с устойчивой очередью, сохранением сообщений на диск, подтверждениями публикации и поздним ack от worker после фиксации результата. Реализован паттерн Outbox для восстановления при разрыве COMMIT → publish.
  • Обработка изображений: original сохраняется без перекодирования; генерируются JPEG thumbnail (≤256×256), центральный JPEG crop (128×128) и WebP (≤1280×1280) с учётом EXIF orientation и удалением метаданных (EXIF/ICC/XMP). Настроены лимиты ресурсов (10 MiB, 40 млн пикселей, timeout 60 с, 768 MiB и 20 с CPU на процесс, concurrency=2, prefetch=1, lease=90 с).
  • Повторы и обслуживание: ограничение до 5 попыток с exponential backoff и jitter (c=min(120, 5×2^(n−1)), delay∈[c/2,c]), немедленное завершение постоянных ошибок, реестр failed и аудит в PostgreSQL, безопасный replay через CLI (app.core.job_admin), TTL-очистка staging (24 ч для ready, 7 сут для failed).

Команды запуска из чистого clone:

python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
make init
make up
make test
make down

(Для запуска полной регрессии и проверки pipeline: make test-unit и make test-suite.)

Результаты проверок и ссылка на REPORT.md:

  • Полный отчёт: REPORT.md
  • Пройдены публичные проверки (make test: smoke, persistence, failover).
  • Пройдены проверки pipeline (make test-suite, make test-jobs, make test-pipeline, make test-outbox — 42 теста), полная регрессия (make test-unit — 201 тест), а также тесты сервисов test-nginx и test-storage.
  • Воспроизведены сценарии отказов (crash после PUT до COMMIT, crash после COMMIT до ack, SIGKILL publisher, остановка worker и рестарт API/брокера, временные и постоянные ошибки) — потери данных не зафиксированы. Артефакты проверок сохранены в evidence/verification.json и evidence/jobs.json.

Ограничения / известные ошибки:

  • Развёртывание на одном Docker-хосте без репликации хранилищ и защиты от потери диска.
  • Отсутствует admission control на уровне очереди; версия pipeline зафиксирована на v1.
  • Семантика доставки — at-least-once с идемпотентным результатом.

Источники и использование ИИ:

  • Инструменты и библиотеки: Python 3.12, FastAPI, SQLAlchemy, Pillow, aio-pika, PostgreSQL 16.10, Redis 7.4.2, RabbitMQ 4.4.0, nginx 1.28.0.

  • Документация: RabbitMQ Reliability Guide, Pillow Documentation.

  • ИИ: помощь Codex при реализации и проведении проверок.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.

  • Контракт и публичные тесты не ослаблены.

  • make check и make test выполнены; приложен реальный вывод.

  • Сценарии отказов/безопасности своего уровня воспроизведены.

  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.

  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

## Лабораторная 5 Автор / группа: Григорян Илья Мурадович, БПИ2303 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен Что реализовано и что перенесено: - Реализованы все пункты уровней 3 и 4. - **Перенесено из предыдущих работ:** аутентификация, чаты, сообщения, пагинация и идемпотентность (сессии хранятся в Redis). - **Приём и архитектура:** разделены API и отдельный worker. Загрузка сохраняется в приватный MinIO staging и PostgreSQL (job/outbox) и возвращает `202 queued`. Состояния вложений: `queued` / `processing` / `ready` / `failed` (скачивание до `ready` возвращает `409`). - **Брокер и надёжность:** настроен RabbitMQ 4.4.0 с устойчивой очередью, сохранением сообщений на диск, подтверждениями публикации и поздним `ack` от worker после фиксации результата. Реализован паттерн Outbox для восстановления при разрыве `COMMIT → publish`. - **Обработка изображений:** original сохраняется без перекодирования; генерируются JPEG thumbnail (≤256×256), центральный JPEG crop (128×128) и WebP (≤1280×1280) с учётом EXIF orientation и удалением метаданных (EXIF/ICC/XMP). Настроены лимиты ресурсов (10 MiB, 40 млн пикселей, timeout 60 с, 768 MiB и 20 с CPU на процесс, `concurrency=2`, `prefetch=1`, `lease=90` с). - **Повторы и обслуживание:** ограничение до 5 попыток с exponential backoff и jitter (`c=min(120, 5×2^(n−1))`, `delay∈[c/2,c]`), немедленное завершение постоянных ошибок, реестр `failed` и аудит в PostgreSQL, безопасный `replay` через CLI (`app.core.job_admin`), TTL-очистка staging (24 ч для `ready`, 7 сут для `failed`). Команды запуска из чистого clone: ```sh python3 -m venv .venv .venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt make init make up make test make down ``` *(Для запуска полной регрессии и проверки pipeline: `make test-unit` и `make test-suite`.)* Результаты проверок и ссылка на REPORT.md: - Полный отчёт: [REPORT.md](./REPORT.md) - Пройдены публичные проверки (`make test`: smoke, persistence, failover). - Пройдены проверки pipeline (`make test-suite`, `make test-jobs`, `make test-pipeline`, `make test-outbox` — **42 теста**), полная регрессия (`make test-unit` — **201 тест**), а также тесты сервисов `test-nginx` и `test-storage`. - Воспроизведены сценарии отказов (crash после PUT до COMMIT, crash после COMMIT до ack, SIGKILL publisher, остановка worker и рестарт API/брокера, временные и постоянные ошибки) — потери данных не зафиксированы. Артефакты проверок сохранены в `evidence/verification.json` и `evidence/jobs.json`. Ограничения / известные ошибки: - Развёртывание на одном Docker-хосте без репликации хранилищ и защиты от потери диска. - Отсутствует admission control на уровне очереди; версия pipeline зафиксирована на v1. - Семантика доставки — at-least-once с идемпотентным результатом. Источники и использование ИИ: - Инструменты и библиотеки: Python 3.12, FastAPI, SQLAlchemy, Pillow, aio-pika, PostgreSQL 16.10, Redis 7.4.2, RabbitMQ 4.4.0, nginx 1.28.0. - Документация: [RabbitMQ Reliability Guide](https://www.rabbitmq.com/docs/reliability), [Pillow Documentation](https://pillow.readthedocs.io/en/stable/). - ИИ: помощь Codex при реализации и проведении проверок. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
gytall added 6 commits 2026-11-12 23:15:43 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-13 13:57:53 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#63