ЛР 5 — БВТ2303 — Голиков — на 5 #69

Closed
Maximillan_Mercer wants to merge 46 commits from Maximillan_Mercer/mtusi2026lab5-fork:solution/BVT2303-Golikov into main
First-time contributor

Лабораторная 5

Автор / группа: Голиков А.П., БВТ2303
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: Трек 2 (Доказанная идемпотентность pipeline)

Что реализовано и что перенесено:

  • Перенесено из Lab 4: Базовая структура пользователей, чатов, сообщений, аутентификация (Bearer/Basic), идемпотентность сообщений, загрузка вложений (изменен HTTP-код на 202 Accepted).
  • Реализовано в Lab 5:
    • Архитектура: Выделен отдельный Worker, внедрен RabbitMQ. API больше не делает тяжелый ресайз, а только валидирует заголовок.
    • Transactional Outbox: Запись в attachments и outbox происходит атомарно в одной транзакции. Publisher (горутина в API) надежно перекладывает задачи в RabbitMQ с Publisher Confirms.
    • Обработка: Worker генерирует Thumbnail (256x160), Crop (128x128) и Optimized WebP (до 1280x1280, без EXIF) с лимитами по времени и памяти.
    • Отказоустойчивость (Level 4): Экспоненциальный Retry с jitter для временных ошибок. DLQ (failed_jobs) для постоянных ошибок. Ручка POST /replay для восстановления. Reconciler чистит Staging и спасает "зависшие" задачи (Lease Recovery).
    • Идемпотентность (Level 5): Защита от дублей на уровне БД (ClaimForProcessing) и защита от гонки версий пайплайна (pipeline_version).

Команды запуска из чистого clone:

cp .env.example .env
chmod +x setup_secrets.sh
./setup_secrets.sh
docker compose up -d --build
# Ожидаем healthcheck: docker compose ps
$env:PYTHONUTF8 = "1" # Для Windows
python -X utf8 tests/smoke.py

Результаты проверок и ссылка на REPORT.md:

Публичный смоук tests/smoke.py пройден (лог в evidence/smoke.log).

Скрипт student-tests/fault_injection.py показывает 2 PASS (дубликаты и старая версия), доказывая Трек 2 (лог в evidence/fault_injection.log).

Все логи и доказательства (включая восстановление Worker'а после рестарта RabbitMQ) собраны в папке evidence/.

Подробное описание, схема и результаты экспериментов в REPORT.md.

Ограничения / известные ошибки:

На ОС Windows скрипт make test-persistence может падать на этапе проверки API из-за специфики перезапуска Docker Desktop сетей (API временно отдает 503). Логи восстановления Worker'а и API при этом подтверждают успешное переподключение.

Файлы staging хранятся в том же S3-бакете, что и финальные файлы (разделение по префиксам). В production лучше использовать отдельный бакет с Lifecycle Policy.

Трассировка OpenTelemetry не реализована (хотя ID для этого в сообщениях передаются).

Источники и использование ИИ:

Документация RabbitMQ (Publisher Confirms, DLX), Go (pgx, Gin).

Библиотеки: disintegration/imaging, gen2brain/webp.

ИИ использовался для генерации boilerplate-кода, написания bash-скриптов для Chaos Engineering и структурирования отчета.

Чек-лист (проверено):

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 Автор / группа: Голиков А.П., БВТ2303 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: Трек 2 (Доказанная идемпотентность pipeline) **Что реализовано и что перенесено:** * **Перенесено из Lab 4:** Базовая структура пользователей, чатов, сообщений, аутентификация (Bearer/Basic), идемпотентность сообщений, загрузка вложений (изменен HTTP-код на 202 Accepted). * **Реализовано в Lab 5:** * **Архитектура:** Выделен отдельный Worker, внедрен RabbitMQ. API больше не делает тяжелый ресайз, а только валидирует заголовок. * **Transactional Outbox:** Запись в `attachments` и `outbox` происходит атомарно в одной транзакции. Publisher (горутина в API) надежно перекладывает задачи в RabbitMQ с Publisher Confirms. * **Обработка:** Worker генерирует Thumbnail (256x160), Crop (128x128) и Optimized WebP (до 1280x1280, без EXIF) с лимитами по времени и памяти. * **Отказоустойчивость (Level 4):** Экспоненциальный Retry с jitter для временных ошибок. DLQ (`failed_jobs`) для постоянных ошибок. Ручка `POST /replay` для восстановления. Reconciler чистит Staging и спасает "зависшие" задачи (Lease Recovery). * **Идемпотентность (Level 5):** Защита от дублей на уровне БД (`ClaimForProcessing`) и защита от гонки версий пайплайна (`pipeline_version`). **Команды запуска из чистого clone:** ```sh cp .env.example .env chmod +x setup_secrets.sh ./setup_secrets.sh docker compose up -d --build # Ожидаем healthcheck: docker compose ps $env:PYTHONUTF8 = "1" # Для Windows python -X utf8 tests/smoke.py ``` Результаты проверок и ссылка на REPORT.md: Публичный смоук tests/smoke.py пройден (лог в evidence/smoke.log). Скрипт student-tests/fault_injection.py показывает 2 PASS (дубликаты и старая версия), доказывая Трек 2 (лог в evidence/fault_injection.log). Все логи и доказательства (включая восстановление Worker'а после рестарта RabbitMQ) собраны в папке evidence/. Подробное описание, схема и результаты экспериментов в REPORT.md. Ограничения / известные ошибки: На ОС Windows скрипт make test-persistence может падать на этапе проверки API из-за специфики перезапуска Docker Desktop сетей (API временно отдает 503). Логи восстановления Worker'а и API при этом подтверждают успешное переподключение. Файлы staging хранятся в том же S3-бакете, что и финальные файлы (разделение по префиксам). В production лучше использовать отдельный бакет с Lifecycle Policy. Трассировка OpenTelemetry не реализована (хотя ID для этого в сообщениях передаются). Источники и использование ИИ: Документация RabbitMQ (Publisher Confirms, DLX), Go (pgx, Gin). Библиотеки: disintegration/imaging, gen2brain/webp. ИИ использовался для генерации boilerplate-кода, написания bash-скриптов для Chaos Engineering и структурирования отчета. Чек-лист (проверено): - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Maximillan_Mercer added 46 commits 2026-11-13 22:15:54 +03:00
Author
First-time contributor

@veprickiy Я прошел защиту сегодня на 1 паре. Пишу чтобы увидели

@veprickiy Я прошел защиту сегодня на 1 паре. Пишу чтобы увидели
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-15 20:58:15 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#69