58 lines
4.8 KiB
Markdown
58 lines
4.8 KiB
Markdown
## Лабораторная 5
|
||
|
||
Автор / группа: Голиков А.П., БВТ2303
|
||
Целевая оценка (3/4/5): 5
|
||
Трек 5, если заявлен: Трек 2 (Доказанная идемпотентность pipeline)
|
||
|
||
**Что реализовано и что перенесено:**
|
||
* **Перенесено из Lab 4:** Базовая структура пользователей, чатов, сообщений, аутентификация (Bearer/Basic), идемпотентность сообщений, загрузка вложений (изменен HTTP-код на 202 Accepted).
|
||
* **Реализовано в Lab 5:**
|
||
* **Архитектура:** Выделен отдельный Worker, внедрен RabbitMQ. API больше не делает тяжелый ресайз, а только валидирует заголовок.
|
||
* **Transactional Outbox:** Запись в `attachments` и `outbox` происходит атомарно в одной транзакции. Publisher (горутина в API) надежно перекладывает задачи в RabbitMQ с Publisher Confirms.
|
||
* **Обработка:** Worker генерирует Thumbnail (256x160), Crop (128x128) и Optimized WebP (до 1280x1280, без EXIF) с лимитами по времени и памяти.
|
||
* **Отказоустойчивость (Level 4):** Экспоненциальный Retry с jitter для временных ошибок. DLQ (`failed_jobs`) для постоянных ошибок. Ручка `POST /replay` для восстановления. Reconciler чистит Staging и спасает "зависшие" задачи (Lease Recovery).
|
||
* **Идемпотентность (Level 5):** Защита от дублей на уровне БД (`ClaimForProcessing`) и защита от гонки версий пайплайна (`pipeline_version`).
|
||
|
||
**Команды запуска из чистого clone:**
|
||
```sh
|
||
cp .env.example .env
|
||
chmod +x setup_secrets.sh
|
||
./setup_secrets.sh
|
||
docker compose up -d --build
|
||
# Ожидаем healthcheck: docker compose ps
|
||
$env:PYTHONUTF8 = "1" # Для Windows
|
||
python -X utf8 tests/smoke.py
|
||
```
|
||
Результаты проверок и ссылка на REPORT.md:
|
||
|
||
Публичный смоук tests/smoke.py пройден (лог в evidence/smoke.log).
|
||
|
||
Скрипт student-tests/fault_injection.py показывает 2 PASS (дубликаты и старая версия), доказывая Трек 2 (лог в evidence/fault_injection.log).
|
||
|
||
Все логи и доказательства (включая восстановление Worker'а после рестарта RabbitMQ) собраны в папке evidence/.
|
||
|
||
Подробное описание, схема и результаты экспериментов в REPORT.md.
|
||
|
||
Ограничения / известные ошибки:
|
||
|
||
На ОС Windows скрипт make test-persistence может падать на этапе проверки API из-за специфики перезапуска Docker Desktop сетей (API временно отдает 503). Логи восстановления Worker'а и API при этом подтверждают успешное переподключение.
|
||
|
||
Файлы staging хранятся в том же S3-бакете, что и финальные файлы (разделение по префиксам). В production лучше использовать отдельный бакет с Lifecycle Policy.
|
||
|
||
Трассировка OpenTelemetry не реализована (хотя ID для этого в сообщениях передаются).
|
||
|
||
Источники и использование ИИ:
|
||
|
||
Документация RabbitMQ (Publisher Confirms, DLX), Go (pgx, Gin).
|
||
|
||
Библиотеки: disintegration/imaging, gen2brain/webp.
|
||
|
||
ИИ использовался для генерации boilerplate-кода, написания bash-скриптов для Chaos Engineering и структурирования отчета.
|
||
|
||
Чек-лист (проверено):
|
||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||
- [x] Контракт и публичные тесты не ослаблены.
|
||
- [x] make check и make test выполнены; приложен реальный вывод.
|
||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. |