4.8 KiB
4.8 KiB
Лабораторная 5
Автор / группа: Голиков А.П., БВТ2303 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: Трек 2 (Доказанная идемпотентность pipeline)
Что реализовано и что перенесено:
- Перенесено из Lab 4: Базовая структура пользователей, чатов, сообщений, аутентификация (Bearer/Basic), идемпотентность сообщений, загрузка вложений (изменен HTTP-код на 202 Accepted).
- Реализовано в Lab 5:
- Архитектура: Выделен отдельный Worker, внедрен RabbitMQ. API больше не делает тяжелый ресайз, а только валидирует заголовок.
- Transactional Outbox: Запись в
attachmentsиoutboxпроисходит атомарно в одной транзакции. Publisher (горутина в API) надежно перекладывает задачи в RabbitMQ с Publisher Confirms. - Обработка: Worker генерирует Thumbnail (256x160), Crop (128x128) и Optimized WebP (до 1280x1280, без EXIF) с лимитами по времени и памяти.
- Отказоустойчивость (Level 4): Экспоненциальный Retry с jitter для временных ошибок. DLQ (
failed_jobs) для постоянных ошибок. РучкаPOST /replayдля восстановления. Reconciler чистит Staging и спасает "зависшие" задачи (Lease Recovery). - Идемпотентность (Level 5): Защита от дублей на уровне БД (
ClaimForProcessing) и защита от гонки версий пайплайна (pipeline_version).
Команды запуска из чистого clone:
cp .env.example .env
chmod +x setup_secrets.sh
./setup_secrets.sh
docker compose up -d --build
# Ожидаем healthcheck: docker compose ps
$env:PYTHONUTF8 = "1" # Для Windows
python -X utf8 tests/smoke.py
Результаты проверок и ссылка на REPORT.md:
Публичный смоук tests/smoke.py пройден (лог в evidence/smoke.log).
Скрипт student-tests/fault_injection.py показывает 2 PASS (дубликаты и старая версия), доказывая Трек 2 (лог в evidence/fault_injection.log).
Все логи и доказательства (включая восстановление Worker'а после рестарта RabbitMQ) собраны в папке evidence/.
Подробное описание, схема и результаты экспериментов в REPORT.md.
Ограничения / известные ошибки:
На ОС Windows скрипт make test-persistence может падать на этапе проверки API из-за специфики перезапуска Docker Desktop сетей (API временно отдает 503). Логи восстановления Worker'а и API при этом подтверждают успешное переподключение.
Файлы staging хранятся в том же S3-бакете, что и финальные файлы (разделение по префиксам). В production лучше использовать отдельный бакет с Lifecycle Policy.
Трассировка OpenTelemetry не реализована (хотя ID для этого в сообщениях передаются).
Источники и использование ИИ:
Документация RabbitMQ (Publisher Confirms, DLX), Go (pgx, Gin).
Библиотеки: disintegration/imaging, gen2brain/webp.
ИИ использовался для генерации boilerplate-кода, написания bash-скриптов для Chaos Engineering и структурирования отчета.
Чек-лист (проверено):
- Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- Контракт и публичные тесты не ослаблены.
- make check и make test выполнены; приложен реальный вывод.
- Сценарии отказов/безопасности своего уровня воспроизведены.
- Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- README задания сохранён, REPORT.md содержит инструкцию именно моего решения.