5.9 KiB
Лабораторная 5
Автор / группа: Савельев Иван / БВТ2304 Целевая оценка (3/4/5): 4 — выполнены требования уровней 3 и 4. Трек 5, если заявлен: не заявлен.
Что реализовано и что перенесено
Из lab4 перенесены API мессенджера, авторизация и сессии, ACL, идемпотентность сообщений, миграции, приватный S3, две API-реплики за HAProxy, Docker-конфигурация и собственные тесты.
- Загрузка возвращает
202 queuedпосле устойчивого сохранения оригинала в S3 staging и транзакции metadata + job + outbox. Статус доступен через GET; content до готовности возвращает 409. - Добавлены отдельные Valkey Streams broker с AOF и volume, outbox publisher и worker. Доставка at least once, ACK после устойчивого результата; дубли не создают второй набор объектов.
- Worker сохраняет неизменённый оригинал, JPEG thumbnail, центрированный crop 128×128 и optimized WebP по контракту, с учётом EXIF orientation и прозрачности.
- Реализованы пять автоматических попыток, backoff с jitter, lease/recovery, безопасные коды ошибок, реестр failed и явный replay с audit. Ready-задания повторно не запускаются.
- Добавлены ограничения bytes/pixels/времени/памяти, ограниченная конкуренция и очистка staging после фиксации результата либо истечения retention failed.
Запуск из чистого clone
Нужны Docker Engine с Compose v2, Python 3.11, Bash и make. Команды из корня репозитория:
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
make check validate PYTHON=.venv/bin/python
./scripts/start.sh
./scripts/check.sh
# Полная проверка на отдельном временном Docker Compose project:
./scripts/check-docker.sh
# Остановка обычного стенда с сохранением volumes:
./scripts/stop.sh
start.sh создаёт локальные .env и secrets, собирает приложение, выполняет миграции и bootstrap, ждёт готовности обеих API-реплик. API доступен на http://localhost:8080.
Результаты проверок
Проверено 12.11.2026: make check validate test, 39 собственных API-тестов и все 17 групп полного сценария прошли. Воспроизведены остановка worker и рестарты API/broker, оба разрыва outbox, crash worker после PUT и перед ACK, дубли, исчерпание retry/replay, постоянная ошибка, timeout/MemoryError, очистка staging, недоступность broker, persistence и failover API. Отдельно подтверждён фактический restart всех 11 постоянных контейнеров с сохранением их ID и volumes.
- Отчёт, архитектура, команды и ограничения.
- Полный вывод проверок и JSON результатов.
- Доказательство рестартов и вывод persistence.
Ограничения / известные ошибки
Стенд учебный, на одном Docker-host; потеря host/disk/volumes и ручное удаление объектов не покрываются. Поддерживается pipeline_version=1; исследовательские треки на 5 не реализованы. При длительном простое worker outbox и staging требуют свободного диска; общей квоты принятой работы нет. Failed staging хранится 24 часа, после удаления replay запрещён. Превышение ресурсов обработки заканчивается failed после ограниченного числа попыток. Старые ready-вложения lab4 остаются доступны без автоматического создания вариантов.
Источники и использование ИИ
Основа — ТЗ, OpenAPI, attachment-states.md и jobs.schema.json этого репозитория; официальная документация Redis Streams/XAUTOCLAIM, Valkey persistence, Pillow ImageOps и Python resource. Ссылки приведены в REPORT.md.
- Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- Контракт и публичные тесты не ослаблены.
- make check и make test выполнены; приложен реальный вывод.
- Сценарии отказов/безопасности своего уровня воспроизведены.
- Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- README задания сохранён, REPORT.md содержит инструкцию именно моего решения.