59 lines
5.9 KiB
Markdown
59 lines
5.9 KiB
Markdown
## Лабораторная 5
|
||
|
||
Автор / группа: Савельев Иван / БВТ2304
|
||
Целевая оценка (3/4/5): **4** — выполнены требования уровней 3 и 4.
|
||
Трек 5, если заявлен: не заявлен.
|
||
|
||
### Что реализовано и что перенесено
|
||
|
||
Из lab4 перенесены API мессенджера, авторизация и сессии, ACL, идемпотентность сообщений, миграции, приватный S3, две API-реплики за HAProxy, Docker-конфигурация и собственные тесты.
|
||
|
||
- Загрузка возвращает `202 queued` после устойчивого сохранения оригинала в S3 staging и транзакции metadata + job + outbox. Статус доступен через GET; content до готовности возвращает 409.
|
||
- Добавлены отдельные Valkey Streams broker с AOF и volume, outbox publisher и worker. Доставка at least once, ACK после устойчивого результата; дубли не создают второй набор объектов.
|
||
- Worker сохраняет неизменённый оригинал, JPEG thumbnail, центрированный crop 128×128 и optimized WebP по контракту, с учётом EXIF orientation и прозрачности.
|
||
- Реализованы пять автоматических попыток, backoff с jitter, lease/recovery, безопасные коды ошибок, реестр failed и явный replay с audit. Ready-задания повторно не запускаются.
|
||
- Добавлены ограничения bytes/pixels/времени/памяти, ограниченная конкуренция и очистка staging после фиксации результата либо истечения retention failed.
|
||
|
||
### Запуск из чистого clone
|
||
|
||
Нужны Docker Engine с Compose v2, Python 3.11, Bash и make. Команды из корня репозитория:
|
||
|
||
```sh
|
||
python3 -m venv .venv
|
||
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
|
||
make check validate PYTHON=.venv/bin/python
|
||
./scripts/start.sh
|
||
./scripts/check.sh
|
||
|
||
# Полная проверка на отдельном временном Docker Compose project:
|
||
./scripts/check-docker.sh
|
||
|
||
# Остановка обычного стенда с сохранением volumes:
|
||
./scripts/stop.sh
|
||
```
|
||
|
||
`start.sh` создаёт локальные `.env` и secrets, собирает приложение, выполняет миграции и bootstrap, ждёт готовности обеих API-реплик. API доступен на `http://localhost:8080`.
|
||
|
||
### Результаты проверок
|
||
|
||
Проверено 12.11.2026: `make check validate test`, 39 собственных API-тестов и все 17 групп полного сценария прошли. Воспроизведены остановка worker и рестарты API/broker, оба разрыва outbox, crash worker после PUT и перед ACK, дубли, исчерпание retry/replay, постоянная ошибка, timeout/MemoryError, очистка staging, недоступность broker, persistence и failover API. Отдельно подтверждён фактический restart всех 11 постоянных контейнеров с сохранением их ID и volumes.
|
||
|
||
- [Отчёт, архитектура, команды и ограничения](../REPORT.md).
|
||
- [Полный вывод проверок](../evidence/lab5-checks.txt) и [JSON результатов](../evidence/lab5-checks.json).
|
||
- [Доказательство рестартов](../evidence/lab5-restart.json) и [вывод persistence](../evidence/lab5-restart.txt).
|
||
|
||
### Ограничения / известные ошибки
|
||
|
||
Стенд учебный, на одном Docker-host; потеря host/disk/volumes и ручное удаление объектов не покрываются. Поддерживается pipeline_version=1; исследовательские треки на 5 не реализованы. При длительном простое worker outbox и staging требуют свободного диска; общей квоты принятой работы нет. Failed staging хранится 24 часа, после удаления replay запрещён. Превышение ресурсов обработки заканчивается failed после ограниченного числа попыток. Старые ready-вложения lab4 остаются доступны без автоматического создания вариантов.
|
||
|
||
### Источники и использование ИИ
|
||
|
||
Основа — ТЗ, OpenAPI, `attachment-states.md` и `jobs.schema.json` этого репозитория; официальная документация Redis Streams/XAUTOCLAIM, Valkey persistence, Pillow ImageOps и Python resource. Ссылки приведены в [REPORT.md](../REPORT.md#первичные-источники).
|
||
|
||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||
- [x] Контракт и публичные тесты не ослаблены.
|
||
- [x] make check и make test выполнены; приложен реальный вывод.
|
||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|