Files
mtusi2026lab5/REPORT.md

7.5 KiB
Raw Permalink Blame History

Лабораторная 5. Асинхронная обработка изображений

Автор: Саватеев Артём. Целевая оценка: 4.

Запуск

Требования: Docker Compose ≥ 2.20.2; для собственных тестов — Python 3.12 и Poetry 2.2.

make init
make up
make install
poetry run python -m pip install -r requirements-dev.txt
make test

make init создаёт .env и локальные секреты. API: http://localhost:8080, PostgreSQL: localhost:55433. RabbitMQ и S3 доступны внутри стенда. Миграции применяются автоматически. make down сохраняет данные в volumes PostgreSQL, S3 и RabbitMQ.

Архитектура и обработка

Слои: domain — схемы и ошибки; interfaces — абстракции; infrastructure — сервисы и адаптеры PostgreSQL/S3/RabbitMQ; application — HTTP API.

API → S3 staging + PostgreSQL/outbox → dispatcher → RabbitMQ → worker → S3 + PostgreSQL
  1. API принимает файл потоком, проверяет доступ, MIME, размер и параметры изображения. После сохранения staging одна транзакция создаёт job/outbox и состояние queued. Ответ — 202 queued.
  2. Dispatcher публикует persistent сообщения в durable очередь с mandatory и publisher confirms. Событие отмечается отправленным после confirm; сбой между COMMIT и publish восстанавливается через outbox. Сообщения содержат только ID и служебные поля.
  3. Worker захватывает job с lease, проверяет SHA-256 исходника и создаёт варианты. После записи всех объектов одна транзакция публикует метаданные и ready; затем отправляется consumer ack.
  4. Ключи объектов детерминированы, (attachment_id, pipeline_version, variant) уникален. Повтор ready-задачи — no-op; просроченный lease восстанавливается, устаревший lease_token не позволяет зафиксировать результат. Доставка — at least once.

Состояния: queued → processing → ready/failed. До ready скачивание возвращает 409; доступ постороннего пользователя — 404. Queued/processing можно прикрепить к сообщению, failed — нельзя. Готовые файлы выдаются через авторизованный API из приватного S3.

Варианты и лимиты

Вариант Параметры
original Исходные байты, MIME, размер и SHA-256 сохранены
thumbnail JPEG, quality 85, вписан в 256×256 без увеличения; размеры округляются вниз, минимум 1 px
crop JPEG, quality 85, центрированный квадрат 128×128; увеличение допускается
optimized WebP, quality 80, вписан в 1280×1280 без увеличения

Для производных применяется EXIF orientation, прозрачность компонуется на белый, EXIF/XMP/ICC удаляются. Resize выполняется Lanczos. Уменьшение размера каждого файла не гарантируется.

Лимиты входа: 10 MiB и 40 млн пикселей. Worker полностью декодирует изображение в отдельном процессе: память 768 MiB, CPU 60 с, timeout всего задания 60 с, lease 90 с. При timeout процесс декодера завершается. Concurrency/prefetch — 2/2; контейнер worker ограничен 1792 MiB и 2 CPU. Значения задаются через .env.

Повторы и очистка

Максимум 5 попыток. Постоянные ошибки завершаются в failed; временные повторяются с backoff и jitter: ceiling = min(60, 2 × 2^(n−1)), задержка [ceiling/2, ceiling] секунд. Причина, следующая попытка и outbox сохраняются устойчиво. После исчерпания попыток — retry_exhausted; реестр failed хранится в PostgreSQL.

make jobs-failed
make replay JOB_ID=UUID OPERATOR=artem REASON='причина устранена'

Replay разрешён только для failed с сохранённым исходником и записывается в аудит. Для ready/queued/processing — no-op. Cleanup и replay блокируют job и attachment, исключая повторный запуск уже очищенного исходника.

Janitor удаляет staging после COMMIT ready. Failed-исходники хранятся 24 часа, незавершённые загрузки очищаются после 900 с; период проверки — 60 с. Активные queued/processing сохраняются независимо от возраста.

Проверки

Зафиксировано 218 успешных тестов: 195 основных и 23 проверки, запускаемые отдельно.

Команда Результат Протокол
make check validate PYTHON='poetry run python' PASS Контракты
make test PASS Smoke
make student-test 195 passed Основной набор
make test-pipeline-failures 7 passed Сбои pipeline
make test-storage 8 passed Хранилище
make test-failures 6 passed Отказы зависимостей/API
make test-expiry 2 passed Сессии
make test-migrations PASS Миграции
make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS Сохранность данных
make test-failover ACTION_SCRIPT=scripts/stop-one.sh; затем make restore PASS Failover

Проверены остановленный worker, разрыв COMMIT/publish, рестарт broker с volume, crash после S3 PUT и после COMMIT до ack, redelivery, исчерпание retry, replay и retention. После восстановления checksum совпадают, варианты не дублируются. При failover: 132 успешные записи, 0 ошибок, восстановление за 1,772 с.

Ограничения

Стенд работает на одном Docker-host; PostgreSQL, RabbitMQ, S3 и nginx имеют по одному экземпляру. Потеря host/volumes не покрывается. После retention для failed требуется новая загрузка.