7.5 KiB
Лабораторная 5. Асинхронная обработка изображений
Автор: Саватеев Артём. Целевая оценка: 4.
Запуск
Требования: Docker Compose ≥ 2.20.2; для собственных тестов — Python 3.12 и Poetry 2.2.
make init
make up
make install
poetry run python -m pip install -r requirements-dev.txt
make test
make init создаёт .env и локальные секреты. API: http://localhost:8080, PostgreSQL: localhost:55433. RabbitMQ и S3 доступны внутри стенда. Миграции применяются автоматически. make down сохраняет данные в volumes PostgreSQL, S3 и RabbitMQ.
Архитектура и обработка
Слои: domain — схемы и ошибки; interfaces — абстракции; infrastructure — сервисы и адаптеры PostgreSQL/S3/RabbitMQ; application — HTTP API.
API → S3 staging + PostgreSQL/outbox → dispatcher → RabbitMQ → worker → S3 + PostgreSQL
- API принимает файл потоком, проверяет доступ, MIME, размер и параметры изображения. После сохранения staging одна транзакция создаёт job/outbox и состояние
queued. Ответ —202 queued. - Dispatcher публикует persistent сообщения в durable очередь с
mandatoryи publisher confirms. Событие отмечается отправленным после confirm; сбой между COMMIT и publish восстанавливается через outbox. Сообщения содержат только ID и служебные поля. - Worker захватывает job с lease, проверяет SHA-256 исходника и создаёт варианты. После записи всех объектов одна транзакция публикует метаданные и
ready; затем отправляется consumer ack. - Ключи объектов детерминированы,
(attachment_id, pipeline_version, variant)уникален. Повтор ready-задачи — no-op; просроченный lease восстанавливается, устаревший lease_token не позволяет зафиксировать результат. Доставка — at least once.
Состояния: queued → processing → ready/failed. До ready скачивание возвращает 409; доступ постороннего пользователя — 404. Queued/processing можно прикрепить к сообщению, failed — нельзя. Готовые файлы выдаются через авторизованный API из приватного S3.
Варианты и лимиты
| Вариант | Параметры |
|---|---|
| original | Исходные байты, MIME, размер и SHA-256 сохранены |
| thumbnail | JPEG, quality 85, вписан в 256×256 без увеличения; размеры округляются вниз, минимум 1 px |
| crop | JPEG, quality 85, центрированный квадрат 128×128; увеличение допускается |
| optimized | WebP, quality 80, вписан в 1280×1280 без увеличения |
Для производных применяется EXIF orientation, прозрачность компонуется на белый, EXIF/XMP/ICC удаляются. Resize выполняется Lanczos. Уменьшение размера каждого файла не гарантируется.
Лимиты входа: 10 MiB и 40 млн пикселей. Worker полностью декодирует изображение в отдельном процессе: память 768 MiB, CPU 60 с, timeout всего задания 60 с, lease 90 с. При timeout процесс декодера завершается. Concurrency/prefetch — 2/2; контейнер worker ограничен 1792 MiB и 2 CPU. Значения задаются через .env.
Повторы и очистка
Максимум 5 попыток. Постоянные ошибки завершаются в failed; временные повторяются с backoff и jitter: ceiling = min(60, 2 × 2^(n−1)), задержка [ceiling/2, ceiling] секунд. Причина, следующая попытка и outbox сохраняются устойчиво. После исчерпания попыток — retry_exhausted; реестр failed хранится в PostgreSQL.
make jobs-failed
make replay JOB_ID=UUID OPERATOR=artem REASON='причина устранена'
Replay разрешён только для failed с сохранённым исходником и записывается в аудит. Для ready/queued/processing — no-op. Cleanup и replay блокируют job и attachment, исключая повторный запуск уже очищенного исходника.
Janitor удаляет staging после COMMIT ready. Failed-исходники хранятся 24 часа, незавершённые загрузки очищаются после 900 с; период проверки — 60 с. Активные queued/processing сохраняются независимо от возраста.
Проверки
Зафиксировано 218 успешных тестов: 195 основных и 23 проверки, запускаемые отдельно.
| Команда | Результат | Протокол |
|---|---|---|
make check validate PYTHON='poetry run python' |
PASS | Контракты |
make test |
PASS | Smoke |
make student-test |
195 passed | Основной набор |
make test-pipeline-failures |
7 passed | Сбои pipeline |
make test-storage |
8 passed | Хранилище |
make test-failures |
6 passed | Отказы зависимостей/API |
make test-expiry |
2 passed | Сессии |
make test-migrations |
PASS | Миграции |
make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS | Сохранность данных |
make test-failover ACTION_SCRIPT=scripts/stop-one.sh; затем make restore |
PASS | Failover |
Проверены остановленный worker, разрыв COMMIT/publish, рестарт broker с volume, crash после S3 PUT и после COMMIT до ack, redelivery, исчерпание retry, replay и retention. После восстановления checksum совпадают, варианты не дублируются. При failover: 132 успешные записи, 0 ошибок, восстановление за 1,772 с.
Ограничения
Стенд работает на одном Docker-host; PostgreSQL, RabbitMQ, S3 и nginx имеют по одному экземпляру. Потеря host/volumes не покрывается. После retention для failed требуется новая загрузка.