3.5 KiB
Отчёт ЛР5 — Рестеу Д. А., БВТ2302
Целевая оценка: 4.
Архитектура
Существующие API1/API2 + Nginx + PostgreSQL + Redis сессий + SeaweedFS сохранены из ЛР4. Добавлены отдельный broker (Redis Streams с AOF), dispatcher и worker. HTTP upload принимает полные bytes, проверяет формат/размер, кладёт оригинал в приватный staging/ и атомарно сохраняет queued и outbox в PostgreSQL. Только после этого возвращает 202. Отдельный dispatcher публикует IDs заданий в durable stream. Worker читает stream в consumer group и подтверждает сообщения после устойчивого эффекта.
Оригинал: побайтная копия из staging в originals. Thumbnail — JPEG, до 256×256, без увеличения. Crop — JPEG, центрированный квадрат 128×128. Optimized — WebP, до 1280×1280 без увеличения. EXIF orientation применяется, EXIF не сохраняется в производных файлах; прозрачность компонуется на белый. JPEG quality=85; WebP quality=80/method=4.
Состояния: queued → processing → ready/failed, с повтором queued при временном отказе. Ограничение 5 попыток, backoff с jitter, 90-секундный lease, выделенный worker с 384 MiB и 0.75 CPU, обработки по одному заданию. Повторная доставка уже ready — no-op. Эффекты S3 имеют детерминированные ключи, метаданные вариантов записываются атомарно.
Реальные проверки (заполнить после запуска)
docker compose config --quiet: НЕ ПРОВЕРЕНО.python tests/smoke.py: НЕ ПРОВЕРЕНО.- Остановка worker → upload 202 → restart → ready: НЕ ПРОВЕРЕНО.
- COMMIT до publish → восстановление dispatcher: НЕ ПРОВЕРЕНО.
- Crash после S3 до БД/ack → восстановление lease: НЕ ПРОВЕРЕНО.
- failed → явный replay: НЕ ПРОВЕРЕНО.
Ограничения
Единственная PostgreSQL, S3 и единый broker остаются точками отказа. Отказ worker не блокирует HTTP upload, если staging и БД исправны. Accepted означает сохранённые bytes и намерение обработки, но не готовое изображение. Отсутствие именно однократной доставки компенсируется идемпотентной записью эффектов. Staging удаляется только после коммита ready, при ошибках может оставаться; для production требуется дополнительная периодическая очистка бесхозных объектов с retention-политикой. Текущий worker использует ограниченный по времени lease, но жёсткого прерывания отдельной долгой декодировки нет; ресурсный лимит Docker ограничивает память.