Files
mtusi2026lab5/REPORT.md

3.5 KiB
Raw Permalink Blame History

Отчёт ЛР5 — Рестеу Д. А., БВТ2302

Целевая оценка: 4.

Архитектура

Существующие API1/API2 + Nginx + PostgreSQL + Redis сессий + SeaweedFS сохранены из ЛР4. Добавлены отдельный broker (Redis Streams с AOF), dispatcher и worker. HTTP upload принимает полные bytes, проверяет формат/размер, кладёт оригинал в приватный staging/ и атомарно сохраняет queued и outbox в PostgreSQL. Только после этого возвращает 202. Отдельный dispatcher публикует IDs заданий в durable stream. Worker читает stream в consumer group и подтверждает сообщения после устойчивого эффекта.

Оригинал: побайтная копия из staging в originals. Thumbnail — JPEG, до 256×256, без увеличения. Crop — JPEG, центрированный квадрат 128×128. Optimized — WebP, до 1280×1280 без увеличения. EXIF orientation применяется, EXIF не сохраняется в производных файлах; прозрачность компонуется на белый. JPEG quality=85; WebP quality=80/method=4.

Состояния: queued → processing → ready/failed, с повтором queued при временном отказе. Ограничение 5 попыток, backoff с jitter, 90-секундный lease, выделенный worker с 384 MiB и 0.75 CPU, обработки по одному заданию. Повторная доставка уже ready — no-op. Эффекты S3 имеют детерминированные ключи, метаданные вариантов записываются атомарно.

Реальные проверки (заполнить после запуска)

  • docker compose config --quiet: НЕ ПРОВЕРЕНО.
  • python tests/smoke.py: НЕ ПРОВЕРЕНО.
  • Остановка worker → upload 202 → restart → ready: НЕ ПРОВЕРЕНО.
  • COMMIT до publish → восстановление dispatcher: НЕ ПРОВЕРЕНО.
  • Crash после S3 до БД/ack → восстановление lease: НЕ ПРОВЕРЕНО.
  • failed → явный replay: НЕ ПРОВЕРЕНО.

Ограничения

Единственная PostgreSQL, S3 и единый broker остаются точками отказа. Отказ worker не блокирует HTTP upload, если staging и БД исправны. Accepted означает сохранённые bytes и намерение обработки, но не готовое изображение. Отсутствие именно однократной доставки компенсируется идемпотентной записью эффектов. Staging удаляется только после коммита ready, при ошибках может оставаться; для production требуется дополнительная периодическая очистка бесхозных объектов с retention-политикой. Текущий worker использует ограниченный по времени lease, но жёсткого прерывания отдельной долгой декодировки нет; ресурсный лимит Docker ограничивает память.