Files
mtusi2026lab5/REPORT.md
T
2026-11-13 04:16:24 +03:00

6.5 KiB

Отчёт — лабораторная 5

  • Автор, группа: Будилова Ярослава, БВТ2304
  • Целевая оценка; 4
  • Commit/PR: TODO после публикации
  • Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI, SQLAlchemy, RabbitMQ (aio-pika), SeaweedFS (S3), PostgreSQL, Valkey.

Запуск из чистого clone

TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.

Архитектура и решения

  1. Разделение ответственности: API принимает файл, валидирует его (MIME через python-magic, размер до 10 MiB, разрешение до 40 Мпикселей), сохраняет во временный префикс S3 (staging/) и создаёт запись в БД (Attachment, AttachmentJob, JobOutbox). Возвращает 202 Accepted.
  2. Transactional Outbox: Фоновый процесс в API (app/broker.py) каждую секунду опрашивает таблицу job_outbox на наличие непубликованных задач и отправляет их в RabbitMQ с DeliveryMode.PERSISTENT. Это гарантирует, что даже если API упадёт сразу после COMMIT в БД, задача не будет потеряна.
  3. Worker: Отдельный процесс, который забирает сообщения из очереди attachment.process.v1. Использует SELECT ... FOR UPDATE для блокировки задачи (lease на 30 секунд). Обрабатывает изображение (создаёт thumbnail 256x256, crop 128x128, optimized WebP 1280x1280), сохраняет в конечный префикс S3, обновляет статус в БД на ready и только затем отправляет ack брокеру.
  4. Идемпотентность: Если Worker падает после записи в S3, но до ack или COMMIT, RabbitMQ повторно доставит сообщение. Worker проверяет статус задачи в БД: если она уже ready или processing с живым lease, он игнорирует дубль (no-op). Первичный ключ (attachment_id, variant_name) физически предотвращает создание дубликатов на уровне БД.
  5. Очистка: После успешного COMMIT статус ready, Worker удаляет объект из staging/.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test TODO TODO
Остальные пункты уровня 3 TODO TODO TODO
Все пункты уровня 4, если заявлен TODO TODO TODO
Выбранный трек 5, если заявлен TODO TODO TODO

TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.

Доказательства критериев (Уровень 4)

Критерий Команда / Сценарий Наблюдаемый результат
Persistence docker compose stop → docker compose start → python3 tests/smoke.py Все volumes (postgres_data, s3data, mqdata) сохранены. Smoke-тест проходит, данные не потеряны.
API Failover docker compose stop mtusi2026lab5-api-1 → python3 tests/smoke.py Nginx перенаправляет трафик на api-2. Тест проходит без ошибок 502.
Worker Crash Recovery Остановка worker во время Processing job... → docker compose start worker Сообщение доставляется повторно. Worker завершает задачу, создаёт ровно 3 варианта, дубликатов в БД нет (подтверждено SQL-запросом).
Ограничения Worker Загрузка файла >10 MiB или >40 Мпикселей API возвращает 413 Payload Too Large или 400 Bad Request до передачи в очередь. Worker не декодирует опасные файлы.
Transactional Outbox Имитация сбоя API после COMMIT Запись в job_outbox публикуется relay-процессом при следующем запуске API. Задача доходит до ready.
Crop и Optimized Smoke-тест Worker создаёт crop 128x128 (JPEG q=85) и optimized WebP 1280x1280 (q=80).

Эксперименты и отказы

TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
TODO TODO TODO TODO

Ограничения и следующие шаги

TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.