Files
mtusi2026lab5/REPORT.md

9.5 KiB
Raw Permalink Blame History

Отчёт — лабораторная 5

  • Автор, группа: Матвиенко, БПИ2304
  • Целевая оценка: 3
  • Commit/PR: добавить после публикации
  • Использованные источники и библиотеки: материалы лабораторной, OpenAPI-контракт, Python 3.12, FastAPI, PostgreSQL 16, RustFS 1.0.3, RabbitMQ 4.1.8, Pika 1.3.2, boto3, Pillow, Nginx 1.29, Docker Compose. При разработке и отладке использовалась помощь ИИ.

Запуск из чистого clone

Необходимы Git, Docker Desktop с Docker Compose, Python 3 и Make.

Создать .env по образцу .env.example, указав собственные локальные секреты:

POSTGRES_PASSWORD=<локальный_пароль>
SESSION_TTL_SECONDS=3600
S3_ACCESS_KEY=<локальный_ключ>
S3_SECRET_KEY=<локальный_секрет>
S3_BUCKET=messenger-attachments
RABBITMQ_USER=messenger
RABBITMQ_PASSWORD=<локальный_пароль_брокера>
RABBITMQ_QUEUE=image_jobs
IMAGE_MAX_ATTEMPTS=5

Сборка, применение миграций, создание приватного bucket и запуск:

docker compose up -d --build
docker compose ps -a
curl http://127.0.0.1:8080/health/ready

Проверки:

make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 scripts/test-worker-recovery.py
bash scripts/test-redelivery.sh

Остановка с сохранением данных:

docker compose down

Намеренное удаление учебных данных и volumes:

docker compose down -v

Архитектура и решения

Схема: клиент → Nginx → две API-реплики → PostgreSQL + RustFS → dispatcher → RabbitMQ → worker → RustFS + PostgreSQL.

Из lab4 сохранены авторизация, чаты, сообщения, балансировка API, идемпотентность и приватное S3-хранилище.

В lab5 реализована асинхронная обработка изображений:

  • API сохраняет исходный файл в устойчивом S3 staging и создаёт задание в PostgreSQL.
  • Upload возвращает HTTP 202 со статусом queued.
  • Dispatcher публикует идентификаторы заданий в устойчивую очередь RabbitMQ с подтверждением публикации.
  • Отдельный worker обрабатывает файл и создаёт JPEG thumbnail в пределах 256×256 с сохранением пропорций.
  • Оригинал сохраняется без изменений.
  • Статусы queued, processing, ready, failed доступны через API.
  • Реализованы ограниченные повторы обработки — максимум 5 попыток.
  • Подтверждение сообщения RabbitMQ выполняется после завершения транзакции PostgreSQL.

Байты изображений и учётные данные в сообщениях брокера не передаются. PostgreSQL хранит метаданные и задания, RustFS — staging и конечные файлы. Стабильные object keys и проверка состояния задания защищают от повторной обработки завершённой работы.

Между S3 и PostgreSQL нет общей распределённой транзакции; при сбоях используются повторные попытки и идемпотентная обработка.

Доказательства критериев

Критерий Команда или сценарий Результат Доказательство
Публичный smoke make test PASS evidence/smoke.txt
Сохранность данных make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS evidence/persistence.txt
Отказ API-реплики make test-failover ACTION_SCRIPT=scripts/stop-one.sh PASS, 121 запись, 0 ошибок evidence/failover.txt
Восстановление после отказа Failover-сценарий 0,783 секунды evidence/failover.txt
Остановленный worker и рестарт python3 scripts/test-worker-recovery.py PASS evidence/worker-recovery.txt
Повторная доставка задания bash scripts/test-redelivery.sh PASS, результат не изменился evidence/redelivery.txt
Подтверждение работы worker Журнал worker Два повторных задания распознаны как завершённые evidence/redelivery-worker.txt
Состояние инфраструктуры docker compose ps -a API и PostgreSQL healthy, остальные рабочие сервисы запущены evidence/containers.txt
Миграции docker compose run --rm --no-deps migrate Все 5 миграций уже применены evidence/migrations.txt
Перезапуск инфраструктуры Сравнение времени запуска контейнеров Сохранены данные до и после действия evidence/restart-before.txt, evidence/restart-after.txt

Эксперименты и отказы

Гипотеза: принятое изображение не потеряется при остановке worker и перезапуске API или брокера. Повторная доставка завершённого задания не изменит результат.

Испытания выполнены на локальном стенде Windows / WSL Ubuntu / Docker Desktop, с RabbitMQ 4.1.8, PostgreSQL 16, RustFS 1.0.3 и двумя API-репликами.

Проверка восстановления задания:

  1. Worker остановлен.
  2. Изображение загружено с результатом HTTP 202, статус queued.
  3. Создано сообщение с ожидающим вложением.
  4. Перезапущены RabbitMQ и API.
  5. Состояние queued сохранилось.
  6. После запуска worker вложение перешло в ready.
  7. Оригинал проверен по SHA-256, thumbnail создан как JPEG 256×160.

Результат: PASS: durable worker recovery.

Проверка повторной доставки:

Одно завершённое задание повторно опубликовано дважды. До и после проверки состояние осталось ready, число попыток — 1, число вариантов — 1, SHA-256 thumbnail не изменился. Worker дважды зарегистрировал получение уже завершённого задания.

Результат: PASS: duplicate delivery did not change completed job.

Воздействие Ожидание Наблюдение Результат
Остановка API-реплики Запись через оставшуюся реплику 121 успешная запись, 0 ошибок Восстановление 0,783 с
Перезапуск хранилищ и брокера Сохранность данных и сессии Persistence PASS Потерь не выявлено
Остановка worker и рестарт Задание сохранится queued → ready, оригинал и thumbnail доступны PASS
Две повторные доставки Отсутствие повторной обработки Статус, checksum и количество вариантов неизменны PASS

Отдельные измерения RPS, p50/p95/p99, CPU/RAM и длительные нагрузочные испытания не выполнялись. Проверка повторной доставки проведена для завершённого задания; аварийное завершение worker непосредственно перед ACK отдельно не моделировалось.

Ограничения и следующие шаги

PostgreSQL, RustFS и RabbitMQ работают в одиночных экземплярах и остаются точками отказа. При намеренном удалении volumes данные теряются.

В перспективе можно добавить резервирование хранилищ, мониторинг очереди, очистку неиспользуемых staging-объектов и испытания с несколькими worker.

Вывод: асинхронная обработка изображений реализована. Публичный smoke, persistence, failover, восстановление заданий и повторная доставка успешно проверены. Принятое задание пережило остановку worker и перезапуск RabbitMQ и API, а повторная доставка не изменила готовый результат.