Files
mtusi2026lab5/REPORT.md
T

9.4 KiB
Raw Blame History

Отчёт — лабораторная 5

  • Автор, группа: Сергей Возжин, БПИ2301.
  • Целевая оценка: 4.
  • Commit/PR: mtusi2026/mtusi2026lab5#101
  • Библиотеки: FastAPI, SQLAlchemy/asyncpg, aio-pika, Pillow, boto3, Redis. При реализации использовалась помощь ИИ; решения проверены тестами из репозитория.

Запуск из чистого clone

Требуются Docker с Compose v2, Make и Python 3.9+ для внешних smoke-скриптов. Образы закреплены в Compose: Python 3.13.15, PostgreSQL 17.4, Redis 7.4.2, RabbitMQ 4.1.4, HAProxy 3.2.26 и MinIO по digest.

cp .env.example .env
# Заменить все change-me-* локальными значениями; .env не коммитить.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
docker compose --env-file .env ps
make test BASE_URL=http://localhost:8080
make test-pipeline-smoke BASE_URL=http://localhost:8080

Миграции выполняет отдельный migrate service до старта API/publisher/worker. Обычная остановка сохраняет данные:

docker compose --env-file .env down

Намеренное удаление всех учебных данных выполняется только явной командой docker compose --env-file .env down -v. Она необратимо удаляет volumes PostgreSQL, Redis, RabbitMQ и MinIO.

Для воспроизводимых тестов используется изолированный стенд:

docker compose -f compose.tests.yaml up -d --build --wait
docker compose -f compose.tests.yaml run --rm tests

Архитектура и решения

Поток данных:

HTTP API -> private S3 staging -> PostgreSQL attachment/job/outbox -> 202
                                      |
                                      v
                              outbox publisher -> RabbitMQ
                                                    |
                                                    v
                                              worker pool
                                                    |
                         final S3 objects <- variants/original -> PostgreSQL ready

PostgreSQL — источник истины для состояния job, failed registry и решения о replay. RabbitMQ обеспечивает durable очередь, publisher confirms, manual consumer ack и DLQ. Сообщение содержит только versioned IDs и номера попытки, без байтов, credentials и клиентского пути. Ответ 202 отправляется лишь после записи исходника в private staging и одной транзакции attachment + job + outbox; broker может быть временно недоступен.

Идемпотентность основана на уникальной паре (attachment_id, pipeline_version) и детерминированных S3 keys. Варианты upsert-ятся по (attachment_id, pipeline_version, name). ready проверяет полноту эффекта и не исполняется повторно. Это at-least-once, а не exactly-once: delivery может повториться, но логический результат остаётся один.

Worker создаёт неизменённый original, JPEG thumbnail в bounding box 256×256 без увеличения, центрированный JPEG crop 128×128 и WebP optimized в bounding box 1280×1280 без увеличения. EXIF orientation применяется перед resize; alpha компонуется на белый, входные metadata не копируются. Quality задаются через THUMBNAIL_JPEG_QUALITY=85, CROP_JPEG_QUALITY=85 и OPTIMIZED_WEBP_QUALITY=82.

Временные ошибки повторяются с exponential backoff и jitter до JOB_MAX_ATTEMPTS. Постоянные ошибки сразу переходят в failed с безопасным code и RabbitMQ DLQ. Lease возвращает брошенный processing в очередь. Обработка изображения вынесена в дочерний процесс с timeout и лимитом адресного пространства 512 MiB; дополнительно ограничены upload bytes, decoded pixels, worker concurrency и prefetch.

Staging удаляется только после DB commit состояния ready. Отдельный cleanup удаляет лишь terminal staging старше retention; --dry-run включён для операторской проверки. Replay разрешён только для failed job с существующим staging, записывается в audit и повторный replay ready job отклоняется.

Из lab4 сохранены auth/session, чаты/сообщения, идемпотентность HTTP, private S3 и доступ к attachment только членам чата. Изменён только объявленный контракт upload 201 -> 202 и асинхронные состояния. Старые lab4 benchmark/evidence и проверки S3 outage/failover не копировались: они не доказывают новые критерии lab5; вместо них добавлены pipeline/outbox/broker/worker/DLQ fault tests.

Доказательства критериев

Полный журнал команд и кратких результатов находится в evidence/lab5-grade4.md.

Критерий Команда/сценарий Наблюдаемый результат
Контракт и unit/negative make check; Docker pytest PASS; 19 passed
Публичный API python3 tests/smoke.py ... upload 202, polling ready, original/thumbnail и прежний API проходят
Grade-4 variants tests/pipeline_smoke.py; tests/test_pipeline.py original + thumbnail/crop/optimized, EXIF/alpha/no-upscale/checksum и большой IPC-result
COMMIT → publish tests/outbox_recovery.py после старта publisher прежняя job стала ready без нового upload
Confirm → outbox mark tests/publisher_confirm_crash.py повтор publish дал один логический результат
Worker outage tests/worker_outage.py stop → 202 → message → API restart → worker → ready
Broker persistence tests/broker_persistence.py durable delivery пережила restart broker с volume
Crash до ack tests/worker_crash.py, оба режима recovery после записи S3 и после DB commit; без дублей
failed/DLQ/replay tests/failed_replay.py; rabbitmqctl list_queues failed + safe code, DLQ=1, replay → ready, второй replay отклонён

Эксперименты и отказы

Целевая оценка 4, поэтому performance-исследование уровня 5 не заявляется. Числа RPS, latency и RSS не приводятся: короткие функциональные fault tests для таких выводов недостаточны.

Воздействие Ожидание Наблюдение Потеря данных
Publisher выключен после DB commit pending outbox публикуется после восстановления job дошла до ready без нового upload 0 подтверждённых job
Worker выключен и API перезапущен 202 не означает зависимость от процесса API после запуска worker получен ready 0
Broker restart с volume durable delivery остаётся исходная job обработана 0
Worker crash после S3 effects lease/retry повторяет идемпотентно один original и три варианта 0
Worker crash после DB commit до ack stale redelivery распознаётся ready не откатился, дублей нет 0
Постоянная ошибка failed registry + DLQ safe fault_injected, DLQ message, guarded replay 0; staging сохранён

Ограничения и следующие шаги

  • Это single-host Compose: отказ хоста, quorum broker/DB и multi-AZ не проверялись.
  • RLIMIT_AS зависит от ОС; основной внешний предел остаётся Docker memory limit.
  • Cleanup запускается оператором/планировщиком, отдельный scheduler service не добавлен.
  • DLQ используется для наблюдаемости, а replay берёт решение из PostgreSQL; stale DLQ сообщения намеренно не являются источником истины.
  • Для оценки 5 нужны отдельный нагрузочный эксперимент или расширенная матрица reorder и смены pipeline version; здесь такие выводы не заявляются.