Files
mtusi2026lab5/REPORT.md
T

12 KiB
Raw Blame History

Отчёт — лабораторная 5

  • Группа и фамилия: BVT2304, Akkuratov.
  • Целевая оценка: 5.
  • Выбранный трек: 2 — доказанная идемпотентность pipeline.
  • Commit/PR: не создан.
  • Использованные библиотеки: psycopg, redis, boto3, Pillow, pika; версии закреплены в requirements.txt.
  • В работе использовался ИИ-ассистент для переноса, адаптации и проверки кода.
  • Проверенный стенд: Python 3.12.7; PostgreSQL 16.4; RabbitMQ 3.13.7; SeaweedFS 4.51; HAProxy 3.0.7; Docker Desktop 28.0.4; 2 API-реплики. Хост: Apple M2 Pro (10 ядер, 16 GiB RAM), macOS 27.0.1.

Запуск из чистого clone

Требуются Python 3.9+ и Docker Compose v2. Полные команды есть в code.md. Основной запуск:

cp .env.example .env
scripts/bootstrap-secrets.sh
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
until curl --fail --silent http://localhost:8080/health/ready >/dev/null; do sleep 2; done
make test BASE_URL=http://localhost:8080

Секреты создаются локально и не публикуются. Миграции выполняются сервисом migrate; остановка без удаления данных — docker compose down.

Архитектура и решения

PostgreSQL — источник истины для предметных данных, состояния вложения и transactional outbox. Подтверждённая API-загрузка сохраняет исходник в S3 staging и метаданные с outbox-записью до ответа 202 queued. Publisher передаёт durable RabbitMQ job с ID и служебными метаданными, без bytes и credentials. Worker декодирует изображение в отдельном процессе с ограничением времени, записывает оригинал и thumbnail/crop/optimized, затем фиксирует ready. Повторы ограничены, используют backoff с jitter; lease и publisher восстанавливают просроченную работу.

Обработка ограничена JOB_TIMEOUT_SECONDS; дочерний процесс принудительно завершается при превышении. S3-клиент задаёт connect/read timeout и число retries, lease включает отдельный сетевой бюджет. Worker имеет memory limit 1 GiB и concurrency по умолчанию 1; API ограничивает файл 10 MiB и изображение 40 млн пикселей.

Версии pipeline задают отдельные параметры и S3-prefix для вариантов: v1 использует JPEG quality 85/WebP 80, v2 — JPEG 80/WebP 75. Геометрия остаётся одинаковой. Операторский replay создаёт новый job_id, сбрасывает попытку, публикует новую outbox-запись и добавляет audit event. SQL completion/failure ограничены текущими job ID, pipeline version и attempt; поздняя задача не может изменить текущее состояние. Reconciler периодически сверяет PostgreSQL и S3. Filer доступен только из внутренней Compose-сети.

Трек 2: гипотеза и методика

Гипотеза: повторная доставка может повторить физические записи, но уникальные versioned object keys и fencing по (attachment_id, job_id, pipeline_version, attempt) не допускают потери принятой работы или публикации устаревшего результата.

Методика: make test-pipeline-faults запускает fault injection на штатном consumer/publisher-коде и контролируемых брокере, объектном хранилище и state-store. Используется публичный синтетический fixture sample.png. Падения вводятся до первой побочной записи, после записи оригинала и после фиксации результата до ack; дополнительно проверяются повторы, reorder, смена версии и неопределённый publisher confirm. Результат каждого запуска записывается в evidence/pipeline-faults.json.

Сценарий Наблюдение
Дубль после commit до ack 2 доставки, 4 записи объектов для одного набора; повторная доставка — 0 дополнительных записей
Crash сразу после claim lease recovery создал attempt 2; повтор завершился ready
Crash сразу после записи оригинала повторная запись детерминированна; attempt 2 завершился ready
Reorder attempt 2 затем attempt 1 устаревшая попытка: 0 дополнительных записей
v1 superseded версией v2 во время обработки metadata ссылается только на v2 variants
Publisher crash до publish pending outbox пережил перезапуск, задание опубликовано после восстановления
Confirm потерян после broker accept два сообщения имеют идентичное тело и стабильный message ID; worker no-op для дубля
Ограничение времени transform зависший дочерний процесс завершён за 1.008 секунды при бюджете 1 секунда

Compose integration PASS: make test-outbox-recovery подтвердил переход queued→ready после принятого upload при остановленном publisher; make test-pipeline-replay выполнил v1→v2, повторно обработал failed-вложение на той же версии и проверил два audit-события. Исходный checksum сохранился. make test-worker-recovery подтвердил queued-вложение после перезапуска API/worker. Фактические результаты проверок стенда сохранены в evidence/lab5-integration.json.

Нагрузка

Повторяемый замер: .venv/bin/python tests/load.py --base-url http://localhost:18080 --duration 30 --concurrency 4 --output evidence/load.json. После готовности API и подготовки тестовых клиентов выполнен 30-секундный closed-loop POST-тест на синтетических сообщениях: 18,768 успешных запросов, 0 ошибок, 625.458 успешных RPS; latency успешных запросов — p50 5.816 ms, p95 8.820 ms, p99 19.155 ms. Дополнительно docker stats измерял CPU и память контейнеров Compose: сумма CPU peak/mean — 322.07%/232.49%, сумма памяти peak/mean — 890,263,039/814,641,644 байт, 11 выборок (примерно раз в 2.73 секунды). API: две реплики, лимит каждой 1 CPU/512 MiB; worker memory limit 1 GiB. Отдельная предварительная фаза прогрева не проводилась. Это closed-loop результат на указанном хосте; его нельзя напрямую трактовать как open-loop capacity или гарантированный production throughput. Полные данные: evidence/load.json.

Инварианты и доставка

  • 202 означает, что исходник и намерение обработки устойчиво сохранены; publisher можно запускать позже.
  • Job повторяется at-least-once. После потери confirm одно сообщение может быть опубликовано дважды; тест намеренно наблюдает две доставки.
  • Результаты представлены детерминированными S3 keys, различными для pipeline versions; metadata переключается только условным SQL update.
  • Ack отправляется только после устойчивого результата или после записи долговременного retry/outbox намерения. Дубль уже завершённой задачи — no-op.
  • Это не exactly-once delivery: между broker accept и фиксацией publisher confirm возможна повторная публикация, а между SQL commit результата и consumer ack возможна повторная доставка. Гарантируется fencing/idempotency эффекта, не единственная доставка или единственное выполнение.

Проверки

Проверка Команда Результат
Контракт skeleton make check PASS
OpenAPI/JSON Schema make validate PYTHON=.venv/bin/python PASS
Варианты v1/v2 make test-worker PYTHON=.venv/bin/python PASS
Reconciler unit tests make test-reconcile PYTHON=.venv/bin/python PASS
Track 2 injection make test-pipeline-faults PYTHON=.venv/bin/python PASS; 8 сценариев
Python syntax/whitespace compileall, git diff --check PASS
Compose parse docker compose --env-file .env.example config --quiet PASS
Public HTTP smoke make test BASE_URL=http://localhost:18080 PASS
Ошибочные загрузки/ACL make test-attachments BASE_URL=http://localhost:18080 PASS
Concurrent idempotency make test-idempotency-race BASE_URL=http://localhost:18080 PASS; 12 запросов, 2 API, одно сообщение
Outbox после publisher stop make test-outbox-recovery BASE_URL=http://localhost:18080 PASS; queued→ready без ручной публикации
Очередь после API/worker restart make test-worker-recovery BASE_URL=http://localhost:18080 PASS; ссылка сообщения и оригинал сохранены
Реальный replay v1→v2 make test-pipeline-replay BASE_URL=http://localhost:18080 PASS; разные thumbnail SHA-256, оригинал совпал
Повтор failed-вложения и audit make test-pipeline-replay BASE_URL=http://localhost:18080 PASS; failed→queued→ready, два audit-события
Reconciliation/S3 ACL make test-reconcile-integration BASE_URL=http://localhost:18080 PASS; orphan cleanup, exact restore, анонимный GET запрещён
Persistence make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:18080 PASS; данные и сессия пережили restart
API failover make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:18080 PASS; 131 запись, восстановление за 0.681 s
Параллельная загрузка make test-upload-concurrency PYTHON=.venv/bin/python BASE_URL=http://localhost:18080 PASS; 10 × 5,883,411 байт