12 KiB
Отчёт — лабораторная 5
- Группа и фамилия: BVT2304, Akkuratov.
- Целевая оценка: 5.
- Выбранный трек: 2 — доказанная идемпотентность pipeline.
- Commit/PR: не создан.
- Использованные библиотеки: psycopg, redis, boto3, Pillow, pika; версии закреплены в
requirements.txt. - В работе использовался ИИ-ассистент для переноса, адаптации и проверки кода.
- Проверенный стенд: Python 3.12.7; PostgreSQL 16.4; RabbitMQ 3.13.7; SeaweedFS 4.51; HAProxy 3.0.7; Docker Desktop 28.0.4; 2 API-реплики. Хост: Apple M2 Pro (10 ядер, 16 GiB RAM), macOS 27.0.1.
Запуск из чистого clone
Требуются Python 3.9+ и Docker Compose v2. Полные команды есть в code.md. Основной запуск:
cp .env.example .env
scripts/bootstrap-secrets.sh
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
until curl --fail --silent http://localhost:8080/health/ready >/dev/null; do sleep 2; done
make test BASE_URL=http://localhost:8080
Секреты создаются локально и не публикуются. Миграции выполняются сервисом migrate; остановка без удаления данных — docker compose down.
Архитектура и решения
PostgreSQL — источник истины для предметных данных, состояния вложения и transactional outbox. Подтверждённая API-загрузка сохраняет исходник в S3 staging и метаданные с outbox-записью до ответа 202 queued. Publisher передаёт durable RabbitMQ job с ID и служебными метаданными, без bytes и credentials. Worker декодирует изображение в отдельном процессе с ограничением времени, записывает оригинал и thumbnail/crop/optimized, затем фиксирует ready. Повторы ограничены, используют backoff с jitter; lease и publisher восстанавливают просроченную работу.
Обработка ограничена JOB_TIMEOUT_SECONDS; дочерний процесс принудительно завершается при превышении. S3-клиент задаёт connect/read timeout и число retries, lease включает отдельный сетевой бюджет. Worker имеет memory limit 1 GiB и concurrency по умолчанию 1; API ограничивает файл 10 MiB и изображение 40 млн пикселей.
Версии pipeline задают отдельные параметры и S3-prefix для вариантов: v1 использует JPEG quality 85/WebP 80, v2 — JPEG 80/WebP 75. Геометрия остаётся одинаковой. Операторский replay создаёт новый job_id, сбрасывает попытку, публикует новую outbox-запись и добавляет audit event. SQL completion/failure ограничены текущими job ID, pipeline version и attempt; поздняя задача не может изменить текущее состояние. Reconciler периодически сверяет PostgreSQL и S3. Filer доступен только из внутренней Compose-сети.
Трек 2: гипотеза и методика
Гипотеза: повторная доставка может повторить физические записи, но уникальные versioned object keys и fencing по (attachment_id, job_id, pipeline_version, attempt) не допускают потери принятой работы или публикации устаревшего результата.
Методика: make test-pipeline-faults запускает fault injection на штатном consumer/publisher-коде и контролируемых брокере, объектном хранилище и state-store. Используется публичный синтетический fixture sample.png. Падения вводятся до первой побочной записи, после записи оригинала и после фиксации результата до ack; дополнительно проверяются повторы, reorder, смена версии и неопределённый publisher confirm. Результат каждого запуска записывается в evidence/pipeline-faults.json.
| Сценарий | Наблюдение |
|---|---|
| Дубль после commit до ack | 2 доставки, 4 записи объектов для одного набора; повторная доставка — 0 дополнительных записей |
| Crash сразу после claim | lease recovery создал attempt 2; повтор завершился ready |
| Crash сразу после записи оригинала | повторная запись детерминированна; attempt 2 завершился ready |
| Reorder attempt 2 затем attempt 1 | устаревшая попытка: 0 дополнительных записей |
| v1 superseded версией v2 во время обработки | metadata ссылается только на v2 variants |
| Publisher crash до publish | pending outbox пережил перезапуск, задание опубликовано после восстановления |
| Confirm потерян после broker accept | два сообщения имеют идентичное тело и стабильный message ID; worker no-op для дубля |
| Ограничение времени transform | зависший дочерний процесс завершён за 1.008 секунды при бюджете 1 секунда |
Compose integration PASS: make test-outbox-recovery подтвердил переход queued→ready после принятого upload при остановленном publisher; make test-pipeline-replay выполнил v1→v2, повторно обработал failed-вложение на той же версии и проверил два audit-события. Исходный checksum сохранился. make test-worker-recovery подтвердил queued-вложение после перезапуска API/worker. Фактические результаты проверок стенда сохранены в evidence/lab5-integration.json.
Нагрузка
Повторяемый замер: .venv/bin/python tests/load.py --base-url http://localhost:18080 --duration 30 --concurrency 4 --output evidence/load.json. После готовности API и подготовки тестовых клиентов выполнен 30-секундный closed-loop POST-тест на синтетических сообщениях: 18,768 успешных запросов, 0 ошибок, 625.458 успешных RPS; latency успешных запросов — p50 5.816 ms, p95 8.820 ms, p99 19.155 ms. Дополнительно docker stats измерял CPU и память контейнеров Compose: сумма CPU peak/mean — 322.07%/232.49%, сумма памяти peak/mean — 890,263,039/814,641,644 байт, 11 выборок (примерно раз в 2.73 секунды). API: две реплики, лимит каждой 1 CPU/512 MiB; worker memory limit 1 GiB. Отдельная предварительная фаза прогрева не проводилась. Это closed-loop результат на указанном хосте; его нельзя напрямую трактовать как open-loop capacity или гарантированный production throughput. Полные данные: evidence/load.json.
Инварианты и доставка
202означает, что исходник и намерение обработки устойчиво сохранены; publisher можно запускать позже.- Job повторяется at-least-once. После потери confirm одно сообщение может быть опубликовано дважды; тест намеренно наблюдает две доставки.
- Результаты представлены детерминированными S3 keys, различными для pipeline versions; metadata переключается только условным SQL update.
- Ack отправляется только после устойчивого результата или после записи долговременного retry/outbox намерения. Дубль уже завершённой задачи — no-op.
- Это не exactly-once delivery: между broker accept и фиксацией publisher confirm возможна повторная публикация, а между SQL commit результата и consumer ack возможна повторная доставка. Гарантируется fencing/idempotency эффекта, не единственная доставка или единственное выполнение.
Проверки
| Проверка | Команда | Результат |
|---|---|---|
| Контракт skeleton | make check |
PASS |
| OpenAPI/JSON Schema | make validate PYTHON=.venv/bin/python |
PASS |
| Варианты v1/v2 | make test-worker PYTHON=.venv/bin/python |
PASS |
| Reconciler unit tests | make test-reconcile PYTHON=.venv/bin/python |
PASS |
| Track 2 injection | make test-pipeline-faults PYTHON=.venv/bin/python |
PASS; 8 сценариев |
| Python syntax/whitespace | compileall, git diff --check |
PASS |
| Compose parse | docker compose --env-file .env.example config --quiet |
PASS |
| Public HTTP smoke | make test BASE_URL=http://localhost:18080 |
PASS |
| Ошибочные загрузки/ACL | make test-attachments BASE_URL=http://localhost:18080 |
PASS |
| Concurrent idempotency | make test-idempotency-race BASE_URL=http://localhost:18080 |
PASS; 12 запросов, 2 API, одно сообщение |
| Outbox после publisher stop | make test-outbox-recovery BASE_URL=http://localhost:18080 |
PASS; queued→ready без ручной публикации |
| Очередь после API/worker restart | make test-worker-recovery BASE_URL=http://localhost:18080 |
PASS; ссылка сообщения и оригинал сохранены |
| Реальный replay v1→v2 | make test-pipeline-replay BASE_URL=http://localhost:18080 |
PASS; разные thumbnail SHA-256, оригинал совпал |
| Повтор failed-вложения и audit | make test-pipeline-replay BASE_URL=http://localhost:18080 |
PASS; failed→queued→ready, два audit-события |
| Reconciliation/S3 ACL | make test-reconcile-integration BASE_URL=http://localhost:18080 |
PASS; orphan cleanup, exact restore, анонимный GET запрещён |
| Persistence | make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:18080 |
PASS; данные и сессия пережили restart |
| API failover | make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:18080 |
PASS; 131 запись, восстановление за 0.681 s |
| Параллельная загрузка | make test-upload-concurrency PYTHON=.venv/bin/python BASE_URL=http://localhost:18080 |
PASS; 10 × 5,883,411 байт |