Files
mtusi2026lab5/REPORT.md
T
2026-11-19 19:45:26 +03:00

7.7 KiB
Raw Blame History

Отчёт — лабораторная 5

  • Автор, группа: Журавлев Алексей, БПИ2301.
  • Целевая оценка: 5; трек 2 — доказанная идемпотентность pipeline.
  • Брокер: Redis 7.4.2 Streams с AOF everysec, consumer group и at-least-once delivery.
  • Источники и помощь ИИ: материалы курса, контракты lab4/lab5, Pillow/boto3/psycopg/redis; использована помощь ИИ при проверке.

Запуск из чистого clone

Проверено на Windows 11, Docker Engine 29.8.2, Docker Compose v5.5.1, Python 3.14.6 на хосте; контейнеры используют Python 3.12.11, PostgreSQL 16.8, Redis 7.4.2, Nginx 1.27.5 и MinIO с закреплённым digest.

.\scripts\init-local-secrets.ps1
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
py -3 -X utf8 scripts\check_contract.py
py -3 -X utf8 scripts\validate_openapi.py
py -3 -X utf8 tests\smoke.py --base-url http://localhost:8080

Для остановки без удаления данных: docker compose --env-file .env down. Для намеренного сброса учебного стенда: docker compose --env-file .env down -v.

Архитектура и перенос из lab4

Перенесены API, авторизация, PostgreSQL/Redis-сессии, сообщения и идемпотентность, MinIO, приватный bucket, Nginx, миграции, Dockerfile, reconcile и restart/failover hooks из lab4. Переход upload: 201 ready заменён на 202 queued.

API x2 -> S3 staging + PostgreSQL attachment/job/outbox
                       -> Redis Stream -> worker
                       -> S3 objects/{attachment_id}/... -> PostgreSQL ready

До ответа 202 API потоково принимает PNG/JPEG в приватный S3-prefix staging/, а одной транзакцией сохраняет метаданные, job и outbox. Worker публикует только UUID и служебные поля, получает staging по данным PostgreSQL, сохраняет original, thumbnail 256x256, crop 128x128 и optimized WebP, затем фиксирует ready. Качество JPEG — 88, WebP — 86; Pillow удаляет EXIF при пересохранении. Оригинал не изменяется.

Повторная доставка использует ключ эффекта (attachment_id, pipeline_version, variant) и детерминированные S3 keys. Lease, ограничение 5 попыток, exponential backoff с jitter и retry_exhausted предотвращают бесконечные повторы. Старый pipeline_version не может перезаписать новый. Ошибка после S3 side effect без ACK безопасно повторяет те же ключи; готовая job становится no-op.

Операторский replay выполняется только для failed и атомарно повышает pipeline_version, создаёт новую job/outbox и audit-запись:

docker compose exec -T worker python scripts/replay_attachment.py ATTACHMENT_ID

Доказательства

Критерий Команда/сценарий Результат
Контракт py -3 -X utf8 scripts\check_contract.py PASS
OpenAPI/JSON Schema py -3 -X utf8 scripts\validate_openapi.py PASS
Public smoke py -3 -X utf8 tests\smoke.py --base-url http://localhost:8080 PASS: users, sessions, chat, messages, 202 upload, original и реальный JPEG thumbnail
Worker recovery docker compose stop worker; запустить smoke; через 5 s docker compose start worker PASS: принятая queued job завершилась ready
Fault injection track 2 make test-pipeline-faults на чистом Compose-проекте PASS: crash после side effect восстановлен lease/re-delivery, один логический результат; pipeline-faults.json
Durable broker Redis AOF + named redis_data volume; job/outbox проверяются при старте worker Объявлено в Compose и проверено запуском
Level 4 variants smoke + API download thumbnail, crop, optimized deterministic keys, checksums и metadata

Трек 2: методика и результаты

Гипотеза: при дублировании, reorder и падении worker до/после side effect каждый attachment завершится не более чем одним логическим набором вариантов, а более новая версия pipeline не будет перезаписана старой.

Методика: Redis consumer group доставляет одно сообщение повторно после истечения lease; fault injection задаётся FAULT_INJECTION значениями before-side-effect, after-original, after-side-effect. Все оригинал и варианты используют детерминированные keys, а запись ready выполняется только после успешной фиксации всех объектов. При повторе проверяется состояние PostgreSQL и версия job; старый pipeline ACK-ается без side effect. В реальном стенде остановка worker во время public smoke дала 202 до запуска worker и PASS после восстановления.

Инварианты:

  1. подтверждённая 202 job имеет staging и durable outbox;
  2. ready означает наличие original и всех трёх обещанных вариантов;
  3. повтор не создаёт новый attachment или новый вариант;
  4. устаревшая версия не переводит новый результат обратно в processing;
  5. доставка не exactly-once: Redis может доставить сообщение повторно, exactly-once достигается только на уровне идемпотентного эффекта.

Автоматический сценарий запускается командой make test-pipeline-faults: он останавливает обычный worker, загружает fixture, запускает fault-worker с after-side-effect, заменяет его recovery-worker с коротким lease и сохраняет обезличенный summary в evidence/pipeline-faults.json. Проверка на чистом Compose-проекте завершилась PASS: ready, ровно thumbnail/crop/optimized, потеря подтверждённой задачи отсутствует.

Ограничение: эксперимент одноузловой; потеря PostgreSQL/MinIO volume и потеря Docker-host не моделируются. RSS/load benchmark не заявляется как часть выбранного трека.

Ограничения

PostgreSQL, Redis, MinIO и Nginx одноузловые. Outbox закрывает разрыв COMMIT→publish, но не делает два хранилища общей транзакцией. Retention staging очищается после успешной фиксации результата; orphan/missing объекты обрабатываются существующим reconciliation с grace period.