7.7 KiB
Отчёт — лабораторная 5
- Автор, группа: Журавлев Алексей, БПИ2301.
- Целевая оценка: 5; трек 2 — доказанная идемпотентность pipeline.
- Брокер: Redis 7.4.2 Streams с AOF
everysec, consumer group и at-least-once delivery. - Источники и помощь ИИ: материалы курса, контракты lab4/lab5, Pillow/boto3/psycopg/redis; использована помощь ИИ при проверке.
Запуск из чистого clone
Проверено на Windows 11, Docker Engine 29.8.2, Docker Compose v5.5.1, Python 3.14.6 на хосте; контейнеры используют Python 3.12.11, PostgreSQL 16.8, Redis 7.4.2, Nginx 1.27.5 и MinIO с закреплённым digest.
.\scripts\init-local-secrets.ps1
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
py -3 -X utf8 scripts\check_contract.py
py -3 -X utf8 scripts\validate_openapi.py
py -3 -X utf8 tests\smoke.py --base-url http://localhost:8080
Для остановки без удаления данных: docker compose --env-file .env down.
Для намеренного сброса учебного стенда: docker compose --env-file .env down -v.
Архитектура и перенос из lab4
Перенесены API, авторизация, PostgreSQL/Redis-сессии, сообщения и
идемпотентность, MinIO, приватный bucket, Nginx, миграции, Dockerfile,
reconcile и restart/failover hooks из lab4. Переход upload: 201 ready
заменён на 202 queued.
API x2 -> S3 staging + PostgreSQL attachment/job/outbox
-> Redis Stream -> worker
-> S3 objects/{attachment_id}/... -> PostgreSQL ready
До ответа 202 API потоково принимает PNG/JPEG в приватный S3-prefix
staging/, а одной транзакцией сохраняет метаданные, job и outbox.
Worker публикует только UUID и служебные поля, получает staging по данным
PostgreSQL, сохраняет original, thumbnail 256x256, crop 128x128 и
optimized WebP, затем фиксирует ready. Качество JPEG — 88, WebP — 86;
Pillow удаляет EXIF при пересохранении. Оригинал не изменяется.
Повторная доставка использует ключ эффекта
(attachment_id, pipeline_version, variant) и детерминированные S3 keys.
Lease, ограничение 5 попыток, exponential backoff с jitter и
retry_exhausted предотвращают бесконечные повторы. Старый
pipeline_version не может перезаписать новый. Ошибка после S3 side effect
без ACK безопасно повторяет те же ключи; готовая job становится no-op.
Операторский replay выполняется только для failed и атомарно повышает
pipeline_version, создаёт новую job/outbox и audit-запись:
docker compose exec -T worker python scripts/replay_attachment.py ATTACHMENT_ID
Доказательства
| Критерий | Команда/сценарий | Результат |
|---|---|---|
| Контракт | py -3 -X utf8 scripts\check_contract.py |
PASS |
| OpenAPI/JSON Schema | py -3 -X utf8 scripts\validate_openapi.py |
PASS |
| Public smoke | py -3 -X utf8 tests\smoke.py --base-url http://localhost:8080 |
PASS: users, sessions, chat, messages, 202 upload, original и реальный JPEG thumbnail |
| Worker recovery | docker compose stop worker; запустить smoke; через 5 s docker compose start worker |
PASS: принятая queued job завершилась ready |
| Fault injection track 2 | make test-pipeline-faults на чистом Compose-проекте |
PASS: crash после side effect восстановлен lease/re-delivery, один логический результат; pipeline-faults.json |
| Durable broker | Redis AOF + named redis_data volume; job/outbox проверяются при старте worker |
Объявлено в Compose и проверено запуском |
| Level 4 variants | smoke + API download thumbnail, crop, optimized |
deterministic keys, checksums и metadata |
Трек 2: методика и результаты
Гипотеза: при дублировании, reorder и падении worker до/после side effect каждый attachment завершится не более чем одним логическим набором вариантов, а более новая версия pipeline не будет перезаписана старой.
Методика: Redis consumer group доставляет одно сообщение повторно после
истечения lease; fault injection задаётся FAULT_INJECTION значениями
before-side-effect, after-original, after-side-effect. Все оригинал и
варианты используют детерминированные keys, а запись ready выполняется
только после успешной фиксации всех объектов. При повторе проверяется
состояние PostgreSQL и версия job; старый pipeline ACK-ается без side effect.
В реальном стенде остановка worker во время public smoke дала 202 до
запуска worker и PASS после восстановления.
Инварианты:
- подтверждённая 202 job имеет staging и durable outbox;
readyозначает наличие original и всех трёх обещанных вариантов;- повтор не создаёт новый attachment или новый вариант;
- устаревшая версия не переводит новый результат обратно в processing;
- доставка не exactly-once: Redis может доставить сообщение повторно, exactly-once достигается только на уровне идемпотентного эффекта.
Автоматический сценарий запускается командой
make test-pipeline-faults: он останавливает обычный worker, загружает
fixture, запускает fault-worker с after-side-effect, заменяет его
recovery-worker с коротким lease и сохраняет обезличенный summary в
evidence/pipeline-faults.json. Проверка на чистом Compose-проекте завершилась
PASS: ready, ровно thumbnail/crop/optimized, потеря подтверждённой
задачи отсутствует.
Ограничение: эксперимент одноузловой; потеря PostgreSQL/MinIO volume и потеря Docker-host не моделируются. RSS/load benchmark не заявляется как часть выбранного трека.
Ограничения
PostgreSQL, Redis, MinIO и Nginx одноузловые. Outbox закрывает разрыв COMMIT→publish, но не делает два хранилища общей транзакцией. Retention staging очищается после успешной фиксации результата; orphan/missing объекты обрабатываются существующим reconciliation с grace period.