Files
mtusi2026lab5/REPORT.md
T
2026-11-19 07:57:14 +03:00

7.5 KiB
Raw Blame History

Отчёт — лабораторная 5

  • Автор, группа: TODO
  • Целевая оценка: 4
  • Commit/PR: TODO после публикации
  • Библиотеки: Spring AMQP, RabbitMQ Java client, Thumbnailator, webp-imageio, MinIO SDK, PostgreSQL/Flyway
  • Помощь ИИ: проектирование pipeline, реализация и подготовка тестов; результат проверен сборкой, unit- и black-box-тестами

Запуск из чистого clone

Нужны Docker Desktop/Engine с Compose v2, Java 23 и Python 3.9+.

cp .env.example .env
# Заменить все replace-with-* уникальными локальными значениями.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
python -X utf8 tests/smoke.py --base-url http://localhost:8080

docker compose --env-file .env down сохраняет volumes. Удаление учебных данных выполняется только явной командой оператора с --volumes.

Pipeline и гарантии

Upload разделён на durable-границы: API проверяет bytes/MIME/dimensions, пишет неизменённый original в приватный staging/<attachment_id>/original, затем одной транзакцией создаёт attachments(queued) и attachment_jobs(published=false). Запись job является transactional outbox. Фоновый publisher публикует persistent JSON в durable RabbitMQ queue, ждёт publisher confirm и только потом помечает job опубликованной. Поэтому COMMIT без publish восстанавливается автоматически, а HTTP 202 означает, что staging и намерение обработки уже устойчивы.

Отдельный worker захватывает job с lease, читает доверенный staging key из PostgreSQL и создаёт детерминированные S3 keys. В broker message есть только schema_version, job_id, attachment_id, pipeline_version, attempt, created_at; bytes, credentials, произвольные URL и клиентские пути отсутствуют. Эффект идемпотентен по (attachment_id, pipeline_version, variant). Все variant rows и ready фиксируются атомарно; ack выполняется после COMMIT. Redelivery уже ready job — no-op.

Обязательные варианты pipeline version 1:

Вариант Правило Формат/качество
original bytes и SHA-256 совпадают с upload исходный MIME
thumbnail fit в 256×256, без увеличения, EXIF orientation, alpha на белом JPEG, quality 0.85
crop центрированный квадрат 128×128 после EXIF orientation JPEG, quality 0.88
optimized fit до 1280×1280, без увеличения, alpha сохраняется WebP, quality 0.82

Новые файлы кодируются из пикселей без копирования EXIF/ICC/прочих исходных metadata.

Ограничения worker и retry

  • Upload: MAX_UPLOAD_BYTES=10485760, MAX_IMAGE_PIXELS=40000000.
  • Worker повторно проверяет header/dimensions до полного decode и применяет тот же pixel cap.
  • Оценка памяти на job резервируется общим честным semaphore; бюджет WORKER_MEMORY_BUDGET_BYTES=536870912, ожидание WORKER_MEMORY_WAIT=2s. Compose дополнительно ограничивает worker 1024m, JVM использует до 70% container RAM.
  • Обработка ограничена JOB_TIMEOUT=60s; просроченный task теряет lease и не может зафиксировать результат.
  • WORKER_CONCURRENCY=2, WORKER_PREFETCH=1; lease 90s, reaper каждые 5s.
  • Не более JOB_MAX_ATTEMPTS=5. Временные ошибки получают exponential backoff с jitter 50–100% и cap 30s. Ошибки decode/format/size постоянные и сразу становятся безопасным failed/error_code; exhausted retry — retry_exhausted.
  • Permanent malformed broker delivery и исчерпанная работа dead-lettered в durable attachments.failed.v1. Реестр failed остаётся в PostgreSQL.

Операторский replay выполняется scripts/replay-failed.ps1 -JobId <uuid> или scripts/replay-failed.sh <uuid>. Одна транзакция блокирует одновременно failed job и attachment, пишет attachment_job_replays, сбрасывает outbox и состояние. Не-failed, уже recovered и ready jobs дают явный безопасный no-op.

После безопасного COMMIT результата worker best-effort удаляет staging. StagingCleaner удаляет только неактивные объекты старше STAGING_RETENTION_SECONDS=86400; queued/processing staging защищён.

Fault injection и проверки

Критерий Команда Результат
Unit tests gradlew test --tests '*AttachmentServiceTest' --tests '*ImageVariantProcessorTest' --tests '*RetryPolicyTest' --tests '*AttachmentReconcilerTest' --tests '*StagingCleanerTest' BUILD SUCCESSFUL
Contract/Compose python -X utf8 scripts/check_contract.py; docker compose --env-file .env.example config --quiet PASS
Публичный smoke python -X utf8 tests/smoke.py --base-url http://localhost:8080 PASS
Worker stop, broker/API restart, redelivery python -X utf8 student_tests/lab5_worker_recovery.py PASS; original неизменен, 3 variants, duplicate не создаёт rows
COMMIT→publish и result COMMIT→ack crash python -X utf8 student_tests/lab5_fault_injection.py PASS; обе задачи автоматически дошли до ready
DLQ, replay, lease python -X utf8 student_tests/lab5_dlq_replay_lease.py PASS; DLQ +1, одна audit-запись, ready не replayed, expired lease восстановлен

Fault flags выключены по умолчанию. FAULT_CRASH_AFTER_OUTBOX_COMMIT=true один раз завершает API через Runtime.halt(87) после DB COMMIT до publish. После restart republisher находит published=false, и job достигает ready. FAULT_CRASH_AFTER_RESULT_COMMIT=true один раз завершает worker через Runtime.halt(86) после атомарного ready до consumer ack; RabbitMQ redelivery проверяет ready и завершает ту же job без второго набора вариантов.

Подробный журнал: evidence/lab5-level4-2026-11-19.md.

Ограничения

Это уровень 4, не исследовательский трек 5: производительность для матрицы concurrency/prefetch не измерялась, multi-version reorder не исследовался. RabbitMQ, PostgreSQL и MinIO развёрнуты по одному экземпляру; volumes переживают container restart, но не потерю host/disk. At-least-once + идемпотентный эффект не является exactly-once доставкой.