7.5 KiB
Отчёт — лабораторная 5
- Автор, группа: TODO
- Целевая оценка: 4
- Commit/PR: TODO после публикации
- Библиотеки: Spring AMQP, RabbitMQ Java client, Thumbnailator, webp-imageio, MinIO SDK, PostgreSQL/Flyway
- Помощь ИИ: проектирование pipeline, реализация и подготовка тестов; результат проверен сборкой, unit- и black-box-тестами
Запуск из чистого clone
Нужны Docker Desktop/Engine с Compose v2, Java 23 и Python 3.9+.
cp .env.example .env
# Заменить все replace-with-* уникальными локальными значениями.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
python -X utf8 tests/smoke.py --base-url http://localhost:8080
docker compose --env-file .env down сохраняет volumes. Удаление учебных данных выполняется только явной командой оператора с --volumes.
Pipeline и гарантии
Upload разделён на durable-границы: API проверяет bytes/MIME/dimensions, пишет неизменённый original в приватный staging/<attachment_id>/original, затем одной транзакцией создаёт attachments(queued) и attachment_jobs(published=false). Запись job является transactional outbox. Фоновый publisher публикует persistent JSON в durable RabbitMQ queue, ждёт publisher confirm и только потом помечает job опубликованной. Поэтому COMMIT без publish восстанавливается автоматически, а HTTP 202 означает, что staging и намерение обработки уже устойчивы.
Отдельный worker захватывает job с lease, читает доверенный staging key из PostgreSQL и создаёт детерминированные S3 keys. В broker message есть только schema_version, job_id, attachment_id, pipeline_version, attempt, created_at; bytes, credentials, произвольные URL и клиентские пути отсутствуют. Эффект идемпотентен по (attachment_id, pipeline_version, variant). Все variant rows и ready фиксируются атомарно; ack выполняется после COMMIT. Redelivery уже ready job — no-op.
Обязательные варианты pipeline version 1:
| Вариант | Правило | Формат/качество |
|---|---|---|
original |
bytes и SHA-256 совпадают с upload | исходный MIME |
thumbnail |
fit в 256×256, без увеличения, EXIF orientation, alpha на белом | JPEG, quality 0.85 |
crop |
центрированный квадрат 128×128 после EXIF orientation | JPEG, quality 0.88 |
optimized |
fit до 1280×1280, без увеличения, alpha сохраняется | WebP, quality 0.82 |
Новые файлы кодируются из пикселей без копирования EXIF/ICC/прочих исходных metadata.
Ограничения worker и retry
- Upload:
MAX_UPLOAD_BYTES=10485760,MAX_IMAGE_PIXELS=40000000. - Worker повторно проверяет header/dimensions до полного decode и применяет тот же pixel cap.
- Оценка памяти на job резервируется общим честным semaphore; бюджет
WORKER_MEMORY_BUDGET_BYTES=536870912, ожиданиеWORKER_MEMORY_WAIT=2s. Compose дополнительно ограничивает worker1024m, JVM использует до 70% container RAM. - Обработка ограничена
JOB_TIMEOUT=60s; просроченный task теряет lease и не может зафиксировать результат. WORKER_CONCURRENCY=2,WORKER_PREFETCH=1; lease 90s, reaper каждые 5s.- Не более
JOB_MAX_ATTEMPTS=5. Временные ошибки получают exponential backoff с jitter 50–100% и cap 30s. Ошибки decode/format/size постоянные и сразу становятся безопаснымfailed/error_code; exhausted retry —retry_exhausted. - Permanent malformed broker delivery и исчерпанная работа dead-lettered в durable
attachments.failed.v1. Реестр failed остаётся в PostgreSQL.
Операторский replay выполняется scripts/replay-failed.ps1 -JobId <uuid> или scripts/replay-failed.sh <uuid>. Одна транзакция блокирует одновременно failed job и attachment, пишет attachment_job_replays, сбрасывает outbox и состояние. Не-failed, уже recovered и ready jobs дают явный безопасный no-op.
После безопасного COMMIT результата worker best-effort удаляет staging. StagingCleaner удаляет только неактивные объекты старше STAGING_RETENTION_SECONDS=86400; queued/processing staging защищён.
Fault injection и проверки
| Критерий | Команда | Результат |
|---|---|---|
| Unit tests | gradlew test --tests '*AttachmentServiceTest' --tests '*ImageVariantProcessorTest' --tests '*RetryPolicyTest' --tests '*AttachmentReconcilerTest' --tests '*StagingCleanerTest' |
BUILD SUCCESSFUL |
| Contract/Compose | python -X utf8 scripts/check_contract.py; docker compose --env-file .env.example config --quiet |
PASS |
| Публичный smoke | python -X utf8 tests/smoke.py --base-url http://localhost:8080 |
PASS |
| Worker stop, broker/API restart, redelivery | python -X utf8 student_tests/lab5_worker_recovery.py |
PASS; original неизменен, 3 variants, duplicate не создаёт rows |
| COMMIT→publish и result COMMIT→ack crash | python -X utf8 student_tests/lab5_fault_injection.py |
PASS; обе задачи автоматически дошли до ready |
| DLQ, replay, lease | python -X utf8 student_tests/lab5_dlq_replay_lease.py |
PASS; DLQ +1, одна audit-запись, ready не replayed, expired lease восстановлен |
Fault flags выключены по умолчанию. FAULT_CRASH_AFTER_OUTBOX_COMMIT=true один раз завершает API через Runtime.halt(87) после DB COMMIT до publish. После restart republisher находит published=false, и job достигает ready. FAULT_CRASH_AFTER_RESULT_COMMIT=true один раз завершает worker через Runtime.halt(86) после атомарного ready до consumer ack; RabbitMQ redelivery проверяет ready и завершает ту же job без второго набора вариантов.
Подробный журнал: evidence/lab5-level4-2026-11-19.md.
Ограничения
Это уровень 4, не исследовательский трек 5: производительность для матрицы concurrency/prefetch не измерялась, multi-version reorder не исследовался. RabbitMQ, PostgreSQL и MinIO развёрнуты по одному экземпляру; volumes переживают container restart, но не потерю host/disk. At-least-once + идемпотентный эффект не является exactly-once доставкой.