23 KiB
Отчёт — лабораторная 5
- Автор, группа: не предоставлены владельцем проекта.
- Целевая оценка: 5, трек 2 — доказанная идемпотентность versioned pipeline.
- Ревизия: базовый commit и состояние рабочего дерева записываются в
evidence/pipeline.json; решение пока не закоммичено. - Использованы Go, pgx, AWS SDK, RabbitMQ
amqp091-go, ImageMagick;
Запуск из чистого clone
Требуются Docker Compose и для локальных Go-проверок Go 1.27+. Контейнерная сборка использует Go 1.27.2. Образы закреплены версиями/digest в compose.yaml и Dockerfile; ImageMagick и модули JPEG/WebP — 7.1.2.35-r0.
make check build vet
make up
curl --fail http://localhost:18085/health/ready
make test
make test-go
make test-storage
make test-images test-staging test-broker-persistence
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore
make test-pipeline
make down
Полная валидация схем:
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
Bootstrap сохраняет существующие локальные настройки и генерирует синтетические credentials PostgreSQL, Redis, S3 и RabbitMQ. .env.lab5 и secrets/lab5 игнорируются Git. Миграции выполняются отдельным одноразовым процессом, bucket создаётся идемпотентно. Внешний endpoint — только 127.0.0.1:18085; внутренние хранилища портов на host не публикуют. API-реплик по умолчанию две.
make down сохраняет volumes. Намеренное удаление учебных данных: ./scripts/compose.sh down --volumes; эта команда не входит в обычные проверки и автоматически не выполняется.
Архитектура и границы
flowchart LR
Client --> LB[HAProxy]
LB --> API[API x2]
API --> Staging[Private S3 staging]
API --> DB[PostgreSQL: metadata + jobs + outbox]
DB --> Dispatcher
Dispatcher --> Broker[RabbitMQ durable queue]
Broker --> Worker
Worker --> Results[Private S3 versioned results]
Worker --> DB
Handler разбирает HTTP, проверяет поля и ограничивает входной поток. Attachment service принимает DTO и reader, проверяет доступ и целостность изображения, управляет транзакцией и состояниями. Репозитории выполняют операции хранения; HTTP, retry-политик и преобразования изображений в SQL/триггерах нет. Канонизация тела сообщения, сравнение идемпотентных запросов и создание Message перенесены в chat service.
До 202 весь проверенный оригинал уже записан в S3 staging, а metadata, job и outbox — в одной завершённой транзакции PostgreSQL. При неопределённом COMMIT нет слепого компенсирующего DELETE. Ответ содержит сохранённый снимок queued, даже если быстрый worker уже начал работу.
Staging находится в том же S3-сервисе, что конечные объекты: это разделение prefix и жизненных циклов, а не обещание отложить всю сетевую передачу файла. Проверка корректности изображения при upload включает ограниченное декодирование; resize/crop/WebP и публикация конечного оригинала выполняются отдельно в worker.
API readiness проверяет PostgreSQL и S3. Недоступность broker/worker не блокирует транзакционный приём через outbox. Worker и dispatcher переподключаются после отказа зависимостей. Redis остаётся необязательным кэшем, очередь в него не помещается.
Инфраструктура
| Роль → service | Версия | Проверка | Volume / сеть / credentials |
|---|---|---|---|
| API → api, ≥2 | собственная сборка Go 1.27.2 | /health/ready |
без локального durable state; default + storage; signing/S3/broker files, DB env |
| PostgreSQL → postgres | 17.11, digest в Compose | pg_isready | postgres_data; default; локальный пароль env |
| Кэш → redis | 8.2.11, digest в Compose | authenticated PING | redis_data, AOF; default; локальный пароль env |
| LB → lb | HAProxy 3.2, digest в Compose | backend readiness | без volume данных; default; публичный localhost порт |
| S3 → s3 | SeaweedFS 4.52, digest в Compose | cluster status; bootstrap проверяет запись | s3_data; internal storage; credentials JSON file |
| Broker → broker | RabbitMQ 4.2.0, digest в Compose | rabbitmq-diagnostics check_running | broker_data; default; синтетические credentials |
| Worker → worker | образ приложения + ImageMagick | процесс/reconnect, состояние jobs | эфемерные ограниченные temp files; default + storage; secret files |
| Dispatcher → dispatcher | образ приложения | процесс/reconnect, состояние outbox | без локального durable state; default; broker secret file |
У worker/dispatcher отключён унаследованный HTTP healthcheck: HTTP-сервер они не запускают. Состояние running само по себе не подтверждает прогресс; проверять нужно jobs/outbox и end-to-end сценарий.
Доставка и повторы
- Durable RabbitMQ queue, persistent messages, publisher confirms и mandatory routing. Имя broker фиксировано, чтобы новый контейнер открывал ту же persistent node database; readiness ждёт запуска RabbitMQ application, а не только Erlang node. Consumer ack выполняется после устойчивого результата, постановки следующей попытки либо записи terminal failed.
- Сообщения соответствуют
jobs.schema.json: UUID, версия, attempt, timestamp, опциональный trace carrier. Байтов файла, URL и credentials в них нет. Worker читает доверенные storage metadata из PostgreSQL. job_idстабилен для вложения и версии. Redelivery сама не увеличивает attempt; управляемый retry/recovery увеличивает его. По умолчанию пять попыток, exponential backoff с jitter 0.5–30 секунд в зависимости от номера попытки.- Publisher имеет 20-секундный deadline на самом socket (одного контекста PublishWithContext недостаточно для ограничения сетевой записи). Dispatcher захватывает одну запись с lease 30 секунд, публикует её и фиксирует результат с проверкой token. Просроченный dispatcher не может изменить запись нового владельца. После пяти неудачных публикаций остаётся dead_letter-запись и наблюдаемый failed job.
- Worker: concurrency=2, prefetch=2, timeout=60s, lease=90s. Lease recovery работает независимо от consumer. Неактивный lease не продлевается: работа дольше лимита повторяется ограниченно.
- Постоянная ошибка заканчивается немедленно (
invalid_image,source_missing,source_corrupt); временная повторяется и после исчерпания бюджета даётretry_exhausted. API получает только безопасный error_code. - Реестр failed — PostgreSQL. Replay явный, только для текущего failed job с доступным source; записывается аудит, номер attempt продолжает расти, выдаётся новый бюджет из пяти попыток. Уже успешную job replay не запускает.
./scripts/compose.sh run --rm -T operator jobs list
./scripts/compose.sh run --rm -T operator jobs replay --id JOB_UUID
./scripts/compose.sh run --rm -T operator outbox replay --id JOB_UUID
./scripts/compose.sh run --rm -T operator jobs reprocess --id ATTACHMENT_UUID --pipeline-version 2
outbox replay восстанавливает логическую failed job вместе с новой outbox-записью; ID аргумента — job, не отдельная доставка. Старые dead_letter-записи сохраняются для диагностики и не переводят новую попытку обратно в failed.
Версии и инварианты
Manifest имеет PK (attachment_id, pipeline_version, variant). Варианты публикуются одной DB-транзакцией только после записи всех объектов. Завершение проверяет текущую версию вложения, состояние job, token и действующий lease. Ready не откатывается из-за старой доставки.
Объектные ключи включают вложение, версию, variant и SHA-256. Повтор одинакового эффекта использует тот же ключ; другая версия пишет в свой namespace. Поэтому устаревшая попытка не перезапишет новые байты S3, даже когда БД отклоняет её завершение. Незавершённые объекты возможны и удаляются как сироты после grace; они не становятся опубликованным вторым набором вариантов.
Версия 1 использует WebP quality 80, версия 2 — 85. Остальные параметры одинаковы. Reprocess доступен для ready-вложения и строго большей поддерживаемой версии; на время новой работы статус queued и content=409. Сохраняются прежние manifest, новый оригинал побайтно совпадает с исходником.
Изображения и cleanup
Thumbnail: JPEG, вписан в 256×256 без увеличения, размеры округляются вниз с минимумом 1 px. Crop: центральный квадрат JPEG 128×128 с разрешённым увеличением. Optimized: WebP внутри 1280×1280 без увеличения. Применяется EXIF orientation, alpha компонуется на белый, метаданные производных удаляются. JPEG quality=85. Не обещается уменьшение каждого файла.
ImageMagick запускается без shell, отдельным дочерним процессом с отменой по timeout. Политика запрещает delegates/filters и разрешает только нужные coders; memory=256MiB, map=0, disk=256MiB, thread=1, time=60s, list-length=4. Worker ограничен 1 CPU/1GiB; его локальные файлы — только восстанавливаемые временные данные. API принимает максимум четыре одновременных upload и выполняет одну проверку декодирования на реплику. Пиксели проверяются до полной распаковки. Превышение ресурсов заканчивается ошибкой, а не бесконечным retry.
Staging удаляется после устойчивого ready; failed source хранится 24h. Источники, которыми являются исторические опубликованные results, физически сохраняются. После удаления failed source replay отклоняется; оператор может восстановить оригинал с проверкой размера/SHA и затем явно повторить job. Reconcile защищает ссылки metadata/manifest и активные jobs, удаляет сироты только после grace=1h (>2×upload timeout). Старые originals lab4 переводятся миграцией на первую версию pipeline без изменения ID и ссылок сообщений.
Доказательства критериев
Фактический вывод команд сохраняется отдельно от описания реализации. evidence/pipeline.json содержит повторяемые сценарии, UUID, длительности и результат каждого запуска; evidence/images.json — проверки изображений. Проверки защиты staging, удаления после ready, retention failed и восстановления исходника — evidence/storage.json. Остальные результаты — evidence/checks.txt.
| Критерий | Команда / наблюдение | Доказательство |
|---|---|---|
| Структура, схемы, сборка и анализ | make check; make validate; make build; make vet | checks.txt |
| Публичный контракт и предыдущие лабораторные | make test; make test-go; make test-storage | checks.txt |
| Сессия и данные после перезапуска; отказ API | test-persistence / test-failover с действительными hooks | checks.txt |
| 202 при остановленном worker, сообщение с queued-вложением, рестарт stores/broker и ready | worker_down_and_store_restart | pipeline.json |
| Опубликованное сообщение переживает пересоздание broker с тем же volume при остановленном dispatcher | make test-broker-persistence; hostname=broker сохраняет имя узла | broker-persistence.json |
| Thumbnail/crop/WebP, orientation, alpha, реальные размеры и hashes | student-tests/images.py | images.json |
| Сбой до/после S3 side effect и до/после COMMIT результата, до ack | crash_before_objects / after_original_put / after_objects / after_result_commit / before_ack | pipeline.json |
| Confirm получен, outbox ещё processing; повтор публикации безопасен | crash_confirm_before_outbox_mark | pipeline.json |
| Ready redelivery — no-op | ready_redelivery, 3 копии | pipeline.json |
| Реальный lease expiry, более новая попытка/версия, возобновление старого worker и поздняя старая доставка | lease_reorder_and_stale_version | pipeline.json |
| Staging защищён при queued; после ready удалён; failed retention и restore проверены | make test-staging | storage.json |
| Retry ограничен, failed наблюдаем, replay явный | bounded_retry_and_explicit_replay / permanent_error | pipeline.json |
| Сбой после staging и разрыв COMMIT/publish | api_crash_after_staging / api_crash_after_upload_commit | pipeline.json |
Эксперимент трека 2
Гипотеза: атомарное сохранение намерения, durable доставка, fencing в БД и разделение версий/контента в S3 сохраняют принятые задания и предотвращают публикацию устаревшего эффекта при проверяемых crash/reorder/duplicate сценариях.
Методика: make test-pipeline включает исключительно для эксперимента compose.faults.yaml. Директивы в игнорируемом .lab5-faults/ адресуются по job/attachment ID и точке сбоя. Барьер отмечает достижение точки; crash завершает процесс с кодом 86, restart policy поднимает его снова. Pause применяется один раз: другая попытка может завершиться после реального истечения lease. Общая директория не содержит токенов и очищается при завершении.
В эксперименте timeout=5s, lease=8s, concurrency/prefetch=2; остальные параметры не ускоряются искусственным изменением lease в БД. Окно после publisher confirm использует обычный outbox lease=30s. Для гарантированного повторного publish тест повторно делает свою outbox-запись pending; это внесение дубля, а не штатная операция пользователя. Для COMMIT/publish dispatcher заранее остановлен, проверяется pending-запись. Для crash до COMMIT отсутствие 202 не трактуется как потеря принятой работы.
Каждый сценарий выполняется три раза с новыми синтетическими пользователями/вложениями. Основной файл — публичный PNG fixture 320×200, 111817 bytes; дополнительных параллельных upload в fault-эксперименте нет. Измеряется длительность сценария (включает Docker stop/start и проверки), а не чистая latency обработки. Точность таймеров — monotonic clock клиента; нагрузочный максимум этим экспериментом не измеряется.
Окружение выполнения: Apple M4 Pro, 14 CPU, host RAM 24GiB; Docker Desktop arm64, 14 CPU и около 7.75GiB RAM. CPU/RAM контейнеров ограничены Compose. Исследование проводится на одном Docker-host с сохранением volumes, без симуляции потери диска.
Наблюдавшиеся результаты
Все 39/39 сценариев трека завершились PASS (13 сценариев × 3 повтора). Интервалы ниже включают действия Docker и проверки; это не измерение чистого processing latency.
| Сценарий | Минимум–максимум, с |
|---|---|
| worker_down_and_store_restart | 63.864–66.563 |
| crash_before_objects | 10.888–12.269 |
| crash_after_original_put | 11.222–12.171 |
| crash_after_objects | 11.174–11.340 |
| crash_after_result_commit | 1.973–2.088 |
| crash_before_ack | 2.017–2.098 |
| ready_redelivery | 2.435–3.002 |
| crash_confirm_before_outbox_mark | 33.988–36.021 |
| lease_reorder_and_stale_version | 14.652–15.225 |
| bounded_retry_and_explicit_replay | 13.737–15.238 |
| permanent_error | 2.552–2.699 |
| api_crash_after_staging | 0.144–0.817 |
| api_crash_after_upload_commit | 2.141–2.328 |
После эксперимента отдельная проверка retention обнаружила и позволила исправить гонку восстановления исходника: Restore обновляет возраст source, а Cleanup берёт тот же advisory lock. Эта корректировка проверена make test-staging. После добавления socket deadline повторно выполнены confirm/crash, lease + stale version и COMMIT/publish на итоговом образе: 3/3 PASS, см. evidence/pipeline-final.json. Image ID исходного полного fault-прогона сохранён в pipeline.json, итогового — в pipeline-final.json.
Ограничения
At-least-once доставка сохраняется: publish/confirm/COMMIT/ack не образуют одну распределённую транзакцию. Доказывается идемпотентность опубликованного эффекта в перечисленных сценариях, а не exactly-once доставка и не отсутствие любых возможных отказов.
Один PostgreSQL, S3, broker, LB и host — отдельные точки отказа. Durable очередь здесь не означает кластер RabbitMQ. Невосстановимая потеря volumes не покрывается; backup/restore инфраструктуры не реализован. После окончательной ошибки нужен операторский replay; при длительном отказе брокера принятые задания могут стать наблюдаемыми failed. Накопление outbox/jobs не ограничено глобальной квотой: ограничены upload, worker concurrency/prefetch и ресурсы, но отдельный трек перегрузки не заявляется.
Источники: RabbitMQ reliability, confirms/acks, Go client, ImageMagick resource policy.