ЛР 5 — БВТ2304 — Кораблев — на 5 #54

Open
Sh1pYe wants to merge 1 commits from Sh1pYe/mtusi2026lab5:solution/BVT2304-korablev into main
First-time contributor

Лабораторная 5
Автор / группа: Кораблев Петр / БВТ2304
Целевая оценка: 5
Трек 5: трек 1 «Очередь под перегрузкой»

Что реализовано и что перенесено

перенесён минимум lab4 без изменения поведения: Go-приложение, PostgreSQL как источник истины, миграции под advisory lock, Argon2id, Bearer-сессии с кэшем в Valkey, keyset-пагинация, обязательный Idempotency-Key, X-Instance-Id, HAProxy перед двумя API-репликами, приватный bucket SeaweedFS 3.80, хуки restart/stop-one;
объявленный переход 4 → 5: upload возвращает 202 queued вместо 201 ready. GET метаданных показывает queued/processing/ready/failed, variants есть только у ready, error_code — только у failed. content для не-ready → 409, отсутствующий variant у ready → 404. Прикрепить к сообщению можно queued/processing/ready, failed → 409;
изменено относительно lab4: API больше не декодирует изображение полностью, читает только заголовок (формат, ≤40 Мпикс → 413); тяжёлая обработка только в worker. Reconciler lab4 удалён: он считал бы лишними staging и варианты. Очистку staging и брошенных загрузок выполняет sweeper в worker. restart.sh/.cmd теперь перезапускает и RabbitMQ;
брокер RabbitMQ 4.0.5 (rabbitmq:4.0.5-management-alpine) в общем Compose: quorum-очередь attachment.process.v1 на volume mqdata, x-delivery-limit=20, DLX → attachment.process.dlq. Отдельный пользователь со случайным паролем (Compose secret), порты не публикуются;
миграция 0004: attachment_jobs (job_id, attempt, lease, max_attempts, error_code), job_outbox (transactional outbox с available_at для отложенных повторов), job_events (аудит всех попыток, повторов и replay), attachment_variants с ключом эффекта (attachment_id, pipeline_version, name);
upload: INSERT pending → PUT в приватный prefix staging/ → одна транзакция (повторная проверка лимита под advisory lock, pending → queued, job, outbox, событие) → 202. В момент 202 устойчиво сохранены оригинал, метаданные, задание и намерение публикации;
outbox relay в каждом API и в worker (FOR UPDATE SKIP LOCKED): отправляет persistent-сообщение и ждёт publisher confirm, только потом отмечает published_at. Сообщение содержит только ID по contracts/jobs.schema.json, без байтов, ключей и URL. Недоступность брокера не ломает upload;
worker — отдельный контейнер: prefetch = WORKER_CONCURRENCY, manual ack. Захват задания через lease в PostgreSQL; при redelivery lease перехватывается сразу. Дубль готовой или устаревшей задачи — no-op с ack. Результат: оригинал в attachments//, варианты в variants///v1/… по детерминированным ключам → COMMIT (attempt-guard) → удаление staging → ack;
варианты pipeline_version=1: thumbnail JPEG q=85, вписан в 256×256 без увеличения (320×200 → 256×160); crop JPEG q=85, центральный квадрат 128×128; optimized WebP lossy q=80 method=4, вписан в 1280×1280 без увеличения. EXIF Orientation применяется, alpha компонуется на белый, метаданные (EXIF/ICC/XMP) в варианты не копируются;
лимиты worker: ≤10 MiB, ≤40 Мпикс по заголовку до декодирования, общий бюджет памяти декодирования 384 MiB, JOB_TIMEOUT_SECONDS=60, контейнер 2 CPU / 768M, GOMEMLIMIT=600MiB;
повторы: постоянные ошибки (invalid_image, image_too_large) → сразу failed. Временные → backoff base·2^(n-1) с equal jitter [d/2, d], cap 60 с, через outbox. После JOB_MAX_ATTEMPTS=5 → failed retry_exhausted. Реестр failed и аудит в job_events; явный replay docker compose exec worker /app/server replay --actor : только failed → queued, тот же job_id, для ready — noop;
lease 30 с с heartbeat каждые 10 с, но не дольше таймаута 60 с. Зависшую задачу sweeper возвращает в queued с attempt+1; результат устаревшей попытки не принимается;
ограничение принятой работы MAX_ACTIVE_JOBS: предпроверка до чтения тела и строгая проверка в транзакции под pg_advisory_xact_lock → 503 + Retry-After: 5;
учебная инъекция сбоев (FAULT_INJECTION=1, по префиксу имени файла fault-*): падение API после COMMIT, падение worker после записи S3 и после COMMIT до ack, временные ошибки, зависание;
собственные проверки: Go unit-тесты imaging (размеры, EXIF orientation 6, alpha, битый PNG, лимит пикселей) и scripts/lab5ops.py (10 сценариев отказов с проверкой БД, RabbitMQ и S3);
трек 1: scripts/track1/run_track1.py — матрица WORKER_CONCURRENCY/prefetch {1,2,4} × 3 размера изображений и сценарий backpressure.

Команды запуска из чистого clone

python3 scripts/init_secrets.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make check
make test
make unit
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --no-recreate --wait api
make ops
make track1

Результаты проверок

make check → PASS; make test → PASS: lab5 public API scenario (202 → ready, оригинал побайтно, thumbnail — настоящий JPEG 256×160);
make unit → ok (imaging);
make test-persistence → PASS: перезапущены postgres, valkey, s3, rabbitmq, api, worker, lb; данные, сессия (прежний токен) и файл сохранены;
make test-failover → PASS: 118 записей, 0 ошибок, восстановление 3,8 с;
worker остановлен → upload 202 за 66 мс → сообщение с queued-вложением 201, content 409, текст 201 → рестарт api и rabbitmq с volumes: в очереди 1 сообщение до и после → start worker → ready за 0,64 с; staging удалён, в S3 1 оригинал + 3 варианта;
crash API между COMMIT и publish: клиент получил 502, контейнер API перезапущен, задачу опубликовал другой relay → ready без ручных действий;
crash worker после записи S3 до COMMIT: redelivery → taken_over → ready, 3 варианта (в БД и в S3), без дублей; crash после COMMIT до ack: redelivery → no-op (done, redelivered=true), событие ready одно;
retry: две временные ошибки → паузы 1,12 с и 1,99 с (backoff + опрос outbox ≤1 с) → ready на 3-й попытке;
replay: 5 попыток → failed retry_exhausted, content 409, прикрепление 409 → replay → attempt 6 → ready; повторный replay → noop;
битый PNG с верным заголовком → failed invalid_image за 1 попытку; API: 20000×20000 → 413, не-картинка → 415, >10 MiB → 413, ../ в имени → 400;
malformed-сообщение → DLQ 0 → 1;
6000×6000 (36 Мпикс) → ready за 4,8 с, пик памяти worker 465 из 768 MiB;
зависший worker: lease_expired через ~33 с → попытка 2 → ready, результат «ожившей» попытки 1 отброшен (stale attempt);
трек 1, backpressure: MAX_ACTIVE_JOBS=20, 80 загрузок за 1,2 с → принято ровно 20, 60 × 503 с Retry-After: 5. Все 20 ready, очередь опустела за 36 с, новый upload сразу после перегрузки ready за 0,28 с. Первая версия лимита пропускала 25 из 80 (гонка check-then-insert), исправлено проверкой в транзакции;
трек 1, матрица: мелкие (320×200) — 9,4 / 16,3 / 23,3 job/s при concurrency 1/2/4, p95 11,3 → 3,9 с; средние (2000×1500) — 0,56 / 1,11 / 1,09 job/s; большие (5000×4000, 20 Мпикс) — 0,37 / 0,72 / 0,73 job/s. Для тяжёлых изображений рост останавливается на 2 = лимит CPU, а RSS растёт (M: 328 → 513 MiB). Для 20 Мпикс бюджет декодирования пропускает не больше 2 задач одновременно, OOM нет.

Методика, результаты и ограничения приведены в REPORT.md, сырые данные — в evidence/ (smoke.txt, persistence.txt, failover.txt, worker-down.json, api-crash.json, effect-crash.json, ack-crash.json, retry.json, replay.json, invalid.json, dlq.json, limits.json, hang.json, track1/matrix.json, track1/backpressure.json).

Ограничения / известные ошибки

Все компоненты на одном Docker-хосте, RabbitMQ — одна нода (quorum-очередь из одного участника), по одному PostgreSQL и S3: выдерживаются рестарты процессов с сохранёнными volumes, но не потеря хоста или диска. Доставка at-least-once с идемпотентным эффектом — не exactly-once: S3-объект может перезаписываться одинаковыми байтами, дубли сообщений возможны. При падении API между COMMIT и ответом клиент не узнаёт attachment_id; повтор upload создаст второе вложение (контракт это допускает). Таймаут не прерывает декодер Go принудительно: память ограничивают бюджет и лимит контейнера. Сверка S3 ↔ БД для вариантов (reconciler lab4) не перенесена. Worker использует ту же S3-идентичность, что и API. Трек 1: по одному прогону на ячейку, клиент и стенд на одной машине (Windows/WSL2), RSS по выборкам docker stats. Собственные HTTP-тесты lab4 не перенесены (ожидали 201); их заменяют unit-тесты и сценарии lab5ops. На Windows хуки запускались через .cmd-версии. CI-job со сборкой стенда не добавлен.

Источники и использование ИИ

Go 1.23.4, pgx/v5, go-redis/v9, golang.org/x/crypto (Argon2id), golang.org/x/sync, google/uuid, minio-go/v7; новые: rabbitmq/amqp091-go 1.10.0, golang.org/x/image 0.23.0 (Catmull-Rom), gen2brain/webp 0.5.2 (libwebp через WebAssembly/wazero, без cgo). Документация RabbitMQ (Reliability, Publisher Confirms, Quorum Queues), спецификация EXIF (тег Orientation). Помощь ИИ использовалась при написании отчёта.

Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов своего уровня воспроизведены (worker down + рестарт API/broker, crash после COMMIT до publish, crash после эффекта до COMMIT и до ack, retry/backoff, failed + replay, DLQ, зависший worker, лимиты, persistence, failover, backpressure).
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

Лабораторная 5 Автор / группа: Кораблев Петр / БВТ2304 Целевая оценка: 5 Трек 5: трек 1 «Очередь под перегрузкой» Что реализовано и что перенесено перенесён минимум lab4 без изменения поведения: Go-приложение, PostgreSQL как источник истины, миграции под advisory lock, Argon2id, Bearer-сессии с кэшем в Valkey, keyset-пагинация, обязательный Idempotency-Key, X-Instance-Id, HAProxy перед двумя API-репликами, приватный bucket SeaweedFS 3.80, хуки restart/stop-one; объявленный переход 4 → 5: upload возвращает 202 queued вместо 201 ready. GET метаданных показывает queued/processing/ready/failed, variants есть только у ready, error_code — только у failed. content для не-ready → 409, отсутствующий variant у ready → 404. Прикрепить к сообщению можно queued/processing/ready, failed → 409; изменено относительно lab4: API больше не декодирует изображение полностью, читает только заголовок (формат, ≤40 Мпикс → 413); тяжёлая обработка только в worker. Reconciler lab4 удалён: он считал бы лишними staging и варианты. Очистку staging и брошенных загрузок выполняет sweeper в worker. restart.sh/.cmd теперь перезапускает и RabbitMQ; брокер RabbitMQ 4.0.5 (rabbitmq:4.0.5-management-alpine) в общем Compose: quorum-очередь attachment.process.v1 на volume mqdata, x-delivery-limit=20, DLX → attachment.process.dlq. Отдельный пользователь со случайным паролем (Compose secret), порты не публикуются; миграция 0004: attachment_jobs (job_id, attempt, lease, max_attempts, error_code), job_outbox (transactional outbox с available_at для отложенных повторов), job_events (аудит всех попыток, повторов и replay), attachment_variants с ключом эффекта (attachment_id, pipeline_version, name); upload: INSERT pending → PUT в приватный prefix staging/ → одна транзакция (повторная проверка лимита под advisory lock, pending → queued, job, outbox, событие) → 202. В момент 202 устойчиво сохранены оригинал, метаданные, задание и намерение публикации; outbox relay в каждом API и в worker (FOR UPDATE SKIP LOCKED): отправляет persistent-сообщение и ждёт publisher confirm, только потом отмечает published_at. Сообщение содержит только ID по contracts/jobs.schema.json, без байтов, ключей и URL. Недоступность брокера не ломает upload; worker — отдельный контейнер: prefetch = WORKER_CONCURRENCY, manual ack. Захват задания через lease в PostgreSQL; при redelivery lease перехватывается сразу. Дубль готовой или устаревшей задачи — no-op с ack. Результат: оригинал в attachments/<chat>/<att>, варианты в variants/<chat>/<att>/v1/… по детерминированным ключам → COMMIT (attempt-guard) → удаление staging → ack; варианты pipeline_version=1: thumbnail JPEG q=85, вписан в 256×256 без увеличения (320×200 → 256×160); crop JPEG q=85, центральный квадрат 128×128; optimized WebP lossy q=80 method=4, вписан в 1280×1280 без увеличения. EXIF Orientation применяется, alpha компонуется на белый, метаданные (EXIF/ICC/XMP) в варианты не копируются; лимиты worker: ≤10 MiB, ≤40 Мпикс по заголовку до декодирования, общий бюджет памяти декодирования 384 MiB, JOB_TIMEOUT_SECONDS=60, контейнер 2 CPU / 768M, GOMEMLIMIT=600MiB; повторы: постоянные ошибки (invalid_image, image_too_large) → сразу failed. Временные → backoff base·2^(n-1) с equal jitter [d/2, d], cap 60 с, через outbox. После JOB_MAX_ATTEMPTS=5 → failed retry_exhausted. Реестр failed и аудит в job_events; явный replay docker compose exec worker /app/server replay <id> --actor <name>: только failed → queued, тот же job_id, для ready — noop; lease 30 с с heartbeat каждые 10 с, но не дольше таймаута 60 с. Зависшую задачу sweeper возвращает в queued с attempt+1; результат устаревшей попытки не принимается; ограничение принятой работы MAX_ACTIVE_JOBS: предпроверка до чтения тела и строгая проверка в транзакции под pg_advisory_xact_lock → 503 + Retry-After: 5; учебная инъекция сбоев (FAULT_INJECTION=1, по префиксу имени файла fault-*): падение API после COMMIT, падение worker после записи S3 и после COMMIT до ack, временные ошибки, зависание; собственные проверки: Go unit-тесты imaging (размеры, EXIF orientation 6, alpha, битый PNG, лимит пикселей) и scripts/lab5ops.py (10 сценариев отказов с проверкой БД, RabbitMQ и S3); трек 1: scripts/track1/run_track1.py — матрица WORKER_CONCURRENCY/prefetch {1,2,4} × 3 размера изображений и сценарий backpressure. Команды запуска из чистого clone python3 scripts/init_secrets.py docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build --wait make check make test make unit make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh docker compose up -d --no-recreate --wait api make ops make track1 Результаты проверок make check → PASS; make test → PASS: lab5 public API scenario (202 → ready, оригинал побайтно, thumbnail — настоящий JPEG 256×160); make unit → ok (imaging); make test-persistence → PASS: перезапущены postgres, valkey, s3, rabbitmq, api, worker, lb; данные, сессия (прежний токен) и файл сохранены; make test-failover → PASS: 118 записей, 0 ошибок, восстановление 3,8 с; worker остановлен → upload 202 за 66 мс → сообщение с queued-вложением 201, content 409, текст 201 → рестарт api и rabbitmq с volumes: в очереди 1 сообщение до и после → start worker → ready за 0,64 с; staging удалён, в S3 1 оригинал + 3 варианта; crash API между COMMIT и publish: клиент получил 502, контейнер API перезапущен, задачу опубликовал другой relay → ready без ручных действий; crash worker после записи S3 до COMMIT: redelivery → taken_over → ready, 3 варианта (в БД и в S3), без дублей; crash после COMMIT до ack: redelivery → no-op (done, redelivered=true), событие ready одно; retry: две временные ошибки → паузы 1,12 с и 1,99 с (backoff + опрос outbox ≤1 с) → ready на 3-й попытке; replay: 5 попыток → failed retry_exhausted, content 409, прикрепление 409 → replay → attempt 6 → ready; повторный replay → noop; битый PNG с верным заголовком → failed invalid_image за 1 попытку; API: 20000×20000 → 413, не-картинка → 415, >10 MiB → 413, ../ в имени → 400; malformed-сообщение → DLQ 0 → 1; 6000×6000 (36 Мпикс) → ready за 4,8 с, пик памяти worker 465 из 768 MiB; зависший worker: lease_expired через ~33 с → попытка 2 → ready, результат «ожившей» попытки 1 отброшен (stale attempt); трек 1, backpressure: MAX_ACTIVE_JOBS=20, 80 загрузок за 1,2 с → принято ровно 20, 60 × 503 с Retry-After: 5. Все 20 ready, очередь опустела за 36 с, новый upload сразу после перегрузки ready за 0,28 с. Первая версия лимита пропускала 25 из 80 (гонка check-then-insert), исправлено проверкой в транзакции; трек 1, матрица: мелкие (320×200) — 9,4 / 16,3 / 23,3 job/s при concurrency 1/2/4, p95 11,3 → 3,9 с; средние (2000×1500) — 0,56 / 1,11 / 1,09 job/s; большие (5000×4000, 20 Мпикс) — 0,37 / 0,72 / 0,73 job/s. Для тяжёлых изображений рост останавливается на 2 = лимит CPU, а RSS растёт (M: 328 → 513 MiB). Для 20 Мпикс бюджет декодирования пропускает не больше 2 задач одновременно, OOM нет. Методика, результаты и ограничения приведены в REPORT.md, сырые данные — в evidence/ (smoke.txt, persistence.txt, failover.txt, worker-down.json, api-crash.json, effect-crash.json, ack-crash.json, retry.json, replay.json, invalid.json, dlq.json, limits.json, hang.json, track1/matrix.json, track1/backpressure.json). Ограничения / известные ошибки Все компоненты на одном Docker-хосте, RabbitMQ — одна нода (quorum-очередь из одного участника), по одному PostgreSQL и S3: выдерживаются рестарты процессов с сохранёнными volumes, но не потеря хоста или диска. Доставка at-least-once с идемпотентным эффектом — не exactly-once: S3-объект может перезаписываться одинаковыми байтами, дубли сообщений возможны. При падении API между COMMIT и ответом клиент не узнаёт attachment_id; повтор upload создаст второе вложение (контракт это допускает). Таймаут не прерывает декодер Go принудительно: память ограничивают бюджет и лимит контейнера. Сверка S3 ↔ БД для вариантов (reconciler lab4) не перенесена. Worker использует ту же S3-идентичность, что и API. Трек 1: по одному прогону на ячейку, клиент и стенд на одной машине (Windows/WSL2), RSS по выборкам docker stats. Собственные HTTP-тесты lab4 не перенесены (ожидали 201); их заменяют unit-тесты и сценарии lab5ops. На Windows хуки запускались через .cmd-версии. CI-job со сборкой стенда не добавлен. Источники и использование ИИ Go 1.23.4, pgx/v5, go-redis/v9, golang.org/x/crypto (Argon2id), golang.org/x/sync, google/uuid, minio-go/v7; новые: rabbitmq/amqp091-go 1.10.0, golang.org/x/image 0.23.0 (Catmull-Rom), gen2brain/webp 0.5.2 (libwebp через WebAssembly/wazero, без cgo). Документация RabbitMQ (Reliability, Publisher Confirms, Quorum Queues), спецификация EXIF (тег Orientation). Помощь ИИ использовалась при написании отчёта. Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. Контракт и публичные тесты не ослаблены. make check и make test выполнены; приложен реальный вывод. Сценарии отказов своего уровня воспроизведены (worker down + рестарт API/broker, crash после COMMIT до publish, crash после эффекта до COMMIT и до ack, retry/backoff, failed + replay, DLQ, зависший worker, лимиты, persistence, failover, backpressure). Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Sh1pYe added 1 commit 2026-11-12 13:35:51 +03:00
Sh1pYe changed title from ЛР5: брокер RabbitMQ, worker, outbox, retry/DLQ/replay, трек 1 to ЛР 5 — БВТ2304 — Кораблев — на 5 2026-11-12 13:36:49 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/Sh1pYe/mtusi2026lab5 solution/BVT2304-korablev:Sh1pYe-solution/BVT2304-korablev
git checkout Sh1pYe-solution/BVT2304-korablev
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#54