42 KiB
Отчёт — лабораторная 5
- Автор, группа: Антонов Егор, БПИ2301
- Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не заявляется
- Commit/PR: ветка
solution/БПИ2301-Antonov; ссылка на PR — после публикации - Использованные источники, библиотеки и помощь ИИ: документация RabbitMQ (reliability, publisher confirms и consumer acknowledgements, quorum queues,
x-delivery-limit, dead lettering, prefetch), PostgreSQL (FOR UPDATE SKIP LOCKED),sharp/libvips (rotate,flatten,resize,limitInputPixels, WebP), Prisma (interactive transactions). Новые библиотеки:amqplib0.10.5 (+@types/amqplib0.10.6); остальные — как в lab4. Перед сдачей просмотрены замечания проверяющих к чужим PR этой лабораторной, те же сценарии воспроизведены на своём стенде (см. «Сверка с замечаниями проверяющих»); код из чужих решений не использовался. ИИ-ассистент использовался как парный программист: код, тесты, сценарии отказов и текст отчёта по моим решениям с последующим ревью; проверки воспроизведены мной на своём стенде.
Запуск из чистого clone
На хосте нужен только Docker (Engine + Compose v2); python/node/make/sh на хосте не требуются, команды одинаковы в PowerShell и bash. Проверено: Docker 29.3.1, Compose v5.1.1 (внутри tools — v2.31.0), Docker Desktop (WSL2), 12 vCPU, 8 GiB RAM.
| Компонент | Версия |
|---|---|
| API, worker, relay (один образ) | node:20.17.0-slim + openssl, NestJS 10 / Fastify, Prisma 6.1.0, @aws-sdk/client-s3 3.700.0, sharp 0.33.5, amqplib 0.10.5 |
| Брокер | rabbitmq:4.0.5-alpine, закреплён digest |
| Балансировщик | haproxy:3.0.6-alpine |
| PostgreSQL | postgres:17.2-alpine |
| Redis | redis:7.4.1-alpine |
| S3 | pgsty/minio:RELEASE.2026-08-04T00-00-00Z, закреплён digest (официальный образ MinIO не раздаётся, см. отчёт lab4) |
| Bootstrap S3 | pgsty/mc:RELEASE.2026-10-26T00-00-00Z, закреплён digest |
| secrets-init | alpine:3.20.3 |
| tools (проверки) | docker:27.3.1-cli + python3, make, git |
# 1. Запуск: secrets-init → postgres, redis, s3, rabbitmq → s3-init, migrate → api ×2, worker, relay, reconciler → lb
docker compose up -d --build --wait
# 2. Публичные проверки внутри контейнера tools (BASE_URL=http://lb:8080)
docker compose run --rm --build tools make check
docker compose run --rm tools make test
docker compose run --rm tools make test-persistence ACTION_SCRIPT=scripts/restart.sh
docker compose up -d --wait
docker compose run --rm tools make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --wait
# 3. Сценарии фоновой обработки (каждый печатает шаги, ID и результат, без токенов)
docker compose run --rm tools python3 scripts/job-scenario.py restart # уровень 3: worker остановлен, рестарт API и брокера
docker compose run --rm tools python3 scripts/job-scenario.py crash-after-store # worker убит после записи S3, до COMMIT и ack
docker compose run --rm tools python3 scripts/job-scenario.py crash-after-commit # worker убит после COMMIT, до ack
docker compose run --rm tools python3 scripts/job-scenario.py outbox-gap # разрыв COMMIT → publish
docker compose run --rm tools python3 scripts/job-scenario.py relay-crash # relay убит после confirm, до отметки outbox
docker compose run --rm tools python3 scripts/job-scenario.py retry-replay # backoff, failed, явный replay
docker compose run --rm tools python3 scripts/job-scenario.py broker # prefetch, лимиты, DLQ
# 4. Операторские команды
docker compose exec -T worker node dist/replay.js --list # реестр failed
docker compose exec -T worker node dist/replay.js <job_id|attachment_id> # явный replay
# 5. Собственные тесты: отдельные postgres, s3 (tmpfs) и redis
docker compose -f compose.test.yaml run --rm --build tests
docker compose -f compose.test.yaml down -v
# 6. Все доказательства в evidence/ одной командой (~6 минут; пересоздаёт тестовые данные сценариев)
docker compose run --rm tools sh scripts/collect-evidence.sh
# Безопасная остановка (данные, очередь и секреты сохраняются)
docker compose stop # или: docker compose down
# Намеренное удаление учебных данных, очереди и сгенерированных секретов
docker compose down -v
.envнеобязателен: вcompose.yamlте же значения по умолчанию. Для своих:cp .env.example .env, затемdocker compose --env-file .env up -d --build --wait.- Секреты создаёт one-shot
secrets-initв volumesecrets, раздельно по сервисам (volume.subpath). Новое в lab5: пароль брокера;rabbitmqполучает его в своёмconf.d,workerиrelay— файлbroker_url; у API доступа к брокеру нет. Действий оператора не требуется; секреты не попадают в Git, образы, логи и evidence. - Наружу опубликован только LB на
127.0.0.1:8080. API, PostgreSQL, Redis, S3 и RabbitMQ доступны только во внутренней сети compose; management-плагин RabbitMQ не включён. - Swagger UI: http://localhost:8080/docs — обязательный контракт
contracts/openapi.json1.5.0 без изменений; служебное расширение/health/core— contracts/extensions.openapi.json (как в lab4).
Архитектура и решения
client ──HTTP──▶ lb ──▶ api ×2 ── 1) проверка, тело во временный файл
│ 2) PUT staging/<id> в S3 (приватный префикс)
│ 3) одна транзакция PostgreSQL: attachment queued + attachment_jobs + outbox ──▶ 202
▼
postgres ◀── relay: SELECT outbox ... FOR UPDATE SKIP LOCKED → publish persistent → publisher confirm → published_at
▲ └─ каждые 5 s: lease истёк → queued/failed; queued без свежей публикации > 5 мин → снова в outbox
│ │
│ rabbitmq: attachment.jobs (quorum, durable) ──delivery-limit 20──▶ attachment.jobs.dlq
│ │ prefetch 2, manual ack
└── worker: claim + lease → staging → sha256 → варианты → PUT attachments/<id>/... → COMMIT ready → ack → удалить staging
reconciler (раз в 5 минут): сироты в attachments/ и staging/, staging у failed старше 24 h и у ready
| Роль | Service | Health/readiness | Volume | Сеть/порт | Credentials | Лимиты |
|---|---|---|---|---|---|---|
| Балансировщик | lb |
проверяет backends (/health/core) |
— | 127.0.0.1:8080 |
— | 0.25 CPU, 64M |
| API ×2 | api |
/health/core (LB, Docker), /health/ready по контракту |
— | внутренняя, 8080 | secrets/api: БД, кэш, ключи S3 |
0.5 CPU, 256M каждая |
| Брокер | rabbitmq |
rabbitmq-diagnostics check_port_connectivity |
rabbitmqdata |
внутренняя, 5672 | secrets/rabbitmq: конфиг с паролем |
0.5 CPU, 512M |
| Worker | worker |
healthcheck отключён; лог | — | внутренняя | secrets/worker: БД, брокер, ключи S3 |
1 CPU, 768M |
| Relay outbox | relay |
healthcheck отключён; лог | — | внутренняя | secrets/relay: БД, брокер |
0.25 CPU, 128M |
| БД | postgres |
pg_isready |
pgdata |
внутренняя | secrets/postgres |
1 CPU, 512M |
| S3 | s3 |
/minio/health/live |
s3data |
внутренняя, 9000 | secrets/s3 |
0.5 CPU, 512M |
| Кэш сессий | redis |
redis-cli ping |
— | внутренняя | secrets/redis |
0.25 CPU, 128M |
| Сверка | reconciler |
лог JSON | — | внутренняя | secrets/reconciler |
0.25 CPU, 128M |
| Bootstrap | secrets-init, s3-init, migrate |
exit 0 | secrets |
— | свои подкаталоги | по 0.1–0.5 CPU |
Источник истины — PostgreSQL: таблица attachment_jobs хранит состояние каждой работы, брокер — только транспорт уведомлений. Поэтому потеря сообщения не теряет работу (её восстанавливает relay), а дубль сообщения не создаёт второй результат.
Выбор брокера. RabbitMQ 4: durable quorum queue, persistent-сообщения, publisher confirms, ручной ack, prefetch и dead lettering есть «из коробки». Redis в стенде без persistence (кэш сессий), делать его брокером означало бы менять его роль.
Модель данных (миграция 20261115000000_attachment_jobs).
attachments: добавленыstatus(queued/processing/ready/failed, CHECK),error_code(CHECK: задан тогда и только тогда, когдаfailed),staging_key. Строки lab4 получаютready; ихobject_key=attachments/<id>остаётся рабочим.attachment_jobs:id(=job_idсообщения, не меняется при redelivery),attempt,max_attempts,next_attempt_at,lease_owner,lease_until,error_code,last_error. Уникальность(attachment_id, pipeline_version); CHECK:attempt ≤ max_attempts, уprocessingесть lease.attachment_variants: PK(attachment_id, pipeline_version, name)— ключ эффекта изattachment-states.md, второй набор вариантов физически невозможен.outbox:payload(сообщение поjobs.schema.json),available_at(для отложенного повтора),published_at,publish_attempts.job_events: журнал переходов (enqueued,processing,retry_scheduled,lease_expired,republished,failed,replayed,ready) — audit и доказательства.
Что сохранено в момент 202. Байты проверенного файла подтверждены S3 в staging/<id> (PUT с ChecksumSHA256); одной транзакцией закоммичены метаданные вложения queued, задание и запись outbox. Публикация в брокер происходит после ответа, отдельным процессом. Staging — приватный префикс того же bucket: это честная граница «staging уже в S3»; worker «публикует» оригинал копированием в конечный ключ attachments/<id>/original.
Сообщение брокера — ровно поля jobs.schema.json (schema_version, job_id, type, attachment_id, pipeline_version, attempt, created_at); messageId = job_id. Байтов, ключей S3, URL и credentials нет: worker берёт ключи из БД. Worker проверяет сообщение (лишние поля, формат UUID, тип); невалидное → nack(requeue=false) → DLQ.
Worker (src/worker.ts, src/jobs/processor.ts).
- Читает задание по
job_id; несовпадениеattachment_id/pipeline_version→ пропуск. - Claim:
UPDATE ... SET status='processing', lease_owner=<uuid>, lease_until=now+90 s WHERE status='queued' AND next_attempt_at <= now. Не получилось — задание ужеready/failed, ещё не наступил срок повтора или его держит другой worker → ack без работы. - Скачивает staging (не больше 10 MiB), сверяет размер и SHA-256 с принятыми при загрузке.
- Строит варианты (
src/jobs/variants.ts,limitInputPixels= 40 млн): thumbnail JPEG q82, вписан в 256×256 без увеличения, размеры считаются в целых числах: длинная сторона = 256, короткая =floor(короткая · 256 / длинная), минимум 1 px (319×200 → 256×160; формула с дробным коэффициентом давала 255 по длинной стороне в 2630 из перебранных случаев), EXIF orientation применяется (rotate()), прозрачность на белом (flatten); crop JPEG q82, центр 128×128 (fit: cover, маленькие увеличиваются); optimized WebP q80 effort 4, вписан в 1280×1280 без увеличения. Метаданные (EXIF, ICC) не копируются:sharpпо умолчанию их не пишет, это проверяет тест. Уменьшение каждого файла не обещается. - PUT оригинала и вариантов под детерминированными ключами
attachments/<id>/original,attachments/<id>/v1/{thumbnail.jpg,crop.jpg,optimized.webp}— повтор перезаписывает те же ключи теми же байтами. - COMMIT одной транзакцией, только если lease ещё мой: задание и вложение
ready, строки вариантов (skipDuplicates), событие. Потерянный lease → результат не фиксируется (его зафиксирует владелец). - ack, затем удаление staging и
staging_key = NULL.
Ack и publisher confirm — разные границы. Relay отмечает published_at только после confirm брокера (сообщение принято и записано в quorum queue). Worker делает ack только после COMMIT результата. Повторная доставка уже ready-задачи — no-op с ack.
Ошибки и повторы (src/jobs/job-store.ts).
| Ошибка | Класс | Действие |
|---|---|---|
| S3 недоступен, таймаут операции, таймаут обработки 60 s | временная | queued, attempt+1, next_attempt_at = backoff, новая запись outbox с available_at |
| изображение не декодируется / превышает пиксели | постоянная invalid_image |
сразу failed |
| staging не совпадает по SHA-256 | постоянная checksum_mismatch |
сразу failed |
| staging отсутствует | постоянная staging_missing |
сразу failed |
попытки исчерпаны (JOB_MAX_ATTEMPTS=5) |
— | failed, retry_exhausted |
| PostgreSQL недоступен у worker | инфраструктура | сообщение возвращается в очередь через 5 s; задание не меняется |
Backoff: min(30 s, 1 s · 2^(attempt−1)), jitter — равномерно в [½, 1] от этого значения. Задержка реализована через outbox.available_at, без плагинов брокера. Бесконечного немого retry нет: и попытки, и доставки одного сообщения (x-delivery-limit 20 → DLQ) ограничены.
Lease: зависший или долго работающий. Обработка ограничена 60 s (JOB_TIMEOUT_SECONDS), lease — 90 s (JOB_LEASE_SECONDS), то есть живой worker всегда заканчивает или сам переводит задание в повтор до истечения lease. Пока lease действует, повторная доставка (например, после разрыва соединения) не запускает вторую обработку. Lease истёк — worker считается мёртвым: relay переводит задание в queued с attempt+1 (или failed, если попытки исчерпаны) и публикует заново. Даже если «мёртвый» worker оживёт, его COMMIT не пройдёт (lease_owner другой), а объекты S3 под теми же ключами содержат те же байты.
Transactional outbox. Разрыв «COMMIT прошёл, publish не случился» закрыт тем, что намерение (запись outbox) коммитится вместе с заданием; relay публикует позже и повторяет до confirm. Публикация до отметки published_at может повториться (падение relay после confirm) — это дубль сообщения, который worker отбрасывает. Отдельная страховка: задание в queued дольше JOB_STALE_SECONDS (300 s) без неотправленной или свежей публикации публикуется снова — на случай потери сообщения в брокере или в DLQ.
Replay (src/replay.ts): только задание в failed переводится в queued с attempt = 1, событие replayed с именем оператора и прежней причиной. Для ready — already_ready без новой публикации, для queued/processing — not_failed, если staging уже удалён по retention — source_missing (задание остаётся failed, вечного queued без исходника не бывает). Prior-эффект защищён тем же ключом эффекта.
Staging: retention и cleanup. Удаляется worker сразу после COMMIT ready; если worker упал до удаления — при повторной доставке или reconciler. У failed staging хранится STAGING_RETENTION_SECONDS (24 h), чтобы replay был возможен, затем его удаляет reconciler. Staging queued/processing не удаляется никогда, сколько бы ни простаивал worker.
Очистка и replay не гоняются. Reconciler сначала условно освобождает ссылку в БД (UPDATE attachments SET staging_key = NULL WHERE id = … AND staging_key = … AND (status = 'ready' OR status = 'failed' AND updated_at < срок)) и только после успеха удаляет объект. Replay в своей транзакции первым делом выполняет UPDATE attachments SET status = 'queued' WHERE id = … AND status = 'failed' AND staging_key IS NOT NULL. PostgreSQL сериализует эти два UPDATE на блокировке строки: если первым прошёл replay, условие reconciler уже ложно и staging остаётся; если первой прошла очистка, replay отвечает source_missing. Объекты под attachments/<id>/ reconciler не удаляет, пока существует вложение <id> (строки вложений не удаляются API), поэтому устаревший снимок листинга не может удалить вариант, заново записанный после replay. Цена: варианты, записанные упавшим worker у навсегда failed-вложения, остаются в S3 (не больше трёх объектов на вложение). Обе очерёдности и этот случай покрыты тестами. Reconciler также не трогает объекты моложе grace (1 h) и объекты, на которые ссылаются object_key, staging_key или ключи вариантов.
API-изменения 4 → 5 (по COURSE.md): POST .../attachments → 202 + queued; GET .../content для queued/processing/failed → 409, variant=thumbnail|crop|optimized отдаёт вариант ready-вложения, отсутствующий вариант → 404; failed-вложение в сообщении → 409, queued/processing прикреплять можно. Варианты в метаданных только у ready.
Критичные зависимости и проверка готовности
| Endpoint | Что проверяет | Кто использует |
|---|---|---|
/health/live |
жизнь процесса | контракт |
/health/ready |
остановка процесса, PostgreSQL, S3 | контракт: клиенты и оператор |
/health/core |
остановка процесса, PostgreSQL | HAProxy и Docker healthcheck |
Брокер для API не критичен: API в брокер не пишет, задание попадает в outbox. Недоступность брокера или worker не останавливает загрузку (202) и не заставляет API выполнять resize синхронно — задания ждут в outbox/очереди. Обоснование /health/core — как в lab4 (падение общего S3 не должно выводить из LB все реплики).
Таймауты и лимиты worker:
| Параметр | Значение | Где |
|---|---|---|
| Конкуренция / prefetch | 2 (WORKER_CONCURRENCY) |
compose.yaml, src/worker.ts |
| Обработка одного задания | 60 s (JOB_TIMEOUT_SECONDS): общий deadline задания и sharp.timeout каждой операции libvips |
src/jobs/processor.ts, src/jobs/variants.ts |
| Lease | 90 s (JOB_LEASE_SECONDS) |
там же |
| Байты staging / пиксели | 10 MiB / 40 млн | getBuffer, limitInputPixels |
| Память / CPU | 768M / 1 CPU на контейнер worker | compose.yaml |
| Попытки / backoff | 5; 1 s → 30 s с jitter | src/jobs/job-store.ts |
| Доставки одного сообщения | 20, затем DLQ | src/broker/broker.ts |
| Опрос outbox / sweep | 0,5 s / 5 s; stale 300 s | src/relay.ts |
| Дренаж при SIGTERM | до 25 s, stop_grace_period: 30s |
src/worker.ts, compose.yaml |
Перенесено из lab4: весь API, HAProxy, 2 реплики, идемпотентность, проверка изображений при загрузке, S3, reconciler, раздельные секреты, migrate, тесты. Изменено: см. выше; restart.sh перезапускает и rabbitmq; UPLOAD_TMP_DIR (каталог временных файлов, по умолчанию системный) нужен тестам, работающим параллельно.
Соответствие .env.example:
| Переменная | Где используется |
|---|---|
APP_HOST, APP_PORT, APP_ENV, SESSION_*, IDEMPOTENCY_TTL_SECONDS, DATABASE_URL_FILE, CACHE_URL_FILE, SESSION_STORE, API_REPLICAS, S3_*, MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS |
как в lab4 |
BROKER_URL_FILE |
файл /run/secrets/broker_url у worker и relay |
WORKER_CONCURRENCY |
prefetch и число одновременных заданий worker, 2 |
JOB_MAX_ATTEMPTS |
max_attempts нового задания (API), 5 |
JOB_TIMEOUT_SECONDS |
таймаут обработки у worker, 60 |
STAGING_RETENTION_SECONDS |
хранение staging у failed (reconciler), 86400 |
JOB_LEASE_SECONDS, JOB_STALE_SECONDS, RECONCILE_* |
добавлены к примеру: lease 90, страховка 300, сверка 3600/300 |
Доказательства критериев
Файлы собраны docker compose run --rm tools sh scripts/collect-evidence.sh на commit 484119a с чистых volumes; в заголовке каждого файла — дата и commit.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test через LB |
PASS: lab5 public API scenario: 202 → ready, оригинал и JPEG thumbnail 256×160 проверены |
evidence/smoke.txt |
| 3: минимум lab4 сохранён, 201 → 202 | smoke, make test-persistence, make test-failover, check-s3.sh, собственные тесты |
PASS; оригинал побайтно; bucket приватный | evidence/smoke.txt, evidence/persistence.txt, evidence/failover.txt, evidence/s3.txt |
| 3: 202 только после staging и задания | тест «202 Attachment queued», outbox-gap |
в момент ответа есть объект staging/<id>, задание и строка outbox; после kill api работа не потеряна |
evidence/tests.txt, evidence/jobs.txt outbox-gap |
| 3: отдельные broker и worker; durable, at least once; ack после эффекта; без worker нет синхронного resize | docker compose ps, list_queues, restart |
сервисы rabbitmq, worker, relay; quorum durable; при остановленном worker загрузка 202 и сообщение ждёт в очереди |
evidence/container.txt, evidence/jobs.txt restart |
| 3: состояния queued/processing/ready/failed; оригинал и thumbnail | job-scenario.py, jobs.e2e-spec.ts |
все четыре состояния видны через API; thumbnail JPEG 256×160, SHA-256 сходится | evidence/jobs.txt, evidence/tests.txt |
3: ограниченный retry, failed с безопасным error_code; повтор job не создаёт второй набор |
retry-replay, тесты |
5 попыток, retry_exhausted; повтор ready-задачи — skipped, вариантов 3 |
evidence/jobs.txt, evidence/tests.txt |
| 3: демонстрация worker stop → 202 → сообщение → рестарт API и брокера → worker → ready | job-scenario.py restart |
messages_ready 1 до и после рестарта брокера; затем ready, варианты доступны |
evidence/jobs.txt restart |
| 4: crop 128×128 и WebP; лимиты bytes/пикселей/времени/памяти | тесты, broker |
crop JPEG 128×128, optimized WebP без EXIF и увеличения; EXIF orientation, alpha на белом; пиксели сверх лимита → invalid_image; таймаут → повтор; лимиты контейнера |
evidence/tests.txt, evidence/jobs.txt broker |
| 4: transactional outbox; crash между COMMIT и publish | outbox-gap, relay-crash |
outbox NOT PUBLISHED → API убит → relay запущен → published_at и ready; падение после confirm → повторная публикация, второй доставка skipped |
evidence/jobs.txt |
| 4: backoff с jitter; постоянные/временные; реестр failed; безопасный replay | retry-replay, тесты |
паузы растут с jitter; invalid_image/checksum_mismatch/staging_missing без повторов; replay.js --list; replay → ready; повтор replay → already_ready |
evidence/jobs.txt, evidence/tests.txt |
| 4: worker остановлен после записи объекта до ack | crash-after-store, crash-after-commit |
после store: redelivery skipped при живом lease, lease истёк → попытка 2 → тот же результат, вариантов 3; после COMMIT: redelivery skipped, staging удалён |
evidence/jobs.txt |
| 4: lease, prefetch, очистка staging | broker, тесты, итог jobs.txt |
prefetch_count 2; lease и потеря lease в тестах; на ready не осталось staging |
evidence/jobs.txt, evidence/tests.txt |
| DLQ | broker |
невалидное сообщение → attachment.jobs.dlq |
evidence/jobs.txt broker |
| Собственные тесты | docker compose -f compose.test.yaml run --rm --build tests |
Tests: 196 passed, 196 total |
evidence/tests.txt |
| Соответствие всем схемам и кодам контракта | test/contract.e2e-spec.ts |
14 из 14 операций; каждый ответ: объявленный код, схема, X-Request-Id/X-Instance-Id |
evidence/tests.txt |
Эксперименты и отказы
Стенд: Docker Desktop WSL2, 12 vCPU; лимиты как в таблице ролей. Каждый сценарий выполнен один раз в составе collect-evidence.sh, файл sample.png 320×200 (112 КиБ). Нагрузочных измерений pipeline (трек 5.1) не проводилось.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
worker остановлен, загрузка, restart api rabbitmq, worker запущен |
202, сообщение переживает рестарт брокера, затем ready | content 409, сообщения 201; messages_ready 1 до и после рестарта брокера; события enqueued → processing → ready |
ready через 6,2 s после команды запуска worker (из них ~4,5 s — сама команда); потерь нет |
| worker убит после записи S3, до COMMIT и ack (lease 15 s) | повтор после истечения lease даёт тот же результат | exit 137, статус processing; redelivery skipped (lease жив); relay: lease expired: 1; попытка 2 → ready, вариантов 3 |
ready через 17,7 s после падения (lease 15 s + sweep); потерь нет |
| worker убит после COMMIT, до ack | redelivery — no-op | статус уже ready, staging остался; redelivery skipped, staging_key → NULL |
сразу; лишней работы нет |
| relay остановлен, API убит после COMMIT | outbox сохраняет намерение | outbox NOT PUBLISHED, очередь пуста; kill api; после старта relay published_at и ready |
ready через 6,7 s после команды старта relay |
| relay убит после confirm, до отметки outbox | дубль сообщения безвреден | outbox NOT MARKED; после рестарта опубликовано снова: attempt 1: ready, затем attempt 1: skipped |
ready через 4,7 s; 3 варианта |
| S3 остановлен во время обработки | 5 попыток с backoff, failed; replay после восстановления | паузы 0,53 / 1,38 / 2,63 / 7,11 s, failed retry_exhausted, вложение в сообщении 409; replay.js → ready; повтор → already_ready |
ready через 1 s после replay |
| невалидное сообщение в очереди | DLQ, worker продолжает работу | attachment.jobs.dlq 1 сообщение, в логе worker moved to dead letter queue |
— |
restart.sh, stop-one.sh |
как в lab4 | PASS; failover: 131 запись, 0 ошибок, восстановление 3,44 s | потерь нет |
Итог после всех сценариев: 9 из 9 заданий ready, неотправленных записей outbox 0, ready-вложений с оставшимся staging 0 (evidence/jobs.txt).
Сверка с замечаниями проверяющих и с контрактом
Перед сдачей просмотрены замечания проверяющих к PR других студентов этой лабораторной (2026-11-16, около 15 содержательных); каждый сценарий воспроизведён на своём стенде или тестом. Код из чужих решений не использовался.
| Замечание к чужому PR | Наш результат |
|---|---|
| cleanup удаляет staging задачи, пока worker недоступен | staging queued/processing не удаляется (условие по staging_key и статусу) |
| нет replay failed | replay.js, audit replayed, already_ready для готовых |
| гонка janitor ↔ replay: удалён staging принятого replay или вариант, перезаписанный после replay | была у нас, исправлена (commit 484119a): условные UPDATE на строке вложения, варианты существующего вложения не удаляются; обе очерёдности в тестах |
| thumbnail 319×200 → 256×161 | была похожая ошибка (дробный коэффициент давал 255 по длинной стороне, например 322×200), исправлена целочисленным расчётом; тест перебирает ~30 000 размеров |
| JPEG с компонентом SOS не из SOF, PNG с IDAT не zlib при верном CRC, усечённый PNG, PNG без последнего байта → 202 вместо 415 | 415 у всех (полное декодирование в API, как в lab4); 15 видов файлов проверены загрузкой через LB, оба новых случая добавлены в тесты |
| нет общего deadline обработки | 60 s на задание + sharp.timeout |
lease истёк на последней попытке → вечный processing |
failed retry_exhausted, тест |
| ключ оригинала JPEG у API и worker различается | сквозной JPEG-тест: 202 → ready → оригинал 200 побайтно |
| logout при упавшем кэше отвечает 204, токен потом снова работает | у нас 503 без отзыва, токен остаётся рабочим явно; при доступном Redis 204 и сразу 401 (проверено на стенде) |
Сверка ответов с контрактом (test/contract.e2e-spec.ts): вызваны все 14 операций contracts/openapi.json, успешные и ошибочные коды, вложение в состояниях queued, ready (все варианты), failed. Для каждого ответа проверено: код объявлен для операции, JSON проходит схему ответа (ajv, draft 2020-12), есть X-Request-Id и X-Instance-Id, error.request_id совпадает с заголовком, у бинарного ответа — объявленный Content-Type.
Ограничения и следующие шаги
- Отказ процесса, а не узла. Всё на одном хосте; RabbitMQ, PostgreSQL, S3, LB — по одному экземпляру. Quorum queue на одном узле даёт durability на диске, но не репликацию.
- Exactly-once нет. Доставка at least once; идемпотентен эффект: ключ
(attachment_id, pipeline_version, name), детерминированные ключи S3 и guarded COMMIT. Повторная работа (лишняя обработка изображения) возможна, лишний результат — нет. - Детерминированность вариантов. Повтор перезаписывает объект теми же байтами, если
sharp/libvips и параметры те же. При смене версии библиотеки между попытками байты могли бы отличаться от записанных в БД SHA-256 — нужен versioned pipeline (трек 5.2, не заявлен). - Таймаут обработки. Через 60 s задание уходит в повтор; операции libvips ограничены собственным
sharp.timeoutи прерываются сами, ноmetadata()и S3-операции (20 s каждая) ограничены отдельно. Поздний COMMIT отставшей попытки отклоняется поlease_owner. Прерывание поsharp.timeoutна реальном тяжёлом файле не измерялось. - Восстановление после смерти worker занимает до lease (90 s) + период sweep (5 s); в сценарии lease уменьшен до 15 s.
- Нет healthcheck у worker и relay: их работу видно по логам и по
list_consumers; при падении процесс перезапускаетrestart: unless-stopped. - Проверка изображения выполняется дважды: синхронно в API (чтобы вернуть
415/413по контракту) и в worker. Повреждение, которое пропустил API, worker превратит вinvalid_image. - Перегрузка не исследовалась: число принятых, но не обработанных заданий ограничено только диском S3 и БД; backpressure и p95 до ready — трек 5.1, не заявлен.
- HTTP без TLS — только для локального стенда (TLS — lab7).
Ответы на вопросы защиты
- Чем publisher confirm отличается от consumer ack? Confirm — брокер сообщает отправителю (relay), что принял и сохранил сообщение; после него relay ставит
published_at. Ack — получатель (worker) сообщает брокеру, что обработал сообщение и его можно удалить; worker делает ack только после COMMIT результата. - Что именно уже сохранено в момент 202? Проверенные байты в
staging/<id>в S3 и одна закоммиченная транзакция: вложениеqueued, заданиеattachment_jobs, запись outbox. В брокере на этот момент сообщения может ещё не быть. - Почему повторная доставка нормальна и где ключ идемпотентности job? At-least-once означает, что сообщение может прийти повторно после падения worker или relay. Ключ эффекта —
(attachment_id, pipeline_version, variant): PKattachment_variantsи детерминированные ключи S3; состояние задания вattachment_jobs(поjob_id) не даёт обработатьreadyповторно. - Как отличить зависший worker от долго работающего и не запустить два дубля? По lease: обработка ограничена 60 s, lease — 90 s. Пока lease действует, другой worker задание не берёт; после истечения задание возвращается в очередь, а COMMIT старого владельца отклоняется по
lease_owner.