Files
mtusi2026lab5/REPORT.md
T

42 KiB
Raw Blame History

Отчёт — лабораторная 5

  • Автор, группа: Антонов Егор, БПИ2301
  • Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не заявляется
  • Commit/PR: ветка solution/БПИ2301-Antonov; ссылка на PR — после публикации
  • Использованные источники, библиотеки и помощь ИИ: документация RabbitMQ (reliability, publisher confirms и consumer acknowledgements, quorum queues, x-delivery-limit, dead lettering, prefetch), PostgreSQL (FOR UPDATE SKIP LOCKED), sharp/libvips (rotate, flatten, resize, limitInputPixels, WebP), Prisma (interactive transactions). Новые библиотеки: amqplib 0.10.5 (+ @types/amqplib 0.10.6); остальные — как в lab4. Перед сдачей просмотрены замечания проверяющих к чужим PR этой лабораторной, те же сценарии воспроизведены на своём стенде (см. «Сверка с замечаниями проверяющих»); код из чужих решений не использовался. ИИ-ассистент использовался как парный программист: код, тесты, сценарии отказов и текст отчёта по моим решениям с последующим ревью; проверки воспроизведены мной на своём стенде.

Запуск из чистого clone

На хосте нужен только Docker (Engine + Compose v2); python/node/make/sh на хосте не требуются, команды одинаковы в PowerShell и bash. Проверено: Docker 29.3.1, Compose v5.1.1 (внутри tools — v2.31.0), Docker Desktop (WSL2), 12 vCPU, 8 GiB RAM.

Компонент Версия
API, worker, relay (один образ) node:20.17.0-slim + openssl, NestJS 10 / Fastify, Prisma 6.1.0, @aws-sdk/client-s3 3.700.0, sharp 0.33.5, amqplib 0.10.5
Брокер rabbitmq:4.0.5-alpine, закреплён digest
Балансировщик haproxy:3.0.6-alpine
PostgreSQL postgres:17.2-alpine
Redis redis:7.4.1-alpine
S3 pgsty/minio:RELEASE.2026-08-04T00-00-00Z, закреплён digest (официальный образ MinIO не раздаётся, см. отчёт lab4)
Bootstrap S3 pgsty/mc:RELEASE.2026-10-26T00-00-00Z, закреплён digest
secrets-init alpine:3.20.3
tools (проверки) docker:27.3.1-cli + python3, make, git
# 1. Запуск: secrets-init → postgres, redis, s3, rabbitmq → s3-init, migrate → api ×2, worker, relay, reconciler → lb
docker compose up -d --build --wait

# 2. Публичные проверки внутри контейнера tools (BASE_URL=http://lb:8080)
docker compose run --rm --build tools make check
docker compose run --rm tools make test
docker compose run --rm tools make test-persistence ACTION_SCRIPT=scripts/restart.sh
docker compose up -d --wait
docker compose run --rm tools make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --wait

# 3. Сценарии фоновой обработки (каждый печатает шаги, ID и результат, без токенов)
docker compose run --rm tools python3 scripts/job-scenario.py restart              # уровень 3: worker остановлен, рестарт API и брокера
docker compose run --rm tools python3 scripts/job-scenario.py crash-after-store    # worker убит после записи S3, до COMMIT и ack
docker compose run --rm tools python3 scripts/job-scenario.py crash-after-commit   # worker убит после COMMIT, до ack
docker compose run --rm tools python3 scripts/job-scenario.py outbox-gap           # разрыв COMMIT → publish
docker compose run --rm tools python3 scripts/job-scenario.py relay-crash          # relay убит после confirm, до отметки outbox
docker compose run --rm tools python3 scripts/job-scenario.py retry-replay         # backoff, failed, явный replay
docker compose run --rm tools python3 scripts/job-scenario.py broker               # prefetch, лимиты, DLQ

# 4. Операторские команды
docker compose exec -T worker node dist/replay.js --list                  # реестр failed
docker compose exec -T worker node dist/replay.js <job_id|attachment_id>  # явный replay

# 5. Собственные тесты: отдельные postgres, s3 (tmpfs) и redis
docker compose -f compose.test.yaml run --rm --build tests
docker compose -f compose.test.yaml down -v

# 6. Все доказательства в evidence/ одной командой (~6 минут; пересоздаёт тестовые данные сценариев)
docker compose run --rm tools sh scripts/collect-evidence.sh

# Безопасная остановка (данные, очередь и секреты сохраняются)
docker compose stop          # или: docker compose down
# Намеренное удаление учебных данных, очереди и сгенерированных секретов
docker compose down -v
  • .env необязателен: в compose.yaml те же значения по умолчанию. Для своих: cp .env.example .env, затем docker compose --env-file .env up -d --build --wait.
  • Секреты создаёт one-shot secrets-init в volume secrets, раздельно по сервисам (volume.subpath). Новое в lab5: пароль брокера; rabbitmq получает его в своём conf.d, worker и relay — файл broker_url; у API доступа к брокеру нет. Действий оператора не требуется; секреты не попадают в Git, образы, логи и evidence.
  • Наружу опубликован только LB на 127.0.0.1:8080. API, PostgreSQL, Redis, S3 и RabbitMQ доступны только во внутренней сети compose; management-плагин RabbitMQ не включён.
  • Swagger UI: http://localhost:8080/docs — обязательный контракт contracts/openapi.json 1.5.0 без изменений; служебное расширение /health/core — contracts/extensions.openapi.json (как в lab4).

Архитектура и решения

client ──HTTP──▶ lb ──▶ api ×2 ── 1) проверка, тело во временный файл
                          │      2) PUT staging/<id> в S3 (приватный префикс)
                          │      3) одна транзакция PostgreSQL: attachment queued + attachment_jobs + outbox  ──▶ 202
                          ▼
                     postgres ◀── relay: SELECT outbox ... FOR UPDATE SKIP LOCKED → publish persistent → publisher confirm → published_at
                          ▲         └─ каждые 5 s: lease истёк → queued/failed; queued без свежей публикации > 5 мин → снова в outbox
                          │                         │
                          │                   rabbitmq: attachment.jobs (quorum, durable) ──delivery-limit 20──▶ attachment.jobs.dlq
                          │                         │ prefetch 2, manual ack
                          └── worker: claim + lease → staging → sha256 → варианты → PUT attachments/<id>/... → COMMIT ready → ack → удалить staging
reconciler (раз в 5 минут): сироты в attachments/ и staging/, staging у failed старше 24 h и у ready
Роль Service Health/readiness Volume Сеть/порт Credentials Лимиты
Балансировщик lb проверяет backends (/health/core) — 127.0.0.1:8080 — 0.25 CPU, 64M
API ×2 api /health/core (LB, Docker), /health/ready по контракту — внутренняя, 8080 secrets/api: БД, кэш, ключи S3 0.5 CPU, 256M каждая
Брокер rabbitmq rabbitmq-diagnostics check_port_connectivity rabbitmqdata внутренняя, 5672 secrets/rabbitmq: конфиг с паролем 0.5 CPU, 512M
Worker worker healthcheck отключён; лог — внутренняя secrets/worker: БД, брокер, ключи S3 1 CPU, 768M
Relay outbox relay healthcheck отключён; лог — внутренняя secrets/relay: БД, брокер 0.25 CPU, 128M
БД postgres pg_isready pgdata внутренняя secrets/postgres 1 CPU, 512M
S3 s3 /minio/health/live s3data внутренняя, 9000 secrets/s3 0.5 CPU, 512M
Кэш сессий redis redis-cli ping — внутренняя secrets/redis 0.25 CPU, 128M
Сверка reconciler лог JSON — внутренняя secrets/reconciler 0.25 CPU, 128M
Bootstrap secrets-init, s3-init, migrate exit 0 secrets — свои подкаталоги по 0.1–0.5 CPU

Источник истины — PostgreSQL: таблица attachment_jobs хранит состояние каждой работы, брокер — только транспорт уведомлений. Поэтому потеря сообщения не теряет работу (её восстанавливает relay), а дубль сообщения не создаёт второй результат.

Выбор брокера. RabbitMQ 4: durable quorum queue, persistent-сообщения, publisher confirms, ручной ack, prefetch и dead lettering есть «из коробки». Redis в стенде без persistence (кэш сессий), делать его брокером означало бы менять его роль.

Модель данных (миграция 20261115000000_attachment_jobs).

  • attachments: добавлены status (queued/processing/ready/failed, CHECK), error_code (CHECK: задан тогда и только тогда, когда failed), staging_key. Строки lab4 получают ready; их object_key = attachments/<id> остаётся рабочим.
  • attachment_jobs: id (= job_id сообщения, не меняется при redelivery), attempt, max_attempts, next_attempt_at, lease_owner, lease_until, error_code, last_error. Уникальность (attachment_id, pipeline_version); CHECK: attempt ≤ max_attempts, у processing есть lease.
  • attachment_variants: PK (attachment_id, pipeline_version, name) — ключ эффекта из attachment-states.md, второй набор вариантов физически невозможен.
  • outbox: payload (сообщение по jobs.schema.json), available_at (для отложенного повтора), published_at, publish_attempts.
  • job_events: журнал переходов (enqueued, processing, retry_scheduled, lease_expired, republished, failed, replayed, ready) — audit и доказательства.

Что сохранено в момент 202. Байты проверенного файла подтверждены S3 в staging/<id> (PUT с ChecksumSHA256); одной транзакцией закоммичены метаданные вложения queued, задание и запись outbox. Публикация в брокер происходит после ответа, отдельным процессом. Staging — приватный префикс того же bucket: это честная граница «staging уже в S3»; worker «публикует» оригинал копированием в конечный ключ attachments/<id>/original.

Сообщение брокера — ровно поля jobs.schema.json (schema_version, job_id, type, attachment_id, pipeline_version, attempt, created_at); messageId = job_id. Байтов, ключей S3, URL и credentials нет: worker берёт ключи из БД. Worker проверяет сообщение (лишние поля, формат UUID, тип); невалидное → nack(requeue=false) → DLQ.

Worker (src/worker.ts, src/jobs/processor.ts).

  1. Читает задание по job_id; несовпадение attachment_id/pipeline_version → пропуск.
  2. Claim: UPDATE ... SET status='processing', lease_owner=<uuid>, lease_until=now+90 s WHERE status='queued' AND next_attempt_at <= now. Не получилось — задание уже ready/failed, ещё не наступил срок повтора или его держит другой worker → ack без работы.
  3. Скачивает staging (не больше 10 MiB), сверяет размер и SHA-256 с принятыми при загрузке.
  4. Строит варианты (src/jobs/variants.ts, limitInputPixels = 40 млн): thumbnail JPEG q82, вписан в 256×256 без увеличения, размеры считаются в целых числах: длинная сторона = 256, короткая = floor(короткая · 256 / длинная), минимум 1 px (319×200 → 256×160; формула с дробным коэффициентом давала 255 по длинной стороне в 2630 из перебранных случаев), EXIF orientation применяется (rotate()), прозрачность на белом (flatten); crop JPEG q82, центр 128×128 (fit: cover, маленькие увеличиваются); optimized WebP q80 effort 4, вписан в 1280×1280 без увеличения. Метаданные (EXIF, ICC) не копируются: sharp по умолчанию их не пишет, это проверяет тест. Уменьшение каждого файла не обещается.
  5. PUT оригинала и вариантов под детерминированными ключами attachments/<id>/original, attachments/<id>/v1/{thumbnail.jpg,crop.jpg,optimized.webp} — повтор перезаписывает те же ключи теми же байтами.
  6. COMMIT одной транзакцией, только если lease ещё мой: задание и вложение ready, строки вариантов (skipDuplicates), событие. Потерянный lease → результат не фиксируется (его зафиксирует владелец).
  7. ack, затем удаление staging и staging_key = NULL.

Ack и publisher confirm — разные границы. Relay отмечает published_at только после confirm брокера (сообщение принято и записано в quorum queue). Worker делает ack только после COMMIT результата. Повторная доставка уже ready-задачи — no-op с ack.

Ошибки и повторы (src/jobs/job-store.ts).

Ошибка Класс Действие
S3 недоступен, таймаут операции, таймаут обработки 60 s временная queued, attempt+1, next_attempt_at = backoff, новая запись outbox с available_at
изображение не декодируется / превышает пиксели постоянная invalid_image сразу failed
staging не совпадает по SHA-256 постоянная checksum_mismatch сразу failed
staging отсутствует постоянная staging_missing сразу failed
попытки исчерпаны (JOB_MAX_ATTEMPTS=5) — failed, retry_exhausted
PostgreSQL недоступен у worker инфраструктура сообщение возвращается в очередь через 5 s; задание не меняется

Backoff: min(30 s, 1 s · 2^(attempt−1)), jitter — равномерно в [½, 1] от этого значения. Задержка реализована через outbox.available_at, без плагинов брокера. Бесконечного немого retry нет: и попытки, и доставки одного сообщения (x-delivery-limit 20 → DLQ) ограничены.

Lease: зависший или долго работающий. Обработка ограничена 60 s (JOB_TIMEOUT_SECONDS), lease — 90 s (JOB_LEASE_SECONDS), то есть живой worker всегда заканчивает или сам переводит задание в повтор до истечения lease. Пока lease действует, повторная доставка (например, после разрыва соединения) не запускает вторую обработку. Lease истёк — worker считается мёртвым: relay переводит задание в queued с attempt+1 (или failed, если попытки исчерпаны) и публикует заново. Даже если «мёртвый» worker оживёт, его COMMIT не пройдёт (lease_owner другой), а объекты S3 под теми же ключами содержат те же байты.

Transactional outbox. Разрыв «COMMIT прошёл, publish не случился» закрыт тем, что намерение (запись outbox) коммитится вместе с заданием; relay публикует позже и повторяет до confirm. Публикация до отметки published_at может повториться (падение relay после confirm) — это дубль сообщения, который worker отбрасывает. Отдельная страховка: задание в queued дольше JOB_STALE_SECONDS (300 s) без неотправленной или свежей публикации публикуется снова — на случай потери сообщения в брокере или в DLQ.

Replay (src/replay.ts): только задание в failed переводится в queued с attempt = 1, событие replayed с именем оператора и прежней причиной. Для ready — already_ready без новой публикации, для queued/processing — not_failed, если staging уже удалён по retention — source_missing (задание остаётся failed, вечного queued без исходника не бывает). Prior-эффект защищён тем же ключом эффекта.

Staging: retention и cleanup. Удаляется worker сразу после COMMIT ready; если worker упал до удаления — при повторной доставке или reconciler. У failed staging хранится STAGING_RETENTION_SECONDS (24 h), чтобы replay был возможен, затем его удаляет reconciler. Staging queued/processing не удаляется никогда, сколько бы ни простаивал worker.

Очистка и replay не гоняются. Reconciler сначала условно освобождает ссылку в БД (UPDATE attachments SET staging_key = NULL WHERE id = … AND staging_key = … AND (status = 'ready' OR status = 'failed' AND updated_at < срок)) и только после успеха удаляет объект. Replay в своей транзакции первым делом выполняет UPDATE attachments SET status = 'queued' WHERE id = … AND status = 'failed' AND staging_key IS NOT NULL. PostgreSQL сериализует эти два UPDATE на блокировке строки: если первым прошёл replay, условие reconciler уже ложно и staging остаётся; если первой прошла очистка, replay отвечает source_missing. Объекты под attachments/<id>/ reconciler не удаляет, пока существует вложение <id> (строки вложений не удаляются API), поэтому устаревший снимок листинга не может удалить вариант, заново записанный после replay. Цена: варианты, записанные упавшим worker у навсегда failed-вложения, остаются в S3 (не больше трёх объектов на вложение). Обе очерёдности и этот случай покрыты тестами. Reconciler также не трогает объекты моложе grace (1 h) и объекты, на которые ссылаются object_key, staging_key или ключи вариантов.

API-изменения 4 → 5 (по COURSE.md): POST .../attachments → 202 + queued; GET .../content для queued/processing/failed → 409, variant=thumbnail|crop|optimized отдаёт вариант ready-вложения, отсутствующий вариант → 404; failed-вложение в сообщении → 409, queued/processing прикреплять можно. Варианты в метаданных только у ready.

Критичные зависимости и проверка готовности

Endpoint Что проверяет Кто использует
/health/live жизнь процесса контракт
/health/ready остановка процесса, PostgreSQL, S3 контракт: клиенты и оператор
/health/core остановка процесса, PostgreSQL HAProxy и Docker healthcheck

Брокер для API не критичен: API в брокер не пишет, задание попадает в outbox. Недоступность брокера или worker не останавливает загрузку (202) и не заставляет API выполнять resize синхронно — задания ждут в outbox/очереди. Обоснование /health/core — как в lab4 (падение общего S3 не должно выводить из LB все реплики).

Таймауты и лимиты worker:

Параметр Значение Где
Конкуренция / prefetch 2 (WORKER_CONCURRENCY) compose.yaml, src/worker.ts
Обработка одного задания 60 s (JOB_TIMEOUT_SECONDS): общий deadline задания и sharp.timeout каждой операции libvips src/jobs/processor.ts, src/jobs/variants.ts
Lease 90 s (JOB_LEASE_SECONDS) там же
Байты staging / пиксели 10 MiB / 40 млн getBuffer, limitInputPixels
Память / CPU 768M / 1 CPU на контейнер worker compose.yaml
Попытки / backoff 5; 1 s → 30 s с jitter src/jobs/job-store.ts
Доставки одного сообщения 20, затем DLQ src/broker/broker.ts
Опрос outbox / sweep 0,5 s / 5 s; stale 300 s src/relay.ts
Дренаж при SIGTERM до 25 s, stop_grace_period: 30s src/worker.ts, compose.yaml

Перенесено из lab4: весь API, HAProxy, 2 реплики, идемпотентность, проверка изображений при загрузке, S3, reconciler, раздельные секреты, migrate, тесты. Изменено: см. выше; restart.sh перезапускает и rabbitmq; UPLOAD_TMP_DIR (каталог временных файлов, по умолчанию системный) нужен тестам, работающим параллельно.

Соответствие .env.example:

Переменная Где используется
APP_HOST, APP_PORT, APP_ENV, SESSION_*, IDEMPOTENCY_TTL_SECONDS, DATABASE_URL_FILE, CACHE_URL_FILE, SESSION_STORE, API_REPLICAS, S3_*, MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS как в lab4
BROKER_URL_FILE файл /run/secrets/broker_url у worker и relay
WORKER_CONCURRENCY prefetch и число одновременных заданий worker, 2
JOB_MAX_ATTEMPTS max_attempts нового задания (API), 5
JOB_TIMEOUT_SECONDS таймаут обработки у worker, 60
STAGING_RETENTION_SECONDS хранение staging у failed (reconciler), 86400
JOB_LEASE_SECONDS, JOB_STALE_SECONDS, RECONCILE_* добавлены к примеру: lease 90, страховка 300, сверка 3600/300

Доказательства критериев

Файлы собраны docker compose run --rm tools sh scripts/collect-evidence.sh на commit 484119a с чистых volumes; в заголовке каждого файла — дата и commit.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test через LB PASS: lab5 public API scenario: 202 → ready, оригинал и JPEG thumbnail 256×160 проверены evidence/smoke.txt
3: минимум lab4 сохранён, 201 → 202 smoke, make test-persistence, make test-failover, check-s3.sh, собственные тесты PASS; оригинал побайтно; bucket приватный evidence/smoke.txt, evidence/persistence.txt, evidence/failover.txt, evidence/s3.txt
3: 202 только после staging и задания тест «202 Attachment queued», outbox-gap в момент ответа есть объект staging/<id>, задание и строка outbox; после kill api работа не потеряна evidence/tests.txt, evidence/jobs.txt outbox-gap
3: отдельные broker и worker; durable, at least once; ack после эффекта; без worker нет синхронного resize docker compose ps, list_queues, restart сервисы rabbitmq, worker, relay; quorum durable; при остановленном worker загрузка 202 и сообщение ждёт в очереди evidence/container.txt, evidence/jobs.txt restart
3: состояния queued/processing/ready/failed; оригинал и thumbnail job-scenario.py, jobs.e2e-spec.ts все четыре состояния видны через API; thumbnail JPEG 256×160, SHA-256 сходится evidence/jobs.txt, evidence/tests.txt
3: ограниченный retry, failed с безопасным error_code; повтор job не создаёт второй набор retry-replay, тесты 5 попыток, retry_exhausted; повтор ready-задачи — skipped, вариантов 3 evidence/jobs.txt, evidence/tests.txt
3: демонстрация worker stop → 202 → сообщение → рестарт API и брокера → worker → ready job-scenario.py restart messages_ready 1 до и после рестарта брокера; затем ready, варианты доступны evidence/jobs.txt restart
4: crop 128×128 и WebP; лимиты bytes/пикселей/времени/памяти тесты, broker crop JPEG 128×128, optimized WebP без EXIF и увеличения; EXIF orientation, alpha на белом; пиксели сверх лимита → invalid_image; таймаут → повтор; лимиты контейнера evidence/tests.txt, evidence/jobs.txt broker
4: transactional outbox; crash между COMMIT и publish outbox-gap, relay-crash outbox NOT PUBLISHED → API убит → relay запущен → published_at и ready; падение после confirm → повторная публикация, второй доставка skipped evidence/jobs.txt
4: backoff с jitter; постоянные/временные; реестр failed; безопасный replay retry-replay, тесты паузы растут с jitter; invalid_image/checksum_mismatch/staging_missing без повторов; replay.js --list; replay → ready; повтор replay → already_ready evidence/jobs.txt, evidence/tests.txt
4: worker остановлен после записи объекта до ack crash-after-store, crash-after-commit после store: redelivery skipped при живом lease, lease истёк → попытка 2 → тот же результат, вариантов 3; после COMMIT: redelivery skipped, staging удалён evidence/jobs.txt
4: lease, prefetch, очистка staging broker, тесты, итог jobs.txt prefetch_count 2; lease и потеря lease в тестах; на ready не осталось staging evidence/jobs.txt, evidence/tests.txt
DLQ broker невалидное сообщение → attachment.jobs.dlq evidence/jobs.txt broker
Собственные тесты docker compose -f compose.test.yaml run --rm --build tests Tests: 196 passed, 196 total evidence/tests.txt
Соответствие всем схемам и кодам контракта test/contract.e2e-spec.ts 14 из 14 операций; каждый ответ: объявленный код, схема, X-Request-Id/X-Instance-Id evidence/tests.txt

Эксперименты и отказы

Стенд: Docker Desktop WSL2, 12 vCPU; лимиты как в таблице ролей. Каждый сценарий выполнен один раз в составе collect-evidence.sh, файл sample.png 320×200 (112 КиБ). Нагрузочных измерений pipeline (трек 5.1) не проводилось.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
worker остановлен, загрузка, restart api rabbitmq, worker запущен 202, сообщение переживает рестарт брокера, затем ready content 409, сообщения 201; messages_ready 1 до и после рестарта брокера; события enqueued → processing → ready ready через 6,2 s после команды запуска worker (из них ~4,5 s — сама команда); потерь нет
worker убит после записи S3, до COMMIT и ack (lease 15 s) повтор после истечения lease даёт тот же результат exit 137, статус processing; redelivery skipped (lease жив); relay: lease expired: 1; попытка 2 → ready, вариантов 3 ready через 17,7 s после падения (lease 15 s + sweep); потерь нет
worker убит после COMMIT, до ack redelivery — no-op статус уже ready, staging остался; redelivery skipped, staging_key → NULL сразу; лишней работы нет
relay остановлен, API убит после COMMIT outbox сохраняет намерение outbox NOT PUBLISHED, очередь пуста; kill api; после старта relay published_at и ready ready через 6,7 s после команды старта relay
relay убит после confirm, до отметки outbox дубль сообщения безвреден outbox NOT MARKED; после рестарта опубликовано снова: attempt 1: ready, затем attempt 1: skipped ready через 4,7 s; 3 варианта
S3 остановлен во время обработки 5 попыток с backoff, failed; replay после восстановления паузы 0,53 / 1,38 / 2,63 / 7,11 s, failed retry_exhausted, вложение в сообщении 409; replay.js → ready; повтор → already_ready ready через 1 s после replay
невалидное сообщение в очереди DLQ, worker продолжает работу attachment.jobs.dlq 1 сообщение, в логе worker moved to dead letter queue —
restart.sh, stop-one.sh как в lab4 PASS; failover: 131 запись, 0 ошибок, восстановление 3,44 s потерь нет

Итог после всех сценариев: 9 из 9 заданий ready, неотправленных записей outbox 0, ready-вложений с оставшимся staging 0 (evidence/jobs.txt).

Сверка с замечаниями проверяющих и с контрактом

Перед сдачей просмотрены замечания проверяющих к PR других студентов этой лабораторной (2026-11-16, около 15 содержательных); каждый сценарий воспроизведён на своём стенде или тестом. Код из чужих решений не использовался.

Замечание к чужому PR Наш результат
cleanup удаляет staging задачи, пока worker недоступен staging queued/processing не удаляется (условие по staging_key и статусу)
нет replay failed replay.js, audit replayed, already_ready для готовых
гонка janitor ↔ replay: удалён staging принятого replay или вариант, перезаписанный после replay была у нас, исправлена (commit 484119a): условные UPDATE на строке вложения, варианты существующего вложения не удаляются; обе очерёдности в тестах
thumbnail 319×200 → 256×161 была похожая ошибка (дробный коэффициент давал 255 по длинной стороне, например 322×200), исправлена целочисленным расчётом; тест перебирает ~30 000 размеров
JPEG с компонентом SOS не из SOF, PNG с IDAT не zlib при верном CRC, усечённый PNG, PNG без последнего байта → 202 вместо 415 415 у всех (полное декодирование в API, как в lab4); 15 видов файлов проверены загрузкой через LB, оба новых случая добавлены в тесты
нет общего deadline обработки 60 s на задание + sharp.timeout
lease истёк на последней попытке → вечный processing failed retry_exhausted, тест
ключ оригинала JPEG у API и worker различается сквозной JPEG-тест: 202 → ready → оригинал 200 побайтно
logout при упавшем кэше отвечает 204, токен потом снова работает у нас 503 без отзыва, токен остаётся рабочим явно; при доступном Redis 204 и сразу 401 (проверено на стенде)

Сверка ответов с контрактом (test/contract.e2e-spec.ts): вызваны все 14 операций contracts/openapi.json, успешные и ошибочные коды, вложение в состояниях queued, ready (все варианты), failed. Для каждого ответа проверено: код объявлен для операции, JSON проходит схему ответа (ajv, draft 2020-12), есть X-Request-Id и X-Instance-Id, error.request_id совпадает с заголовком, у бинарного ответа — объявленный Content-Type.

Ограничения и следующие шаги

  • Отказ процесса, а не узла. Всё на одном хосте; RabbitMQ, PostgreSQL, S3, LB — по одному экземпляру. Quorum queue на одном узле даёт durability на диске, но не репликацию.
  • Exactly-once нет. Доставка at least once; идемпотентен эффект: ключ (attachment_id, pipeline_version, name), детерминированные ключи S3 и guarded COMMIT. Повторная работа (лишняя обработка изображения) возможна, лишний результат — нет.
  • Детерминированность вариантов. Повтор перезаписывает объект теми же байтами, если sharp/libvips и параметры те же. При смене версии библиотеки между попытками байты могли бы отличаться от записанных в БД SHA-256 — нужен versioned pipeline (трек 5.2, не заявлен).
  • Таймаут обработки. Через 60 s задание уходит в повтор; операции libvips ограничены собственным sharp.timeout и прерываются сами, но metadata() и S3-операции (20 s каждая) ограничены отдельно. Поздний COMMIT отставшей попытки отклоняется по lease_owner. Прерывание по sharp.timeout на реальном тяжёлом файле не измерялось.
  • Восстановление после смерти worker занимает до lease (90 s) + период sweep (5 s); в сценарии lease уменьшен до 15 s.
  • Нет healthcheck у worker и relay: их работу видно по логам и по list_consumers; при падении процесс перезапускает restart: unless-stopped.
  • Проверка изображения выполняется дважды: синхронно в API (чтобы вернуть 415/413 по контракту) и в worker. Повреждение, которое пропустил API, worker превратит в invalid_image.
  • Перегрузка не исследовалась: число принятых, но не обработанных заданий ограничено только диском S3 и БД; backpressure и p95 до ready — трек 5.1, не заявлен.
  • HTTP без TLS — только для локального стенда (TLS — lab7).

Ответы на вопросы защиты

  • Чем publisher confirm отличается от consumer ack? Confirm — брокер сообщает отправителю (relay), что принял и сохранил сообщение; после него relay ставит published_at. Ack — получатель (worker) сообщает брокеру, что обработал сообщение и его можно удалить; worker делает ack только после COMMIT результата.
  • Что именно уже сохранено в момент 202? Проверенные байты в staging/<id> в S3 и одна закоммиченная транзакция: вложение queued, задание attachment_jobs, запись outbox. В брокере на этот момент сообщения может ещё не быть.
  • Почему повторная доставка нормальна и где ключ идемпотентности job? At-least-once означает, что сообщение может прийти повторно после падения worker или relay. Ключ эффекта — (attachment_id, pipeline_version, variant): PK attachment_variants и детерминированные ключи S3; состояние задания в attachment_jobs (по job_id) не даёт обработать ready повторно.
  • Как отличить зависший worker от долго работающего и не запустить два дубля? По lease: обработка ограничена 60 s, lease — 90 s. Пока lease действует, другой worker задание не берёт; после истечения задание возвращается в очередь, а COMMIT старого владельца отклоняется по lease_owner.