ЛР 5 — БПИ2303 — Лазарев — на 4

Асинхронная обработка вложений: RabbitMQ 4.1 (quorum-очереди, publisher
confirms, manual ack, DLQ), transactional outbox, отдельный worker.

- upload: оригинал в staging S3, затем одной транзакцией queued + jobs +
  outbox -> 202; API к брокеру не подключается
- relay: публикация outbox с confirm, reaper истёкших аренд, redrive
- worker: claim по строке jobs, аренда с heartbeat и fencing по
  lease_token, transform в подпроцессе с RLIMIT_AS/RLIMIT_CPU/таймаутом,
  thumbnail 256, crop 128, WebP 1280 по детерминированным ключам
- retry с backoff и jitter, постоянные/временные ошибки, реестр failed,
  ops replay (ready не повторяется), DLQ для невалидных сообщений
- janitor: очистка staging и сирот; миграция 004 с backfill вложений lab4
- тесты отказов: окна COMMIT/publish, крахи worker до/после S3 и ack,
  заморозка worker, всплеск загрузок, права брокера; evidence/ и REPORT.md
This commit is contained in:
2026-11-13 16:28:18 +03:00
parent 276dbdad8a
commit 13bec4ab8b
86 changed files with 10257 additions and 25 deletions
+126
View File
@@ -0,0 +1,126 @@
-- Lab5: асинхронная обработка вложений (очередь RabbitMQ + worker).
--
-- Жизненный цикл attachments.status:
-- pending — внутреннее: строка записана ДО PUT в staging, API её не показывает (как в lab4);
-- queued — оригинал в staging + задание + запись outbox зафиксированы ОДНОЙ транзакцией, ответ 202;
-- processing — worker взял аренду (lease) задания;
-- ready — оригинал и все варианты в конечном prefix, метаданные вариантов записаны;
-- failed — постоянная ошибка или исчерпаны попытки (error_code).
-- Источник истины по состоянию задания — таблица jobs; сообщение брокера — только «пинок»
-- с job_id: worker все решения принимает по строке jobs (FOR UPDATE).
ALTER TABLE attachments DROP CONSTRAINT attachments_status_check;
ALTER TABLE attachments ADD CONSTRAINT attachments_status_check
CHECK (status IN ('pending', 'queued', 'processing', 'ready', 'failed'));
-- Ключ staging-объекта (staging/<uuid>); NULL после безопасной очистки.
ALTER TABLE attachments ADD COLUMN staging_key text UNIQUE;
ALTER TABLE attachments ADD COLUMN error_code text;
-- Версия pipeline, результат которой сейчас опубликован/ожидается (основной курс: 1).
ALTER TABLE attachments ADD COLUMN pipeline_version integer NOT NULL DEFAULT 1;
-- Одна логическая работа = (attachment_id, pipeline_version). job_id не меняется при
-- redelivery и retry; attempt — номер управляемой попытки (растёт при каждом захвате).
CREATE TABLE jobs (
id uuid PRIMARY KEY,
attachment_id uuid NOT NULL REFERENCES attachments(id),
pipeline_version integer NOT NULL CHECK (pipeline_version >= 1),
status text NOT NULL CHECK (status IN ('queued', 'processing', 'ready', 'failed')),
attempt integer NOT NULL DEFAULT 0 CHECK (attempt >= 0),
max_attempts integer NOT NULL CHECK (max_attempts >= 1),
next_attempt_at timestamptz NOT NULL,
-- Аренда: кто обрабатывает (host:boot), токен попытки (fencing) и срок.
lease_owner text,
lease_token uuid,
lease_until timestamptz,
error_code text,
last_error text,
replay_count integer NOT NULL DEFAULT 0,
created_at timestamptz NOT NULL,
updated_at timestamptz NOT NULL,
finished_at timestamptz,
UNIQUE (attachment_id, pipeline_version),
CHECK ((status = 'processing') = (lease_token IS NOT NULL))
);
CREATE INDEX jobs_lease_idx ON jobs (lease_until) WHERE status = 'processing';
CREATE INDEX jobs_queued_idx ON jobs (updated_at) WHERE status = 'queued';
CREATE INDEX jobs_failed_idx ON jobs (updated_at) WHERE status = 'failed';
-- Результаты: ключ эффекта (attachment_id, pipeline_version, variant) — PRIMARY KEY.
-- Повтор job не может создать второй набор вариантов.
CREATE TABLE attachment_variants (
attachment_id uuid NOT NULL REFERENCES attachments(id),
pipeline_version integer NOT NULL,
name text NOT NULL CHECK (name IN ('thumbnail', 'crop', 'optimized')),
object_key text NOT NULL UNIQUE,
content_type text NOT NULL CHECK (content_type IN ('image/jpeg', 'image/png', 'image/webp')),
size_bytes bigint NOT NULL CHECK (size_bytes > 0),
width integer NOT NULL CHECK (width > 0),
height integer NOT NULL CHECK (height > 0),
sha256 text NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
created_at timestamptz NOT NULL,
PRIMARY KEY (attachment_id, pipeline_version, name)
);
-- Transactional outbox: сообщение для брокера пишется в той же транзакции, что и
-- задание. Relay публикует с publisher confirm и только потом ставит published_at.
-- available_at позволяет отложить публикацию (retry с backoff).
CREATE TABLE outbox (
id bigserial PRIMARY KEY,
job_id uuid NOT NULL REFERENCES jobs(id),
payload jsonb NOT NULL,
available_at timestamptz NOT NULL,
created_at timestamptz NOT NULL DEFAULT now(),
published_at timestamptz,
publish_count integer NOT NULL DEFAULT 0
);
CREATE INDEX outbox_unpublished_idx ON outbox (available_at, id) WHERE published_at IS NULL;
CREATE INDEX outbox_job_idx ON outbox (job_id);
-- Журнал переходов (audit): кто, когда, какая попытка, причина. Без секретов и bytes.
CREATE TABLE job_events (
id bigserial PRIMARY KEY,
job_id uuid NOT NULL REFERENCES jobs(id),
at timestamptz NOT NULL DEFAULT clock_timestamp(),
event text NOT NULL,
attempt integer,
actor text,
detail jsonb
);
CREATE INDEX job_events_job_idx ON job_events (job_id, id);
-- Relay ждёт NOTIFY, а не опрашивает таблицу каждые N мс. Уведомление доставляется
-- только после COMMIT; при потере уведомления relay всё равно делает опрос раз в секунду.
CREATE FUNCTION outbox_notify() RETURNS trigger LANGUAGE plpgsql AS $$
BEGIN
PERFORM pg_notify('outbox', '');
RETURN NULL;
END $$;
CREATE TRIGGER outbox_notify_trg AFTER INSERT ON outbox
FOR EACH STATEMENT EXECUTE FUNCTION outbox_notify();
-- Переход lab4 -> lab5: готовые вложения lab4 не имеют вариантов. Их оригинал
-- (originals/<uuid>) становится staging-объектом, вложение — queued, создаётся задание.
-- Готовность заявляется только когда все варианты уровня существуют.
WITH legacy AS (
UPDATE attachments
SET staging_key = object_key,
object_key = 'attachments/' || id || '/v1/original',
status = 'queued',
updated_at = now()
WHERE status = 'ready'
RETURNING id
), new_jobs AS (
INSERT INTO jobs (id, attachment_id, pipeline_version, status, attempt, max_attempts,
next_attempt_at, created_at, updated_at)
SELECT gen_random_uuid(), id, 1, 'queued', 0, 5, now(), now(), now() FROM legacy
RETURNING id, attachment_id, created_at
), events AS (
INSERT INTO job_events (job_id, event, attempt, actor, detail)
SELECT id, 'enqueued', 1, 'migration', '{"reason":"lab4 backfill"}'::jsonb FROM new_jobs
)
INSERT INTO outbox (job_id, payload, available_at)
SELECT id,
jsonb_build_object('schema_version', 1, 'job_id', id, 'type', 'attachment.process.v1',
'attachment_id', attachment_id, 'pipeline_version', 1, 'attempt', 1,
'created_at', to_char(created_at AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS"Z"')),
now()
FROM new_jobs;