forked from mtusi2026/mtusi2026lab5
Асинхронная обработка вложений: RabbitMQ 4.1 (quorum-очереди, publisher confirms, manual ack, DLQ), transactional outbox, отдельный worker. - upload: оригинал в staging S3, затем одной транзакцией queued + jobs + outbox -> 202; API к брокеру не подключается - relay: публикация outbox с confirm, reaper истёкших аренд, redrive - worker: claim по строке jobs, аренда с heartbeat и fencing по lease_token, transform в подпроцессе с RLIMIT_AS/RLIMIT_CPU/таймаутом, thumbnail 256, crop 128, WebP 1280 по детерминированным ключам - retry с backoff и jitter, постоянные/временные ошибки, реестр failed, ops replay (ready не повторяется), DLQ для невалидных сообщений - janitor: очистка staging и сирот; миграция 004 с backfill вложений lab4 - тесты отказов: окна COMMIT/publish, крахи worker до/после S3 и ack, заморозка worker, всплеск загрузок, права брокера; evidence/ и REPORT.md
127 lines
7.4 KiB
PL/PgSQL
127 lines
7.4 KiB
PL/PgSQL
-- Lab5: асинхронная обработка вложений (очередь RabbitMQ + worker).
|
||
--
|
||
-- Жизненный цикл attachments.status:
|
||
-- pending — внутреннее: строка записана ДО PUT в staging, API её не показывает (как в lab4);
|
||
-- queued — оригинал в staging + задание + запись outbox зафиксированы ОДНОЙ транзакцией, ответ 202;
|
||
-- processing — worker взял аренду (lease) задания;
|
||
-- ready — оригинал и все варианты в конечном prefix, метаданные вариантов записаны;
|
||
-- failed — постоянная ошибка или исчерпаны попытки (error_code).
|
||
-- Источник истины по состоянию задания — таблица jobs; сообщение брокера — только «пинок»
|
||
-- с job_id: worker все решения принимает по строке jobs (FOR UPDATE).
|
||
ALTER TABLE attachments DROP CONSTRAINT attachments_status_check;
|
||
ALTER TABLE attachments ADD CONSTRAINT attachments_status_check
|
||
CHECK (status IN ('pending', 'queued', 'processing', 'ready', 'failed'));
|
||
-- Ключ staging-объекта (staging/<uuid>); NULL после безопасной очистки.
|
||
ALTER TABLE attachments ADD COLUMN staging_key text UNIQUE;
|
||
ALTER TABLE attachments ADD COLUMN error_code text;
|
||
-- Версия pipeline, результат которой сейчас опубликован/ожидается (основной курс: 1).
|
||
ALTER TABLE attachments ADD COLUMN pipeline_version integer NOT NULL DEFAULT 1;
|
||
|
||
-- Одна логическая работа = (attachment_id, pipeline_version). job_id не меняется при
|
||
-- redelivery и retry; attempt — номер управляемой попытки (растёт при каждом захвате).
|
||
CREATE TABLE jobs (
|
||
id uuid PRIMARY KEY,
|
||
attachment_id uuid NOT NULL REFERENCES attachments(id),
|
||
pipeline_version integer NOT NULL CHECK (pipeline_version >= 1),
|
||
status text NOT NULL CHECK (status IN ('queued', 'processing', 'ready', 'failed')),
|
||
attempt integer NOT NULL DEFAULT 0 CHECK (attempt >= 0),
|
||
max_attempts integer NOT NULL CHECK (max_attempts >= 1),
|
||
next_attempt_at timestamptz NOT NULL,
|
||
-- Аренда: кто обрабатывает (host:boot), токен попытки (fencing) и срок.
|
||
lease_owner text,
|
||
lease_token uuid,
|
||
lease_until timestamptz,
|
||
error_code text,
|
||
last_error text,
|
||
replay_count integer NOT NULL DEFAULT 0,
|
||
created_at timestamptz NOT NULL,
|
||
updated_at timestamptz NOT NULL,
|
||
finished_at timestamptz,
|
||
UNIQUE (attachment_id, pipeline_version),
|
||
CHECK ((status = 'processing') = (lease_token IS NOT NULL))
|
||
);
|
||
CREATE INDEX jobs_lease_idx ON jobs (lease_until) WHERE status = 'processing';
|
||
CREATE INDEX jobs_queued_idx ON jobs (updated_at) WHERE status = 'queued';
|
||
CREATE INDEX jobs_failed_idx ON jobs (updated_at) WHERE status = 'failed';
|
||
|
||
-- Результаты: ключ эффекта (attachment_id, pipeline_version, variant) — PRIMARY KEY.
|
||
-- Повтор job не может создать второй набор вариантов.
|
||
CREATE TABLE attachment_variants (
|
||
attachment_id uuid NOT NULL REFERENCES attachments(id),
|
||
pipeline_version integer NOT NULL,
|
||
name text NOT NULL CHECK (name IN ('thumbnail', 'crop', 'optimized')),
|
||
object_key text NOT NULL UNIQUE,
|
||
content_type text NOT NULL CHECK (content_type IN ('image/jpeg', 'image/png', 'image/webp')),
|
||
size_bytes bigint NOT NULL CHECK (size_bytes > 0),
|
||
width integer NOT NULL CHECK (width > 0),
|
||
height integer NOT NULL CHECK (height > 0),
|
||
sha256 text NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
|
||
created_at timestamptz NOT NULL,
|
||
PRIMARY KEY (attachment_id, pipeline_version, name)
|
||
);
|
||
|
||
-- Transactional outbox: сообщение для брокера пишется в той же транзакции, что и
|
||
-- задание. Relay публикует с publisher confirm и только потом ставит published_at.
|
||
-- available_at позволяет отложить публикацию (retry с backoff).
|
||
CREATE TABLE outbox (
|
||
id bigserial PRIMARY KEY,
|
||
job_id uuid NOT NULL REFERENCES jobs(id),
|
||
payload jsonb NOT NULL,
|
||
available_at timestamptz NOT NULL,
|
||
created_at timestamptz NOT NULL DEFAULT now(),
|
||
published_at timestamptz,
|
||
publish_count integer NOT NULL DEFAULT 0
|
||
);
|
||
CREATE INDEX outbox_unpublished_idx ON outbox (available_at, id) WHERE published_at IS NULL;
|
||
CREATE INDEX outbox_job_idx ON outbox (job_id);
|
||
|
||
-- Журнал переходов (audit): кто, когда, какая попытка, причина. Без секретов и bytes.
|
||
CREATE TABLE job_events (
|
||
id bigserial PRIMARY KEY,
|
||
job_id uuid NOT NULL REFERENCES jobs(id),
|
||
at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||
event text NOT NULL,
|
||
attempt integer,
|
||
actor text,
|
||
detail jsonb
|
||
);
|
||
CREATE INDEX job_events_job_idx ON job_events (job_id, id);
|
||
|
||
-- Relay ждёт NOTIFY, а не опрашивает таблицу каждые N мс. Уведомление доставляется
|
||
-- только после COMMIT; при потере уведомления relay всё равно делает опрос раз в секунду.
|
||
CREATE FUNCTION outbox_notify() RETURNS trigger LANGUAGE plpgsql AS $$
|
||
BEGIN
|
||
PERFORM pg_notify('outbox', '');
|
||
RETURN NULL;
|
||
END $$;
|
||
CREATE TRIGGER outbox_notify_trg AFTER INSERT ON outbox
|
||
FOR EACH STATEMENT EXECUTE FUNCTION outbox_notify();
|
||
|
||
-- Переход lab4 -> lab5: готовые вложения lab4 не имеют вариантов. Их оригинал
|
||
-- (originals/<uuid>) становится staging-объектом, вложение — queued, создаётся задание.
|
||
-- Готовность заявляется только когда все варианты уровня существуют.
|
||
WITH legacy AS (
|
||
UPDATE attachments
|
||
SET staging_key = object_key,
|
||
object_key = 'attachments/' || id || '/v1/original',
|
||
status = 'queued',
|
||
updated_at = now()
|
||
WHERE status = 'ready'
|
||
RETURNING id
|
||
), new_jobs AS (
|
||
INSERT INTO jobs (id, attachment_id, pipeline_version, status, attempt, max_attempts,
|
||
next_attempt_at, created_at, updated_at)
|
||
SELECT gen_random_uuid(), id, 1, 'queued', 0, 5, now(), now(), now() FROM legacy
|
||
RETURNING id, attachment_id, created_at
|
||
), events AS (
|
||
INSERT INTO job_events (job_id, event, attempt, actor, detail)
|
||
SELECT id, 'enqueued', 1, 'migration', '{"reason":"lab4 backfill"}'::jsonb FROM new_jobs
|
||
)
|
||
INSERT INTO outbox (job_id, payload, available_at)
|
||
SELECT id,
|
||
jsonb_build_object('schema_version', 1, 'job_id', id, 'type', 'attachment.process.v1',
|
||
'attachment_id', attachment_id, 'pipeline_version', 1, 'attempt', 1,
|
||
'created_at', to_char(created_at AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS"Z"')),
|
||
now()
|
||
FROM new_jobs;
|