-- Lab5: асинхронная обработка вложений (очередь RabbitMQ + worker). -- -- Жизненный цикл attachments.status: -- pending — внутреннее: строка записана ДО PUT в staging, API её не показывает (как в lab4); -- queued — оригинал в staging + задание + запись outbox зафиксированы ОДНОЙ транзакцией, ответ 202; -- processing — worker взял аренду (lease) задания; -- ready — оригинал и все варианты в конечном prefix, метаданные вариантов записаны; -- failed — постоянная ошибка или исчерпаны попытки (error_code). -- Источник истины по состоянию задания — таблица jobs; сообщение брокера — только «пинок» -- с job_id: worker все решения принимает по строке jobs (FOR UPDATE). ALTER TABLE attachments DROP CONSTRAINT attachments_status_check; ALTER TABLE attachments ADD CONSTRAINT attachments_status_check CHECK (status IN ('pending', 'queued', 'processing', 'ready', 'failed')); -- Ключ staging-объекта (staging/); NULL после безопасной очистки. ALTER TABLE attachments ADD COLUMN staging_key text UNIQUE; ALTER TABLE attachments ADD COLUMN error_code text; -- Версия pipeline, результат которой сейчас опубликован/ожидается (основной курс: 1). ALTER TABLE attachments ADD COLUMN pipeline_version integer NOT NULL DEFAULT 1; -- Одна логическая работа = (attachment_id, pipeline_version). job_id не меняется при -- redelivery и retry; attempt — номер управляемой попытки (растёт при каждом захвате). CREATE TABLE jobs ( id uuid PRIMARY KEY, attachment_id uuid NOT NULL REFERENCES attachments(id), pipeline_version integer NOT NULL CHECK (pipeline_version >= 1), status text NOT NULL CHECK (status IN ('queued', 'processing', 'ready', 'failed')), attempt integer NOT NULL DEFAULT 0 CHECK (attempt >= 0), max_attempts integer NOT NULL CHECK (max_attempts >= 1), next_attempt_at timestamptz NOT NULL, -- Аренда: кто обрабатывает (host:boot), токен попытки (fencing) и срок. lease_owner text, lease_token uuid, lease_until timestamptz, error_code text, last_error text, replay_count integer NOT NULL DEFAULT 0, created_at timestamptz NOT NULL, updated_at timestamptz NOT NULL, finished_at timestamptz, UNIQUE (attachment_id, pipeline_version), CHECK ((status = 'processing') = (lease_token IS NOT NULL)) ); CREATE INDEX jobs_lease_idx ON jobs (lease_until) WHERE status = 'processing'; CREATE INDEX jobs_queued_idx ON jobs (updated_at) WHERE status = 'queued'; CREATE INDEX jobs_failed_idx ON jobs (updated_at) WHERE status = 'failed'; -- Результаты: ключ эффекта (attachment_id, pipeline_version, variant) — PRIMARY KEY. -- Повтор job не может создать второй набор вариантов. CREATE TABLE attachment_variants ( attachment_id uuid NOT NULL REFERENCES attachments(id), pipeline_version integer NOT NULL, name text NOT NULL CHECK (name IN ('thumbnail', 'crop', 'optimized')), object_key text NOT NULL UNIQUE, content_type text NOT NULL CHECK (content_type IN ('image/jpeg', 'image/png', 'image/webp')), size_bytes bigint NOT NULL CHECK (size_bytes > 0), width integer NOT NULL CHECK (width > 0), height integer NOT NULL CHECK (height > 0), sha256 text NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'), created_at timestamptz NOT NULL, PRIMARY KEY (attachment_id, pipeline_version, name) ); -- Transactional outbox: сообщение для брокера пишется в той же транзакции, что и -- задание. Relay публикует с publisher confirm и только потом ставит published_at. -- available_at позволяет отложить публикацию (retry с backoff). CREATE TABLE outbox ( id bigserial PRIMARY KEY, job_id uuid NOT NULL REFERENCES jobs(id), payload jsonb NOT NULL, available_at timestamptz NOT NULL, created_at timestamptz NOT NULL DEFAULT now(), published_at timestamptz, publish_count integer NOT NULL DEFAULT 0 ); CREATE INDEX outbox_unpublished_idx ON outbox (available_at, id) WHERE published_at IS NULL; CREATE INDEX outbox_job_idx ON outbox (job_id); -- Журнал переходов (audit): кто, когда, какая попытка, причина. Без секретов и bytes. CREATE TABLE job_events ( id bigserial PRIMARY KEY, job_id uuid NOT NULL REFERENCES jobs(id), at timestamptz NOT NULL DEFAULT clock_timestamp(), event text NOT NULL, attempt integer, actor text, detail jsonb ); CREATE INDEX job_events_job_idx ON job_events (job_id, id); -- Relay ждёт NOTIFY, а не опрашивает таблицу каждые N мс. Уведомление доставляется -- только после COMMIT; при потере уведомления relay всё равно делает опрос раз в секунду. CREATE FUNCTION outbox_notify() RETURNS trigger LANGUAGE plpgsql AS $$ BEGIN PERFORM pg_notify('outbox', ''); RETURN NULL; END $$; CREATE TRIGGER outbox_notify_trg AFTER INSERT ON outbox FOR EACH STATEMENT EXECUTE FUNCTION outbox_notify(); -- Переход lab4 -> lab5: готовые вложения lab4 не имеют вариантов. Их оригинал -- (originals/) становится staging-объектом, вложение — queued, создаётся задание. -- Готовность заявляется только когда все варианты уровня существуют. WITH legacy AS ( UPDATE attachments SET staging_key = object_key, object_key = 'attachments/' || id || '/v1/original', status = 'queued', updated_at = now() WHERE status = 'ready' RETURNING id ), new_jobs AS ( INSERT INTO jobs (id, attachment_id, pipeline_version, status, attempt, max_attempts, next_attempt_at, created_at, updated_at) SELECT gen_random_uuid(), id, 1, 'queued', 0, 5, now(), now(), now() FROM legacy RETURNING id, attachment_id, created_at ), events AS ( INSERT INTO job_events (job_id, event, attempt, actor, detail) SELECT id, 'enqueued', 1, 'migration', '{"reason":"lab4 backfill"}'::jsonb FROM new_jobs ) INSERT INTO outbox (job_id, payload, available_at) SELECT id, jsonb_build_object('schema_version', 1, 'job_id', id, 'type', 'attachment.process.v1', 'attachment_id', attachment_id, 'pipeline_version', 1, 'attempt', 1, 'created_at', to_char(created_at AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS"Z"')), now() FROM new_jobs;