Files
mtusi2026lab5/migrations/006_jobs.sql
T
2026-10-25 21:43:03 +03:00

112 lines
8.2 KiB
SQL

-- 006 (lab5): асинхронная обработка вложений — задания, transactional outbox, варианты, журнал.
--
-- Что меняется по сравнению с lab4:
-- * загрузка больше не делает вложение готовым сразу. API кладёт оригинал в staging S3
-- (staging/<id>) и в ОДНОЙ транзакции пишет: строку вложения (queued), задание и строку outbox.
-- Только после COMMIT отвечает 202. Сообщение в брокер отправляет отдельный цикл (relay):
-- так «намерение обработать» не теряется, даже если брокер недоступен или API упал сразу
-- после COMMIT (transactional outbox);
-- * worker переводит задание queued -> processing -> ready/failed и пишет варианты.
--
-- Состояния вложения (attachments.status, наружу отдаются как есть):
-- queued — оригинал в staging, задание сохранено, ждёт worker (или повтора после паузы);
-- processing — worker взял задание под lease (аренду) с крайним сроком;
-- ready — оригинал опубликован в originals/<id>, все варианты записаны и закоммичены;
-- failed — постоянная ошибка или исчерпаны попытки; error_code — краткий машинный код.
-- Старый статус pending (lab4: загрузка, прерванная между S3 и COMMIT) больше не нужен:
-- такие строки никогда не были видны клиенту, их объекты уберёт уборщик как «сироты».
DELETE FROM attachments a
WHERE a.status = 'pending'
AND NOT EXISTS (SELECT 1 FROM message_attachments ma WHERE ma.attachment_id = a.id);
ALTER TABLE attachments DROP CONSTRAINT attachments_status_check;
ALTER TABLE attachments ADD CONSTRAINT attachments_status_check
CHECK (status IN ('queued', 'processing', 'ready', 'failed'));
ALTER TABLE attachments
ADD COLUMN error_code text CHECK (error_code ~ '^[a-z_]{1,64}$'),
-- staging/<id>: где лежит принятый оригинал до обработки. NULL у вложений lab4 (их не было).
ADD COLUMN staging_key text UNIQUE;
-- error_code заполнен ровно у failed.
ALTER TABLE attachments ADD CONSTRAINT attachments_error_only_when_failed
CHECK ((status = 'failed') = (error_code IS NOT NULL));
DROP INDEX IF EXISTS attachments_pending_idx;
-- Задание обработки: одна строка на (вложение, версия pipeline). job_id не меняется при повторах.
CREATE TABLE attachment_jobs (
job_id uuid PRIMARY KEY,
attachment_id uuid NOT NULL REFERENCES attachments (id),
pipeline_version integer NOT NULL CHECK (pipeline_version >= 1),
status text NOT NULL CHECK (status IN ('queued', 'processing', 'ready', 'failed')),
-- Номер управляемой попытки. Растёт при каждом повторе (временная ошибка, истёк lease, replay);
-- сообщение брокера несёт этот номер, и сообщение со старым номером считается устаревшим дублем.
attempt integer NOT NULL CHECK (attempt >= 1),
max_attempts integer NOT NULL CHECK (max_attempts >= 1),
next_attempt_at timestamptz NOT NULL DEFAULT now(),
-- Lease: кто обрабатывает, «жетон» аренды и до какого времени аренда действует.
-- Результат принимается, только если жетон совпадает (fencing): опоздавший worker,
-- у которого аренду уже забрали, ничего не перезапишет.
lease_owner text,
lease_token uuid,
lease_until timestamptz,
last_error_code text CHECK (last_error_code ~ '^[a-z_]{1,64}$'),
last_error text CHECK (char_length(last_error) <= 300), -- без stack trace и секретов
created_at timestamptz NOT NULL DEFAULT now(),
updated_at timestamptz NOT NULL DEFAULT now(),
finished_at timestamptz,
CONSTRAINT attachment_jobs_one_per_version UNIQUE (attachment_id, pipeline_version),
CONSTRAINT attachment_jobs_lease_only_when_processing
CHECK ((status = 'processing') = (lease_token IS NOT NULL AND lease_until IS NOT NULL AND lease_owner IS NOT NULL))
);
-- Поиск «зависших» заданий (истёк lease) и заданий в очереди.
CREATE INDEX attachment_jobs_lease_idx ON attachment_jobs (lease_until) WHERE status = 'processing';
CREATE INDEX attachment_jobs_queued_idx ON attachment_jobs (next_attempt_at) WHERE status = 'queued';
-- Transactional outbox: сообщения для брокера, записанные в той же транзакции, что и задание.
-- payload — ровно тело сообщения по contracts/jobs.schema.json: только ID и служебные поля,
-- без байтов файла, ключей S3, URL и паролей.
CREATE TABLE outbox (
id bigserial PRIMARY KEY,
job_id uuid NOT NULL REFERENCES attachment_jobs (job_id),
attempt integer NOT NULL CHECK (attempt >= 1),
payload jsonb NOT NULL,
available_at timestamptz NOT NULL DEFAULT now(), -- не раньше (отложенный повтор с backoff)
created_at timestamptz NOT NULL DEFAULT now(),
published_at timestamptz, -- брокер подтвердил приём (publisher confirm)
published_by text
);
-- Relay читает только неотправленные строки, у которых подошло время: частичный индекс маленький.
CREATE INDEX outbox_unpublished_idx ON outbox (available_at, id) WHERE published_at IS NULL;
CREATE INDEX outbox_job_idx ON outbox (job_id);
-- Варианты. Первичный ключ = ключ эффекта из контракта (attachment_id, pipeline_version, variant):
-- повтор задания не может создать второй набор вариантов.
CREATE TABLE attachment_variants (
attachment_id uuid NOT NULL REFERENCES attachments (id),
pipeline_version integer NOT NULL CHECK (pipeline_version >= 1),
name text NOT NULL CHECK (name IN ('thumbnail', 'crop', 'optimized')),
storage_key text NOT NULL UNIQUE,
content_type text NOT NULL CHECK (content_type IN ('image/jpeg', 'image/png', 'image/webp')),
size_bytes bigint NOT NULL CHECK (size_bytes > 0),
width integer NOT NULL CHECK (width > 0),
height integer NOT NULL CHECK (height > 0),
sha256 text NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
job_id uuid NOT NULL REFERENCES attachment_jobs (job_id),
created_at timestamptz NOT NULL DEFAULT now(),
PRIMARY KEY (attachment_id, pipeline_version, name)
);
-- Журнал заданий: что и когда происходило (взято, повтор, lease истёк, дубль, replay оператора).
-- Нужен для расследования и для аудита ручного replay. Без секретов и содержимого файлов.
CREATE TABLE job_events (
id bigserial PRIMARY KEY,
job_id uuid NOT NULL,
attachment_id uuid NOT NULL,
attempt integer,
event text NOT NULL CHECK (event ~ '^[a-z_]{1,40}$'),
actor text NOT NULL,
detail text CHECK (char_length(detail) <= 300),
created_at timestamptz NOT NULL DEFAULT now()
);
CREATE INDEX job_events_job_idx ON job_events (job_id, id);