Files
mtusi2026lab5/migrations/0005_async_pipeline.sql
T

61 lines
3.5 KiB
SQL

-- 0005 (lab5): асинхронная обработка вложений — состояния, варианты, outbox, журнал событий.
-- Расширение обратно совместимо с lab4: старые строки (ready) остаются валидными.
ALTER TABLE attachments
ADD COLUMN staging_key text,
ADD COLUMN pipeline_version integer NOT NULL DEFAULT 1,
ADD COLUMN attempt integer NOT NULL DEFAULT 0,
ADD COLUMN job_id uuid,
ADD COLUMN lease_owner text,
ADD COLUMN lease_expires_at timestamptz,
ADD COLUMN processing_started_at timestamptz,
ADD COLUMN accepted_at timestamptz NOT NULL DEFAULT clock_timestamp(),
ADD COLUMN ready_at timestamptz;
-- очередь/backlog и поиск зависших processing без полного скана
CREATE INDEX attachments_active ON attachments (status, accepted_at) WHERE status IN ('queued', 'processing');
CREATE INDEX attachments_lease ON attachments (lease_expires_at) WHERE status = 'processing';
-- Результаты обработки. Ключ эффекта (attachment_id, pipeline_version, name): повторная запись не создаёт второй набор вариантов.
CREATE TABLE attachment_variants (
attachment_id uuid NOT NULL REFERENCES attachments (id) ON DELETE CASCADE,
pipeline_version integer NOT NULL,
name text NOT NULL,
content_type text NOT NULL,
size_bytes bigint NOT NULL,
width integer NOT NULL,
height integer NOT NULL,
sha256 text NOT NULL,
s3_key text NOT NULL,
created_at timestamptz NOT NULL DEFAULT now(),
PRIMARY KEY (attachment_id, pipeline_version, name),
CONSTRAINT variants_name CHECK (name IN ('thumbnail', 'crop', 'optimized')),
CONSTRAINT variants_content_type CHECK (content_type IN ('image/jpeg', 'image/png', 'image/webp'))
);
-- Transactional outbox: намерение «обработать файл» фиксируется В ТОЙ ЖЕ транзакции, что и строка вложения.
-- Relay публикует строки в брокер (publisher confirm) и только затем ставит published_at. available_at — отложенная
-- публикация (backoff между попытками). Доставка at-least-once; обработка идемпотентна.
CREATE TABLE outbox (
id bigserial PRIMARY KEY,
job_id uuid NOT NULL,
attachment_id uuid NOT NULL REFERENCES attachments (id) ON DELETE CASCADE,
pipeline_version integer NOT NULL DEFAULT 1,
attempt integer NOT NULL,
available_at timestamptz NOT NULL DEFAULT now(),
published_at timestamptz,
created_at timestamptz NOT NULL DEFAULT now()
);
CREATE INDEX outbox_pending ON outbox (available_at) WHERE published_at IS NULL;
-- Журнал событий пайплайна (аудит операторского replay, причины отказов; без секретов).
CREATE TABLE job_events (
id bigserial PRIMARY KEY,
attachment_id uuid NOT NULL,
job_id uuid,
event text NOT NULL,
attempt integer,
detail text,
created_at timestamptz NOT NULL DEFAULT now()
);
CREATE INDEX job_events_attachment ON job_events (attachment_id, id);