forked from mtusi2026/mtusi2026lab6
92 lines
5.3 KiB
SQL
92 lines
5.3 KiB
SQL
-- migrations/0005_pipeline.sql — асинхронная обработка вложений (lab5).
|
||
|
||
-- Статусы вложения (внешние: queued, processing, ready, failed):
|
||
-- uploading — внутреннее намерение до 202 (lab4), клиенту не видно;
|
||
-- queued — оригинал в устойчивом staging, задание и outbox записаны;
|
||
-- processing — worker держит lease;
|
||
-- ready — оригинал опубликован в конечный prefix, все варианты записаны;
|
||
-- failed — постоянная ошибка или исчерпаны попытки (error_code);
|
||
-- missing — карантин reconciler (lab4).
|
||
ALTER TABLE attachments DROP CONSTRAINT attachments_status_check;
|
||
ALTER TABLE attachments ADD CONSTRAINT attachments_status_check
|
||
CHECK (status IN ('uploading', 'queued', 'processing', 'ready', 'failed', 'missing'));
|
||
ALTER TABLE attachments
|
||
ADD COLUMN error_code TEXT,
|
||
-- Версия pipeline, чей результат опубликован (0 — вариантов ещё нет).
|
||
ADD COLUMN pipeline_version INT NOT NULL DEFAULT 0,
|
||
-- Ключ staging-объекта, пока он не удалён после безопасной публикации.
|
||
ADD COLUMN staging_key TEXT;
|
||
|
||
-- Результаты обработки. Ключ эффекта — (attachment_id, pipeline_version, name):
|
||
-- повтор job не может создать второй набор вариантов той же версии.
|
||
CREATE TABLE attachment_variants (
|
||
attachment_id UUID NOT NULL REFERENCES attachments(id) ON DELETE CASCADE,
|
||
pipeline_version INT NOT NULL CHECK (pipeline_version >= 1),
|
||
name TEXT NOT NULL CHECK (name IN ('thumbnail', 'crop', 'optimized')),
|
||
object_key TEXT NOT NULL UNIQUE,
|
||
content_type TEXT NOT NULL CHECK (content_type IN ('image/jpeg', 'image/png', 'image/webp')),
|
||
size_bytes BIGINT NOT NULL CHECK (size_bytes > 0),
|
||
width INT NOT NULL CHECK (width > 0),
|
||
height INT NOT NULL CHECK (height > 0),
|
||
sha256 TEXT NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
|
||
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||
PRIMARY KEY (attachment_id, pipeline_version, name)
|
||
);
|
||
|
||
-- Логическая работа: одна на (вложение, версия pipeline). job_id не меняется
|
||
-- при повторной доставке и retry; attempt — номер управляемой попытки.
|
||
CREATE TABLE jobs (
|
||
job_id UUID PRIMARY KEY,
|
||
attachment_id UUID NOT NULL REFERENCES attachments(id) ON DELETE CASCADE,
|
||
pipeline_version INT NOT NULL CHECK (pipeline_version >= 1),
|
||
state TEXT NOT NULL CHECK (state IN ('queued', 'processing', 'done', 'failed')),
|
||
attempt INT NOT NULL DEFAULT 0,
|
||
max_attempts INT NOT NULL,
|
||
next_attempt_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||
lease_until TIMESTAMPTZ,
|
||
lease_owner TEXT,
|
||
last_error TEXT,
|
||
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||
updated_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||
UNIQUE (attachment_id, pipeline_version)
|
||
);
|
||
CREATE INDEX jobs_processing_lease_idx ON jobs (lease_until) WHERE state = 'processing';
|
||
CREATE INDEX jobs_failed_idx ON jobs (updated_at) WHERE state = 'failed';
|
||
|
||
-- Transactional outbox: сообщение для broker пишется в той же транзакции, что и
|
||
-- задание. Relay публикует с publisher confirm и помечает published_at.
|
||
CREATE TABLE outbox (
|
||
id BIGSERIAL PRIMARY KEY,
|
||
job_id UUID NOT NULL REFERENCES jobs(job_id) ON DELETE CASCADE,
|
||
payload JSONB NOT NULL,
|
||
available_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||
published_at TIMESTAMPTZ,
|
||
publish_attempts INT NOT NULL DEFAULT 0,
|
||
created_at TIMESTAMPTZ NOT NULL DEFAULT now()
|
||
);
|
||
CREATE INDEX outbox_pending_idx ON outbox (available_at, id) WHERE published_at IS NULL;
|
||
|
||
-- Аудит переходов (в том числе операторский replay).
|
||
CREATE TABLE job_events (
|
||
id BIGSERIAL PRIMARY KEY,
|
||
job_id UUID NOT NULL,
|
||
at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||
event TEXT NOT NULL,
|
||
detail TEXT
|
||
);
|
||
CREATE INDEX job_events_job_idx ON job_events (job_id, id);
|
||
|
||
-- Вложения lab4 (ready без вариантов) — дозаполнение: задание pipeline v1.
|
||
-- Оригинал остаётся доступным (ready); варианты появятся после обработки.
|
||
WITH j AS (
|
||
INSERT INTO jobs (job_id, attachment_id, pipeline_version, state, max_attempts)
|
||
SELECT gen_random_uuid(), id, 1, 'queued', 5 FROM attachments WHERE status = 'ready'
|
||
RETURNING job_id, attachment_id, pipeline_version, created_at
|
||
)
|
||
INSERT INTO outbox (job_id, payload)
|
||
SELECT job_id, jsonb_build_object(
|
||
'schema_version', 1, 'job_id', job_id, 'type', 'attachment.process.v1',
|
||
'attachment_id', attachment_id, 'pipeline_version', pipeline_version, 'attempt', 1,
|
||
'created_at', to_char(created_at AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS"Z"'))
|
||
FROM j;
|