Files
mtusi2026lab6/migrations/0005_pipeline.up.sql
T

92 lines
5.3 KiB
SQL
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
-- migrations/0005_pipeline.sql — асинхронная обработка вложений (lab5).
-- Статусы вложения (внешние: queued, processing, ready, failed):
-- uploading — внутреннее намерение до 202 (lab4), клиенту не видно;
-- queued — оригинал в устойчивом staging, задание и outbox записаны;
-- processing — worker держит lease;
-- ready — оригинал опубликован в конечный prefix, все варианты записаны;
-- failed — постоянная ошибка или исчерпаны попытки (error_code);
-- missing — карантин reconciler (lab4).
ALTER TABLE attachments DROP CONSTRAINT attachments_status_check;
ALTER TABLE attachments ADD CONSTRAINT attachments_status_check
CHECK (status IN ('uploading', 'queued', 'processing', 'ready', 'failed', 'missing'));
ALTER TABLE attachments
ADD COLUMN error_code TEXT,
-- Версия pipeline, чей результат опубликован (0 — вариантов ещё нет).
ADD COLUMN pipeline_version INT NOT NULL DEFAULT 0,
-- Ключ staging-объекта, пока он не удалён после безопасной публикации.
ADD COLUMN staging_key TEXT;
-- Результаты обработки. Ключ эффекта — (attachment_id, pipeline_version, name):
-- повтор job не может создать второй набор вариантов той же версии.
CREATE TABLE attachment_variants (
attachment_id UUID NOT NULL REFERENCES attachments(id) ON DELETE CASCADE,
pipeline_version INT NOT NULL CHECK (pipeline_version >= 1),
name TEXT NOT NULL CHECK (name IN ('thumbnail', 'crop', 'optimized')),
object_key TEXT NOT NULL UNIQUE,
content_type TEXT NOT NULL CHECK (content_type IN ('image/jpeg', 'image/png', 'image/webp')),
size_bytes BIGINT NOT NULL CHECK (size_bytes > 0),
width INT NOT NULL CHECK (width > 0),
height INT NOT NULL CHECK (height > 0),
sha256 TEXT NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
PRIMARY KEY (attachment_id, pipeline_version, name)
);
-- Логическая работа: одна на (вложение, версия pipeline). job_id не меняется
-- при повторной доставке и retry; attempt — номер управляемой попытки.
CREATE TABLE jobs (
job_id UUID PRIMARY KEY,
attachment_id UUID NOT NULL REFERENCES attachments(id) ON DELETE CASCADE,
pipeline_version INT NOT NULL CHECK (pipeline_version >= 1),
state TEXT NOT NULL CHECK (state IN ('queued', 'processing', 'done', 'failed')),
attempt INT NOT NULL DEFAULT 0,
max_attempts INT NOT NULL,
next_attempt_at TIMESTAMPTZ NOT NULL DEFAULT now(),
lease_until TIMESTAMPTZ,
lease_owner TEXT,
last_error TEXT,
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
updated_at TIMESTAMPTZ NOT NULL DEFAULT now(),
UNIQUE (attachment_id, pipeline_version)
);
CREATE INDEX jobs_processing_lease_idx ON jobs (lease_until) WHERE state = 'processing';
CREATE INDEX jobs_failed_idx ON jobs (updated_at) WHERE state = 'failed';
-- Transactional outbox: сообщение для broker пишется в той же транзакции, что и
-- задание. Relay публикует с publisher confirm и помечает published_at.
CREATE TABLE outbox (
id BIGSERIAL PRIMARY KEY,
job_id UUID NOT NULL REFERENCES jobs(job_id) ON DELETE CASCADE,
payload JSONB NOT NULL,
available_at TIMESTAMPTZ NOT NULL DEFAULT now(),
published_at TIMESTAMPTZ,
publish_attempts INT NOT NULL DEFAULT 0,
created_at TIMESTAMPTZ NOT NULL DEFAULT now()
);
CREATE INDEX outbox_pending_idx ON outbox (available_at, id) WHERE published_at IS NULL;
-- Аудит переходов (в том числе операторский replay).
CREATE TABLE job_events (
id BIGSERIAL PRIMARY KEY,
job_id UUID NOT NULL,
at TIMESTAMPTZ NOT NULL DEFAULT now(),
event TEXT NOT NULL,
detail TEXT
);
CREATE INDEX job_events_job_idx ON job_events (job_id, id);
-- Вложения lab4 (ready без вариантов) — дозаполнение: задание pipeline v1.
-- Оригинал остаётся доступным (ready); варианты появятся после обработки.
WITH j AS (
INSERT INTO jobs (job_id, attachment_id, pipeline_version, state, max_attempts)
SELECT gen_random_uuid(), id, 1, 'queued', 5 FROM attachments WHERE status = 'ready'
RETURNING job_id, attachment_id, pipeline_version, created_at
)
INSERT INTO outbox (job_id, payload)
SELECT job_id, jsonb_build_object(
'schema_version', 1, 'job_id', job_id, 'type', 'attachment.process.v1',
'attachment_id', attachment_id, 'pipeline_version', pipeline_version, 'attempt', 1,
'created_at', to_char(created_at AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS"Z"'))
FROM j;