forked from mtusi2026/mtusi2026lab5
112 lines
8.2 KiB
SQL
112 lines
8.2 KiB
SQL
-- 006 (lab5): асинхронная обработка вложений — задания, transactional outbox, варианты, журнал.
|
|
--
|
|
-- Что меняется по сравнению с lab4:
|
|
-- * загрузка больше не делает вложение готовым сразу. API кладёт оригинал в staging S3
|
|
-- (staging/<id>) и в ОДНОЙ транзакции пишет: строку вложения (queued), задание и строку outbox.
|
|
-- Только после COMMIT отвечает 202. Сообщение в брокер отправляет отдельный цикл (relay):
|
|
-- так «намерение обработать» не теряется, даже если брокер недоступен или API упал сразу
|
|
-- после COMMIT (transactional outbox);
|
|
-- * worker переводит задание queued -> processing -> ready/failed и пишет варианты.
|
|
--
|
|
-- Состояния вложения (attachments.status, наружу отдаются как есть):
|
|
-- queued — оригинал в staging, задание сохранено, ждёт worker (или повтора после паузы);
|
|
-- processing — worker взял задание под lease (аренду) с крайним сроком;
|
|
-- ready — оригинал опубликован в originals/<id>, все варианты записаны и закоммичены;
|
|
-- failed — постоянная ошибка или исчерпаны попытки; error_code — краткий машинный код.
|
|
-- Старый статус pending (lab4: загрузка, прерванная между S3 и COMMIT) больше не нужен:
|
|
-- такие строки никогда не были видны клиенту, их объекты уберёт уборщик как «сироты».
|
|
|
|
DELETE FROM attachments a
|
|
WHERE a.status = 'pending'
|
|
AND NOT EXISTS (SELECT 1 FROM message_attachments ma WHERE ma.attachment_id = a.id);
|
|
|
|
ALTER TABLE attachments DROP CONSTRAINT attachments_status_check;
|
|
ALTER TABLE attachments ADD CONSTRAINT attachments_status_check
|
|
CHECK (status IN ('queued', 'processing', 'ready', 'failed'));
|
|
ALTER TABLE attachments
|
|
ADD COLUMN error_code text CHECK (error_code ~ '^[a-z_]{1,64}$'),
|
|
-- staging/<id>: где лежит принятый оригинал до обработки. NULL у вложений lab4 (их не было).
|
|
ADD COLUMN staging_key text UNIQUE;
|
|
-- error_code заполнен ровно у failed.
|
|
ALTER TABLE attachments ADD CONSTRAINT attachments_error_only_when_failed
|
|
CHECK ((status = 'failed') = (error_code IS NOT NULL));
|
|
DROP INDEX IF EXISTS attachments_pending_idx;
|
|
|
|
-- Задание обработки: одна строка на (вложение, версия pipeline). job_id не меняется при повторах.
|
|
CREATE TABLE attachment_jobs (
|
|
job_id uuid PRIMARY KEY,
|
|
attachment_id uuid NOT NULL REFERENCES attachments (id),
|
|
pipeline_version integer NOT NULL CHECK (pipeline_version >= 1),
|
|
status text NOT NULL CHECK (status IN ('queued', 'processing', 'ready', 'failed')),
|
|
-- Номер управляемой попытки. Растёт при каждом повторе (временная ошибка, истёк lease, replay);
|
|
-- сообщение брокера несёт этот номер, и сообщение со старым номером считается устаревшим дублем.
|
|
attempt integer NOT NULL CHECK (attempt >= 1),
|
|
max_attempts integer NOT NULL CHECK (max_attempts >= 1),
|
|
next_attempt_at timestamptz NOT NULL DEFAULT now(),
|
|
-- Lease: кто обрабатывает, «жетон» аренды и до какого времени аренда действует.
|
|
-- Результат принимается, только если жетон совпадает (fencing): опоздавший worker,
|
|
-- у которого аренду уже забрали, ничего не перезапишет.
|
|
lease_owner text,
|
|
lease_token uuid,
|
|
lease_until timestamptz,
|
|
last_error_code text CHECK (last_error_code ~ '^[a-z_]{1,64}$'),
|
|
last_error text CHECK (char_length(last_error) <= 300), -- без stack trace и секретов
|
|
created_at timestamptz NOT NULL DEFAULT now(),
|
|
updated_at timestamptz NOT NULL DEFAULT now(),
|
|
finished_at timestamptz,
|
|
CONSTRAINT attachment_jobs_one_per_version UNIQUE (attachment_id, pipeline_version),
|
|
CONSTRAINT attachment_jobs_lease_only_when_processing
|
|
CHECK ((status = 'processing') = (lease_token IS NOT NULL AND lease_until IS NOT NULL AND lease_owner IS NOT NULL))
|
|
);
|
|
-- Поиск «зависших» заданий (истёк lease) и заданий в очереди.
|
|
CREATE INDEX attachment_jobs_lease_idx ON attachment_jobs (lease_until) WHERE status = 'processing';
|
|
CREATE INDEX attachment_jobs_queued_idx ON attachment_jobs (next_attempt_at) WHERE status = 'queued';
|
|
|
|
-- Transactional outbox: сообщения для брокера, записанные в той же транзакции, что и задание.
|
|
-- payload — ровно тело сообщения по contracts/jobs.schema.json: только ID и служебные поля,
|
|
-- без байтов файла, ключей S3, URL и паролей.
|
|
CREATE TABLE outbox (
|
|
id bigserial PRIMARY KEY,
|
|
job_id uuid NOT NULL REFERENCES attachment_jobs (job_id),
|
|
attempt integer NOT NULL CHECK (attempt >= 1),
|
|
payload jsonb NOT NULL,
|
|
available_at timestamptz NOT NULL DEFAULT now(), -- не раньше (отложенный повтор с backoff)
|
|
created_at timestamptz NOT NULL DEFAULT now(),
|
|
published_at timestamptz, -- брокер подтвердил приём (publisher confirm)
|
|
published_by text
|
|
);
|
|
-- Relay читает только неотправленные строки, у которых подошло время: частичный индекс маленький.
|
|
CREATE INDEX outbox_unpublished_idx ON outbox (available_at, id) WHERE published_at IS NULL;
|
|
CREATE INDEX outbox_job_idx ON outbox (job_id);
|
|
|
|
-- Варианты. Первичный ключ = ключ эффекта из контракта (attachment_id, pipeline_version, variant):
|
|
-- повтор задания не может создать второй набор вариантов.
|
|
CREATE TABLE attachment_variants (
|
|
attachment_id uuid NOT NULL REFERENCES attachments (id),
|
|
pipeline_version integer NOT NULL CHECK (pipeline_version >= 1),
|
|
name text NOT NULL CHECK (name IN ('thumbnail', 'crop', 'optimized')),
|
|
storage_key text NOT NULL UNIQUE,
|
|
content_type text NOT NULL CHECK (content_type IN ('image/jpeg', 'image/png', 'image/webp')),
|
|
size_bytes bigint NOT NULL CHECK (size_bytes > 0),
|
|
width integer NOT NULL CHECK (width > 0),
|
|
height integer NOT NULL CHECK (height > 0),
|
|
sha256 text NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
|
|
job_id uuid NOT NULL REFERENCES attachment_jobs (job_id),
|
|
created_at timestamptz NOT NULL DEFAULT now(),
|
|
PRIMARY KEY (attachment_id, pipeline_version, name)
|
|
);
|
|
|
|
-- Журнал заданий: что и когда происходило (взято, повтор, lease истёк, дубль, replay оператора).
|
|
-- Нужен для расследования и для аудита ручного replay. Без секретов и содержимого файлов.
|
|
CREATE TABLE job_events (
|
|
id bigserial PRIMARY KEY,
|
|
job_id uuid NOT NULL,
|
|
attachment_id uuid NOT NULL,
|
|
attempt integer,
|
|
event text NOT NULL CHECK (event ~ '^[a-z_]{1,40}$'),
|
|
actor text NOT NULL,
|
|
detail text CHECK (char_length(detail) <= 300),
|
|
created_at timestamptz NOT NULL DEFAULT now()
|
|
);
|
|
CREATE INDEX job_events_job_idx ON job_events (job_id, id);
|