forked from mtusi2026/mtusi2026lab7
Перенесена реализация lab6; бизнес-API без изменений, транспорт — HTTPS. - Внешний HTTPS (public-ca) на 127.0.0.1:8443; HSTS, TLS >= 1.2. - Обязательное mTLS LB -> каждая API-реплика: API проверяет цепочку internal-ca и SAN клиента (allowlist: lb); health только на 127.0.0.1. - TLS с проверкой сервера ко всем зависимостям: PostgreSQL verify-full (pg_hba только hostssl), HTTPS S3, AMQPS, OTLP/HTTPS с client cert, mTLS Collector -> Prometheus/Loki/Tempo, Grafana -> datasources, scrape. - OpenBao 2.7.2 не в dev-mode: Raft на volume, init/unseal оператором, auth/cert с ролью и policy на сервис, TTL 15 мин + renew/re-login. - Отдельные роли PostgreSQL с грантами по таблицам; разные ключи S3 и пользователи брокера выдаются из OpenBao. - Argon2id (m=19 MiB, t=2, p=1, замер на стенде) и rehash при входе. - Случайный X-Instance-Id; hardening контейнеров (non-root, cap_drop ALL, no-new-privileges, read-only, лимиты); TCP_NODELAY на сокете API. - Модель угроз, trust matrix, отрицательные тесты TLS/mTLS, API, OpenBao, hardening; evidence, в т.ч. прогон из чистого clone.
127 lines
7.4 KiB
PL/PgSQL
127 lines
7.4 KiB
PL/PgSQL
-- Lab5: асинхронная обработка вложений (очередь RabbitMQ + worker).
|
||
--
|
||
-- Жизненный цикл attachments.status:
|
||
-- pending — внутреннее: строка записана ДО PUT в staging, API её не показывает (как в lab4);
|
||
-- queued — оригинал в staging + задание + запись outbox зафиксированы ОДНОЙ транзакцией, ответ 202;
|
||
-- processing — worker взял аренду (lease) задания;
|
||
-- ready — оригинал и все варианты в конечном prefix, метаданные вариантов записаны;
|
||
-- failed — постоянная ошибка или исчерпаны попытки (error_code).
|
||
-- Источник истины по состоянию задания — таблица jobs; сообщение брокера — только «пинок»
|
||
-- с job_id: worker все решения принимает по строке jobs (FOR UPDATE).
|
||
ALTER TABLE attachments DROP CONSTRAINT attachments_status_check;
|
||
ALTER TABLE attachments ADD CONSTRAINT attachments_status_check
|
||
CHECK (status IN ('pending', 'queued', 'processing', 'ready', 'failed'));
|
||
-- Ключ staging-объекта (staging/<uuid>); NULL после безопасной очистки.
|
||
ALTER TABLE attachments ADD COLUMN staging_key text UNIQUE;
|
||
ALTER TABLE attachments ADD COLUMN error_code text;
|
||
-- Версия pipeline, результат которой сейчас опубликован/ожидается (основной курс: 1).
|
||
ALTER TABLE attachments ADD COLUMN pipeline_version integer NOT NULL DEFAULT 1;
|
||
|
||
-- Одна логическая работа = (attachment_id, pipeline_version). job_id не меняется при
|
||
-- redelivery и retry; attempt — номер управляемой попытки (растёт при каждом захвате).
|
||
CREATE TABLE jobs (
|
||
id uuid PRIMARY KEY,
|
||
attachment_id uuid NOT NULL REFERENCES attachments(id),
|
||
pipeline_version integer NOT NULL CHECK (pipeline_version >= 1),
|
||
status text NOT NULL CHECK (status IN ('queued', 'processing', 'ready', 'failed')),
|
||
attempt integer NOT NULL DEFAULT 0 CHECK (attempt >= 0),
|
||
max_attempts integer NOT NULL CHECK (max_attempts >= 1),
|
||
next_attempt_at timestamptz NOT NULL,
|
||
-- Аренда: кто обрабатывает (host:boot), токен попытки (fencing) и срок.
|
||
lease_owner text,
|
||
lease_token uuid,
|
||
lease_until timestamptz,
|
||
error_code text,
|
||
last_error text,
|
||
replay_count integer NOT NULL DEFAULT 0,
|
||
created_at timestamptz NOT NULL,
|
||
updated_at timestamptz NOT NULL,
|
||
finished_at timestamptz,
|
||
UNIQUE (attachment_id, pipeline_version),
|
||
CHECK ((status = 'processing') = (lease_token IS NOT NULL))
|
||
);
|
||
CREATE INDEX jobs_lease_idx ON jobs (lease_until) WHERE status = 'processing';
|
||
CREATE INDEX jobs_queued_idx ON jobs (updated_at) WHERE status = 'queued';
|
||
CREATE INDEX jobs_failed_idx ON jobs (updated_at) WHERE status = 'failed';
|
||
|
||
-- Результаты: ключ эффекта (attachment_id, pipeline_version, variant) — PRIMARY KEY.
|
||
-- Повтор job не может создать второй набор вариантов.
|
||
CREATE TABLE attachment_variants (
|
||
attachment_id uuid NOT NULL REFERENCES attachments(id),
|
||
pipeline_version integer NOT NULL,
|
||
name text NOT NULL CHECK (name IN ('thumbnail', 'crop', 'optimized')),
|
||
object_key text NOT NULL UNIQUE,
|
||
content_type text NOT NULL CHECK (content_type IN ('image/jpeg', 'image/png', 'image/webp')),
|
||
size_bytes bigint NOT NULL CHECK (size_bytes > 0),
|
||
width integer NOT NULL CHECK (width > 0),
|
||
height integer NOT NULL CHECK (height > 0),
|
||
sha256 text NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
|
||
created_at timestamptz NOT NULL,
|
||
PRIMARY KEY (attachment_id, pipeline_version, name)
|
||
);
|
||
|
||
-- Transactional outbox: сообщение для брокера пишется в той же транзакции, что и
|
||
-- задание. Relay публикует с publisher confirm и только потом ставит published_at.
|
||
-- available_at позволяет отложить публикацию (retry с backoff).
|
||
CREATE TABLE outbox (
|
||
id bigserial PRIMARY KEY,
|
||
job_id uuid NOT NULL REFERENCES jobs(id),
|
||
payload jsonb NOT NULL,
|
||
available_at timestamptz NOT NULL,
|
||
created_at timestamptz NOT NULL DEFAULT now(),
|
||
published_at timestamptz,
|
||
publish_count integer NOT NULL DEFAULT 0
|
||
);
|
||
CREATE INDEX outbox_unpublished_idx ON outbox (available_at, id) WHERE published_at IS NULL;
|
||
CREATE INDEX outbox_job_idx ON outbox (job_id);
|
||
|
||
-- Журнал переходов (audit): кто, когда, какая попытка, причина. Без секретов и bytes.
|
||
CREATE TABLE job_events (
|
||
id bigserial PRIMARY KEY,
|
||
job_id uuid NOT NULL REFERENCES jobs(id),
|
||
at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||
event text NOT NULL,
|
||
attempt integer,
|
||
actor text,
|
||
detail jsonb
|
||
);
|
||
CREATE INDEX job_events_job_idx ON job_events (job_id, id);
|
||
|
||
-- Relay ждёт NOTIFY, а не опрашивает таблицу каждые N мс. Уведомление доставляется
|
||
-- только после COMMIT; при потере уведомления relay всё равно делает опрос раз в секунду.
|
||
CREATE FUNCTION outbox_notify() RETURNS trigger LANGUAGE plpgsql AS $$
|
||
BEGIN
|
||
PERFORM pg_notify('outbox', '');
|
||
RETURN NULL;
|
||
END $$;
|
||
CREATE TRIGGER outbox_notify_trg AFTER INSERT ON outbox
|
||
FOR EACH STATEMENT EXECUTE FUNCTION outbox_notify();
|
||
|
||
-- Переход lab4 -> lab5: готовые вложения lab4 не имеют вариантов. Их оригинал
|
||
-- (originals/<uuid>) становится staging-объектом, вложение — queued, создаётся задание.
|
||
-- Готовность заявляется только когда все варианты уровня существуют.
|
||
WITH legacy AS (
|
||
UPDATE attachments
|
||
SET staging_key = object_key,
|
||
object_key = 'attachments/' || id || '/v1/original',
|
||
status = 'queued',
|
||
updated_at = now()
|
||
WHERE status = 'ready'
|
||
RETURNING id
|
||
), new_jobs AS (
|
||
INSERT INTO jobs (id, attachment_id, pipeline_version, status, attempt, max_attempts,
|
||
next_attempt_at, created_at, updated_at)
|
||
SELECT gen_random_uuid(), id, 1, 'queued', 0, 5, now(), now(), now() FROM legacy
|
||
RETURNING id, attachment_id, created_at
|
||
), events AS (
|
||
INSERT INTO job_events (job_id, event, attempt, actor, detail)
|
||
SELECT id, 'enqueued', 1, 'migration', '{"reason":"lab4 backfill"}'::jsonb FROM new_jobs
|
||
)
|
||
INSERT INTO outbox (job_id, payload, available_at)
|
||
SELECT id,
|
||
jsonb_build_object('schema_version', 1, 'job_id', id, 'type', 'attachment.process.v1',
|
||
'attachment_id', attachment_id, 'pipeline_version', 1, 'attempt', 1,
|
||
'created_at', to_char(created_at AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS"Z"')),
|
||
now()
|
||
FROM new_jobs;
|