Асинхронная обработка вложений: RabbitMQ 4.1 (quorum-очереди, publisher confirms, manual ack, DLQ), transactional outbox, отдельный worker. - upload: оригинал в staging S3, затем одной транзакцией queued + jobs + outbox -> 202; API к брокеру не подключается - relay: публикация outbox с confirm, reaper истёкших аренд, redrive - worker: claim по строке jobs, аренда с heartbeat и fencing по lease_token, transform в подпроцессе с RLIMIT_AS/RLIMIT_CPU/таймаутом, thumbnail 256, crop 128, WebP 1280 по детерминированным ключам - retry с backoff и jitter, постоянные/временные ошибки, реестр failed, ops replay (ready не повторяется), DLQ для невалидных сообщений - janitor: очистка staging и сирот; миграция 004 с backfill вложений lab4 - тесты отказов: окна COMMIT/publish, крахи worker до/после S3 и ack, заморозка worker, всплеск загрузок, права брокера; evidence/ и REPORT.md
41 lines
2.8 KiB
SQL
41 lines
2.8 KiB
SQL
-- Lab4: метаданные вложений (PostgreSQL) отдельно от байтов (приватный S3-bucket).
|
|
-- Expand-only: только новые таблицы, код lab3 продолжает работать на этой схеме.
|
|
--
|
|
-- Жизненный цикл строки attachments:
|
|
-- pending — намерение записано ДО S3 PUT (известны размер, SHA-256, object_key);
|
|
-- ready — объект в S3 подтверждён, строка видна API и может быть прикреплена.
|
|
-- Если процесс упал/БД отказала между PUT и переводом в ready, строка остаётся pending.
|
|
-- Её находит janitor (src/janitor.py) по created_at старше grace period и удаляет
|
|
-- сначала объект в S3, затем строку. Поэтому в S3 нет объектов, о которых не знает БД.
|
|
CREATE TABLE attachments (
|
|
id uuid PRIMARY KEY,
|
|
chat_id uuid NOT NULL REFERENCES chats(id),
|
|
owner_id uuid NOT NULL REFERENCES users(id),
|
|
filename text NOT NULL CHECK (char_length(filename) BETWEEN 1 AND 255),
|
|
content_type text NOT NULL CHECK (content_type IN ('image/png', 'image/jpeg')),
|
|
size_bytes bigint NOT NULL CHECK (size_bytes BETWEEN 1 AND 10485760),
|
|
sha256 text NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
|
|
width integer NOT NULL CHECK (width > 0),
|
|
height integer NOT NULL CHECK (height > 0),
|
|
-- Ключ назначает сервер (случайный), filename в нём не участвует.
|
|
object_key text NOT NULL UNIQUE,
|
|
status text NOT NULL CHECK (status IN ('pending', 'ready')),
|
|
created_at timestamptz NOT NULL,
|
|
updated_at timestamptz NOT NULL
|
|
);
|
|
CREATE INDEX attachments_chat_idx ON attachments (chat_id);
|
|
-- Janitor ищет только «зависшие» pending: частичный индекс маленький.
|
|
CREATE INDEX attachments_pending_idx ON attachments (created_at) WHERE status = 'pending';
|
|
|
|
-- Ссылки сообщения на вложения (порядок как в запросе).
|
|
CREATE TABLE message_attachments (
|
|
message_id uuid NOT NULL REFERENCES messages(id),
|
|
attachment_id uuid NOT NULL REFERENCES attachments(id),
|
|
position integer NOT NULL,
|
|
PRIMARY KEY (message_id, attachment_id)
|
|
);
|
|
CREATE INDEX message_attachments_attachment_idx ON message_attachments (attachment_id);
|
|
|
|
-- Отпечаток тела в ключе идемпотентности уже включает attachment_ids (= [] для lab3),
|
|
-- поэтому существующие ключи остаются валидными без пересчёта.
|