forked from mtusi2026/mtusi2026lab4
Перенос lab3 и вложения в приватном S3 (SeaweedFS 4.50).
- POST /chats/{id}/attachments: потоковый приём PNG/JPEG в безымянный
временный файл, SHA-256 на лету, лимиты 10 MiB / 40 Мпикс до чтения
и декодирования, проверка MIME по содержимому, валидация filename.
- Порядок записи pending -> S3 PUT -> ready с компенсацией; janitor
сверяет БД и bucket (dry-run, grace period, advisory lock).
- GET /attachments/{id} и /content только участникам чата, без redirect;
attachment_ids в сообщениях с проверкой принадлежности чату.
- Отдельные S3-ключи api/janitor/admin с ограниченными правами,
идемпотентный bootstrap bucket, служебные порты SeaweedFS закрыты.
- Ограничение параллельных S3 PUT и MALLOC_ARENA_MAX: пик RSS API
178-189 -> 95-102 MiB; лимиты памяти и restart для SeaweedFS после OOM.
- Тесты уровня 4 (негативные, failover вложений, отказы S3/БД, память)
и доказательства в evidence/, заполнен REPORT.md.
41 lines
2.8 KiB
SQL
41 lines
2.8 KiB
SQL
-- Lab4: метаданные вложений (PostgreSQL) отдельно от байтов (приватный S3-bucket).
|
|
-- Expand-only: только новые таблицы, код lab3 продолжает работать на этой схеме.
|
|
--
|
|
-- Жизненный цикл строки attachments:
|
|
-- pending — намерение записано ДО S3 PUT (известны размер, SHA-256, object_key);
|
|
-- ready — объект в S3 подтверждён, строка видна API и может быть прикреплена.
|
|
-- Если процесс упал/БД отказала между PUT и переводом в ready, строка остаётся pending.
|
|
-- Её находит janitor (src/janitor.py) по created_at старше grace period и удаляет
|
|
-- сначала объект в S3, затем строку. Поэтому в S3 нет объектов, о которых не знает БД.
|
|
CREATE TABLE attachments (
|
|
id uuid PRIMARY KEY,
|
|
chat_id uuid NOT NULL REFERENCES chats(id),
|
|
owner_id uuid NOT NULL REFERENCES users(id),
|
|
filename text NOT NULL CHECK (char_length(filename) BETWEEN 1 AND 255),
|
|
content_type text NOT NULL CHECK (content_type IN ('image/png', 'image/jpeg')),
|
|
size_bytes bigint NOT NULL CHECK (size_bytes BETWEEN 1 AND 10485760),
|
|
sha256 text NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
|
|
width integer NOT NULL CHECK (width > 0),
|
|
height integer NOT NULL CHECK (height > 0),
|
|
-- Ключ назначает сервер (случайный), filename в нём не участвует.
|
|
object_key text NOT NULL UNIQUE,
|
|
status text NOT NULL CHECK (status IN ('pending', 'ready')),
|
|
created_at timestamptz NOT NULL,
|
|
updated_at timestamptz NOT NULL
|
|
);
|
|
CREATE INDEX attachments_chat_idx ON attachments (chat_id);
|
|
-- Janitor ищет только «зависшие» pending: частичный индекс маленький.
|
|
CREATE INDEX attachments_pending_idx ON attachments (created_at) WHERE status = 'pending';
|
|
|
|
-- Ссылки сообщения на вложения (порядок как в запросе).
|
|
CREATE TABLE message_attachments (
|
|
message_id uuid NOT NULL REFERENCES messages(id),
|
|
attachment_id uuid NOT NULL REFERENCES attachments(id),
|
|
position integer NOT NULL,
|
|
PRIMARY KEY (message_id, attachment_id)
|
|
);
|
|
CREATE INDEX message_attachments_attachment_idx ON message_attachments (attachment_id);
|
|
|
|
-- Отпечаток тела в ключе идемпотентности уже включает attachment_ids (= [] для lab3),
|
|
-- поэтому существующие ключи остаются валидными без пересчёта.
|