7.2 KiB
Lab4: метаданные, байты и восстановление
Основа — собственная lab3. PostgreSQL хранит users/chats/sessions/messages и результаты Idempotency-Key. Valkey — восстанавливаемый кэш User. В lab4 добавлены Attachment и message_attachments; оригиналы находятся в приватном S3.
Миграции 001/002 перенесены без изменения checksum. 003 допускает пустой text для сообщения с вложением и добавляет таблицы. Обязательность содержимого проверяет модель HTTP; составные FK в message_attachments гарантируют один chat у сообщения и вложения. Position сохраняет порядок ID. До десяти уникальных ID, проверка доступности и вставка связей входят в транзакцию message + request result. Для текстового POST отсутствие attachment_ids и [] дают один hash.
Attachment имеет id/chat/owner, отображаемый filename, фактический MIME, size_bytes, SHA-256, серверный object_key, storage_state и timestamps. Object key: originals/; имена не используются как пути. Storage_state — внутреннее состояние pending/ready/missing. Внешняя схема lab4 позволяет только ready; для pending/missing API возвращает 409, а не выдумывает несуществующий статус. Чужой чат — 404, перед любым GET выполняется ACL.
Загрузка
- Auth/ACL и filename/MIME/Content-Length проверяются до чтения файла.
- Один активный upload на процесс. До входа очередь ждёт максимум 5 s.
- Request.stream читается с общим бюджетом 15 s и счётчиком фактических bytes. Временный анонимный файл — только ограниченная scratch-копия на tmpfs 32 MiB.
- Pillow читает заголовок и проверяет площадь до декодирования; verify + повторное load отклоняют повреждённые PNG/JPEG. Байты не перекодируются. SHA считается инкрементально по исходному потоку. Размер ≤10 MiB, площадь ≤40 млн пикселей.
- COMMIT записи pending с известными key/checksum до S3 PUT.
- PUT целого объекта; затем отдельный COMMIT перевода в ready; только затем 201.
Падение до шага 5 не создаёт объектов. После 5 любой исход PUT/COMMIT остаётся связан с устойчивым намерением. Состояние 201 не кэшируется до COMMIT. Повтор upload может создать новое вложение: Idempotency-Key гарантирует повтор сообщения, а не бинарного POST. Прямой загрузки и multipart upload здесь нет.
Сверка
Отдельный CLI с отдельным S3 identity; dry-run по умолчанию. --apply разрешает исправления. Минимальный grace — 300 s, заметно больше штатной загрузки/остановки. Ключи не переиспользуются и не перезаписываются приложением. Сверка берёт advisory lock на весь запуск, обрабатывает списки постранично, строки — под FOR UPDATE.
- Orphan: старый объект строго нашего UUID-prefix без строки Attachment. Повторный HEAD проверяет ETag, размер и возраст непосредственно перед DELETE. LIST и HEAD имеют разную точность timestamp, точное равенство дат не требуется. Свежий объект пропускается, другие prefix/buckets не затрагиваются.
- Старый pending + существующий совпадающий объект → ready. Это восстановление случая «PUT завершён, финальный COMMIT/HTTP не подтверждён».
- Старый pending + подтверждённое отсутствие объекта → удаление намерения, только если нет message relation. Свежие намерения защищены.
- Старый ready + отсутствующие/несогласованные bytes → missing; строка и ссылки сохраняются. GET возвращает 409. Сверка не способна восстановить утраченные байты из SHA; после восстановления правильного оригинала она возвращает ready.
- Ready-объекты, даже не прикреплённые к сообщению, не удаляются. Действующие ссылки никогда не удаляются. Ошибки сети/403/5xx не трактуются как 404.
- Несогласованный pending с чужими checksum/size/MIME требует оператора; report содержит review_invalid_pending. Автоматически удалять такие bytes нельзя.
Сравнение HeadObject проверяет size/MIME/метаданные SHA, а не повторно хеширует все bytes; полная проверка SHA выполняется клиентскими сценариями скачивания. Обычный проход: LIST O(objects/1000), индексированный lookup для старых объектов, HEAD для старых metadata, O(metadata) строк. Память ограничена страницами и 100 записями preview, counters учитывают весь проход. При ошибке часть apply могла уже завершиться: повторный запуск безопасен и доводит сверку до результата.
Границы гарантий
Это протокол восстановления двух независимых хранилищ, не распределённая ACID транзакция. PostgreSQL/S3/диск/LB и host остаются SPOF. Глобальные backup/PITR не реализованы. Clock skew предполагается значительно меньше grace. Поддерживаются только серверные неизменяемые UUID-ключи; сторонний writer с правом перезаписи не должен менять их во время сверки. Для lab5 придётся учесть lease активного worker и staging-prefix: этот CLI не должен удалять объекты по ещё активному заданию.