Files

11 KiB
Raw Permalink Blame History

Краткая теория и защита: лабораторная 4

Задача

Добавить к мессенджеру изображения и разделить два вида данных:

  • PostgreSQL: кто загрузил файл, в каком чате он доступен, тип, размер, SHA-256, состояние и связи с сообщениями.
  • MinIO: исходные байты в приватном S3 bucket.

Схема: клиент → HAProxy → API ×2 → PostgreSQL + MinIO. Valkey остаётся общим кэшем сессий из lab3.

Docker в этой работе

Compose описывает общий стенд и приватную сеть. Две API запускаются из одного образа; только балансировщик публикует порт 8084. MinIO, БД и Valkey имеют собственные persistent volumes. API не хранит оригинал как обязательный локальный файл.

Во время передачи API использует временный spool: первые 256 KiB в RAM, затем временный диск. После операции spool закрывается. Устойчивый оригинал находится в S3, поэтому другая реплика может его скачать.

Volume переживает обычный restart, но не заменяет backup. Два API на одном Docker-host не обеспечивают выживание при потере всего host, единственного MinIO или PostgreSQL.

Как загружается файл

  1. Проверяется Bearer и членство в чате.
  2. Проверяются filename и допустимый Content-Type.
  3. Тело читается порциями с ограничением 10 MiB, одновременно считается SHA-256.
  4. Pillow проверяет фактический PNG/JPEG, целостность и лимит 40 млн пикселей до полного декодирования.
  5. В PostgreSQL сохраняется pending-намерение с серверным UUID и ключом.
  6. Выполняется S3 PUT, запись переводится в ready и фиксируется в БД.
  7. Только после этого API возвращает 201 ready.

Filename — только отображаемое имя. Ключ originals/<UUID> назначает сервер. Готовый файл читается через авторизованный API, без redirect; публичный bucket не нужен.

Сообщение содержит attachment_ids. Все ID должны принадлежать этому чату; другой участник может прикрепить доступный файл. Для сообщений сохраняется Idempotency-Key: повтор не создаёт дубль.

Почему приватного bucket недостаточно

Приватность запрещает анонимный прямой S3 GET. Но при обращении через API всё равно нужно проверить права участника чата: случайный UUID не является авторизацией. Посторонний получает 404 для метаданных и bytes.

API использует отдельные ограниченные S3 credentials. Root credentials есть только у MinIO/bootstrap. Консоль не опубликована; запись за пределами originals/* запрещена.

Главная проблема: два независимых хранилища

Единой транзакции PostgreSQL + S3 нет. PUT может пройти, а COMMIT — не пройти. Немедленно удалять объект при любой ошибке тоже опасно: COMMIT мог реально выполниться, а ответ потеряться.

Поэтому намерение записывается до PUT, а затем работает reconciler — повторяемая сверка двух хранилищ.

Ситуация Действие reconciler
Старый объект без метаданных, orphan Удалить после повторной проверки и grace
Старый pending после неуспешной операции Удалить оставшийся объект, отметить incomplete_upload
Метаданные есть, объекта нет, missing Сохранить метаданные/связи, отметить недоступность
Объект восстановлен и соответствует метаданным Вернуть ready с прежним UUID
Свежий объект или активный uploader держит lock Пропустить
Готовый используемый объект Не удалять
Ошибка S3/БД Остановить проход, не считать её отсутствием

Grace period — время ожидания перед очисткой. Обычно 300 секунд; в изолированном тесте — 5 секунд с явным разрешением. API и reconciler используют один PostgreSQL advisory lock для ключа объекта. Проверки повторяются под lock, чтобы не удалять объект на основании старого снимка.

Dry-run показывает действия без изменения данных. Apply выполняет их. Повтор на исправленном состоянии не должен давать новые действия. Автопроцесс ждёт 60 секунд после каждого прохода.

Что выполнено на уровнях 3 и 4

Проверены оригинальные bytes и checksum, чужой чат/attachment, повреждение изображения, подмена MIME, опасные имена, превышение bytes/pixels и прерывание HTTP. Пользовательские ошибки дают 400/404/413/415, а не 500.

Остановлена именно загрузившая файл API: другая скачала те же bytes через LB. Полный restart проверяет прежний токен, метаданные и оригинал. При реальном отказе MinIO/БД получены контролируемые 503 и проверено восстановление.

При десяти одновременных uploads двух размеров прошли 40 запросов. Пики памяти API были примерно 91 MiB для файлов 0.75 MiB и 125–146 MiB для файлов 6.75 MiB при лимите 512 MiB. Это sampled cgroup memory, включая cache и sampler, а не точный heap-профиль.

Уровень 5: трек 2

Гипотеза: устойчивое намерение, общий lock и grace позволят исправлять расхождения без удаления свежих/используемых данных.

В исследовании:

  • Реальный процесс завершался после успешного PUT до ready COMMIT.
  • Создавались orphan, pending без объекта, missing и повреждённый объект.
  • Проверялись dry-run, apply, повтор, защита fresh/used/locked объектов и восстановление прежнего UUID.
  • Ошибки S3/БД не превращались в массовое ложное обнаружение missing.
  • Стоимость обхода измерялась на базовом наборе с добавлением 0/50/200 orphan, по три dry-run.

Обход использует List/HEAD и индексированные DB-запросы, без скачивания всех изображений. Поэтому оценивается стоимость инвентаризации, а не полного SHA-аудита bytes. Точные таблицы и графики находятся в RESEARCH.md.

Что сказать на защите

«Я перенёс две API и балансировщик из третьей работы и добавил приватный MinIO. Метаданные хранятся в PostgreSQL, оригиналы — в S3. Загрузка потоковая, с проверкой реального PNG/JPEG, размера, пикселей и прав. 201 возвращается только после сохранения обеих частей.

Главная инженерная проблема — отсутствие общей транзакции S3 и БД. Я сохраняю pending до PUT и использую reconciler с dry-run, grace и общими блокировками. В исследовании проверены реальные разрывы записи, orphan/missing, безопасное исправление и повтор. Свежие, используемые и активные объекты не удаляются. Дополнительно проверены отказ загрузившей API, restart, приватность bucket и память при десяти одновременных загрузках».

Четыре главных вопроса

Почему не файл на диске одной API? После переключения другая реплика не обязана видеть её диск. S3 — общее устойчивое хранилище.

Когда честно вернуть 201? После успешного PUT и COMMIT ready-метаданных.

Что если PUT прошёл, а COMMIT нет? Остаётся известный pending; после grace reconciler проверит обе стороны. Уже готовая запись не удаляется слепой компенсацией.

Почему UUID и private bucket не заменяют ACL? Пользователь обращается к API, поэтому она должна проверить его доступ к конкретному чату независимо от сложности угадывания ID.

Ограничения: один host, S3/БД/LB не реплицированы; lost bytes требуют backup. Готовые неиспользуемые файлы не удаляются автоматически. Исследование — локальный опыт, не production SLA.