11 KiB
Краткая теория и защита: лабораторная 4
Задача
Добавить к мессенджеру изображения и разделить два вида данных:
- PostgreSQL: кто загрузил файл, в каком чате он доступен, тип, размер, SHA-256, состояние и связи с сообщениями.
- MinIO: исходные байты в приватном S3 bucket.
Схема: клиент → HAProxy → API ×2 → PostgreSQL + MinIO. Valkey остаётся общим кэшем сессий из lab3.
Docker в этой работе
Compose описывает общий стенд и приватную сеть. Две API запускаются из одного образа; только балансировщик публикует порт 8084. MinIO, БД и Valkey имеют собственные persistent volumes. API не хранит оригинал как обязательный локальный файл.
Во время передачи API использует временный spool: первые 256 KiB в RAM, затем временный диск. После операции spool закрывается. Устойчивый оригинал находится в S3, поэтому другая реплика может его скачать.
Volume переживает обычный restart, но не заменяет backup. Два API на одном Docker-host не обеспечивают выживание при потере всего host, единственного MinIO или PostgreSQL.
Как загружается файл
- Проверяется Bearer и членство в чате.
- Проверяются filename и допустимый Content-Type.
- Тело читается порциями с ограничением 10 MiB, одновременно считается SHA-256.
- Pillow проверяет фактический PNG/JPEG, целостность и лимит 40 млн пикселей до полного декодирования.
- В PostgreSQL сохраняется pending-намерение с серверным UUID и ключом.
- Выполняется S3 PUT, запись переводится в ready и фиксируется в БД.
- Только после этого API возвращает 201 ready.
Filename — только отображаемое имя. Ключ originals/<UUID> назначает сервер. Готовый файл читается через авторизованный API, без redirect; публичный bucket не нужен.
Сообщение содержит attachment_ids. Все ID должны принадлежать этому чату; другой участник может прикрепить доступный файл. Для сообщений сохраняется Idempotency-Key: повтор не создаёт дубль.
Почему приватного bucket недостаточно
Приватность запрещает анонимный прямой S3 GET. Но при обращении через API всё равно нужно проверить права участника чата: случайный UUID не является авторизацией. Посторонний получает 404 для метаданных и bytes.
API использует отдельные ограниченные S3 credentials. Root credentials есть только у MinIO/bootstrap. Консоль не опубликована; запись за пределами originals/* запрещена.
Главная проблема: два независимых хранилища
Единой транзакции PostgreSQL + S3 нет. PUT может пройти, а COMMIT — не пройти. Немедленно удалять объект при любой ошибке тоже опасно: COMMIT мог реально выполниться, а ответ потеряться.
Поэтому намерение записывается до PUT, а затем работает reconciler — повторяемая сверка двух хранилищ.
| Ситуация | Действие reconciler |
|---|---|
| Старый объект без метаданных, orphan | Удалить после повторной проверки и grace |
| Старый pending после неуспешной операции | Удалить оставшийся объект, отметить incomplete_upload |
| Метаданные есть, объекта нет, missing | Сохранить метаданные/связи, отметить недоступность |
| Объект восстановлен и соответствует метаданным | Вернуть ready с прежним UUID |
| Свежий объект или активный uploader держит lock | Пропустить |
| Готовый используемый объект | Не удалять |
| Ошибка S3/БД | Остановить проход, не считать её отсутствием |
Grace period — время ожидания перед очисткой. Обычно 300 секунд; в изолированном тесте — 5 секунд с явным разрешением. API и reconciler используют один PostgreSQL advisory lock для ключа объекта. Проверки повторяются под lock, чтобы не удалять объект на основании старого снимка.
Dry-run показывает действия без изменения данных. Apply выполняет их. Повтор на исправленном состоянии не должен давать новые действия. Автопроцесс ждёт 60 секунд после каждого прохода.
Что выполнено на уровнях 3 и 4
Проверены оригинальные bytes и checksum, чужой чат/attachment, повреждение изображения, подмена MIME, опасные имена, превышение bytes/pixels и прерывание HTTP. Пользовательские ошибки дают 400/404/413/415, а не 500.
Остановлена именно загрузившая файл API: другая скачала те же bytes через LB. Полный restart проверяет прежний токен, метаданные и оригинал. При реальном отказе MinIO/БД получены контролируемые 503 и проверено восстановление.
При десяти одновременных uploads двух размеров прошли 40 запросов. Пики памяти API были примерно 91 MiB для файлов 0.75 MiB и 125–146 MiB для файлов 6.75 MiB при лимите 512 MiB. Это sampled cgroup memory, включая cache и sampler, а не точный heap-профиль.
Уровень 5: трек 2
Гипотеза: устойчивое намерение, общий lock и grace позволят исправлять расхождения без удаления свежих/используемых данных.
В исследовании:
- Реальный процесс завершался после успешного PUT до ready COMMIT.
- Создавались orphan, pending без объекта, missing и повреждённый объект.
- Проверялись dry-run, apply, повтор, защита fresh/used/locked объектов и восстановление прежнего UUID.
- Ошибки S3/БД не превращались в массовое ложное обнаружение missing.
- Стоимость обхода измерялась на базовом наборе с добавлением 0/50/200 orphan, по три dry-run.
Обход использует List/HEAD и индексированные DB-запросы, без скачивания всех изображений. Поэтому оценивается стоимость инвентаризации, а не полного SHA-аудита bytes. Точные таблицы и графики находятся в RESEARCH.md.
Что сказать на защите
«Я перенёс две API и балансировщик из третьей работы и добавил приватный MinIO. Метаданные хранятся в PostgreSQL, оригиналы — в S3. Загрузка потоковая, с проверкой реального PNG/JPEG, размера, пикселей и прав. 201 возвращается только после сохранения обеих частей.
Главная инженерная проблема — отсутствие общей транзакции S3 и БД. Я сохраняю pending до PUT и использую reconciler с dry-run, grace и общими блокировками. В исследовании проверены реальные разрывы записи, orphan/missing, безопасное исправление и повтор. Свежие, используемые и активные объекты не удаляются. Дополнительно проверены отказ загрузившей API, restart, приватность bucket и память при десяти одновременных загрузках».
Четыре главных вопроса
Почему не файл на диске одной API? После переключения другая реплика не обязана видеть её диск. S3 — общее устойчивое хранилище.
Когда честно вернуть 201? После успешного PUT и COMMIT ready-метаданных.
Что если PUT прошёл, а COMMIT нет? Остаётся известный pending; после grace reconciler проверит обе стороны. Уже готовая запись не удаляется слепой компенсацией.
Почему UUID и private bucket не заменяют ACL? Пользователь обращается к API, поэтому она должна проверить его доступ к конкретному чату независимо от сложности угадывания ID.
Ограничения: один host, S3/БД/LB не реплицированы; lost bytes требуют backup. Готовые неиспользуемые файлы не удаляются автоматически. Исследование — локальный опыт, не production SLA.