13 KiB
Лабораторная 4. Приватные S3-вложения
Автор: Медведев Андрей Михайлович, БПИ2303. Целевая оценка: 5, трек 2 «Согласованность двух хранилищ». Оценка преподавателя не подменяется результатом тестов.
Сохранены обязательные возможности третьей лабы: две API-реплики, HAProxy, PostgreSQL, общие сессии, Valkey и атомарная идемпотентность сообщений. Добавлен RustFS 1.0.0-rc.1 с закреплённым digest, minio-go/v7, доменная модель Attachment, таблицы вложений и связей с сообщениями, ограниченный streaming upload и reconciler. Исходный skeleton: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4. Запуск описан в RUN.md. Код и отчёт подготовлены с помощью Codex и прошли независимое ревью.
Данные, доступ и согласованность
Оригинал хранится только в приватном S3, метаданные в PostgreSQL. Имя файла используется для отображения, ключ S3 генерируется из случайного серверного UUID и не переиспользуется. API работает с отдельной IAM-учётной записью: разрешены операции только своего bucket/prefix, создание постороннего bucket запрещено. Root credentials доступны bootstrap, но не API; административный порт наружу не публикуется.
При upload сначала проверяются сессия, членство и filename. Поток сохраняется во временный файл с лимитом 10 МиБ + 1 байт и SHA-256. PNG/JPEG проверяются по содержимому: сначала DecodeConfig и предел 40 млн пикселей, затем полноценный decoder обнаруживает повреждения. Подмена MIME, опасное имя, превышение bytes и pixel bomb не становятся 500. Временный файл удаляется после запроса; локальная файловая система API не является постоянным хранилищем.
До S3 PUT в БД создаётся устойчивое намерение uploading. После успешного PUT метаданные атомарно переводятся в ready, и только затем возвращается 201. Неопределённый ответ S3 или ошибка финализации БД сохраняют намерение для сверки. Сетевых вызовов S3 внутри SQL-транзакции нет.
Состояния uploading, missing и abandoned внутренние: публичная схема этой лабы возвращает только ready. Для missing API возвращает ограниченную ошибку 503, а не ложные готовые метаданные. Download проверяет членство, наличие оригинала и размер до отправки headers, передаёт bytes без redirect и проверяет полноту потока через CopyN. Другой участник чата получает исходные bytes, посторонний получает 404. Привязка файла другого чата запрещена.
Сообщение с пустым text допустимо при наличии вложения. Массив содержит не более десяти уникальных ID. Отсутствующий attachment_ids и [] имеют одинаковую семантику для идемпотентности. Обязательное string-поле text не может быть пропущено или заменено null. История читает ID вложений в SQL, без неограниченного fetch-all.
Проверенные критерии
| Критерий | Результат | Доказательство |
|---|---|---|
| Обязательный API | Публичный upload/message/download smoke прошёл | evidence/smoke.txt |
| Негативные сценарии | Чужой чат/файл, другой чат, MIME, повреждение, filename, 10 МиБ + 1, JSON null проверены | evidence/acceptance.txt |
| Приватность | Анонимный прямой S3 GET запрещён, посторонний bucket создать нельзя | acceptance и integration |
| Сохранность | Оригинал, метаданные и сессия пережили полный restart | evidence/persistence.txt |
| Другой API | Failover читает оригинал через оставшуюся реплику | evidence/failover-1.txt, evidence/failover-2.txt |
| Ограничение RAM | Десять одновременных попыток upload, контроль исходных bytes и cgroup memory.peak | evidence/concurrent-images/run-r1sasy/ |
| Экстремальное изображение | RGBA64 40 млн × 1, PNG и Adam7, повторы и три KDF-worker | evidence/image-memory-FaWPgn/ |
| Реальные частичные отказы | Ошибка SQL после PUT, потерянный ответ PUT, отсутствующий оригинал, orphan | evidence/reconciliation/run-KKAVrN/ |
| Dry-run и повтор | Dry-run ничего не меняет; повтор после apply ничего не меняет | evidence/reconciliation/run-KKAVrN/tests.txt |
| Защита чужих данных | Cleanup отвергает смешанное членство до удаления оригиналов | отдельный integration regression |
Память и десять загрузок
Одна реплика одновременно декодирует только одно изображение; общая API-очередь ограничена. Контейнер API имеет hard limit 2 ГиБ и GOMEMLIMIT=1536MiB. Это покрывает worst-case штатного Go PNG decoder: полный 16-bit raster, строки фильтров и Adam7, плюс до трёх параллельных Argon2 по 32 МиБ. Проверялись исходники именно Go 1.27.2, а не только число пикселей.
В отдельном процессе прошли четыре проверки RGBA64 40 000 000 × 1: два обычных PNG и два Adam7, с тремя параллельными KDF-worker. Измеренный VmHWM составил 1 538 856 КиБ, примерно 1,47 ГиБ, ниже hard limit 2 ГиБ. Все входные bytes оставались меньше 10 МиБ; fixture специально сжимает одинаковые пиксели, поэтому проверка декодирования нужна независимо от размера файла.
Другой эксперимент одновременно начал десять PNG-upload по 3 148 214 байт. Восемь завершились 201, две попытки получили документированную 503 из-за ограниченной очереди. Все сохранённые оригиналы скачаны и побайтно проверены. Cgroup memory.peak двух реплик составил 78 458 880 и 78 077 952 байта. Это измерение данного входа; максимальный декодированный PNG проверялся отдельным экспериментом выше.
Исследование согласованности
Reconciler обходит не более 100 metadata и 100 объектов за вызов, возвращает продолжение только для успешно обработанной страницы. При ошибке continuation очищается: оператор повторяет страницу с начала, а не пропускает неуспешный элемент. По умолчанию выполняется dry-run; apply задаётся явно.
Grace period по умолчанию 10 минут, минимально 60 секунд при upload deadline 20 секунд. Свежие и будущие timestamps не разрешают очистку. Список S3 и HEAD нормализуются к UTC-секундам: RustFS возвращает миллисекунды в inventory и целые секунды в HTTP Last-Modified. Перед удалением дополнительно сверяются ETag, размер, возраст и отсутствие текущих metadata. Любой учтённый объект, включая используемое вложение, защищён от orphan cleanup.
Эксперимент выполнен в отдельном случайном Compose-проекте с собственными volumes и изначально пустыми DB/bucket. Настоящий PostgreSQL trigger вызвал отказ финализации после реального PUT. Также потерян ответ уже выполненного PUT, удалён оригинал используемого вложения, оставлено прерванное намерение и создан старый orphan. Новый объект создан непосредственно перед сверкой, чтобы проверить grace.
Dry-run увидел 5 metadata, 5 объектов, один orphan, два missing и две восстановимые загрузки; изменений не сделал. Apply удалил один старый orphan и изменил четыре metadata, восстановив две загрузки. Свежий объект и используемый оригинал сохранились. Повтор дал ноль удалений и изменений. После возвращения корректного оригинала missing-вложение снова стало ready; metadata и сообщения при этом не удалялись.
Для apply измерено 12 реальных S3 HTTP-запросов и 2227 прочитанных bytes на данном наборе. Это стоимость небольшого сценария и конечный размер одного batch; обход большого bucket потребует последовательного продолжения страниц. Исходные счётчики сохранены. Уборка integration-проекта завершилась до публикации PASS.
Генерация и ограничения
Нормативный OpenAPI и публичные тесты сохранены. Для oapi-codegen используется его штатный Overlay: два бинарных MIME не должны порождать дублирующиеся Body-поля, а anyOf здесь выражает проверку содержимого, а не разные Go-типы. HTTP-адаптер принимает и проверяет PNG и JPEG; обязательные поля и правило text-or-attachment проверяются runtime и тестами.
Один Docker-host, PostgreSQL, HAProxy и S3 остаются единичными компонентами. Шифрование транспорта относится к следующей лабораторной; этот стенд привязан к localhost и синтетическим данным. Прерванный upload может оставить устойчивое намерение до сверки. Повторный POST загрузки может создать другое вложение; контракт не обещает идемпотентность upload. Сверка orphan/missing не заменяет полный scrub checksum всех ready-объектов.
На защите показать 201 только после устойчивой записи, download через другую реплику, чужой 404 и закрытый прямой S3 GET. Затем объяснить невозможность общей SQL/S3-транзакции, показать dry-run/apply/repeat и границы RAM, не называя один host отказоустойчивым кластером.