Files
mtusi2026lab4/REPORT.md

14 KiB
Raw Permalink Blame History

Лабораторная 4. Приватный S3 и вложения на k3s + Pingap

Автор: Медведев Андрей Михайлович, БПИ2303. Целевая оценка — 5, трек 2 «Согласованность двух хранилищ». Основной стенд использует k3s + Pingap, две взаимозаменяемые API, общий PostgreSQL, Valkey и приватный RustFS. Оригинальное задание и контракты сохранены; k3s выбран автором как альтернатива предложенным Compose/Swarm. Принятие этой альтернативы преподавателем не заявляется.

Код, тесты и отчёт подготовлены с помощью Codex. Команды — RUN.md. Предыдущий Compose/HAProxy вариант и его показатели находятся в архивном отчёте, а новые доказательства — в evidence/k3s/.

Архитектура и безопасность доступа

Клиент обращается к localhost:28204 через LoadBalancer Service и Pingap 0.16.0. API обнаруживаются по DNS headless Service; Traefik выключен. Kubernetes Secrets создаются из локальных случайных credentials через stdin; приватный kubeconfig закреплён за собственным кластером. Глобальный kubeconfig не меняется. Runtime проверяет server container ID и Namespace UID; partial cleanup разрешён только для собственного exclusive claim с совпадающим nonce.

PostgreSQL, Valkey и RustFS используют разные PVC. Миграции и bucket bootstrap выполняются отдельными Jobs. Bootstrap получает root и application keys одним projected volume; обычные API получают только application S3 credentials, database URL и cache URL. Root-secret и административная консоль не публикуются наружу. Application identity имеет права на свой bucket и prefix, а создание постороннего bucket запрещено.

Регистрация, persisted sessions, ACL чатов, keyset pagination и транзакционная идемпотентность перенесены из предыдущей лабы. Все защищённые запросы проверяют действующую сессию в PostgreSQL; Valkey — только неавторитетный кэш профиля. Привязка чужого или другого чата attachment отклоняется.

Upload, download и согласованность

Upload проверяет членство, filename, максимальные 10 МиБ и содержимое PNG/JPEG. Временный файл ограничен 10 МиБ + 1 байт, одновременно считается SHA-256. DecodeConfig ограничивает изображение 40 млн пикселей до полноценного decode. MIME spoofing, повреждение, опасное имя и превышение лимитов возвращают пользовательскую ошибку, а не 500.

До PUT создаётся устойчивое намерение uploading. Только после записи оригинала в S3 и финализации metadata возвращается 201 ready. Неопределённый ответ PUT или отказ SQL сохраняют намерение; опасного компенсирующего удаления подтверждённого оригинала нет. S3-вызовы не выполняются внутри SQL-транзакции.

Оригиналы имеют уникальный серверный ключ originals/UUID и не перезаписываются. Download проверяет ACL и размер, отдаёт bytes через API без redirect и контролирует полноту потока. Missing/uploading/abandoned — внутренние состояния; API не возвращает ложный ready. Сообщение допускает пустой text при наличии вложения; не более десяти уникальных attachment ID. Отсутствующий attachment_ids и [] имеют одинаковую семантику для Idempotency-Key, а обязательный text не может быть null.

HTTP/SQL бюджеты, DNS/health-check Pingap и drain API согласованы с предыдущей лабой. Одна API декодирует не более одного изображения одновременно; hard limit API — 2 ГиБ, GOMEMLIMIT=1536MiB. Runtime отвергает уменьшение этого бюджета, потому что 40 млн сильно сжатых пикселей могут потребовать существенно больше памяти, чем 10 МиБ исходного файла.

Подтверждённые проверки k3s-варианта

  • Публичный upload → message → download smoke прошёл. Успешный оригинал сравнивается побайтно, чужой пользователь получает 404. Вывод — evidence/k3s/smoke.txt.
  • HTTP acceptance проверил malformed/MIME/filename/size, чужой attachment, другой чат, JSON null, общий токен и идемпотентность. Анонимный прямой S3 GET запрещён. Отключение S3 вернуло HTTP 503 за 8448 мс при upload context 20 секунд и клиентском timeout 25 секунд; после восстановления подтверждённый оригинал сохранился. Вывод — evidence/k3s/acceptance.txt.
  • Два failover-сценария сохранили metadata, сессию и bytes через другую API. Остановка подтверждается реальным container ID и нативным CRI состоянием, а не только исчезновением Pod из API. Вывод — evidence/k3s/failover-1.txt, failover-2.txt и stopped-*-after.json.
  • Полный restart API, PostgreSQL, Valkey, RustFS и Pingap сохранил прежний токен, сообщения и файл. Проверяется замена всех исходных workload UID с одинаковым run_id before/after. Повторный up с миграциями и идемпотентным bucket bootstrap тоже сохранил данные. Файлы — evidence/k3s/persistence.txt, restart-postcondition.txt и redeploy.txt.
  • Scoped wrapper проверен настоящим SELECT через stdin. Unit-тесты и независимое ревью покрывают ownership, secret mounts, image identities, game guard, остановку конкретного процесса и ошибки cleanup.
  • Offline skeleton/OpenAPI проверки прошли. Go-код, нормативный контракт и публичные tests при переносе не менялись.

Исследование согласованности двух хранилищ

Новый эксперимент выполнен в отдельном случайном k3s-кластере с пустыми БД и bucket. Runner запускает native integration Job и удаляет весь свой кластер до PASS. Source scope и итог — evidence/k3s/reconciliation/run-FVKocZ/.

Реальный PostgreSQL trigger вызвал ошибку финализации после успешного PUT. Также потерян ответ выполненного PUT, удалён оригинал используемого вложения, оставлено прерванное намерение и создан старый orphan. Новый объект создан перед сверкой для проверки grace period. Это фактические ошибки на границе PostgreSQL/S3; обработка SQL cleanup дополнительно проверена на чате с посторонним участником.

Reconciler обрабатывает не более 100 metadata и 100 объектов за batch. Default — dry-run, apply задаётся явно. Grace по умолчанию 10 минут, минимально 60 секунд при upload deadline 20 секунд. Свежие и будущие timestamps не разрешают удаление. Inventory и HEAD нормализуются к UTC-секундам; перед orphan delete сравниваются ETag, размер, возраст и отсутствие актуальных metadata. Любой учтённый объект защищён от orphan cleanup. При ошибке continuation очищается, чтобы повторить неуспешную страницу.

Dry-run увидел 5 metadata, 5 объектов, один orphan, два missing и две восстановимые загрузки; изменений не внёс. Apply удалил один старый orphan и изменил четыре metadata, восстановив две загрузки. Используемый оригинал и свежий объект сохранились. Повтор дал ноль изменений и удалений. После восстановления корректных bytes missing-вложение снова стало ready; сообщения и metadata не удалялись.

Для apply считались запросы именно S3-клиента reconciler: 12 HTTP-запросов и 2227 прочитанных bytes на этом наборе. Фоновые readiness-запросы API не включаются в этот клиентский счётчик. Реальные выводы трёх integration tests сохранены в tests.txt; все три прошли.

Измерения памяти на k3s

На omarchy без игры выполнены два новых эксперимента. Проверка game-running вернула ровно 1 до и после каждого измерения; ошибка определения состояния также останавливает runner. Host — Ryzen 7 5700X, Linux x86_64; лимит каждой API — 1 CPU/2 ГиБ, GOMEMLIMIT=1536MiB, одновременно декодируется одно изображение на API. Это измерения нового стенда, отдельно от исторических Compose результатов.

В evidence/k3s/concurrent-images/run-Y14n1Y/ сохранены десять одновременных upload PNG размером 3 148 214 байт, передаваемых порциями 64 КиБ с паузой 30 мс. Восемь запросов получили 201, два — ограниченный 503. Каждый успешный оригинал скачан и побайтно сравнён с fixture. Нативный cgroup memory.peak двух API равен 68 116 480 и 68 026 368 байт, примерно 64,96 и 64,88 МиБ. UID обеих API не изменились, readiness после эксперимента сохранилась. Итог записывается только после успешного cleanup своего набора данных; samples и summary.json приложены.

Отдельный Kubernetes Job проверил настоящий PNG RGBA64 размером 40 000 000×1 пикселей в обычном и Adam7 вариантах, по две последовательные проверки каждого, одновременно с тремя Argon2 worker. TestWorstCaseImagesWithinBudget прошёл за 5,34 с; Linux VmHWM показал 1 555 800 КиБ, примерно 1519,34 МиБ, при hard limit 2 097 152 КиБ. Job использовал 2 CPU/2 ГиБ и GOMEMLIMIT=1536MiB. Вывод и hash image.go находятся в evidence/k3s/image-memory-6l7yZ5/. VmHWM здесь измеряет RSS тестового процесса; cgroup peak API в предыдущем эксперименте включает память контейнера, поэтому это разные метрики.

Оба эксперимента короткие и относятся к указанным fixtures и ограничениям. Они подтверждают проверенные границы, но не являются доказательством отсутствия OOM для произвольной смеси запросов. Публичный API по-прежнему принимает не более 10 МиБ и 40 млн пикселей, а перегрузка может завершаться 503.

Ограничения

Один host, один k3s server, единственные PostgreSQL, Pingap и S3 остаются точками отказа. PVC сохраняют данные при проверенном restart, но не обеспечивают HA при потере host. Прерванная загрузка может оставлять намерение до сверки. POST upload не обещает идемпотентность; повтор может создать другое вложение. Reconciler не заменяет полный checksum scrub всех ready-объектов. HTTP стенд привязан к loopback; публичный production rollout не выполнялся.