12 KiB
Лабораторная 4: приватные вложения
Автор: Агапов, БПИ2303. Целевой уровень: 5, трек 2 — согласованность PostgreSQL и S3. Оценка не выставлена.
Запуск
Нужны Go 1.26.1, Docker, Helm, kubectl, jq, openssl; для публичных тестов Python 3.9+, для нагрузки k6. Образы и ресурсы закреплены в charts/messenger/values.yaml. Используется SeaweedFS 3.85 с закреплённым digest, PostgreSQL 17.6 и Valkey 8.1.3. SDK — minio-go v7.0.95.
export GOTOOLCHAIN=go1.26.1
make check
make test-local
make chart-check
# Токен реестра находится только в локальном файле ~/.secrets/twc-registry-token.
make init-secrets
make deploy
make test BASE_URL=https://hl.agapov.space
Helm добавляет S3 в существующий release lab2, namespace highload-applications, context dev. Для другого стенда переопределить Make-параметры и ingress.host. Bootstrap создаёт приватный bucket идемпотентно; миграции выполняет Job. Secret генерация сохраняет уже существующие SQL/S3 credentials. Registry secret создаётся из файла токена; секреты не попадают в values.
Для своего образа: make build-push TAG=<revision>, перенести containerimage.digest из image-build.json в values, затем make deploy. Опубликованный образ указан в image.json. Публикация образа не означает применение в кластере.
Безопасная остановка — масштабирование API до нуля после выключения HPA через values. PVC сохраняются. Для намеренного удаления данных отдельного учебного стенда: сначала helm uninstall lab2 -n highload-applications --kube-context dev, затем вручную удалить только принадлежащие этому стенду PVC, сверив имена. Общий namespace не удалять. Для проверки перезапуска с реальными PVC предусмотрен scripts/restart.sh; HPA должен быть заранее отключён, затем восстановлен.
Устройство
Архитектура, требования. Сохранены текстовые сообщения, сессии, распределённый admission control, идемпотентность, курсорная пагинация и идентификатор API-реплики.
PostgreSQL хранит метаданные; приватное S3 — исходные байты. Сначала создаётся uploading reservation, затем выполняется PUT, затем metadata становится ready. Только после этого HTTP возвращает 201. Неопределённый результат COMMIT не вызывает опасного компенсирующего удаления. Download авторизуется через членство в чате и передаётся потоком. Его context и admission lease живут до закрытия потока.
MIME определяется по данным, полный decode обнаруживает повреждение; до него проверяются 10 MiB и 40 млн пикселей. Одновременно декодируются не более двух изображений на процесс. Transport ограничен 16 соединениями; в chart memory limit 768 MiB и GOMEMLIMIT 640 MiB. Последний не является жёстким пределом RSS. API имеет права только Read/Write/List для bucket attachments; административные credentials доступны bootstrap Job. S3 Service не открывает консоль; NetworkPolicy разрешает порт 9000 только учебным клиентам.
Проверки
Измерения выполнены 29.10.2026 на локальном Apple Silicon, API — native Go, зависимости — Docker Desktop. Локальные процессы не имели Kubernetes CPU/RAM limits; эти результаты не измеряют dev-кластер.
| Критерий | Проверка | Доказательство |
|---|---|---|
| Upload/message/download/checksum/ACL | Публичный smoke | smoke |
| Другая API-реплика после остановки | Публичный failover, остановка наблюдаемого INSTANCE_ID | failover, actions |
| Сохранность после рестарта PG/Valkey/S3/API | Публичный persistence с настоящим hook, затем smoke | persistence, smoke-after |
| MIME, повреждение, размер, пиксели, filename, чужой чат | Go regression tests media/controller/store | race+coverage |
| Приватность и отдельные credentials | Реальные S3 тесты: anonymous GET запрещён, чужой bucket запрещён, повтор bootstrap | Тот же coverage log |
| Ограничение отказов S3 | Недоступный endpoint с timeout, безопасное HTTP-маппирование | Тот же coverage log |
| Уровень 90% для каждого файла | Общий профиль unit/integration/process | JSON |
| 10 одновременных загрузок | k6 + RSS sampler | summary, RSS |
| Сверка и защита используемых/свежих объектов | Fault tests + реальные SQL CAS/leases | coverage log; измерение |
Первый вариант restart hook обращался к прежним портам после Docker restart и не прошёл. Исправленный hook заново получает назначенные порты. Итоговые доказательства относятся к исправленному сценарию. Он сохраняет файловые системы контейнеров; пересоздание StatefulSet с PVC этим локальным тестом не проверено.
Эксперимент с памятью
Гипотеза: ограниченная конкурентность decode и потоковый download удерживают память при десяти одновременных upload. student-tests/load/attachments.js: 10 VU, 100 операций, fixture PNG 320×200, RSS опрашивается каждые 100 ms скриптом scripts/measure-upload.sh. Успешны 67 upload, 33 запроса отклонены ограничителями; p95 upload — 19.586 ms. Пиковый RSS — 80032 KiB (78.16 MiB). Raw-данные сохранены в таблице выше.
Это один короткий прогон с небольшим файлом, без прогрева и повторов. Он подтверждает измеренный пик и обработку перегрузки, но не доказывает такой же RSS для 40-мегапиксельных изображений или выполнение SLO. Отклонения не включены в число успешных операций.
Трек 2: сверка двух хранилищ
Гипотеза: durable reservation и ограниченный повторяемый обход позволяют безопасно исправлять разрывы без распределённой транзакции.
# Команды запускаются с теми же конфигурацией и credentials, что API.
./server reconcile
./server reconcile --apply
Dry-run — по умолчанию. Сканирование ограничено страницами по 1000 записей/объектов, grace period не менее часа, PUT ограничен 15 секундами. Старый uploading атомарно переводится в deleting только при отсутствии ссылок из сообщений; поздний publish после этого запрещён. Неопределённое удаление повторяется. Существующий ready без объекта становится missing, метаданные и ссылки сохраняются. Найденный снова объект позволяет восстановить ready. Наличие любого reservation защищает объект от orphan-cleanup. При ошибке зависимости обход прекращается, а не принимает недоступность за отсутствие данных.
Проверены dry-run, повтор apply, свежие/используемые объекты, отказ PUT/публикации, повтор удаления, гонка publish/reclaim. Это управляемые fault tests и реальные SQL/S3 операции, а не убийство процесса на каждой инструкции. Для инвентаря ready без объектов стоимость dry-run: 100 записей — 45.622 ms, 1000 — 457.760 ms. По одному прогону каждого размера; в данном профиле рост приблизительно линейный. Бounded pagination ограничивает память, но число HEAD/LIST и полное время остаются пропорциональны объёму. Восстановление missing проверяет наличие объекта, не повторный checksum.
Ограничения и источники
Kubernetes — реализованный путь развёртывания; замена требуемого заданием Compose/Swarm требует подтверждения преподавателя. Нет HA PostgreSQL/S3, репликации между площадками и восстановления после потери диска. Отдельного доказательства полного развёртывания этой версии в dev пока нет. Локальные проверки и публикация образа не заменяют его.
Контракт и публичные тесты сохранены. Использованы официальные S3 API minio-go и конфигурация SeaweedFS S3. При разработке использовалась помощь ИИ; приведённые результаты относятся к выполненным проверкам, ограничения указаны отдельно.