forked from mtusi2026/mtusi2026lab4
77 lines
12 KiB
Markdown
77 lines
12 KiB
Markdown
# Лабораторная 4: приватные вложения
|
||
|
||
Автор: Агапов, БПИ2303. Целевой уровень: 5, трек 2 — согласованность PostgreSQL и S3. Оценка не выставлена.
|
||
|
||
## Запуск
|
||
|
||
Нужны Go 1.26.1, Docker, Helm, kubectl, jq, openssl; для публичных тестов Python 3.9+, для нагрузки k6. Образы и ресурсы закреплены в `charts/messenger/values.yaml`. Используется SeaweedFS 3.85 с закреплённым digest, PostgreSQL 17.6 и Valkey 8.1.3. SDK — minio-go v7.0.95.
|
||
|
||
```sh
|
||
export GOTOOLCHAIN=go1.26.1
|
||
make check
|
||
make test-local
|
||
make chart-check
|
||
# Токен реестра находится только в локальном файле ~/.secrets/twc-registry-token.
|
||
make init-secrets
|
||
make deploy
|
||
make test BASE_URL=https://hl.agapov.space
|
||
```
|
||
|
||
Helm добавляет S3 в существующий release `lab2`, namespace `highload-applications`, context `dev`. Для другого стенда переопределить Make-параметры и `ingress.host`. Bootstrap создаёт приватный bucket идемпотентно; миграции выполняет Job. Secret генерация сохраняет уже существующие SQL/S3 credentials. Registry secret создаётся из файла токена; секреты не попадают в values.
|
||
|
||
Для своего образа: `make build-push TAG=<revision>`, перенести `containerimage.digest` из `image-build.json` в values, затем `make deploy`. Опубликованный образ указан в [image.json](evidence/current/image.json). Публикация образа не означает применение в кластере.
|
||
|
||
Безопасная остановка — масштабирование API до нуля после выключения HPA через values. PVC сохраняются. Для намеренного удаления данных отдельного учебного стенда: сначала `helm uninstall lab2 -n highload-applications --kube-context dev`, затем вручную удалить только принадлежащие этому стенду PVC, сверив имена. Общий namespace не удалять. Для проверки перезапуска с реальными PVC предусмотрен `scripts/restart.sh`; HPA должен быть заранее отключён, затем восстановлен.
|
||
|
||
## Устройство
|
||
|
||
[Архитектура](ARCHITECTURE.md), [требования](docs/SPEC.md). Сохранены текстовые сообщения, сессии, распределённый admission control, идемпотентность, курсорная пагинация и идентификатор API-реплики.
|
||
|
||
PostgreSQL хранит метаданные; приватное S3 — исходные байты. Сначала создаётся `uploading` reservation, затем выполняется PUT, затем metadata становится `ready`. Только после этого HTTP возвращает 201. Неопределённый результат COMMIT не вызывает опасного компенсирующего удаления. Download авторизуется через членство в чате и передаётся потоком. Его context и admission lease живут до закрытия потока.
|
||
|
||
MIME определяется по данным, полный decode обнаруживает повреждение; до него проверяются 10 MiB и 40 млн пикселей. Одновременно декодируются не более двух изображений на процесс. Transport ограничен 16 соединениями; в chart memory limit 768 MiB и GOMEMLIMIT 640 MiB. Последний не является жёстким пределом RSS. API имеет права только Read/Write/List для bucket attachments; административные credentials доступны bootstrap Job. S3 Service не открывает консоль; NetworkPolicy разрешает порт 9000 только учебным клиентам.
|
||
|
||
## Проверки
|
||
|
||
Измерения выполнены 29.10.2026 на локальном Apple Silicon, API — native Go, зависимости — Docker Desktop. Локальные процессы не имели Kubernetes CPU/RAM limits; эти результаты не измеряют dev-кластер.
|
||
|
||
| Критерий | Проверка | Доказательство |
|
||
| --- | --- | --- |
|
||
| Upload/message/download/checksum/ACL | Публичный smoke | [smoke](evidence/local/smoke.txt) |
|
||
| Другая API-реплика после остановки | Публичный failover, остановка наблюдаемого INSTANCE_ID | [failover](evidence/local/failover.txt), [actions](evidence/local/actions.txt) |
|
||
| Сохранность после рестарта PG/Valkey/S3/API | Публичный persistence с настоящим hook, затем smoke | [persistence](evidence/local/persistence.txt), [smoke-after](evidence/local/smoke-after.txt) |
|
||
| MIME, повреждение, размер, пиксели, filename, чужой чат | Go regression tests media/controller/store | [race+coverage](evidence/current/coverage.txt) |
|
||
| Приватность и отдельные credentials | Реальные S3 тесты: anonymous GET запрещён, чужой bucket запрещён, повтор bootstrap | Тот же coverage log |
|
||
| Ограничение отказов S3 | Недоступный endpoint с timeout, безопасное HTTP-маппирование | Тот же coverage log |
|
||
| Уровень 90% для каждого файла | Общий профиль unit/integration/process | [JSON](evidence/current/coverage-per-file.json) |
|
||
| 10 одновременных загрузок | k6 + RSS sampler | [summary](evidence/current/upload-summary.json), [RSS](evidence/current/upload-rss-kib.txt) |
|
||
| Сверка и защита используемых/свежих объектов | Fault tests + реальные SQL CAS/leases | coverage log; [измерение](evidence/current/reconciliation.txt) |
|
||
|
||
Первый вариант restart hook обращался к прежним портам после Docker restart и не прошёл. Исправленный hook заново получает назначенные порты. Итоговые доказательства относятся к исправленному сценарию. Он сохраняет файловые системы контейнеров; пересоздание StatefulSet с PVC этим локальным тестом не проверено.
|
||
|
||
## Эксперимент с памятью
|
||
|
||
Гипотеза: ограниченная конкурентность decode и потоковый download удерживают память при десяти одновременных upload. `student-tests/load/attachments.js`: 10 VU, 100 операций, fixture PNG 320×200, RSS опрашивается каждые 100 ms скриптом `scripts/measure-upload.sh`. Успешны 67 upload, 33 запроса отклонены ограничителями; p95 upload — 19.586 ms. Пиковый RSS — 80032 KiB (78.16 MiB). Raw-данные сохранены в таблице выше.
|
||
|
||
Это один короткий прогон с небольшим файлом, без прогрева и повторов. Он подтверждает измеренный пик и обработку перегрузки, но не доказывает такой же RSS для 40-мегапиксельных изображений или выполнение SLO. Отклонения не включены в число успешных операций.
|
||
|
||
## Трек 2: сверка двух хранилищ
|
||
|
||
Гипотеза: durable reservation и ограниченный повторяемый обход позволяют безопасно исправлять разрывы без распределённой транзакции.
|
||
|
||
```sh
|
||
# Команды запускаются с теми же конфигурацией и credentials, что API.
|
||
./server reconcile
|
||
./server reconcile --apply
|
||
```
|
||
|
||
Dry-run — по умолчанию. Сканирование ограничено страницами по 1000 записей/объектов, grace period не менее часа, PUT ограничен 15 секундами. Старый uploading атомарно переводится в deleting только при отсутствии ссылок из сообщений; поздний publish после этого запрещён. Неопределённое удаление повторяется. Существующий ready без объекта становится missing, метаданные и ссылки сохраняются. Найденный снова объект позволяет восстановить ready. Наличие любого reservation защищает объект от orphan-cleanup. При ошибке зависимости обход прекращается, а не принимает недоступность за отсутствие данных.
|
||
|
||
Проверены dry-run, повтор apply, свежие/используемые объекты, отказ PUT/публикации, повтор удаления, гонка publish/reclaim. Это управляемые fault tests и реальные SQL/S3 операции, а не убийство процесса на каждой инструкции. Для инвентаря ready без объектов стоимость dry-run: 100 записей — 45.622 ms, 1000 — 457.760 ms. По одному прогону каждого размера; в данном профиле рост приблизительно линейный. Бounded pagination ограничивает память, но число HEAD/LIST и полное время остаются пропорциональны объёму. Восстановление missing проверяет наличие объекта, не повторный checksum.
|
||
|
||
## Ограничения и источники
|
||
|
||
Kubernetes — реализованный путь развёртывания; замена требуемого заданием Compose/Swarm требует подтверждения преподавателя. Нет HA PostgreSQL/S3, репликации между площадками и восстановления после потери диска. Отдельного доказательства полного развёртывания этой версии в dev пока нет. Локальные проверки и публикация образа не заменяют его.
|
||
|
||
Контракт и публичные тесты сохранены. Использованы официальные [S3 API minio-go](https://github.com/minio/minio-go/blob/master/docs/API.md) и [конфигурация SeaweedFS S3](https://github.com/seaweedfs/seaweedfs/blob/master/weed/command/s3.go). При разработке использовалась помощь ИИ; приведённые результаты относятся к выполненным проверкам, ограничения указаны отдельно.
|