Files
mtusi2026lab7/REPORT.md
T
vika baafe2a3ae Добавить стенд лабораторной 7 с mTLS, OpenBao и least privilege worker.
Закрывает обязательный минимум и трек 1: ротация leaf и секрета, sealed OpenBao и сохранность queued-задачи.
2026-11-07 20:46:02 +03:00

13 KiB
Raw Blame History

Отчёт — лабораторная 7

  • Автор, группа: Казанцева Виктория, БПИ2301
  • Целевая оценка; выбранный трек 5: 5, трек 1 (компрометация worker / least privilege)
  • Commit/PR: локально, не публиковалось
  • Источники: OWASP Password Storage, OpenBao AppRole/policies/hardening, Docker security, документация RabbitMQ EXTERNAL и SeaweedFS S3. Секреты, root token и unseal keys в отчёт не переносились.

Запуск из чистого clone

Нужны Docker Desktop, Python 3.9+ на хосте и пакет cryptography (bootstrap ставит его в .venv-bootstrap, если импорта нет). На Windows публичные тесты запускаются через python, не python3.

python scripts/bootstrap.py
python scripts/bootstrap.py --up

Первая команда создаёт локальные CA, leaf-сертификаты и пароли в secrets/ и .env. Вторая инициализирует OpenBao (Shamir 3/2, file storage, не dev-mode), если том ещё пустой, записывает scoped KV, собирает образы и поднимает стенд. Root token и unseal keys остаются в secrets/operator/init.json и печатаются только как «sealed=true/false» скриптом python scripts/unseal.py.

Публичная точка: https://127.0.0.1:8443. CA: secrets/pki/ca.crt. Grafana: https://127.0.0.1:3001 (порт 3000 на этой машине уже был занят другим стендом). OpenBao и management RabbitMQ наружу не опубликованы.

Проверки:

python scripts/check_contract.py
python tests/smoke.py --base-url https://127.0.0.1:8443 --ca-file <abs>/secrets/pki/ca.crt
python tests/security.py --base-url https://127.0.0.1:8443 --ca-file <abs>/secrets/pki/ca.crt
docker compose --env-file .env --profile tools run --rm probe

Остановка без удаления данных: docker compose --env-file .env stop. Удаление учебных томов: docker compose --env-file .env down -v (это стирает БД, S3, очередь и OpenBao; после этого нужен новый --up).

Архитектура и решения

Клиент говорит с nginx по HTTPS (127.0.0.1:8443). Nginx ходит к api-1:8443 и api-2:8443 с клиентским сертификатом LB. Процесс API принимает mTLS и пускает только SAN lb.messenger.internal плюс serial из allowlist, затем отдаёт HTTP на 127.0.0.1:8080. Этот порт из сети app не открывается.

Бизнес-API lab6 сохранён: пользователи, чаты, сообщения, идемпотентность, вложения queued/processing/ready/failed, thumbnail. Пароли — Argon2id, в хеше есть salt и параметры. Сессия — случайные 256 бит, в БД только SHA-256. Вход ограничен общим счётчиком Valkey до вычисления Argon2.

Секреты БД, S3 и Valkey API читает из OpenBao по своему leaf-сертификату. Root token в контейнеры приложения не монтируется. S3 — SeaweedFS 4.51 под именем сервиса minio, только HTTPS :8333. Очередь — RabbitMQ с TLS и EXTERNAL; API публикует в exchange attachment.process, worker только читает очередь attachment.process.v1.

Образы приложения и worker: non-root uid 10001, read_only, tmpfs /tmp, cap_drop: ALL, no-new-privileges. Сторонние образы, которым entrypoint нужен setuid/setgid (su-exec, setpriv), запускаются с пустым cap_drop: иначе процесс не стартует. Это исключение для postgres, rabbitmq, seaweed, valkey, nginx, OpenBao и telemetry.

Доказательства критериев

Критерий Команда/сценарий Наблюдение Где смотреть
Контракт не сломан python scripts/check_contract.py PASS вывод проверки
Публичный smoke по HTTPS python tests/smoke.py --base-url https://127.0.0.1:8443 --ca-file secrets/pki/ca.crt PASS после рестарта и повторно после ротации leaf, seal и смены S3 secret tests/smoke.py
Недоверенный CA python tests/security.py с тем же CA PASS: пустой trust store отклонён tests/security.py
mTLS LB→API, чужой CA, чужая identity, нет обхода :8080 docker compose --profile tools run --rm probe 29/29 PASS app/probes/security.py
OpenBao allow/deny, не root тот же probe api читает свой KV и получает 403 на worker и на запись infra/openbao/policies/
RabbitMQ mTLS и разные права тот же probe API не может basic_get (403), worker не может publish (403), чужой CN не логинится infra/rabbitmq/
Collector mTLS тот же probe API принят, stranger 403, запрос без сертификата 400 infra/nginx/otel-edge.conf
Rate limit и размер тела тот же probe 429 с Retry-After, JSON 70 КБ → 413 app/ratelimit.py
Argon2id измерение в контейнере API hash 29 мс, verify 25 мс, m=19456, t=2, p=1. Потолок 60 verify/мин ≈ 1.5 с CPU evidence/argon2-budget.json
Рестарт без потери данных scripts/restart.sh через Git Bash 44 с, exit 0. Пользователи/сообщения/ready-вложения те же (9/6/2). OpenBao не перезапускался и остался healthy. Затем smoke снова PASS scripts/restart.sh
Отказ одной реплики scripts/stop-one.sh Остановлен только api-1. /health/ready отвечал одним оставшимся instance id. Реплика снова стала healthy scripts/stop-one.sh
Трек 1, least privilege python scripts/track1_run.py Узкие права: password_hash и canary deny, запись originals/* allow. После временного GRANT SELECT и Admin в Seaweed те же проверки стали allow. После отзыва снова deny evidence/track1-run.json
Отзыв identity и смена S3 secret тот же сценарий, worker остановлен Вложение осталось queued, в очереди 1 сообщение и после delete_user. Старый S3 secret — SignatureDoesNotMatch. После восстановления пользователя вложение стало ready evidence/track1-run.json
Rehash и истечение сессии python scripts/verify_local.py Хеш m=8192,t=1,p=1 после входа стал m=19456,t=2,p=1. Сессия с expires_at в прошлом получила 401 evidence/verify-local.json
Ротация leaf LB без пересборки тот же сценарий Новый serial: 200 на api-1:8443. Старый serial: HTTP 403. После nginx -s reload публичный ready 200. Исходный leaf возвращён evidence/verify-local.json
Sealed OpenBao тот же сценарий До seal неверный пароль даёт 401. Пока vault sealed, login даёт 503. В printenv API нет DATABASE_URL, ключей S3, VALKEY_PASSWORD и BAO_TOKEN. После scripts/unseal.py ready снова 200 evidence/verify-local.json
Секреты не попадают в журналы подсчёт строк в логах API, worker и Loki за 20 минут Совпадений Bearer , password=, postgresql://, aws_secret_access_key и BEGIN PRIVATE нет evidence/verify-local.json

Эксперименты и отказы

Гипотеза трека 1: учётные данные worker достаточны, чтобы обработать вложение, и недостаточны, чтобы читать пароли, писать пользователей, удалять сообщения, читать префикс canary/ или публиковать в очередь.

Методика: один прогон probe из сети стенда с worker leaf и секретами, которые OpenBao отдаёт этой роли. Значения секретов не печатались, только allow/deny.

Результат совпал с гипотезой и на узких правах, и после временного расширения. На живом Seaweed worker на время получил GRANT SELECT ON users и действия Admin/Read/Write/List; password_hash и canary/ стали allow, INSERT пользователя и DELETE сообщений остались 42501, publish в очередь остался 403. Затем права возвращены, и повторный probe снова совпал с узкой матрицей. Файл infra/minio/worker-broad.json описывает ту же идею для MinIO IAM и в рантайм Seaweed не подключается: рабочая политика — secrets/seaweed/s3.json.

Дальше worker был остановлен, вложение осталось queued, сообщение лежало в attachment.process.v1. Удаление пользователя RabbitMQ сообщение не стёрло. Секрет S3 worker заменён в Seaweed и в OpenBao, контейнер minio перезапущен без пересборки образа. Старый секрет получил SignatureDoesNotMatch. После возврата пользователя RabbitMQ worker обработал то же вложение до ready.

Воздействие Ожидание Наблюдение Восстановление
Рестарт postgres, seaweed, rabbit, valkey, api, worker, nginx Данные и сессии на томах сохраняются, OpenBao не запечатывается Счётчики строк не изменились, /health/ready 200, smoke PASS 44 с на сам hook
Остановка одной API-реплики Вторая продолжает отвечать В ответах остался один instance id compose start api-1, реплика healthy
Удаление пользователя RabbitMQ worker при queued-задаче Сообщение остаётся в очереди, после возврата identity задача доходит до ready Очередь сохранила 1 сообщение, старый S3 secret отвергнут, вложение стало ready пользователь, права и worker возвращены
Временное расширение прав worker Появляются только те allow, которые выдали password_hash и canary стали allow; INSERT/DELETE и publish остались deny REVOKE и прежний s3.json, повторный probe узкий
Seal OpenBao Login перестаёт проверять пароль и не читает секрет из окружения 401 до seal, 503 пока sealed, секретных имён в окружении нет python scripts/unseal.py, ready 200

Ограничения

Публичный tests/resilience.py на Windows не может запустить .sh через CreateProcess. Сами hook исполнены Git Bash и отработали. На Linux их нужно вызывать как ACTION_SCRIPT для make test-persistence и make test-failover.

Ротация leaf и секрета S3 снята отдельными соединениями, без параллельной нагрузки на ingress. Параметры Argon2 оставлены на обязательном минимуме: измеренный verify около 25 мс, а частоту входа режет общий счётчик до вычисления хеша. Разбор зависимостей — в security/scan-triage.md. docker scout на этой машине требует вход в Docker Hub, поэтому CVE базового слоя образа отдельно не снимались. pip-audit по requirements.txt выполнен.