Files
mtusi2026lab7/REPORT.md
T
vika baafe2a3ae Добавить стенд лабораторной 7 с mTLS, OpenBao и least privilege worker.
Закрывает обязательный минимум и трек 1: ротация leaf и секрета, sealed OpenBao и сохранность queued-задачи.
2026-11-07 20:46:02 +03:00

87 lines
13 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 7
- Автор, группа: Казанцева Виктория, БПИ2301
- Целевая оценка; выбранный трек 5: 5, трек 1 (компрометация worker / least privilege)
- Commit/PR: локально, не публиковалось
- Источники: OWASP Password Storage, OpenBao AppRole/policies/hardening, Docker security, документация RabbitMQ EXTERNAL и SeaweedFS S3. Секреты, root token и unseal keys в отчёт не переносились.
## Запуск из чистого clone
Нужны Docker Desktop, Python 3.9+ на хосте и пакет `cryptography` (bootstrap ставит его в `.venv-bootstrap`, если импорта нет). На Windows публичные тесты запускаются через `python`, не `python3`.
```text
python scripts/bootstrap.py
python scripts/bootstrap.py --up
```
Первая команда создаёт локальные CA, leaf-сертификаты и пароли в `secrets/` и `.env`. Вторая инициализирует OpenBao (Shamir 3/2, file storage, не dev-mode), если том ещё пустой, записывает scoped KV, собирает образы и поднимает стенд. Root token и unseal keys остаются в `secrets/operator/init.json` и печатаются только как «sealed=true/false» скриптом `python scripts/unseal.py`.
Публичная точка: `https://127.0.0.1:8443`. CA: `secrets/pki/ca.crt`. Grafana: `https://127.0.0.1:3001` (порт 3000 на этой машине уже был занят другим стендом). OpenBao и management RabbitMQ наружу не опубликованы.
Проверки:
```text
python scripts/check_contract.py
python tests/smoke.py --base-url https://127.0.0.1:8443 --ca-file <abs>/secrets/pki/ca.crt
python tests/security.py --base-url https://127.0.0.1:8443 --ca-file <abs>/secrets/pki/ca.crt
docker compose --env-file .env --profile tools run --rm probe
```
Остановка без удаления данных: `docker compose --env-file .env stop`. Удаление учебных томов: `docker compose --env-file .env down -v` (это стирает БД, S3, очередь и OpenBao; после этого нужен новый `--up`).
## Архитектура и решения
Клиент говорит с nginx по HTTPS (`127.0.0.1:8443`). Nginx ходит к `api-1:8443` и `api-2:8443` с клиентским сертификатом LB. Процесс API принимает mTLS и пускает только SAN `lb.messenger.internal` плюс serial из allowlist, затем отдаёт HTTP на `127.0.0.1:8080`. Этот порт из сети `app` не открывается.
Бизнес-API lab6 сохранён: пользователи, чаты, сообщения, идемпотентность, вложения `queued/processing/ready/failed`, thumbnail. Пароли — Argon2id, в хеше есть salt и параметры. Сессия — случайные 256 бит, в БД только SHA-256. Вход ограничен общим счётчиком Valkey до вычисления Argon2.
Секреты БД, S3 и Valkey API читает из OpenBao по своему leaf-сертификату. Root token в контейнеры приложения не монтируется. S3 — SeaweedFS 4.51 под именем сервиса `minio`, только HTTPS `:8333`. Очередь — RabbitMQ с TLS и EXTERNAL; API публикует в exchange `attachment.process`, worker только читает очередь `attachment.process.v1`.
Образы приложения и worker: non-root uid 10001, `read_only`, `tmpfs /tmp`, `cap_drop: ALL`, `no-new-privileges`. Сторонние образы, которым entrypoint нужен `setuid`/`setgid` (`su-exec`, `setpriv`), запускаются с пустым `cap_drop`: иначе процесс не стартует. Это исключение для postgres, rabbitmq, seaweed, valkey, nginx, OpenBao и telemetry.
## Доказательства критериев
| Критерий | Команда/сценарий | Наблюдение | Где смотреть |
| --- | --- | --- | --- |
| Контракт не сломан | `python scripts/check_contract.py` | PASS | вывод проверки |
| Публичный smoke по HTTPS | `python tests/smoke.py --base-url https://127.0.0.1:8443 --ca-file secrets/pki/ca.crt` | PASS после рестарта и повторно после ротации leaf, seal и смены S3 secret | `tests/smoke.py` |
| Недоверенный CA | `python tests/security.py` с тем же CA | PASS: пустой trust store отклонён | `tests/security.py` |
| mTLS LB→API, чужой CA, чужая identity, нет обхода :8080 | `docker compose --profile tools run --rm probe` | 29/29 PASS | `app/probes/security.py` |
| OpenBao allow/deny, не root | тот же probe | api читает свой KV и получает 403 на worker и на запись | `infra/openbao/policies/` |
| RabbitMQ mTLS и разные права | тот же probe | API не может `basic_get` (403), worker не может publish (403), чужой CN не логинится | `infra/rabbitmq/` |
| Collector mTLS | тот же probe | API принят, stranger 403, запрос без сертификата 400 | `infra/nginx/otel-edge.conf` |
| Rate limit и размер тела | тот же probe | 429 с `Retry-After`, JSON 70 КБ → 413 | `app/ratelimit.py` |
| Argon2id | измерение в контейнере API | hash 29 мс, verify 25 мс, m=19456, t=2, p=1. Потолок 60 verify/мин ≈ 1.5 с CPU | `evidence/argon2-budget.json` |
| Рестарт без потери данных | `scripts/restart.sh` через Git Bash | 44 с, exit 0. Пользователи/сообщения/ready-вложения те же (9/6/2). OpenBao не перезапускался и остался healthy. Затем smoke снова PASS | `scripts/restart.sh` |
| Отказ одной реплики | `scripts/stop-one.sh` | Остановлен только `api-1`. `/health/ready` отвечал одним оставшимся instance id. Реплика снова стала healthy | `scripts/stop-one.sh` |
| Трек 1, least privilege | `python scripts/track1_run.py` | Узкие права: `password_hash` и canary deny, запись `originals/*` allow. После временного `GRANT SELECT` и Admin в Seaweed те же проверки стали allow. После отзыва снова deny | `evidence/track1-run.json` |
| Отзыв identity и смена S3 secret | тот же сценарий, worker остановлен | Вложение осталось `queued`, в очереди 1 сообщение и после `delete_user`. Старый S3 secret — `SignatureDoesNotMatch`. После восстановления пользователя вложение стало `ready` | `evidence/track1-run.json` |
| Rehash и истечение сессии | `python scripts/verify_local.py` | Хеш `m=8192,t=1,p=1` после входа стал `m=19456,t=2,p=1`. Сессия с `expires_at` в прошлом получила 401 | `evidence/verify-local.json` |
| Ротация leaf LB без пересборки | тот же сценарий | Новый serial: 200 на `api-1:8443`. Старый serial: HTTP 403. После `nginx -s reload` публичный ready 200. Исходный leaf возвращён | `evidence/verify-local.json` |
| Sealed OpenBao | тот же сценарий | До seal неверный пароль даёт 401. Пока vault sealed, login даёт 503. В `printenv` API нет `DATABASE_URL`, ключей S3, `VALKEY_PASSWORD` и `BAO_TOKEN`. После `scripts/unseal.py` ready снова 200 | `evidence/verify-local.json` |
| Секреты не попадают в журналы | подсчёт строк в логах API, worker и Loki за 20 минут | Совпадений `Bearer `, `password=`, `postgresql://`, `aws_secret_access_key` и `BEGIN PRIVATE` нет | `evidence/verify-local.json` |
## Эксперименты и отказы
Гипотеза трека 1: учётные данные worker достаточны, чтобы обработать вложение, и недостаточны, чтобы читать пароли, писать пользователей, удалять сообщения, читать префикс `canary/` или публиковать в очередь.
Методика: один прогон probe из сети стенда с worker leaf и секретами, которые OpenBao отдаёт этой роли. Значения секретов не печатались, только allow/deny.
Результат совпал с гипотезой и на узких правах, и после временного расширения. На живом Seaweed worker на время получил `GRANT SELECT ON users` и действия `Admin`/`Read`/`Write`/`List`; `password_hash` и `canary/` стали allow, INSERT пользователя и DELETE сообщений остались `42501`, publish в очередь остался 403. Затем права возвращены, и повторный probe снова совпал с узкой матрицей. Файл `infra/minio/worker-broad.json` описывает ту же идею для MinIO IAM и в рантайм Seaweed не подключается: рабочая политика — `secrets/seaweed/s3.json`.
Дальше worker был остановлен, вложение осталось `queued`, сообщение лежало в `attachment.process.v1`. Удаление пользователя RabbitMQ сообщение не стёрло. Секрет S3 worker заменён в Seaweed и в OpenBao, контейнер `minio` перезапущен без пересборки образа. Старый секрет получил `SignatureDoesNotMatch`. После возврата пользователя RabbitMQ worker обработал то же вложение до `ready`.
| Воздействие | Ожидание | Наблюдение | Восстановление |
| --- | --- | --- | --- |
| Рестарт postgres, seaweed, rabbit, valkey, api, worker, nginx | Данные и сессии на томах сохраняются, OpenBao не запечатывается | Счётчики строк не изменились, `/health/ready` 200, smoke PASS | 44 с на сам hook |
| Остановка одной API-реплики | Вторая продолжает отвечать | В ответах остался один instance id | `compose start api-1`, реплика healthy |
| Удаление пользователя RabbitMQ worker при queued-задаче | Сообщение остаётся в очереди, после возврата identity задача доходит до ready | Очередь сохранила 1 сообщение, старый S3 secret отвергнут, вложение стало `ready` | пользователь, права и worker возвращены |
| Временное расширение прав worker | Появляются только те allow, которые выдали | `password_hash` и canary стали allow; INSERT/DELETE и publish остались deny | `REVOKE` и прежний `s3.json`, повторный probe узкий |
| Seal OpenBao | Login перестаёт проверять пароль и не читает секрет из окружения | 401 до seal, 503 пока sealed, секретных имён в окружении нет | `python scripts/unseal.py`, ready 200 |
## Ограничения
Публичный `tests/resilience.py` на Windows не может запустить `.sh` через CreateProcess. Сами hook исполнены Git Bash и отработали. На Linux их нужно вызывать как `ACTION_SCRIPT` для `make test-persistence` и `make test-failover`.
Ротация leaf и секрета S3 снята отдельными соединениями, без параллельной нагрузки на ingress. Параметры Argon2 оставлены на обязательном минимуме: измеренный verify около 25 мс, а частоту входа режет общий счётчик до вычисления хеша. Разбор зависимостей — в `security/scan-triage.md`. `docker scout` на этой машине требует вход в Docker Hub, поэтому CVE базового слоя образа отдельно не снимались. `pip-audit` по `requirements.txt` выполнен.