Закрывает обязательный минимум и трек 1: ротация leaf и секрета, sealed OpenBao и сохранность queued-задачи.
13 KiB
Отчёт — лабораторная 7
- Автор, группа: Казанцева Виктория, БПИ2301
- Целевая оценка; выбранный трек 5: 5, трек 1 (компрометация worker / least privilege)
- Commit/PR: локально, не публиковалось
- Источники: OWASP Password Storage, OpenBao AppRole/policies/hardening, Docker security, документация RabbitMQ EXTERNAL и SeaweedFS S3. Секреты, root token и unseal keys в отчёт не переносились.
Запуск из чистого clone
Нужны Docker Desktop, Python 3.9+ на хосте и пакет cryptography (bootstrap ставит его в .venv-bootstrap, если импорта нет). На Windows публичные тесты запускаются через python, не python3.
python scripts/bootstrap.py
python scripts/bootstrap.py --up
Первая команда создаёт локальные CA, leaf-сертификаты и пароли в secrets/ и .env. Вторая инициализирует OpenBao (Shamir 3/2, file storage, не dev-mode), если том ещё пустой, записывает scoped KV, собирает образы и поднимает стенд. Root token и unseal keys остаются в secrets/operator/init.json и печатаются только как «sealed=true/false» скриптом python scripts/unseal.py.
Публичная точка: https://127.0.0.1:8443. CA: secrets/pki/ca.crt. Grafana: https://127.0.0.1:3001 (порт 3000 на этой машине уже был занят другим стендом). OpenBao и management RabbitMQ наружу не опубликованы.
Проверки:
python scripts/check_contract.py
python tests/smoke.py --base-url https://127.0.0.1:8443 --ca-file <abs>/secrets/pki/ca.crt
python tests/security.py --base-url https://127.0.0.1:8443 --ca-file <abs>/secrets/pki/ca.crt
docker compose --env-file .env --profile tools run --rm probe
Остановка без удаления данных: docker compose --env-file .env stop. Удаление учебных томов: docker compose --env-file .env down -v (это стирает БД, S3, очередь и OpenBao; после этого нужен новый --up).
Архитектура и решения
Клиент говорит с nginx по HTTPS (127.0.0.1:8443). Nginx ходит к api-1:8443 и api-2:8443 с клиентским сертификатом LB. Процесс API принимает mTLS и пускает только SAN lb.messenger.internal плюс serial из allowlist, затем отдаёт HTTP на 127.0.0.1:8080. Этот порт из сети app не открывается.
Бизнес-API lab6 сохранён: пользователи, чаты, сообщения, идемпотентность, вложения queued/processing/ready/failed, thumbnail. Пароли — Argon2id, в хеше есть salt и параметры. Сессия — случайные 256 бит, в БД только SHA-256. Вход ограничен общим счётчиком Valkey до вычисления Argon2.
Секреты БД, S3 и Valkey API читает из OpenBao по своему leaf-сертификату. Root token в контейнеры приложения не монтируется. S3 — SeaweedFS 4.51 под именем сервиса minio, только HTTPS :8333. Очередь — RabbitMQ с TLS и EXTERNAL; API публикует в exchange attachment.process, worker только читает очередь attachment.process.v1.
Образы приложения и worker: non-root uid 10001, read_only, tmpfs /tmp, cap_drop: ALL, no-new-privileges. Сторонние образы, которым entrypoint нужен setuid/setgid (su-exec, setpriv), запускаются с пустым cap_drop: иначе процесс не стартует. Это исключение для postgres, rabbitmq, seaweed, valkey, nginx, OpenBao и telemetry.
Доказательства критериев
| Критерий | Команда/сценарий | Наблюдение | Где смотреть |
|---|---|---|---|
| Контракт не сломан | python scripts/check_contract.py |
PASS | вывод проверки |
| Публичный smoke по HTTPS | python tests/smoke.py --base-url https://127.0.0.1:8443 --ca-file secrets/pki/ca.crt |
PASS после рестарта и повторно после ротации leaf, seal и смены S3 secret | tests/smoke.py |
| Недоверенный CA | python tests/security.py с тем же CA |
PASS: пустой trust store отклонён | tests/security.py |
| mTLS LB→API, чужой CA, чужая identity, нет обхода :8080 | docker compose --profile tools run --rm probe |
29/29 PASS | app/probes/security.py |
| OpenBao allow/deny, не root | тот же probe | api читает свой KV и получает 403 на worker и на запись | infra/openbao/policies/ |
| RabbitMQ mTLS и разные права | тот же probe | API не может basic_get (403), worker не может publish (403), чужой CN не логинится |
infra/rabbitmq/ |
| Collector mTLS | тот же probe | API принят, stranger 403, запрос без сертификата 400 | infra/nginx/otel-edge.conf |
| Rate limit и размер тела | тот же probe | 429 с Retry-After, JSON 70 КБ → 413 |
app/ratelimit.py |
| Argon2id | измерение в контейнере API | hash 29 мс, verify 25 мс, m=19456, t=2, p=1. Потолок 60 verify/мин ≈ 1.5 с CPU | evidence/argon2-budget.json |
| Рестарт без потери данных | scripts/restart.sh через Git Bash |
44 с, exit 0. Пользователи/сообщения/ready-вложения те же (9/6/2). OpenBao не перезапускался и остался healthy. Затем smoke снова PASS | scripts/restart.sh |
| Отказ одной реплики | scripts/stop-one.sh |
Остановлен только api-1. /health/ready отвечал одним оставшимся instance id. Реплика снова стала healthy |
scripts/stop-one.sh |
| Трек 1, least privilege | python scripts/track1_run.py |
Узкие права: password_hash и canary deny, запись originals/* allow. После временного GRANT SELECT и Admin в Seaweed те же проверки стали allow. После отзыва снова deny |
evidence/track1-run.json |
| Отзыв identity и смена S3 secret | тот же сценарий, worker остановлен | Вложение осталось queued, в очереди 1 сообщение и после delete_user. Старый S3 secret — SignatureDoesNotMatch. После восстановления пользователя вложение стало ready |
evidence/track1-run.json |
| Rehash и истечение сессии | python scripts/verify_local.py |
Хеш m=8192,t=1,p=1 после входа стал m=19456,t=2,p=1. Сессия с expires_at в прошлом получила 401 |
evidence/verify-local.json |
| Ротация leaf LB без пересборки | тот же сценарий | Новый serial: 200 на api-1:8443. Старый serial: HTTP 403. После nginx -s reload публичный ready 200. Исходный leaf возвращён |
evidence/verify-local.json |
| Sealed OpenBao | тот же сценарий | До seal неверный пароль даёт 401. Пока vault sealed, login даёт 503. В printenv API нет DATABASE_URL, ключей S3, VALKEY_PASSWORD и BAO_TOKEN. После scripts/unseal.py ready снова 200 |
evidence/verify-local.json |
| Секреты не попадают в журналы | подсчёт строк в логах API, worker и Loki за 20 минут | Совпадений Bearer , password=, postgresql://, aws_secret_access_key и BEGIN PRIVATE нет |
evidence/verify-local.json |
Эксперименты и отказы
Гипотеза трека 1: учётные данные worker достаточны, чтобы обработать вложение, и недостаточны, чтобы читать пароли, писать пользователей, удалять сообщения, читать префикс canary/ или публиковать в очередь.
Методика: один прогон probe из сети стенда с worker leaf и секретами, которые OpenBao отдаёт этой роли. Значения секретов не печатались, только allow/deny.
Результат совпал с гипотезой и на узких правах, и после временного расширения. На живом Seaweed worker на время получил GRANT SELECT ON users и действия Admin/Read/Write/List; password_hash и canary/ стали allow, INSERT пользователя и DELETE сообщений остались 42501, publish в очередь остался 403. Затем права возвращены, и повторный probe снова совпал с узкой матрицей. Файл infra/minio/worker-broad.json описывает ту же идею для MinIO IAM и в рантайм Seaweed не подключается: рабочая политика — secrets/seaweed/s3.json.
Дальше worker был остановлен, вложение осталось queued, сообщение лежало в attachment.process.v1. Удаление пользователя RabbitMQ сообщение не стёрло. Секрет S3 worker заменён в Seaweed и в OpenBao, контейнер minio перезапущен без пересборки образа. Старый секрет получил SignatureDoesNotMatch. После возврата пользователя RabbitMQ worker обработал то же вложение до ready.
| Воздействие | Ожидание | Наблюдение | Восстановление |
|---|---|---|---|
| Рестарт postgres, seaweed, rabbit, valkey, api, worker, nginx | Данные и сессии на томах сохраняются, OpenBao не запечатывается | Счётчики строк не изменились, /health/ready 200, smoke PASS |
44 с на сам hook |
| Остановка одной API-реплики | Вторая продолжает отвечать | В ответах остался один instance id | compose start api-1, реплика healthy |
| Удаление пользователя RabbitMQ worker при queued-задаче | Сообщение остаётся в очереди, после возврата identity задача доходит до ready | Очередь сохранила 1 сообщение, старый S3 secret отвергнут, вложение стало ready |
пользователь, права и worker возвращены |
| Временное расширение прав worker | Появляются только те allow, которые выдали | password_hash и canary стали allow; INSERT/DELETE и publish остались deny |
REVOKE и прежний s3.json, повторный probe узкий |
| Seal OpenBao | Login перестаёт проверять пароль и не читает секрет из окружения | 401 до seal, 503 пока sealed, секретных имён в окружении нет | python scripts/unseal.py, ready 200 |
Ограничения
Публичный tests/resilience.py на Windows не может запустить .sh через CreateProcess. Сами hook исполнены Git Bash и отработали. На Linux их нужно вызывать как ACTION_SCRIPT для make test-persistence и make test-failover.
Ротация leaf и секрета S3 снята отдельными соединениями, без параллельной нагрузки на ingress. Параметры Argon2 оставлены на обязательном минимуме: измеренный verify около 25 мс, а частоту входа режет общий счётчик до вычисления хеша. Разбор зависимостей — в security/scan-triage.md. docker scout на этой машине требует вход в Docker Hub, поэтому CVE базового слоя образа отдельно не снимались. pip-audit по requirements.txt выполнен.