24 KiB
Матрица доверия — решение lab7 (Бабиченко, БВТ2303)
Это обязательная матрица покрытия. Для каждой строки укажите реальный порт, endpoint, CA, service identity, проверку SAN/ACL, срок жизни credentials и команду положительного/отрицательного теста. TLS шифрует и подтверждает сервер; mTLS также проверяет клиента. При доверенном CA всё равно нужно ограничивать разрешённую identity. Plaintext hop допустим только внутри закрытого локального transport/proxy boundary, без опубликованного обхода; границу и rationale нужно доказать.
Общее для всех строк. Один учебный корневой CA оператора (scripts/pki.py, ECDSA P-256, 365 суток; ключ CA — только secrets/pki/ca/ca.key у оператора, ни в один контейнер не монтируется). Leaf-сертификаты сервисов — 30 суток, identity = Subject CN (+ URI SAN spiffe://messenger.lab/<cn>), DNS SAN = имя сервиса в compose. Отзыв — CRL secrets/pki/public/crl.pem (подписан CA, nextUpdate 30 суток). Каждый контейнер монтирует только свой каталог secrets/pki/<identity> и публичный secrets/pki/public (read-only). Клиенты проверяют цепочку до CA и имя сервера; в коде нет ветки «без проверки». Отрицательные проверки каждой строки выполняет python student-tests/test_tls_matrix.py (контейнер probe во всех внутренних сетях, только тестовые и «чужие» клиентские сертификаты, без ключа CA и без секретов) — результат evidence/tls-matrix.json; права identity — python student-tests/test_least_privilege.py (evidence/least-privilege.json).
| Связь | Минимум на 3 | Дополнительно на 4 | Доказательство / конфиг |
|---|---|---|---|
| Клиент → ingress/LB | 127.0.0.1:8443, HTTPS (HAProxy 3.2, сертификат ingress: SAN localhost/127.0.0.1, TLS 1.2+, без session tickets), HSTS; бизнес-доступ — Bearer (сессия 256 бит, в Redis только SHA-256). HTTP :8080 больше не слушается |
Expiry/revocation сессии: абсолютный TTL в Redis (SESSION_TTL_SECONDS), logout = DEL ключа, одинаково на всех репликах. Общий для реплик rate limit входа/регистрации в Redis (10 попыток/мин на username, 600/мин на IP) → 429 + Retry-After до Argon2id; бюджет хешей реплики → 503 + Retry-After |
infra/haproxy.cfg (frontend api_in); make test-security CA_FILE=... (пустой trust store → ошибка проверки), test_lab7_security.py: чужой CA и неверное имя → SSLCertVerificationError, test_login_rate_limit_is_shared, test_logout_revokes_token; test_expiry.py (lab2) |
| LB → API (все реплики) | api:8443, mTLS: сервер — api (SAN api, HAProxy verify required ca-file crl-file verifyhost api), клиент — leaf lb. API (uvicorn, tlsutil.py): CERT_REQUIRED + CA (цепочка, срок), затем allowlist CN=lb (API_ALLOWED_CLIENTS) и CRL до чтения запроса, иначе abort. Порт API не опубликован, сеть frontend internal; health-listener 127.0.0.1:8081 только внутри контейнера, только /health/* |
Ротация leaf lb: pki.py rotate lb → docker compose kill -s USR2 lb (reload без обрыва) → pki.py revoke lb --previous: API перечитывает CRL каждые 5 с (подпись CRL проверяется ключом CA) и закрывает уже открытые соединения с отозванным сертификатом; session tickets выключены |
tls_probe.py lb-api: нет сертификата / чужой CA с CN=lb / истёкший lb / intruder (наш CA) / worker / api → отказ; lb → 200; клиент, доверяющий только чужому CA → не принимает сервер; plaintext → нет ответа. lifecycle.py rotate-leaf (старый leaf → отказ, новый → 200, нагрузка без ошибок) |
| API/worker → PostgreSQL | postgres:5432, TLS (ssl=on, TLS 1.2+), клиенты sslmode=verify-full + CA (имя postgres); pg_hba: только hostssl … scram-sha-256, hostnossl … reject. Роли: messenger_api, messenger_worker, messenger_dispatcher, messenger_janitor (GRANT по запросам, migrations/006_roles.sql), владелец messenger — только migrate |
Пароли ролей — из OpenBao (messenger/<сервис>.db_password), берутся на каждое новое соединение пула; migrate выставляет их как SCRAM-verifier (открытый пароль не попадает ни в SQL, ни в журнал сервера). Ротация пароля роли (процедура, не демонстрировалась — на 4 показана ротация пароля Redis): новая версия в KV → docker compose run --rm migrate выставляет её роли → сервисы перечитывают KV, новые соединения — с новым паролем; окно до 30 с, когда новые соединения со старым паролем получают отказ (пул держит открытые). mTLS для PostgreSQL не включён (допустимое усиление, не требование) |
infra/postgres/pg_hba.conf, dbconn.py; tls_probe.py postgres: verify-full → дошли до SCRAM (TLS ок), sslmode=disable → no pg_hba.conf entry … no encryption, доверие чужому CA / подключение по IP → отказ проверки сервера. test_least_privilege.py: worker не читает users/messages, api не DELETE/DROP/CREATE/ALTER ROLE и т.д. |
| API/worker → S3 | s3:8333 HTTPS (SeaweedFS 4.52 от uid 1000, сертификат s3; одновременных тел загрузок ≤ 128 MiB, остальные в очереди); master/volume/filer слушают только 127.0.0.1 контейнера; Iceberg/Lance/IAM API выключены; gRPC шлюза :18333 — mTLS, только CN=s3 (infra/seaweedfs/security.toml). Ключи: s3-init (admin), api, worker, janitor — разные, из OpenBao |
Права по prefix (s3_config): api — PUT/DELETE staging/, GET attachments/,originals/; worker — GET staging/,originals/, PUT/GET/LIST attachments/, DELETE исходника; janitor — LIST и DELETE, без GET; никто кроме s3-init не создаёт bucket |
tls_probe.py s3: аноним по HTTPS → 403, чужой CA → отказ проверки, plaintext → 400 «HTTP to HTTPS», gRPC :18333 с CN=intruder/api/без сертификата → bad certificate / certificate required. test_least_privilege.py: api → PUT attachments/, GET staging/, LIST → AccessDenied; worker → LIST корня, PUT вне prefix → AccessDenied; janitor → GET → AccessDenied |
| API/worker → broker | rabbitmq:5671 AMQPS (порт 5672 выключен), verify_peer + fail_if_no_peer_cert; вход механизмом EXTERNAL: пользователь = CN сертификата (worker, dispatcher), паролей нет; права: worker — read основной очереди, dispatcher — write в exchange + read DLQ, configure ни у кого. У API брокера нет (outbox) |
mTLS с ограничением identity: сертификат нашего CA с CN без пользователя брокера (api, lb, intruder) → ACCESS_REFUSED при входе; worker не публикует, dispatcher не читает задания, никто не объявляет очереди. Erlang distribution и epmd — только 127.0.0.1 | infra/rabbitmq.conf, rabbitmq-enabled-plugins; tls_probe.py broker: worker/dispatcher → вход, api/intruder/lb → login refused, чужой CA / без сертификата → отказ TLS, worker publish / dispatcher basic_get / queue_declare → 403 |
| API/worker → Collector | otel-collector:4318 (alias otel-gate) OTLP/HTTP по mTLS: шлюз HAProxy проверяет CA, срок, CRL и CN ∈ {api, worker, dispatcher, janitor}, иначе 403; Collector слушает только 127.0.0.1:4319 в общем network namespace со шлюзом (локальный hop не виден из сети) | Раздельные identity: каждый сервис шлёт со своим сертификатом (OTEL_EXPORTER_OTLP_CLIENT_CERTIFICATE); сертификат того же CA, но не приложения (lb, grafana, operator, intruder) → 403. Метрики самого Collector — :8889 через шлюз только для CN prometheus/operator |
infra/otel/gate.cfg, infra/otel/collector.yaml; tls_probe.py collector: 4 app-identity → 200, lb/grafana/operator/intruder → 403, чужой CA / без сертификата → отказ TLS, :8889 с CN=api → 403 |
| Collector → telemetry backends | Collector → Tempo :4317 (OTLP gRPC, TLS, client_ca_file), → Loki :3100 и Prometheus :9090 (HTTPS); везде клиентский сертификат CN=otel-collector и проверка сервера по CA и имени. Prometheus scrape — тоже HTTPS + сертификат prometheus |
Prometheus: client_allowed_sans — пишут/читают только otel-collector, grafana, prometheus, operator (api, intruder того же CA → отказ на рукопожатии). Loki/Tempo различают только «наш CA / не наш» — разделить чтение и запись по identity они не умеют (остаточный риск, сеть telemetry internal). Ротация leaf otel-collector: Prometheus перечитывает web-config на каждый запрос; Collector/Loki/Tempo — рестарт сервиса |
infra/prometheus/web.yml, infra/loki/loki.yaml, infra/tempo/tempo.yaml (в т.ч. внутренний gRPC Tempo по TLS), tls_probe.py telemetry |
| Grafana → data sources | HTTPS к Prometheus/Loki/Tempo с проверкой CA (tlsAuthWithCACert) и клиентским сертификатом CN=grafana ($__file{} в provisioning, в Git сертификатов нет) |
Отрицательные проверки: без сертификата / чужой CA к Loki/Tempo/Prometheus → отказ; к Prometheus — только разрешённые SAN | infra/grafana/provisioning/datasources/datasources.yaml; check_configs.py (health источников = OK), tls_probe.py telemetry |
| API/worker/agent → OpenBao | openbao:8200 TLS (сертификат openbao), вход cert auth: роль = CN, allowed_common_names=[роль], доверие только нашему CA, CRL загружен в cert auth. Токен: service, TTL 15 мин, renewable, max 1 ч; policy — read только messenger/data/<роль> |
Renewal: secretstore.py продлевает токен (renew-self с тем же сертификатом), при отказе/исчерпании max TTL — новый вход сертификатом; KV перечитывается раз в 30 с (подхват ротации). Отзыв: bao.py revoke-service-tokens + CRL в cert auth (отозванный leaf не войдёт). Sealed/недоступен: работающий процесс живёт на секретах в памяти, новый — не стартует (fail closed) |
infra/openbao/config.hcl, infra/openbao/policies/*.hcl, scripts/bao.py; tls_probe.py openbao: worker как api / intruder / чужой CA / без сертификата → 400; test_least_privilege.py: чужие пути, запись KV/политики, список auth, создание токена → 403; lifecycle.py token-expiry, lifecycle.py sealed |
| Оператор → OpenBao/Grafana/S3 admin | OpenBao: 127.0.0.1:8200 HTTPS + root token оператора (файл secrets/operator/openbao-init.json, 0600, вне Git и контейнеров). Grafana: https://localhost:3000, admin + пароль. Prometheus/Loki/Tempo: 127.0.0.1, mTLS сертификатом operator. HAProxy stats: 127.0.0.1:8404, mTLS, только CN=operator. Admin-ключ S3 — только у s3-init через OpenBao, консоли S3 нет |
Роли разделены: приложение не имеет operator-прав нигде (нет root token, admin S3, владельца БД, admin Redis); оператор не использует ключи сервисов. Redis admin — только у оператора для ротации (lifecycle.py) |
check_stack.py/check_hardening.py: опубликованы только 8443, 8404, 8200, 9090, 3100, 3200, 3000 и только на 127.0.0.1; tls_probe.py telemetry (без сертификата оператора → отказ) |
| API → Redis/Valkey, если используется | redis:6379 только TLS (port 0), tls-auth-clients yes (клиентский сертификат нашего CA обязателен), затем ACL: default off, api — только ключи session:*, ratelimit:* и команды get/set/del/incr/incrby/pexpire/pttl/ping/multi/exec, без pub/sub; admin — оператор |
Ротация пароля api без рестартов: временно два пароля (ACL SETUSER api >new) → новая версия в OpenBao → все реплики прочитали → ACL SETUSER api resetpass >new + CLIENT KILL USER api + ACL SAVE. mTLS включён (identity на уровне TLS — любой сертификат нашего CA, права — ACL) |
infra/redis.conf, scripts/init_secrets.py (ACL), auth.py; tls_probe.py redis: наш CA без AUTH → NOAUTH, неверный пароль → WRONGPASS, без сертификата / чужой CA → отказ TLS, plaintext → сброс; test_least_privilege.py: KEYS, FLUSHALL, CONFIG, ACL, PUBLISH, чужие ключи → NOPERM; lifecycle.py rotate-secret |
| Replication/кластерные каналы, если добавлены | N/A: репликации и кластеров нет (по одному PostgreSQL, Redis, RabbitMQ, SeaweedFS). Внутрипроцессные каналы закрыты: SeaweedFS master/volume/filer — 127.0.0.1 + gRPC mTLS (CN=s3); RabbitMQ distribution/epmd — 127.0.0.1; Loki gRPC — 127.0.0.1; Tempo внутренний gRPC — TLS с клиентским сертификатом | Модель отказа: один Docker-host, отказ узла не выдерживается (см. REPORT.md, ограничения) | tls_probe.py s3 (gRPC 18333), infra/seaweedfs/security.toml, infra/rabbitmq.conf |
Служебные каналы (scrape / health / bootstrap)
| Канал | Как защищён | Почему не обход |
|---|---|---|
| Healthcheck API | http://127.0.0.1:8081/health/{live,ready} — отдельный listener внутри контейнера |
loopback контейнера недоступен из сетей; бизнес-путей нет (404) |
| Healthcheck LB / otel-gate | 127.0.0.1:8405 внутри контейнера (monitor-uri) |
то же |
| Healthcheck PostgreSQL / Redis / RabbitMQ / SeaweedFS | unix-socket pg_isready; redis-cli --tls без AUTH (ответ NOAUTH); rabbitmq-diagnostics по loopback-distribution; wget http://127.0.0.1:9333/dir/assign (master на loopback; готовность к записи, а не только чтению — после рестарта мастер ~15 с не выдаёт fid) |
всё внутри контейнера |
| Healthcheck Prometheus / Grafana / OpenBao | promtool check ready --http.config.file (mTLS), curl --cacert https://localhost:3000, bao status -ca-cert |
TLS и внутри контейнера |
| Prometheus scrape | HTTPS + сертификат prometheus к Collector (через gate, CN-allowlist), Loki, Tempo, себе | см. строку Collector → backends |
| Bootstrap | migrate (CN=migrate: пароль владельца БД + пароли ролей), s3-init (CN=s3-init: admin S3) — одноразовые, свои политики OpenBao; оператор — pki.py, init_secrets.py, bao.py на хосте |
значения не печатаются; файл с секретами приложений удаляется после загрузки в OpenBao |
Обязательные отрицательные проверки
- HTTPS с правильным CA/hostname проходит; с пустым/чужим CA и неправильным hostname — ошибка верификации, не «сервер недоступен». →
make test-security,test_lab7_security.py test_https_only_and_certificate_checks. - LB→API: без client cert, с cert чужого CA, с запрещённой identity от доверенного CA — отказ; с разрешённой LB identity — успех. →
test_tls_matrix.py lb-api(+ истёкший lb, сертификат самого api, отозванный предыдущий leaf). - На 4 повторите набор для broker и Collector; ограничение на network policy не заменяет проверку identity. →
test_tls_matrix.py broker collector(identity проверяется самим брокером — EXTERNAL/permissions — и шлюзом Collector по CN). - Пользователь вне чата не читает metadata/content и не прикрепляет чужой файл; поддельный X-User-Id не меняет Bearer identity. →
test_lab7_security.py test_outsider_cannot_reach_foreign_chat,test_api.py(lab2). - OpenBao app policy читает только свой secret/path; запись policy и чтение чужого path запрещены. Worker не получает admin credentials API/БД/S3. →
test_least_privilege.py(openbao: 5 чужих путей, запись KV, политика, список auth, токен; «own secret keys (no admin credentials)»). - На 4 отзовите secret/cert и дождитесь контролируемого эффекта с учётом действующих соединений, TLS resumption и cache/TTL. Покажите новое подключение, иначе тест отзыва может ничего не проверить. →
lifecycle.py rotate-leaf(новое подключение старым leaf — отказ; API закрывает открытые соединения со старым leaf; tickets выключены),lifecycle.py rotate-secret(CLIENT KILL USER api+ проверка, что активен только новый пароль),lifecycle.py token-expiry.
Bootstrap и эксплуатация
В репозитории только открытые конфиги, policy templates и scripts. CA private key, leaf keys, root token, unseal shares и SecretID не коммитятся, не запекаются в образ и не печатаются в отчёте. Для локального стенда оператор создаёт их вне Git и передаёт через files/secrets с ограниченными правами. Опишите, кто имеет доступ к CA/unseal, что нужно после рестарта OpenBao и как восстановить работу.
OpenBao не использует dev-mode. Выберите persistent storage и auth метод (например AppRole с короткоживущим SecretID/response wrapping, cert auth или иная обоснованная identity). Не подменяйте root token постоянной переменной BAO_TOKEN в приложении. Рабочие tokens имеют policy, TTL и renewal/re-auth сценарий. Статические KV secrets на 3 допустимы при реальном чтении через сервисную identity; динамические DB credentials — хорошее расширение, но не обязательное название технологии.
Разрешённый компромисс учебного стенда: ручной operator init/unseal, если он безопасно документирован и не нужен при каждом обычном рестарте API. Автоматическое хранение всех unseal shares рядом с OpenBao без защиты не считается решённым bootstrap.
Решение.
- Кто владеет чем. Оператор (студент на своём хосте) — ключ CA (
secrets/pki/ca/), доли unseal и root token (secrets/operator/openbao-init.json), пароль admin Redis и владельца БД (secrets/operator/). Каталогsecrets/0700, файлы оператора 0600, ни один не смонтирован в контейнер. В реальной эксплуатации:bao.py init --print-shares-onceраздаёт 3 доли разным людям (порог 2) и ничего не сохраняет,bao.py unseal --prompt; root token отзывается после настройки; CA — офлайн. - Первый секрет сервиса — его leaf-сертификат (30 суток, отзывается CRL, меняется без пересборки образа). Постоянного «секрета для получения секретов» (SecretID/BAO_TOKEN в env) нет: процесс входит в OpenBao методом cert и получает токен на 15 мин.
- Рестарт API — без участия оператора (сертификат на месте, OpenBao распечатан). Рестарт OpenBao — он sealed:
python scripts/bao.py unseal(restart-hook делает это сам, читая доли из файла оператора; ничего не печатается). Пока sealed: работающие сервисы обслуживают запросы с секретами из памяти, новые/перезапущенные не становятся ready. - Renewal. Leaf —
pki.py rotate <identity>+ reload/restart сервиса (каталоги смонтированы, образы не меняются), старый —pki.py revoke <identity> --previous+bao.py sync-crl+ reload lb/otel-gate; CRL переподписываетсяpki.py crlраньше nextUpdate (30 суток). Токены — автоматически (renew/relogin). Рабочие секреты — новая версия KV, сервисы перечитывают её сами. - Восстановление. Потеря OpenBao volume = потеря секретов приложений →
init_secrets.pyпосле удаленияsecrets/s3_config.json/redis/users.aclи пересоздание volumes (учебные данные). Потеря CA → новый CA и все leaf (pki.py initв чистомsecrets/pki),bao.py configure(роли cert auth получают новый CA).