18 KiB
Матрица доверия — решение lab7 (целевая оценка 4)
Это обязательная матрица покрытия. Для каждой строки указаны реальный порт, endpoint, CA, service identity, проверка SAN/ACL, срок жизни credentials и команда положительного/отрицательного теста. TLS шифрует и подтверждает сервер; mTLS также проверяет клиента. При доверенном CA всё равно нужно ограничивать разрешённую identity. Plaintext hop допустим только внутри закрытого локального transport/proxy boundary, без опубликованного обхода; границу и rationale нужно доказать.
Общее для всех строк. Один локальный CA стенда (scripts/pki.py, EC P-256, 10 лет; ca.key есть только у оператора в secrets/pki/ и не монтируется ни в один контейнер). Leaf-сертификаты — 30 дней (PKI_LEAF_DAYS), CRL — 30 дней, перевыпуск pki.py renew. Минимальная версия TLS — 1.2 везде, где продукт позволяет её задать. Identity = CN (и SAN DNS) сертификата сервиса: lb, api, worker, prometheus, grafana, otel-collector, ... Сертификат intruder подписан тем же CA и не входит ни в один allowlist — им доказывается «доверенный CA ≠ право». Сводный автоматический тест всей матрицы: python scripts/ops.py tls-audit (101 проверка, evidence/tls_audit.json).
| Связь | Минимум на 3 | Дополнительно на 4 | Доказательство / конфиг |
|---|---|---|---|
| Клиент → ingress/LB | TLS 1.2+ на 127.0.0.1:8443 (lb-public, SAN localhost, 127.0.0.1, ::1, lb), HTTP-порта нет; Bearer-сессия (256 бит, SHA-256 в БД, TTL 3600 с) |
Expiry/отзыв сессии проверяются в PostgreSQL (кэш не продлевает); общий для реплик rate limit входа в PostgreSQL (10 попыток/мин на username, 300/мин на IP) → 429 + Retry-After до Argon2id; лимит тела 64 KiB (LB) / 10 MiB upload (API); внешние X-Forwarded-For, traceparent, tracestate, baggage удаляются |
infra/haproxy/haproxy.cfg (frontend public). make test-security, ops.py security-http (24 проверки: пустой trust store, чужое имя, plaintext, 429 с ответами от ≥2 реплик, 413), ops.py in-network expiry |
| LB → API (все реплики) | mTLS: API слушает только HTTPS api:8443 с CERT_REQUIRED (CA стенда), после рукопожатия — allowlist identity lb + CRL (src/tls.py); LB проверяет сервер (verify required, verifyhost api). Порт API не публикуется; health — только 127.0.0.1:8081 внутри контейнера |
Ротация leaf lb-client без пересборки (pki.py rotate → restart lb), отзыв старого через CRL — API перечитывает CRL ≤ 5 с, no-ssl-reuse исключает обход через TLS resumption; просроченный/битый CRL → отказ всем |
infra/haproxy/haproxy.cfg (server-template ... ssl verify required crt lb_client_pem verifyhost api no-ssl-reuse), src/tls.py, src/server.py. Отрицательные: нет cert, чужой CA с CN=lb, intruder, worker, api как клиент, plaintext, порт 8081 → отказ; lb → 200 (tls-audit). Ротация/отзыв: ops.py rotate-lb-cert |
| API/worker → PostgreSQL | TLS sslmode=verify-full (CA + SAN postgres), pg_hba: только hostssl + SCRAM, hostnossl … reject; раздельные роли messenger_api (DML своих таблиц, без DDL/TRUNCATE) и messenger_worker (только таблицы конвейера вложений; нет доступа к users, sessions, messages); миграции — администратор messenger только в one-shot migrate |
Ротация пароля роли без рестарта: ALTER ROLE + OpenBao KV → агент перерисовывает database_url (≤ 5 с) → пул открывает новые соединения новым паролем (src/db.py RotatingConnection, max_lifetime 600 с). mTLS к БД не включён (допустимое усиление) |
infra/postgres/pg_hba.conf, entrypoint.sh, initdb/10-roles.sh, migrations/006_security.sql. Отрицательные: plaintext, чужой CA, IP вместо имени, worker читает users/sessions, api делает DDL/TRUNCATE → отказ (tls-audit). Ротация: ops.py rotate-db-password api |
| API/worker → S3 | TLS (https://s3:8333, SAN s3, boto3 verify=CA), TLS завершает сам SeaweedFS; он слушает только 127.0.0.1:8334 своего namespace, порт в сеть выдаёт s3-gate (TCP passthrough) — так недоступен неаутентифицированный gRPC S3-шлюза (8334+10000), которым можно переписать identities; раздельные identities SeaweedFS: API — Write staging/*, Read staging/* final/* originals/*, без List; worker — Write final/* staging/* originals/*, Read, List бакета; admin-ключ — только one-shot s3-init; анонимный доступ — 403 |
Отказ на чужой префикс (API → final/ = AccessDenied, API LIST = AccessDenied, worker вне префиксов = AccessDenied); ключи хранятся в OpenBao KV по ролям |
secrets/s3_config.json (scripts/init_secrets.py), src/s3_bootstrap.py, infra/haproxy/s3-gate.cfg. tls-audit (8 проверок прав + TLS/имя/plaintext + gRPC/master/filer/8334 недоступны), ops.py s3-check |
| API/worker → broker | TLS через broker-gate (broker:6380, SAN broker); Redis слушает только 127.0.0.1:6379 своего namespace; ACL: default off, producer api_producer (XADD, создание группы), consumer worker_consumer (XREADGROUP/XACK/XAUTOCLAIM/XPENDING/XTRIM/XADD), ни у кого нет @dangerous/@admin |
mTLS: gate требует клиентский сертификат CA стенда + CRL и пропускает только CN api и worker (Redis 7.4 не умеет allowlist SAN — отсюда sidecar с эквивалентной проверкой, разрешённой заданием). intruder, lb, prometheus с верным паролем ACL → отказ на gate; api без AUTH → NOAUTH |
infra/haproxy/broker-gate.cfg, infra/redis/broker.sh, compose.yaml (network_mode: service:broker). tls-audit: 5 отрицательных identity, 7 ACL-отказов, loopback-порт 6379 недоступен, plaintext → отказ |
| API/worker → Collector | TLS через otel-gate (otel-collector:4318); Collector слушает только 127.0.0.1:14318/18889/18888/13133; сеть telemetry-ingest — только api, worker, collector |
mTLS с раздельными identities: gate пропускает на OTLP только CN api и worker (у каждого свой сертификат, OTEL_EXPORTER_OTLP_CLIENT_*); метрики :8889/:8888 — только CN prometheus. Перекрёстные роли отклоняются |
infra/haproxy/otel-gate.cfg, infra/otel/collector.yaml. tls-audit: нет cert / чужой CA / intruder / prometheus / lb → отказ, api/worker → 200; api на :8889 → отказ |
| Collector → telemetry backends | mTLS Collector → Tempo (OTLP gRPC tempo:4317) и → Loki (https://loki:3100/otlp): CA + имя сервера, клиентский cert otel-collector; Prometheus скрейпит Collector по mTLS (identity prometheus) |
Loki/Tempo принимают любой клиентский сертификат CA стенда (allowlist identity у них нет) — least privilege обеспечен сегментацией: сеть telemetry (internal) содержит только collector, prometheus, loki, tempo, grafana; api/worker туда не подключены (hardening: из api/worker loki/tempo/prometheus → no-dns). Ротация — как любой leaf (pki.py rotate otel-collector) |
infra/loki/loki.yaml, infra/tempo/tempo.yaml (http_tls_config, RequireAndVerifyClientCert, внутренний gRPC на 127.0.0.1). tls-audit: нет cert / чужой CA / plaintext → отказ |
| Grafana → data sources | mTLS к Prometheus (--web.config.file, RequireAndVerifyClientCert), Loki, Tempo: проверка сервера (CA + serverName), клиентский cert grafana |
Отрицательные проверки доступа к backend без cert / с чужим CA / plaintext; Prometheus без публикации порта на хост | infra/grafana/provisioning/datasources/datasources.yaml (tlsAuth, tlsAuthWithCACert, $__file{…}), infra/prometheus/web.yml. tls-audit (12 проверок) |
| API/worker/agent → OpenBao | TLS https://openbao:8200 (SAN openbao), не dev-mode, file storage на volume; приложение не ходит в OpenBao само — OpenBao Agent своей роли: AppRole (RoleID + SecretID), политика только kv/data/messenger/<role> (read) |
Токен агента: TTL 15 мин, max 1 ч, renew агентом; SecretID: TTL 7 дней, secret_id_bound_cidrs/token_bound_cidrs = подсеть сети secrets; ротация SecretID с уничтожением старого; отзыв identity (revoke-role: все SecretID и токены роли); sealed/недоступен — уже отрисованные секреты продолжают работать, агент повторяет с backoff |
infra/openbao/*.hcl, scripts/bao.py. ops.py bao-policy (12 allow/deny), rotate-secret-id, revoke-identity, bao-sealed; tls-audit: имя, plaintext, KV без токена → 403 |
| Оператор → OpenBao/Grafana/S3 admin | OpenBao и S3-admin не публикуются: оператор работает через docker exec (граница доверия — доступ к Docker хоста), root token/unseal — в operator-only/ (0600, вне Git/образов); Grafana — HTTPS 127.0.0.1:3000 + пароль admin, анонимный вход и регистрация выключены, cookie Secure |
Разделение: root token только у оператора (init/configure/rotation), у приложения — AppRole с read-only политикой; admin-ключ S3 — только у one-shot s3-init; статистика HAProxy — только 127.0.0.1 внутри контейнера lb |
scripts/bao.py, compose.yaml (ports только lb и grafana). ops.py hardening: опубликованы только 127.0.0.1:8443 и 127.0.0.1:3000; security-http: Grafana без пароля → 401 |
| API → Redis (кэш сессий) | TLS (port 0, tls-port 6379) + ACL: default off, messenger_api — только ключи sess:*, без @dangerous/@admin; в ACL-файле SHA-256 пароля |
mTLS (tls-auth-clients yes, клиентский cert api); ротация пароля — новый пароль в secrets/cache_api_password + kv patch + restart redis, агент перерисует cache_url |
infra/redis/cache.sh. tls-audit: SET sess:* ok; другой ключ, FLUSHALL, CONFIG, KEYS → NOPERM; без AUTH → NOAUTH; без cert / чужой CA / plaintext → отказ |
| Replication/кластерные каналы | N/A: один экземпляр PostgreSQL, Redis, broker, SeaweedFS (weed server — master/volume/filer в одном процессе, внутренние порты на 127.0.0.1 контейнера), OpenBao без HA. Межузловых каналов нет |
N/A — отказ узла хранилища не выдерживается (см. REPORT.md, ограничения) | compose.yaml (-ip.bind=127.0.0.1), ops.py s3-check (admin-порты SeaweedFS недоступны из сети) |
Каналы, которые тоже не должны быть обходом
| Канал | Как устроен | Почему не обход |
|---|---|---|
| Health реплики API | 127.0.0.1:8081 внутри контейнера, только `GET /health/live |
ready (src/health.py`) |
| Health LB / gates | 127.0.0.1:8404 (stats, /lb-health), 127.0.0.1:8405 (gates) |
Только loopback контейнера, порты не публикуются; ops.py читает stats через docker compose exec lb |
| Loopback hop gate → broker / collector / s3 | network_mode: service:broker / service:otel-collector / service:s3: gate и сервис в одном сетевом namespace, backend слушает 127.0.0.1 (у S3 — без снятия TLS) |
Plaintext только внутри namespace одного сервиса; снаружи backend-порты недоступны (tls-audit: 6379, 14318, 18889, 18888, 13133 → refused) |
| Bootstrap | pki.py в контейнере tools с network_mode: none; bao.py — docker exec в openbao; s3-init, migrate — one-shot |
Секреты передаются через env процесса docker exec (не argv хоста) или stdin, не печатаются; one-shot сервисы не остаются запущенными |
| Scrape метрик | Prometheus → otel-gate :8889/:8888 (mTLS, CN prometheus) |
Другие identity (api и т.д.) отклоняются gate |
| Egress | все сети приложения internal: true |
api/worker не могут выйти в интернет (hardening: 1.1.1.1:443 unreachable) |
Обязательные отрицательные проверки — где доказано
- HTTPS снаружи: доверенный CA + имя → 200; пустой trust store и чужое имя → ошибка проверки сертификата, а не «сервер недоступен» —
make test-security,security-http,tls-audit(client → lb). - LB → API: без cert, чужой CA (с CN
lb), доверенный CA с identityintruder/worker/api→ отказ;lb→ 200 —tls-audit(lb → api). - Broker и Collector (уровень 4): тот же набор + перекрёстные роли (
prometheusна ingest,apiна метрики) —tls-audit. - ACL пользователей: посторонний не читает metadata/content и не прикрепляет чужой файл,
X-User-Idне меняет Bearer identity —security-http. - OpenBao: политика читает только свой путь, запись политики/чужого пути/выпуск SecretID запрещены, worker не получает секреты API, логин SecretID вне разрешённой сети отклоняется —
bao-policy. - Отзыв (уровень 4) с новыми соединениями: CRL +
no-ssl-reuseдля LB-сертификата, пароль БД проверяется на новом соединении, SecretID — новым логином —rotate-lb-cert,rotate-db-password,rotate-secret-id,revoke-identity.
Bootstrap и эксплуатация
- Кто владеет чем. Оператор (тот, у кого Docker на хосте):
secrets/pki/ca.key,operator-only/openbao-init.json(root token + 3 unseal shares, порог 2),operator-only/approle-accessors.json, исходные пароли ролей вsecrets/. В образы и Git ничего из этого не попадает (.gitignore,.dockerignore). - Первый секрет для доступа к OpenBao — SecretID роли в
secrets/bao/<role>_secret_id, который монтируется только в контейнер агента этой роли. Он живёт 7 дней, работает только из подсетиsecrets, перевыпускаетсяops.py rotate-secret-id(старый уничтожается). Приложение SecretID не видит; токен агента не пишется на диск. - После рестарта OpenBao он sealed:
python scripts/bao.py unseal(hookrestartделает это сам как действие оператора). Пока sealed, api/worker работают на уже отрисованных секретах (tmpfs-volume живёт, пока запущен агент) и даже перезапускаются (ops.py bao-sealed); новые ротации не доставляются до unseal. - Renewal. Токены агентов продлевает агент (до
token_max_ttl1 ч, затем повторный логин SecretID). Сертификаты:pki.py renew --days 7перевыпускает истекающие leaf и CRL; потребителя перезапускают без пересборки (docker compose restart <svc>), файлы пишутся «на месте», поэтому bind-mount видит новое содержимое. - Компромисс учебного стенда. Все unseal shares у одного оператора и рядом со стендом (в production — у разных людей, root token отзывается после настройки и создаётся
bao operator generate-root). CA без промежуточного звена и без OCSP.