Files
mtusi2026lab7-fork/contracts/trust-matrix.md

18 KiB
Raw Permalink Blame History

Матрица доверия — решение lab7 (целевая оценка 4)

Это обязательная матрица покрытия. Для каждой строки указаны реальный порт, endpoint, CA, service identity, проверка SAN/ACL, срок жизни credentials и команда положительного/отрицательного теста. TLS шифрует и подтверждает сервер; mTLS также проверяет клиента. При доверенном CA всё равно нужно ограничивать разрешённую identity. Plaintext hop допустим только внутри закрытого локального transport/proxy boundary, без опубликованного обхода; границу и rationale нужно доказать.

Общее для всех строк. Один локальный CA стенда (scripts/pki.py, EC P-256, 10 лет; ca.key есть только у оператора в secrets/pki/ и не монтируется ни в один контейнер). Leaf-сертификаты — 30 дней (PKI_LEAF_DAYS), CRL — 30 дней, перевыпуск pki.py renew. Минимальная версия TLS — 1.2 везде, где продукт позволяет её задать. Identity = CN (и SAN DNS) сертификата сервиса: lb, api, worker, prometheus, grafana, otel-collector, ... Сертификат intruder подписан тем же CA и не входит ни в один allowlist — им доказывается «доверенный CA ≠ право». Сводный автоматический тест всей матрицы: python scripts/ops.py tls-audit (101 проверка, evidence/tls_audit.json).

Связь Минимум на 3 Дополнительно на 4 Доказательство / конфиг
Клиент → ingress/LB TLS 1.2+ на 127.0.0.1:8443 (lb-public, SAN localhost, 127.0.0.1, ::1, lb), HTTP-порта нет; Bearer-сессия (256 бит, SHA-256 в БД, TTL 3600 с) Expiry/отзыв сессии проверяются в PostgreSQL (кэш не продлевает); общий для реплик rate limit входа в PostgreSQL (10 попыток/мин на username, 300/мин на IP) → 429 + Retry-After до Argon2id; лимит тела 64 KiB (LB) / 10 MiB upload (API); внешние X-Forwarded-For, traceparent, tracestate, baggage удаляются infra/haproxy/haproxy.cfg (frontend public). make test-security, ops.py security-http (24 проверки: пустой trust store, чужое имя, plaintext, 429 с ответами от ≥2 реплик, 413), ops.py in-network expiry
LB → API (все реплики) mTLS: API слушает только HTTPS api:8443 с CERT_REQUIRED (CA стенда), после рукопожатия — allowlist identity lb + CRL (src/tls.py); LB проверяет сервер (verify required, verifyhost api). Порт API не публикуется; health — только 127.0.0.1:8081 внутри контейнера Ротация leaf lb-client без пересборки (pki.py rotate → restart lb), отзыв старого через CRL — API перечитывает CRL ≤ 5 с, no-ssl-reuse исключает обход через TLS resumption; просроченный/битый CRL → отказ всем infra/haproxy/haproxy.cfg (server-template ... ssl verify required crt lb_client_pem verifyhost api no-ssl-reuse), src/tls.py, src/server.py. Отрицательные: нет cert, чужой CA с CN=lb, intruder, worker, api как клиент, plaintext, порт 8081 → отказ; lb → 200 (tls-audit). Ротация/отзыв: ops.py rotate-lb-cert
API/worker → PostgreSQL TLS sslmode=verify-full (CA + SAN postgres), pg_hba: только hostssl + SCRAM, hostnossl … reject; раздельные роли messenger_api (DML своих таблиц, без DDL/TRUNCATE) и messenger_worker (только таблицы конвейера вложений; нет доступа к users, sessions, messages); миграции — администратор messenger только в one-shot migrate Ротация пароля роли без рестарта: ALTER ROLE + OpenBao KV → агент перерисовывает database_url (≤ 5 с) → пул открывает новые соединения новым паролем (src/db.py RotatingConnection, max_lifetime 600 с). mTLS к БД не включён (допустимое усиление) infra/postgres/pg_hba.conf, entrypoint.sh, initdb/10-roles.sh, migrations/006_security.sql. Отрицательные: plaintext, чужой CA, IP вместо имени, worker читает users/sessions, api делает DDL/TRUNCATE → отказ (tls-audit). Ротация: ops.py rotate-db-password api
API/worker → S3 TLS (https://s3:8333, SAN s3, boto3 verify=CA), TLS завершает сам SeaweedFS; он слушает только 127.0.0.1:8334 своего namespace, порт в сеть выдаёт s3-gate (TCP passthrough) — так недоступен неаутентифицированный gRPC S3-шлюза (8334+10000), которым можно переписать identities; раздельные identities SeaweedFS: API — Write staging/*, Read staging/* final/* originals/*, без List; worker — Write final/* staging/* originals/*, Read, List бакета; admin-ключ — только one-shot s3-init; анонимный доступ — 403 Отказ на чужой префикс (API → final/ = AccessDenied, API LIST = AccessDenied, worker вне префиксов = AccessDenied); ключи хранятся в OpenBao KV по ролям secrets/s3_config.json (scripts/init_secrets.py), src/s3_bootstrap.py, infra/haproxy/s3-gate.cfg. tls-audit (8 проверок прав + TLS/имя/plaintext + gRPC/master/filer/8334 недоступны), ops.py s3-check
API/worker → broker TLS через broker-gate (broker:6380, SAN broker); Redis слушает только 127.0.0.1:6379 своего namespace; ACL: default off, producer api_producer (XADD, создание группы), consumer worker_consumer (XREADGROUP/XACK/XAUTOCLAIM/XPENDING/XTRIM/XADD), ни у кого нет @dangerous/@admin mTLS: gate требует клиентский сертификат CA стенда + CRL и пропускает только CN api и worker (Redis 7.4 не умеет allowlist SAN — отсюда sidecar с эквивалентной проверкой, разрешённой заданием). intruder, lb, prometheus с верным паролем ACL → отказ на gate; api без AUTH → NOAUTH infra/haproxy/broker-gate.cfg, infra/redis/broker.sh, compose.yaml (network_mode: service:broker). tls-audit: 5 отрицательных identity, 7 ACL-отказов, loopback-порт 6379 недоступен, plaintext → отказ
API/worker → Collector TLS через otel-gate (otel-collector:4318); Collector слушает только 127.0.0.1:14318/18889/18888/13133; сеть telemetry-ingest — только api, worker, collector mTLS с раздельными identities: gate пропускает на OTLP только CN api и worker (у каждого свой сертификат, OTEL_EXPORTER_OTLP_CLIENT_*); метрики :8889/:8888 — только CN prometheus. Перекрёстные роли отклоняются infra/haproxy/otel-gate.cfg, infra/otel/collector.yaml. tls-audit: нет cert / чужой CA / intruder / prometheus / lb → отказ, api/worker → 200; api на :8889 → отказ
Collector → telemetry backends mTLS Collector → Tempo (OTLP gRPC tempo:4317) и → Loki (https://loki:3100/otlp): CA + имя сервера, клиентский cert otel-collector; Prometheus скрейпит Collector по mTLS (identity prometheus) Loki/Tempo принимают любой клиентский сертификат CA стенда (allowlist identity у них нет) — least privilege обеспечен сегментацией: сеть telemetry (internal) содержит только collector, prometheus, loki, tempo, grafana; api/worker туда не подключены (hardening: из api/worker loki/tempo/prometheus → no-dns). Ротация — как любой leaf (pki.py rotate otel-collector) infra/loki/loki.yaml, infra/tempo/tempo.yaml (http_tls_config, RequireAndVerifyClientCert, внутренний gRPC на 127.0.0.1). tls-audit: нет cert / чужой CA / plaintext → отказ
Grafana → data sources mTLS к Prometheus (--web.config.file, RequireAndVerifyClientCert), Loki, Tempo: проверка сервера (CA + serverName), клиентский cert grafana Отрицательные проверки доступа к backend без cert / с чужим CA / plaintext; Prometheus без публикации порта на хост infra/grafana/provisioning/datasources/datasources.yaml (tlsAuth, tlsAuthWithCACert, $__file{…}), infra/prometheus/web.yml. tls-audit (12 проверок)
API/worker/agent → OpenBao TLS https://openbao:8200 (SAN openbao), не dev-mode, file storage на volume; приложение не ходит в OpenBao само — OpenBao Agent своей роли: AppRole (RoleID + SecretID), политика только kv/data/messenger/<role> (read) Токен агента: TTL 15 мин, max 1 ч, renew агентом; SecretID: TTL 7 дней, secret_id_bound_cidrs/token_bound_cidrs = подсеть сети secrets; ротация SecretID с уничтожением старого; отзыв identity (revoke-role: все SecretID и токены роли); sealed/недоступен — уже отрисованные секреты продолжают работать, агент повторяет с backoff infra/openbao/*.hcl, scripts/bao.py. ops.py bao-policy (12 allow/deny), rotate-secret-id, revoke-identity, bao-sealed; tls-audit: имя, plaintext, KV без токена → 403
Оператор → OpenBao/Grafana/S3 admin OpenBao и S3-admin не публикуются: оператор работает через docker exec (граница доверия — доступ к Docker хоста), root token/unseal — в operator-only/ (0600, вне Git/образов); Grafana — HTTPS 127.0.0.1:3000 + пароль admin, анонимный вход и регистрация выключены, cookie Secure Разделение: root token только у оператора (init/configure/rotation), у приложения — AppRole с read-only политикой; admin-ключ S3 — только у one-shot s3-init; статистика HAProxy — только 127.0.0.1 внутри контейнера lb scripts/bao.py, compose.yaml (ports только lb и grafana). ops.py hardening: опубликованы только 127.0.0.1:8443 и 127.0.0.1:3000; security-http: Grafana без пароля → 401
API → Redis (кэш сессий) TLS (port 0, tls-port 6379) + ACL: default off, messenger_api — только ключи sess:*, без @dangerous/@admin; в ACL-файле SHA-256 пароля mTLS (tls-auth-clients yes, клиентский cert api); ротация пароля — новый пароль в secrets/cache_api_password + kv patch + restart redis, агент перерисует cache_url infra/redis/cache.sh. tls-audit: SET sess:* ok; другой ключ, FLUSHALL, CONFIG, KEYS → NOPERM; без AUTH → NOAUTH; без cert / чужой CA / plaintext → отказ
Replication/кластерные каналы N/A: один экземпляр PostgreSQL, Redis, broker, SeaweedFS (weed server — master/volume/filer в одном процессе, внутренние порты на 127.0.0.1 контейнера), OpenBao без HA. Межузловых каналов нет N/A — отказ узла хранилища не выдерживается (см. REPORT.md, ограничения) compose.yaml (-ip.bind=127.0.0.1), ops.py s3-check (admin-порты SeaweedFS недоступны из сети)

Каналы, которые тоже не должны быть обходом

Канал Как устроен Почему не обход
Health реплики API 127.0.0.1:8081 внутри контейнера, только `GET /health/live ready (src/health.py`)
Health LB / gates 127.0.0.1:8404 (stats, /lb-health), 127.0.0.1:8405 (gates) Только loopback контейнера, порты не публикуются; ops.py читает stats через docker compose exec lb
Loopback hop gate → broker / collector / s3 network_mode: service:broker / service:otel-collector / service:s3: gate и сервис в одном сетевом namespace, backend слушает 127.0.0.1 (у S3 — без снятия TLS) Plaintext только внутри namespace одного сервиса; снаружи backend-порты недоступны (tls-audit: 6379, 14318, 18889, 18888, 13133 → refused)
Bootstrap pki.py в контейнере tools с network_mode: none; bao.py — docker exec в openbao; s3-init, migrate — one-shot Секреты передаются через env процесса docker exec (не argv хоста) или stdin, не печатаются; one-shot сервисы не остаются запущенными
Scrape метрик Prometheus → otel-gate :8889/:8888 (mTLS, CN prometheus) Другие identity (api и т.д.) отклоняются gate
Egress все сети приложения internal: true api/worker не могут выйти в интернет (hardening: 1.1.1.1:443 unreachable)

Обязательные отрицательные проверки — где доказано

  1. HTTPS снаружи: доверенный CA + имя → 200; пустой trust store и чужое имя → ошибка проверки сертификата, а не «сервер недоступен» — make test-security, security-http, tls-audit (client → lb).
  2. LB → API: без cert, чужой CA (с CN lb), доверенный CA с identity intruder/worker/api → отказ; lb → 200 — tls-audit (lb → api).
  3. Broker и Collector (уровень 4): тот же набор + перекрёстные роли (prometheus на ingest, api на метрики) — tls-audit.
  4. ACL пользователей: посторонний не читает metadata/content и не прикрепляет чужой файл, X-User-Id не меняет Bearer identity — security-http.
  5. OpenBao: политика читает только свой путь, запись политики/чужого пути/выпуск SecretID запрещены, worker не получает секреты API, логин SecretID вне разрешённой сети отклоняется — bao-policy.
  6. Отзыв (уровень 4) с новыми соединениями: CRL + no-ssl-reuse для LB-сертификата, пароль БД проверяется на новом соединении, SecretID — новым логином — rotate-lb-cert, rotate-db-password, rotate-secret-id, revoke-identity.

Bootstrap и эксплуатация

  • Кто владеет чем. Оператор (тот, у кого Docker на хосте): secrets/pki/ca.key, operator-only/openbao-init.json (root token + 3 unseal shares, порог 2), operator-only/approle-accessors.json, исходные пароли ролей в secrets/. В образы и Git ничего из этого не попадает (.gitignore, .dockerignore).
  • Первый секрет для доступа к OpenBao — SecretID роли в secrets/bao/<role>_secret_id, который монтируется только в контейнер агента этой роли. Он живёт 7 дней, работает только из подсети secrets, перевыпускается ops.py rotate-secret-id (старый уничтожается). Приложение SecretID не видит; токен агента не пишется на диск.
  • После рестарта OpenBao он sealed: python scripts/bao.py unseal (hook restart делает это сам как действие оператора). Пока sealed, api/worker работают на уже отрисованных секретах (tmpfs-volume живёт, пока запущен агент) и даже перезапускаются (ops.py bao-sealed); новые ротации не доставляются до unseal.
  • Renewal. Токены агентов продлевает агент (до token_max_ttl 1 ч, затем повторный логин SecretID). Сертификаты: pki.py renew --days 7 перевыпускает истекающие leaf и CRL; потребителя перезапускают без пересборки (docker compose restart <svc>), файлы пишутся «на месте», поэтому bind-mount видит новое содержимое.
  • Компромисс учебного стенда. Все unseal shares у одного оператора и рядом со стендом (в production — у разных людей, root token отзывается после настройки и создаётся bao operator generate-root). CA без промежуточного звена и без OCSP.