Закрывает обязательный минимум и трек 1: ротация leaf и секрета, sealed OpenBao и сохранность queued-задачи.
8.4 KiB
Матрица доверия
CA стенда выпускается локально (python scripts/bootstrap.py) и не коммитится. Проверка ниже смотрит и цепочку, и имя. Доверенный CA сам по себе не делает сертификат балансировщиком: API дополнительно требует SAN lb.messenger.internal и serial из secrets/pki/lb-allowed-serials.txt.
| Связь | Минимум на 3 | Дополнительно на 4 | Доказательство / конфиг |
|---|---|---|---|
| Клиент → ingress/LB | TLS 1.2+, CA + SAN localhost / 127.0.0.1, Bearer после входа. Публичный порт только 127.0.0.1:8443 |
Сессия истекает по SESSION_TTL_SECONDS; logout ставит revoked_at. Вход ограничен общим для реплик счётчиком Valkey, 429 и Retry-After |
make test CA_FILE=secrets/pki/ca.crt, make test-security, probe login-rate-limit |
| LB → API (обе реплики) | mTLS. Сертификат сервера содержит SAN messenger_api. Клиент LB обязан иметь SAN lb.messenger.internal и разрешённый serial. Порт 8080 слушает 127.0.0.1 и из сети app не открывается |
Смена leaf LB — замена файлов и allowlist без пересборки образа. proxy_ssl_session_reuse off, поэтому новое соединение видит отзыв |
app/mtls_proxy.py, infra/nginx/ingress.conf, probe lb-identity-allowed, worker-cert-rejected-by-api, api-without-client-cert, api-foreign-ca |
| API/worker → PostgreSQL | sslmode=verify-full, SAN postgres, hostnossl отвергается. Роли api_login и worker_login без superuser |
Пароли ролей лежат в OpenBao KV и ротируются записью в KV плюс ALTER ROLE без пересборки. Worker не имеет SELECT на users |
infra/postgres/pg_hba.conf, 03-grants.sql, track1 db_select_password_hash=deny |
| API/worker → S3 | HTTPS SeaweedFS (minio:8333), проверка CA, path-style, plaintext-порт S3 выключен. Разные ключи: API пишет только staging/* и читает originals/*,variants/*; worker пишет результаты и не читает canary/* |
Идентичности генерируются в secrets/seaweed/s3.json и не коммитятся. Префиксы проверяются треком 1 |
scripts/bootstrap.py, track1 |
| API/worker → broker | RabbitMQ слушает только 5671. verify_peer, client cert обязателен, механизм EXTERNAL, пользователь равен CN. Плагин rabbitmq_auth_mechanism_ssl включён |
API публикует только в exchange attachment.process (write на это имя). Worker читает очередь attachment.process.v1 и не может публиковать в default exchange. Чужой CN того же CA не имеет пользователя |
infra/rabbitmq/rabbitmq.conf, probe api-cannot-consume, worker-cannot-publish, stranger-broker-rejected |
| API/worker → Collector | Прямого маршрута к otel-collector из сети app нет. otel-edge:4318 требует mTLS и CN api или worker, плюс serial из secrets/nginx/serials.conf |
Stranger, подписанный тем же CA, получает 403. API и worker предъявляют разные leaf | infra/nginx/otel-edge.conf, probe stranger-collector-rejected |
| Collector → telemetry backends | Collector проверяет серверные сертификаты Prometheus (:8889), Loki (:3100) и Tempo (:4317). insecure: true нет. Сервисы только в сети telemetry |
Plaintext на Loki не разбирается как HTTP. Grafana ходит по HTTPS со своим CA | infra/otel/collector.yaml, probe loki-plaintext-rejected |
| Grafana → data sources | Grafana HTTPS на 127.0.0.1:3001 (контейнерный порт 3000). Datasource'ы с tlsAuthWithCACert и serverName, CA из файла, не tlsSkipVerify |
Учётная запись admin задаётся локальным secrets/grafana.env |
infra/grafana/provisioning/datasources/datasources.yml |
| API/worker → OpenBao | Listener требует client cert нашего CA. Логин — auth/cert leaf'ом роли. Policy читает только secret/data/<role>/*, запись и sys/ запрещены. Token TTL 20m |
Renewal каждые 15 с, при ошибке процесс логинится заново leaf-сертификатом. Root token в контейнеры API/worker не монтируется | infra/openbao/config.hcl, policies/*.hcl, app/secrets_loader.py, probe OpenBao |
| Оператор → OpenBao / Grafana / RabbitMQ | OpenBao и RabbitMQ management не опубликованы. Оператор вызывает docker compose exec и scripts/unseal.py. Grafana только на loopback |
Root token не монтируется в API/worker. Cert operator не состоит в auth-роли приложения |
scripts/unseal.py, отсутствие BAO_TOKEN в compose.yaml сервисов api/worker |
| API → Valkey | TLS, SAN valkey. Клиентский сертификат не обязателен (tls-auth-clients no), потому что health-пользователь умеет только PING. Пользователь api ограничен ключами login:* и командами счётчика, включая INCRBY. Worker к Valkey не подключён |
Общий счётчик для обеих реплик. Пароль приходит из KV secret/api/valkey |
infra/valkey/valkey.conf, probe login-rate-limit |
| Replication | N/A. Учебный стенд одноузловой: PostgreSQL, SeaweedFS, RabbitMQ, Valkey и OpenBao без репликации. Отказоустойчивость заявлена только для двух реплик API за LB | N/A | compose.yaml |
Обязательные отрицательные проверки
- Доверенный CA и
localhostдают 200. Пустой trust store вmake test-securityдаётSSLCertVerificationError, а не таймаут. - LB→API: нет сертификата, чужой CA, сертификат worker или stranger при нашем CA — отказ. Leaf LB с разрешённым serial — 200. Соединение на
api-1:8080из другого контейнера не устанавливается. - Broker и Collector повторяют тот же набор. Сетевая изоляция collector не заменяет проверку CN: stranger доходит до
otel-edgeи получает 403. - Пользователь вне чата получает 404 на metadata и content.
X-User-Idне меняет Bearer. Это делает публичный smoke. - Policy
apiчитаетsecret/data/api/dbи не читаетworker. Запись KV отклоняется. Worker не получает парольapi_login. - Отзыв serial LB и смена секрета worker проверяются новым соединением (
proxy_ssl_session_reuse off, рестарт worker). Старый serial и старый S3 secret не принимаются.
Bootstrap и эксплуатация
В Git только политики, шаблоны и скрипты. secrets/, .env и *.key игнорируются. CA private key, unseal shares и root token создаёт оператор на хосте. Контейнер OpenBao их не монтирует. Поле disable_mlock в OpenBao 2.2 не задаётся: эта версия отвергает его в конфигурации. Данные vault лежат на отдельном volume, процесс работает от uid 100.
После обычного рестарта API unseal не нужен. После рестарта OpenBao нужен python scripts/unseal.py. Пока vault sealed, новый API не становится ready и не переходит на plaintext.