25 KiB
Отчёт — лабораторная 7
- Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
- Целевая оценка: 4; трек 5 не заявляется
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: OpenBao 2.1.0 (server, Agent, AppRole, KV v2, политики), HAProxy 2.8 (TLS termination,
verify required,crl-file,ssl_c_s_dn), Redis 7.4 TLS/ACL, PostgreSQL 16 (hostssl, SCRAM,sslmode=verify-full), SeaweedFS 4.50 (S3 TLS, identities с префиксами), OTel Collector 0.115.1 (TLS exporters), dskithttp_tls_config(Loki/Tempo), Prometheusweb.config.file; Python:argon2-cffi(PHC,check_needs_rehash),cryptography(CA, CRL, разбор клиентского cert),uvicorn(собственный подкласс H11Protocol для проверки identity). Документация: OWASP Password Storage / File Upload Cheat Sheets, OpenBao AppRole / policies / production hardening, Docker security. Помощь ИИ (Claude): проектирование матрицы доверия, кодsrc/tls.py,scripts/pki.py,scripts/bao.py, конфигурации, отрицательные тесты, отчёт.
Минимум lab6 перенесён целиком (HAProxy, 2 реплики API, PostgreSQL, Redis-кэш, SeaweedFS S3, Redis Streams, worker, outbox, retry/DLQ, OTel → Collector → Prometheus/Loki/Tempo → Grafana). Бизнес-API не менялся, транспорт — HTTPS. Изменения поведения, видимые клиенту: X-Instance-Id — случайный alias (api-xxxxxxxx), 429 rate_limited на входе, 413 для JSON > 64 KiB, 503 + Retry-After при перегрузке KDF — всё в пределах кодов контракта.
Запуск из чистого clone
Prerequisites: Docker Desktop с Compose v2 (Linux-контейнеры), Python 3.9+ (стандартная библиотека; пакет cryptography на хосте не нужен — PKI создаётся в контейнере tools без сети), свободные 127.0.0.1:8443 и 127.0.0.1:3000. Образы закреплены: python:3.12.7-slim-bookworm, postgres:16.4-alpine, redis:7.4.1-alpine, haproxy:2.8.30-alpine, chrislusf/seaweedfs:4.50, openbao/openbao:2.1.0, otel/opentelemetry-collector-contrib:0.115.1, prom/prometheus:v2.55.1, grafana/loki:3.3.2, grafana/tempo:2.6.1, grafana/grafana:11.4.0.
Windows / PowerShell — одна команда:
powershell -ExecutionPolicy Bypass -File .\run.ps1 # развернуть + все проверки, итог в evidence\run\SUMMARY.txt
Linux/macOS: make all (или те же шаги через python3 scripts/ops.py …).
Что делает python scripts/ops.py up (вызывается из run.ps1):
.envиз.env.example(только несекретные настройки).scripts/init_secrets.py→secrets/(пароли ролей БД/Redis/broker, ключи S3 трёх identities, пароль Grafana). Значения не печатаются; повторный запуск ничего не перезаписывает.docker compose build api— один образ для api/worker/migrate/s3-init/tools.scripts/pki.py init→secrets/pki/(CA, 15 leaf, CRL). Действие оператора:ca.keyхранить у себя, никуда не монтируется.docker compose up -d openbao→scripts/bao.py init(оператор: 3 unseal shares, порог 2, root token →operator-only/openbao-init.json, 0600) →unseal→configure(kv-v2, AppRole, политики, секреты в KV, RoleID/SecretID →secrets/bao/).docker compose up -d—migrate(администратор БД, миграция006_security.sql: роли и права),s3-init(бакет + проверка прав трёх identities), агенты отрисовывают секреты, затем api ×2, worker, LB, телеметрия.- Ожидание: N реплик healthy, UP в HAProxy по mTLS-проверкам,
https://127.0.0.1:8443/health/ready= 200 с проверкой CA.
Тесты: make test BASE_URL=https://localhost:8443 CA_FILE=secrets/pki/ca.crt, make test-security … (в run.ps1 — шаги test-smoke, test-security). После каждого рестарта контейнера OpenBao он sealed: python scripts/bao.py unseal (hook restart делает это сам). Безопасная остановка: python scripts/ops.py down (volumes целы). Намеренное удаление учебных данных: python scripts/ops.py destroy (+ удалить operator-only/openbao-init.json и secrets/bao/*, т.к. они относятся к удалённому хранилищу OpenBao).
Архитектура и решения
127.0.0.1:8443 ──TLS──► lb ──mTLS (identity lb, CRL)──► api ×2 ──TLS verify-full──► postgres (messenger_api)
├──mTLS + ACL──────────────► redis (кэш сессий)
├──TLS, identity API──────► s3 (staging/ write)
├──mTLS(api)──► broker-gate ─lo─► broker (ACL api_producer)
└──mTLS(api)──► otel-gate ─lo─► collector ─mTLS─► loki / tempo
worker ──TLS──► postgres (messenger_worker) / s3 (final/ write, List) ; ──mTLS(worker)──► broker-gate / otel-gate
prometheus ──mTLS(prometheus)──► otel-gate :8889/:8888 ; grafana (127.0.0.1:3000 HTTPS) ──mTLS──► prometheus/loki/tempo
bao-agent-api / bao-agent-worker ──TLS + AppRole──► openbao (file storage, ручной unseal)
└── tmpfs volume api-secrets / worker-secrets ──► /run/bao (read-only) в api / worker
Роль → сервис → health → volume → сеть/порт → credentials:
| Роль | Сервис | Health/readiness | Volume | Сети, порт | Credentials |
|---|---|---|---|---|---|
| api ×2 | api |
loopback 127.0.0.1:8081/health/ready (Docker), LB — /health/ready по mTLS |
нет (tmpfs /tmp, ro /run/bao) |
ingress, backend, storage, queue, telemetry-ingest; 8443 не опубликован |
TLS: api_crt/key; секреты — /run/bao/* от агента |
| LB | lb |
127.0.0.1:8404/lb-health |
— | edge, ingress; 127.0.0.1:8443 |
lb_public_pem, lb_client_pem, ca_crt |
| worker | worker |
heartbeat-файл | — | backend, storage, queue, telemetry-ingest | worker_crt/key; /run/bao/* |
| postgres | postgres (uid 70) |
pg_isready (unix socket) |
pgdata |
backend 5432 (только hostssl) |
postgres_crt/key, postgres_password, пароли ролей (initdb) |
| redis (кэш) | redis |
redis-cli --tls … ping (ACL healthcheck) |
— (кэш без persistence) | backend 6379 TLS |
redis_crt/key, cache_api_password |
| broker | broker + broker-gate |
ping по loopback / 127.0.0.1:8405 |
brokerdata (AOF fsync always) |
queue 6380 (gate), Redis 127.0.0.1:6379 |
broker_pem, crl_pem, пароли producer/consumer |
| s3 | s3 + s3-gate, one-shot s3-init |
порт 8334 + реальный TLS-путь в s3-init/wait-s3 |
s3data |
storage 8333 (gate, TLS passthrough), SeaweedFS — только 127.0.0.1 |
s3_crt/key, s3_config (identities) |
| миграции | one-shot migrate |
exit 0 | — | backend | database_admin_url (администратор) |
| OpenBao | openbao |
bao status (0/2 = процесс жив) |
baodata |
secrets 8200 HTTPS |
openbao_crt/key |
| агенты | bao-agent-api, bao-agent-worker |
файлы секретов отрисованы | api-secrets, worker-secrets (tmpfs) |
secrets (подсеть = secret_id_bound_cidrs) |
RoleID/SecretID своей роли |
| Collector | otel-collector + otel-gate |
127.0.0.1:8405/gate-health |
— | telemetry-ingest 4318 (gate), telemetry 8889/8888 (gate) |
otel_collector_* |
| Prometheus / Loki / Tempo | как в lab6 | promtool check healthy по mTLS / — / — |
promdata, lokidata, tempodata |
telemetry (internal) | свои *_crt/key |
| Grafana | grafana |
— | grafanadata |
telemetry, ops; 127.0.0.1:3000 HTTPS |
grafana_admin_password, grafana_crt/key |
Ключевые решения:
- mTLS LB→API в приложении, а не sidecar-ом. Uvicorn принимает только TLS с
CERT_REQUIRED; подклассH11Protocol(src/tls.py) после рукопожатия проверяет SAN/CN поMTLS_ALLOWED_CLIENTS=lbи serial по CRL (подпись CA, перечитывание по mtime ≤ 5 с, fail closed) и обрывает соединение до первого байта HTTP. Отказы пишутся в лог (mtls.rejectedс причиной). Docker-healthcheck не умеет mTLS — для него минимальный listener на127.0.0.1:8081(только/health/*). - Gates для broker и Collector. Redis и Collector умеют TLS/проверку CA, но не allowlist identity, поэтому TLS завершается в HAProxy-sidecar в том же сетевом namespace (
network_mode: service:…); backend слушает только loopback. Gate проверяет CA + CRL + CN (api|worker/prometheus) и логирует отказ с CN. Плюс независимый второй фактор — Redis ACL (default off, producer/consumer). - Секреты только через OpenBao Agent. Приложение читает файлы
/run/bao/*(tmpfs-volume), а не ходит в OpenBao: синхронный путь не зависит от OpenBao, SecretID и токен приложению недоступны. Пароль БД перечитывается при каждом новом соединении пула (RotatingConnection), что даёт ротацию без рестарта. - S3 только через gate. При ревизии найдено, что
weed server -s3открывает неаутентифицированный gRPC S3-шлюза (порт S3 + 10000) на том же адресе, что и S3 (в lab6 —0.0.0.0в сети storage); выключить его флагом нельзя. Теперь весь SeaweedFS слушает127.0.0.1контейнера, а наружу выдан только порт S3 черезs3-gate(TCP passthrough, TLS не снимается) — угроза T12. - Least privilege в хранилищах. Роли БД разведены (worker не видит
users/sessions/messages, у API нет DDL), S3-identities разведены по префиксам (у API нет List и записи вfinal/, поэтому полный обход бакета для сверки перенесён в worker:ORPHAN_SWEEP_ENABLED=falseу API), ACL broker/кэша — по командам и ключам. - Argon2id. Параметры из окружения с проверкой нижней границы OWASP (m ≥ 19 MiB, t ≥ 2, p ≥ 1 — иначе процесс не стартует). Замер на стенде:
ops.py login-budget; в песочнице подготовки: hash/verify ≈ 24 мс, 19 MiB; при квоте 0.5 CPU ≈ 21 вход/с на реплику. Варианты m=64 MiB/t=2 (≈130 мс, 64 MiB) сокращают пропускную способность в 5 раз и при 4 слотах KDF требуют 256 MiB из 320M лимита реплики — поэтому оставлена базовая линия OWASP; PHC-строка хранит параметры, иcheck_needs_rehashпересчитывает старые хеши при успешном входе (compare-and-set в БД). - Login DoS. Порядок: (1) общий rate limit в PostgreSQL (атомарный upsert счётчика окна; ключи — SHA-256 username/IP) → 429 + Retry-After до KDF; (2) семафор KDF 4/реплику + ожидание слота 2 с → 503 + Retry-After; (3) хеш-«пустышка» для несуществующих username. IP клиента берётся из
X-Forwarded-For, который LB перезаписывает, — доверие обосновано тем, что к API подключается только identitylb. - Hardening. Все сервисы:
cap_drop: ALL,no-new-privileges, лимиты CPU/RAM/PIDs; почти все — non-root иread_only+ tmpfs; все сети приложенияinternal(нет egress); опубликованы только127.0.0.1:8443и127.0.0.1:3000. Исключения ниже.
Соответствие переменных .env.example skeleton → реализация — в шапке .env.example.
Доказательства критериев
Проверки на Docker-стенде собираются автоматически: run.ps1 пишет вывод каждого шага в evidence/run/<шаг>.txt и сводку в evidence/run/SUMMARY.txt; ops.py дописывает каждое действие с контейнерами в evidence/ops.log.
| Критерий README | Команда/сценарий | Наблюдаемый результат (песочница) | Файл доказательства |
|---|---|---|---|
| Публичный smoke по HTTPS | make test BASE_URL=https://localhost:8443 CA_FILE=secrets/pki/ca.crt |
PASS: lab7 public API scenario |
evidence/sandbox/public-tests.txt, evidence/run/test-smoke.txt |
| Внешний TLS: доверенный CA / недоверенный | make test-security |
PASS: trusted HTTPS works; untrusted CA rejected |
public-tests.txt, run/test-security.txt |
| 3: Argon2id, salt+параметры, база ≥ 19 MiB/t2/p1, обоснование | ops.py login-budget, rehash-demo; код src/security.py |
PHC m=19456,t=2,p=1; замер в lifecycle.txt п.7 |
evidence/sandbox/lifecycle.txt |
| 3: LB→API mTLS: нет cert / чужой CA / неверная identity → отказ; нет обхода | ops.py tls-audit (раздел lb→api) |
нет cert, чужой CA (CN=lb), intruder, worker, api → отказ; lb → 200; plaintext → нет ответа |
evidence/sandbox/tls_audit.txt |
| 3: остальные связи TLS с проверкой сервера; раздельные creds | ops.py tls-audit |
PG verify-full (plaintext/чужой CA/IP вместо имени → отказ), Redis TLS, S3 HTTPS, broker/collector gates, Loki/Tempo/Prometheus mTLS, OpenBao HTTPS | tls_audit.txt, contracts/trust-matrix.md |
| 3: OpenBao не dev, persistent, сервисная auth, scoped policy, без root в app | ops.py bao-policy, infra/openbao/* |
12/12: свой путь читается; чужой путь, запись, политики, выпуск SecretID — deny; токен TTL ≤ 15 мин, не root | evidence/sandbox/bao_policy.json |
| 3: контейнеры без privileged/host/docker.sock, non-root, caps, лимиты, только нужные порты | ops.py hardening |
на Docker-стенде; в песочнице не применимо | evidence/run/hardening.txt |
| 3: 429/Retry-After, лимит размера, посторонний, logout, недоверенный TLS | ops.py security-http, in-network expiry |
24/24: 404 постороннему, X-User-Id игнор, logout 204→401→401, 429 + Retry-After, 413 LB/API/upload, TLS ошибки проверки |
evidence/sandbox/security_http.txt |
| 3: секреты не в Git/образах/telemetry; локальный bootstrap сертификатов | .gitignore, .dockerignore, ops.py leak-check, pki.py init |
канарейки и все рабочие секреты не найдены в Loki/Tempo/Prometheus (с положительным контролем) | evidence/sandbox/leak_check.json |
| 3: перезапуск с сохранением данных и отказ реплики по HTTPS | tests/resilience.py --mode persistence/failover (hooks `scripts/restart.cmd |
sh, stop-one.cmd |
sh`) |
| 4: mTLS broker и Collector, разные identities, чужой cert того же CA без прав | ops.py tls-audit (broker, collector) |
intruder/lb/prometheus с верным паролем → отказ на gate; api без AUTH → NOAUTH; ACL: producer не читает/не удаляет, consumer не пишет чужие ключи; api/worker → OTLP 200, prometheus на OTLP и api на метрики → отказ |
tls_audit.txt |
| 4: нет утечек credentials в hash/ошибках; rehash; бюджет login DoS; общий rate limit | rehash-demo, security-http, login-budget |
m=8192,t=1 → вход → m=19456,t=2; 429 с ответами от 2 реплик; поток 150/с: 136 до KDF, 4397 × 429, /users/me без ошибок |
lifecycle.txt п.6–7, security_http.txt |
| 4: ротация секрета и leaf без пересборки, отзыв старой identity, expiry/sealed | rotate-db-password, rotate-lb-cert, rotate-secret-id, revoke-identity, bao-sealed |
старый пароль/сертификат/SecretID отклоняются на новом соединении, новые принимаются, smoke PASS; sealed → API работает, агент восстанавливается после unseal | lifecycle.txt п.1–5 |
| 4: read_only/no-new-privileges/drop caps/tmpfs, исключения; scan с разбором | ops.py hardening, ops.py scan |
pip-audit: 72 уязвимости → обновление → 0, все тесты повторены | evidence/sandbox/pip-audit-*.txt, docs/security/SCAN_TRIAGE.md |
| 4: ≥ 6 угроз → контроли → тесты; worker ограничен CPU/RAM/время; TLS-аудит всей матрицы | security/THREAT_MODEL.md (12 угроз), tls_audit.py (101 проверка) |
worker: подпроцесс RLIMIT_AS 1 GiB, timeout 30 с, контейнер 1 CPU/1280M; Pillow только PNG/JPEG-плагины | THREAT_MODEL.md, tls_audit.json |
| Регрессия lab2–6 | run.ps1 -Action extra |
91 тест (58 выполнено по HTTPS, 0 ошибок) + 12 white-box тестов хранилища | evidence/sandbox/student-tests.txt |
Эксперименты и отказы
Конфигурация замеров: Windows 10, 32GB, Ryzen 5 7500f.
| Воздействие | Что ожидаем | Что наблюдали (песочница) | Время восстановления / потеря данных |
|---|---|---|---|
Ротация пароля messenger_api (rotate-db-password) |
Новые соединения — новым паролем; старый отклоняется; API не перезапускается | агент перерисовал файл за 11 с (интервал был 15 с; в репозитории 5 с), старый пароль: password authentication failed, после разрыва всех сессий smoke PASS |
Окно ≤ интервала рендера, когда НОВЫЕ соединения со старым паролем получают отказ (открытые работают); потерь нет |
Ротация lb-client + CRL (rotate-lb-cert) |
Старый принят до отзыва, отклонён после; новый работает | 200/200 → после revoke старый 000 (certificate_revoked), новый 200 |
≤ 5 с (перечитывание CRL); LB перезапускается за ~1 с |
| SecretID: ротация и отзыв роли | Старый SecretID бесполезен; после отзыва агент не логинится | old denied / new accepted; after revoke-role denied; recovered | Секреты уже отрисованы → api/worker работают до восстановления |
| OpenBao sealed | Синхронный путь не зависит от OpenBao | файлы на месте, API работает; агент: Vault is sealed (retry…); после unseal перерисовал секрет сам |
≤ 1 мин после unseal (backoff агента) |
| Поток входов 30 с, 8 потоков, 1 IP | 429 до KDF, обычные запросы не падают | 150 попыток/с: 401 = 136, 429 = 4397; /users/me p50 9→39 мс, p95 13→112 мс, 0 ошибок |
Мгновенно после окончания потока (окно 60 с для этого IP) |
Рестарт всех хранилищ + OpenBao (test-persistence) |
Данные и прежний токен живы | на Docker-стенде | см. evidence/ops.log |
Остановка реплики (test-failover) ×2 |
Запись восстанавливается ≤ 10 с, без дублей | на Docker-стенде | см. evidence/run/test-failover-*.txt |
Исключения hardening (обоснование)
| Сервис | Исключение | Почему и чем компенсировано |
|---|---|---|
s3 (SeaweedFS) |
процесс uid 0 | образ рассчитан на root и пишет в /data; cap_drop: ALL (root без capabilities не обходит DAC чужих файлов), rootfs read-only, сеть storage internal, админ-порты на 127.0.0.1 |
grafana |
rootfs не read-only | совместимость Grafana 11 с read-only rootfs не проверена в подготовке; uid 472, cap_drop: ALL, no-new-privileges, доступ только 127.0.0.1 + пароль |
tempo-init |
uid 0 + CAP_CHOWN, без лимитов |
one-shot chown volume, завершается до старта tempo, network_mode: none |
postgres, broker, prometheus, loki, tempo, openbao, grafana |
записываемые volumes | stateful-сервисы: данные только в своём named volume, rootfs read-only (кроме grafana) |
openbao |
disable_mlock = true |
mlock требует CAP_IPC_LOCK; на учебном хосте swap не используется для секретов; в production — вернуть mlock |
Ограничения и следующие шаги
- Один Docker-host: отказ хоста, PostgreSQL, OpenBao, LB не выдерживается; HA не заявляется.
- Redis не связывает клиентский сертификат с ACL-пользователем: ключ
api+ украденный парольworker_consumerдали бы права consumer (смягчено тем, что пароли ролей разведены политиками OpenBao). Loki/Tempo принимают любой сертификат стенда — защищены сегментацией сетиtelemetry. - Окно ротации пароля БД (до 5 с) для новых соединений; двухпарольная схема (две роли с переключением) — следующий шаг, как и динамические DB credentials OpenBao.
- Все unseal shares и root token — у одного оператора рядом со стендом (документированный учебный компромисс); CA без промежуточного звена, без OCSP; leaf-сертификаты 30 дней с ручным
pki.py renew. - trivy-отчёт по ОС-пакетам образов получается только на стенде (
ops.py scan); его разбор по методикеSCAN_TRIAGE.mdнужно внести после запуска. - Совместимость Grafana с read-only rootfs и полный прогон в Docker в среде подготовки не проверены — это первое, что подтверждает
run.ps1.