Files
mtusi2026lab7-fork/REPORT.md

25 KiB
Raw Permalink Blame History

Отчёт — лабораторная 7

  • Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
  • Целевая оценка: 4; трек 5 не заявляется
  • Commit/PR: TODO после публикации
  • Использованные источники, библиотеки и помощь ИИ: OpenBao 2.1.0 (server, Agent, AppRole, KV v2, политики), HAProxy 2.8 (TLS termination, verify required, crl-file, ssl_c_s_dn), Redis 7.4 TLS/ACL, PostgreSQL 16 (hostssl, SCRAM, sslmode=verify-full), SeaweedFS 4.50 (S3 TLS, identities с префиксами), OTel Collector 0.115.1 (TLS exporters), dskit http_tls_config (Loki/Tempo), Prometheus web.config.file; Python: argon2-cffi (PHC, check_needs_rehash), cryptography (CA, CRL, разбор клиентского cert), uvicorn (собственный подкласс H11Protocol для проверки identity). Документация: OWASP Password Storage / File Upload Cheat Sheets, OpenBao AppRole / policies / production hardening, Docker security. Помощь ИИ (Claude): проектирование матрицы доверия, код src/tls.py, scripts/pki.py, scripts/bao.py, конфигурации, отрицательные тесты, отчёт.

Минимум lab6 перенесён целиком (HAProxy, 2 реплики API, PostgreSQL, Redis-кэш, SeaweedFS S3, Redis Streams, worker, outbox, retry/DLQ, OTel → Collector → Prometheus/Loki/Tempo → Grafana). Бизнес-API не менялся, транспорт — HTTPS. Изменения поведения, видимые клиенту: X-Instance-Id — случайный alias (api-xxxxxxxx), 429 rate_limited на входе, 413 для JSON > 64 KiB, 503 + Retry-After при перегрузке KDF — всё в пределах кодов контракта.

Запуск из чистого clone

Prerequisites: Docker Desktop с Compose v2 (Linux-контейнеры), Python 3.9+ (стандартная библиотека; пакет cryptography на хосте не нужен — PKI создаётся в контейнере tools без сети), свободные 127.0.0.1:8443 и 127.0.0.1:3000. Образы закреплены: python:3.12.7-slim-bookworm, postgres:16.4-alpine, redis:7.4.1-alpine, haproxy:2.8.30-alpine, chrislusf/seaweedfs:4.50, openbao/openbao:2.1.0, otel/opentelemetry-collector-contrib:0.115.1, prom/prometheus:v2.55.1, grafana/loki:3.3.2, grafana/tempo:2.6.1, grafana/grafana:11.4.0.

Windows / PowerShell — одна команда:

powershell -ExecutionPolicy Bypass -File .\run.ps1          # развернуть + все проверки, итог в evidence\run\SUMMARY.txt

Linux/macOS: make all (или те же шаги через python3 scripts/ops.py …).

Что делает python scripts/ops.py up (вызывается из run.ps1):

  1. .env из .env.example (только несекретные настройки).
  2. scripts/init_secrets.py → secrets/ (пароли ролей БД/Redis/broker, ключи S3 трёх identities, пароль Grafana). Значения не печатаются; повторный запуск ничего не перезаписывает.
  3. docker compose build api — один образ для api/worker/migrate/s3-init/tools.
  4. scripts/pki.py init → secrets/pki/ (CA, 15 leaf, CRL). Действие оператора: ca.key хранить у себя, никуда не монтируется.
  5. docker compose up -d openbao → scripts/bao.py init (оператор: 3 unseal shares, порог 2, root token → operator-only/openbao-init.json, 0600) → unseal → configure (kv-v2, AppRole, политики, секреты в KV, RoleID/SecretID → secrets/bao/).
  6. docker compose up -d — migrate (администратор БД, миграция 006_security.sql: роли и права), s3-init (бакет + проверка прав трёх identities), агенты отрисовывают секреты, затем api ×2, worker, LB, телеметрия.
  7. Ожидание: N реплик healthy, UP в HAProxy по mTLS-проверкам, https://127.0.0.1:8443/health/ready = 200 с проверкой CA.

Тесты: make test BASE_URL=https://localhost:8443 CA_FILE=secrets/pki/ca.crt, make test-security … (в run.ps1 — шаги test-smoke, test-security). После каждого рестарта контейнера OpenBao он sealed: python scripts/bao.py unseal (hook restart делает это сам). Безопасная остановка: python scripts/ops.py down (volumes целы). Намеренное удаление учебных данных: python scripts/ops.py destroy (+ удалить operator-only/openbao-init.json и secrets/bao/*, т.к. они относятся к удалённому хранилищу OpenBao).

Архитектура и решения

 127.0.0.1:8443 ──TLS──► lb ──mTLS (identity lb, CRL)──► api ×2 ──TLS verify-full──► postgres (messenger_api)
                                                        ├──mTLS + ACL──────────────► redis (кэш сессий)
                                                        ├──TLS, identity API──────► s3 (staging/ write)
                                                        ├──mTLS(api)──► broker-gate ─lo─► broker (ACL api_producer)
                                                        └──mTLS(api)──► otel-gate ─lo─► collector ─mTLS─► loki / tempo
 worker ──TLS──► postgres (messenger_worker) / s3 (final/ write, List) ; ──mTLS(worker)──► broker-gate / otel-gate
 prometheus ──mTLS(prometheus)──► otel-gate :8889/:8888 ; grafana (127.0.0.1:3000 HTTPS) ──mTLS──► prometheus/loki/tempo
 bao-agent-api / bao-agent-worker ──TLS + AppRole──► openbao (file storage, ручной unseal)
          └── tmpfs volume api-secrets / worker-secrets ──► /run/bao (read-only) в api / worker

Роль → сервис → health → volume → сеть/порт → credentials:

Роль Сервис Health/readiness Volume Сети, порт Credentials
api ×2 api loopback 127.0.0.1:8081/health/ready (Docker), LB — /health/ready по mTLS нет (tmpfs /tmp, ro /run/bao) ingress, backend, storage, queue, telemetry-ingest; 8443 не опубликован TLS: api_crt/key; секреты — /run/bao/* от агента
LB lb 127.0.0.1:8404/lb-health — edge, ingress; 127.0.0.1:8443 lb_public_pem, lb_client_pem, ca_crt
worker worker heartbeat-файл — backend, storage, queue, telemetry-ingest worker_crt/key; /run/bao/*
postgres postgres (uid 70) pg_isready (unix socket) pgdata backend 5432 (только hostssl) postgres_crt/key, postgres_password, пароли ролей (initdb)
redis (кэш) redis redis-cli --tls … ping (ACL healthcheck) — (кэш без persistence) backend 6379 TLS redis_crt/key, cache_api_password
broker broker + broker-gate ping по loopback / 127.0.0.1:8405 brokerdata (AOF fsync always) queue 6380 (gate), Redis 127.0.0.1:6379 broker_pem, crl_pem, пароли producer/consumer
s3 s3 + s3-gate, one-shot s3-init порт 8334 + реальный TLS-путь в s3-init/wait-s3 s3data storage 8333 (gate, TLS passthrough), SeaweedFS — только 127.0.0.1 s3_crt/key, s3_config (identities)
миграции one-shot migrate exit 0 — backend database_admin_url (администратор)
OpenBao openbao bao status (0/2 = процесс жив) baodata secrets 8200 HTTPS openbao_crt/key
агенты bao-agent-api, bao-agent-worker файлы секретов отрисованы api-secrets, worker-secrets (tmpfs) secrets (подсеть = secret_id_bound_cidrs) RoleID/SecretID своей роли
Collector otel-collector + otel-gate 127.0.0.1:8405/gate-health — telemetry-ingest 4318 (gate), telemetry 8889/8888 (gate) otel_collector_*
Prometheus / Loki / Tempo как в lab6 promtool check healthy по mTLS / — / — promdata, lokidata, tempodata telemetry (internal) свои *_crt/key
Grafana grafana — grafanadata telemetry, ops; 127.0.0.1:3000 HTTPS grafana_admin_password, grafana_crt/key

Ключевые решения:

  • mTLS LB→API в приложении, а не sidecar-ом. Uvicorn принимает только TLS с CERT_REQUIRED; подкласс H11Protocol (src/tls.py) после рукопожатия проверяет SAN/CN по MTLS_ALLOWED_CLIENTS=lb и serial по CRL (подпись CA, перечитывание по mtime ≤ 5 с, fail closed) и обрывает соединение до первого байта HTTP. Отказы пишутся в лог (mtls.rejected с причиной). Docker-healthcheck не умеет mTLS — для него минимальный listener на 127.0.0.1:8081 (только /health/*).
  • Gates для broker и Collector. Redis и Collector умеют TLS/проверку CA, но не allowlist identity, поэтому TLS завершается в HAProxy-sidecar в том же сетевом namespace (network_mode: service:…); backend слушает только loopback. Gate проверяет CA + CRL + CN (api|worker / prometheus) и логирует отказ с CN. Плюс независимый второй фактор — Redis ACL (default off, producer/consumer).
  • Секреты только через OpenBao Agent. Приложение читает файлы /run/bao/* (tmpfs-volume), а не ходит в OpenBao: синхронный путь не зависит от OpenBao, SecretID и токен приложению недоступны. Пароль БД перечитывается при каждом новом соединении пула (RotatingConnection), что даёт ротацию без рестарта.
  • S3 только через gate. При ревизии найдено, что weed server -s3 открывает неаутентифицированный gRPC S3-шлюза (порт S3 + 10000) на том же адресе, что и S3 (в lab6 — 0.0.0.0 в сети storage); выключить его флагом нельзя. Теперь весь SeaweedFS слушает 127.0.0.1 контейнера, а наружу выдан только порт S3 через s3-gate (TCP passthrough, TLS не снимается) — угроза T12.
  • Least privilege в хранилищах. Роли БД разведены (worker не видит users/sessions/messages, у API нет DDL), S3-identities разведены по префиксам (у API нет List и записи в final/, поэтому полный обход бакета для сверки перенесён в worker: ORPHAN_SWEEP_ENABLED=false у API), ACL broker/кэша — по командам и ключам.
  • Argon2id. Параметры из окружения с проверкой нижней границы OWASP (m ≥ 19 MiB, t ≥ 2, p ≥ 1 — иначе процесс не стартует). Замер на стенде: ops.py login-budget; в песочнице подготовки: hash/verify ≈ 24 мс, 19 MiB; при квоте 0.5 CPU ≈ 21 вход/с на реплику. Варианты m=64 MiB/t=2 (≈130 мс, 64 MiB) сокращают пропускную способность в 5 раз и при 4 слотах KDF требуют 256 MiB из 320M лимита реплики — поэтому оставлена базовая линия OWASP; PHC-строка хранит параметры, и check_needs_rehash пересчитывает старые хеши при успешном входе (compare-and-set в БД).
  • Login DoS. Порядок: (1) общий rate limit в PostgreSQL (атомарный upsert счётчика окна; ключи — SHA-256 username/IP) → 429 + Retry-After до KDF; (2) семафор KDF 4/реплику + ожидание слота 2 с → 503 + Retry-After; (3) хеш-«пустышка» для несуществующих username. IP клиента берётся из X-Forwarded-For, который LB перезаписывает, — доверие обосновано тем, что к API подключается только identity lb.
  • Hardening. Все сервисы: cap_drop: ALL, no-new-privileges, лимиты CPU/RAM/PIDs; почти все — non-root и read_only + tmpfs; все сети приложения internal (нет egress); опубликованы только 127.0.0.1:8443 и 127.0.0.1:3000. Исключения ниже.

Соответствие переменных .env.example skeleton → реализация — в шапке .env.example.

Доказательства критериев

Проверки на Docker-стенде собираются автоматически: run.ps1 пишет вывод каждого шага в evidence/run/<шаг>.txt и сводку в evidence/run/SUMMARY.txt; ops.py дописывает каждое действие с контейнерами в evidence/ops.log.

Критерий README Команда/сценарий Наблюдаемый результат (песочница) Файл доказательства
Публичный smoke по HTTPS make test BASE_URL=https://localhost:8443 CA_FILE=secrets/pki/ca.crt PASS: lab7 public API scenario evidence/sandbox/public-tests.txt, evidence/run/test-smoke.txt
Внешний TLS: доверенный CA / недоверенный make test-security PASS: trusted HTTPS works; untrusted CA rejected public-tests.txt, run/test-security.txt
3: Argon2id, salt+параметры, база ≥ 19 MiB/t2/p1, обоснование ops.py login-budget, rehash-demo; код src/security.py PHC m=19456,t=2,p=1; замер в lifecycle.txt п.7 evidence/sandbox/lifecycle.txt
3: LB→API mTLS: нет cert / чужой CA / неверная identity → отказ; нет обхода ops.py tls-audit (раздел lb→api) нет cert, чужой CA (CN=lb), intruder, worker, api → отказ; lb → 200; plaintext → нет ответа evidence/sandbox/tls_audit.txt
3: остальные связи TLS с проверкой сервера; раздельные creds ops.py tls-audit PG verify-full (plaintext/чужой CA/IP вместо имени → отказ), Redis TLS, S3 HTTPS, broker/collector gates, Loki/Tempo/Prometheus mTLS, OpenBao HTTPS tls_audit.txt, contracts/trust-matrix.md
3: OpenBao не dev, persistent, сервисная auth, scoped policy, без root в app ops.py bao-policy, infra/openbao/* 12/12: свой путь читается; чужой путь, запись, политики, выпуск SecretID — deny; токен TTL ≤ 15 мин, не root evidence/sandbox/bao_policy.json
3: контейнеры без privileged/host/docker.sock, non-root, caps, лимиты, только нужные порты ops.py hardening на Docker-стенде; в песочнице не применимо evidence/run/hardening.txt
3: 429/Retry-After, лимит размера, посторонний, logout, недоверенный TLS ops.py security-http, in-network expiry 24/24: 404 постороннему, X-User-Id игнор, logout 204→401→401, 429 + Retry-After, 413 LB/API/upload, TLS ошибки проверки evidence/sandbox/security_http.txt
3: секреты не в Git/образах/telemetry; локальный bootstrap сертификатов .gitignore, .dockerignore, ops.py leak-check, pki.py init канарейки и все рабочие секреты не найдены в Loki/Tempo/Prometheus (с положительным контролем) evidence/sandbox/leak_check.json
3: перезапуск с сохранением данных и отказ реплики по HTTPS tests/resilience.py --mode persistence/failover (hooks `scripts/restart.cmd sh, stop-one.cmd sh`)
4: mTLS broker и Collector, разные identities, чужой cert того же CA без прав ops.py tls-audit (broker, collector) intruder/lb/prometheus с верным паролем → отказ на gate; api без AUTH → NOAUTH; ACL: producer не читает/не удаляет, consumer не пишет чужие ключи; api/worker → OTLP 200, prometheus на OTLP и api на метрики → отказ tls_audit.txt
4: нет утечек credentials в hash/ошибках; rehash; бюджет login DoS; общий rate limit rehash-demo, security-http, login-budget m=8192,t=1 → вход → m=19456,t=2; 429 с ответами от 2 реплик; поток 150/с: 136 до KDF, 4397 × 429, /users/me без ошибок lifecycle.txt п.6–7, security_http.txt
4: ротация секрета и leaf без пересборки, отзыв старой identity, expiry/sealed rotate-db-password, rotate-lb-cert, rotate-secret-id, revoke-identity, bao-sealed старый пароль/сертификат/SecretID отклоняются на новом соединении, новые принимаются, smoke PASS; sealed → API работает, агент восстанавливается после unseal lifecycle.txt п.1–5
4: read_only/no-new-privileges/drop caps/tmpfs, исключения; scan с разбором ops.py hardening, ops.py scan pip-audit: 72 уязвимости → обновление → 0, все тесты повторены evidence/sandbox/pip-audit-*.txt, docs/security/SCAN_TRIAGE.md
4: ≥ 6 угроз → контроли → тесты; worker ограничен CPU/RAM/время; TLS-аудит всей матрицы security/THREAT_MODEL.md (12 угроз), tls_audit.py (101 проверка) worker: подпроцесс RLIMIT_AS 1 GiB, timeout 30 с, контейнер 1 CPU/1280M; Pillow только PNG/JPEG-плагины THREAT_MODEL.md, tls_audit.json
Регрессия lab2–6 run.ps1 -Action extra 91 тест (58 выполнено по HTTPS, 0 ошибок) + 12 white-box тестов хранилища evidence/sandbox/student-tests.txt

Эксперименты и отказы

Конфигурация замеров: Windows 10, 32GB, Ryzen 5 7500f.

Воздействие Что ожидаем Что наблюдали (песочница) Время восстановления / потеря данных
Ротация пароля messenger_api (rotate-db-password) Новые соединения — новым паролем; старый отклоняется; API не перезапускается агент перерисовал файл за 11 с (интервал был 15 с; в репозитории 5 с), старый пароль: password authentication failed, после разрыва всех сессий smoke PASS Окно ≤ интервала рендера, когда НОВЫЕ соединения со старым паролем получают отказ (открытые работают); потерь нет
Ротация lb-client + CRL (rotate-lb-cert) Старый принят до отзыва, отклонён после; новый работает 200/200 → после revoke старый 000 (certificate_revoked), новый 200 ≤ 5 с (перечитывание CRL); LB перезапускается за ~1 с
SecretID: ротация и отзыв роли Старый SecretID бесполезен; после отзыва агент не логинится old denied / new accepted; after revoke-role denied; recovered Секреты уже отрисованы → api/worker работают до восстановления
OpenBao sealed Синхронный путь не зависит от OpenBao файлы на месте, API работает; агент: Vault is sealed (retry…); после unseal перерисовал секрет сам ≤ 1 мин после unseal (backoff агента)
Поток входов 30 с, 8 потоков, 1 IP 429 до KDF, обычные запросы не падают 150 попыток/с: 401 = 136, 429 = 4397; /users/me p50 9→39 мс, p95 13→112 мс, 0 ошибок Мгновенно после окончания потока (окно 60 с для этого IP)
Рестарт всех хранилищ + OpenBao (test-persistence) Данные и прежний токен живы на Docker-стенде см. evidence/ops.log
Остановка реплики (test-failover) ×2 Запись восстанавливается ≤ 10 с, без дублей на Docker-стенде см. evidence/run/test-failover-*.txt

Исключения hardening (обоснование)

Сервис Исключение Почему и чем компенсировано
s3 (SeaweedFS) процесс uid 0 образ рассчитан на root и пишет в /data; cap_drop: ALL (root без capabilities не обходит DAC чужих файлов), rootfs read-only, сеть storage internal, админ-порты на 127.0.0.1
grafana rootfs не read-only совместимость Grafana 11 с read-only rootfs не проверена в подготовке; uid 472, cap_drop: ALL, no-new-privileges, доступ только 127.0.0.1 + пароль
tempo-init uid 0 + CAP_CHOWN, без лимитов one-shot chown volume, завершается до старта tempo, network_mode: none
postgres, broker, prometheus, loki, tempo, openbao, grafana записываемые volumes stateful-сервисы: данные только в своём named volume, rootfs read-only (кроме grafana)
openbao disable_mlock = true mlock требует CAP_IPC_LOCK; на учебном хосте swap не используется для секретов; в production — вернуть mlock

Ограничения и следующие шаги

  • Один Docker-host: отказ хоста, PostgreSQL, OpenBao, LB не выдерживается; HA не заявляется.
  • Redis не связывает клиентский сертификат с ACL-пользователем: ключ api + украденный пароль worker_consumer дали бы права consumer (смягчено тем, что пароли ролей разведены политиками OpenBao). Loki/Tempo принимают любой сертификат стенда — защищены сегментацией сети telemetry.
  • Окно ротации пароля БД (до 5 с) для новых соединений; двухпарольная схема (две роли с переключением) — следующий шаг, как и динамические DB credentials OpenBao.
  • Все unseal shares и root token — у одного оператора рядом со стендом (документированный учебный компромисс); CA без промежуточного звена, без OCSP; leaf-сертификаты 30 дней с ручным pki.py renew.
  • trivy-отчёт по ОС-пакетам образов получается только на стенде (ops.py scan); его разбор по методике SCAN_TRIAGE.md нужно внести после запуска.
  • Совместимость Grafana с read-only rootfs и полный прогон в Docker в среде подготовки не проверены — это первое, что подтверждает run.ps1.