Files
mtusi2026lab7/REPORT.md
T
zemiles 9cc80d2529 ЛР 7 — БПИ2303 — Лазарев — на 3
Перенесена реализация lab6; бизнес-API без изменений, транспорт — HTTPS.

- Внешний HTTPS (public-ca) на 127.0.0.1:8443; HSTS, TLS >= 1.2.
- Обязательное mTLS LB -> каждая API-реплика: API проверяет цепочку
  internal-ca и SAN клиента (allowlist: lb); health только на 127.0.0.1.
- TLS с проверкой сервера ко всем зависимостям: PostgreSQL verify-full
  (pg_hba только hostssl), HTTPS S3, AMQPS, OTLP/HTTPS с client cert,
  mTLS Collector -> Prometheus/Loki/Tempo, Grafana -> datasources, scrape.
- OpenBao 2.7.2 не в dev-mode: Raft на volume, init/unseal оператором,
  auth/cert с ролью и policy на сервис, TTL 15 мин + renew/re-login.
- Отдельные роли PostgreSQL с грантами по таблицам; разные ключи S3 и
  пользователи брокера выдаются из OpenBao.
- Argon2id (m=19 MiB, t=2, p=1, замер на стенде) и rehash при входе.
- Случайный X-Instance-Id; hardening контейнеров (non-root, cap_drop ALL,
  no-new-privileges, read-only, лимиты); TCP_NODELAY на сокете API.
- Модель угроз, trust matrix, отрицательные тесты TLS/mTLS, API, OpenBao,
  hardening; evidence, в т.ч. прогон из чистого clone.
2026-11-18 23:59:35 +03:00

33 KiB
Raw Blame History

Отчёт — лабораторная 7

  • Автор, группа: Лазарев Юрий Сергеевич, БПИ2303
  • Целевая оценка; выбранный трек 5, если нужен: 3, трек 5 не заявлен (отдельные пункты уровня 4 сделаны попутно и отмечены, уровень 4 целиком не заявляется)
  • Commit/PR: TODO после публикации (fork zemiles/mtusi2026lab7, ветка solution/bpi2303-lazarev)
  • Использованные источники, библиотеки и помощь ИИ: всё из lab6 (Python 3.12, psycopg 3.2.3, psycopg-pool 3.2.4, minio 7.2.20, urllib3 2.8.0, Pillow 13.0.0, pika 1.3.2, OpenTelemetry SDK 1.45.1) и argon2-cffi 25.1.0 (+ argon2-cffi-bindings 25.1.0). Новый образ: openbao/openbao:2.7.2@sha256:50469110…0561f; остальные образы и digest — как в lab6 (см. compose.yaml). Документация: OWASP Password Storage / File Upload Cheat Sheets, OpenBao (auth/cert, policies, KV v2, integrated storage, production hardening, declarative audit), PostgreSQL (SSL, pg_hba, привилегии, SELECT … FOR UPDATE), RabbitMQ TLS и rabbitmq_prometheus TLS, HAProxy SSL (verify, verifyhost, crt), OTel Collector configtls, Prometheus web-config, Loki/Tempo http_tls_config, Grafana provisioning $__file{}, Docker security (capabilities, no-new-privileges, read-only). Код lab6 перенесён и доработан с помощью ИИ-ассистента (Claude); решения, запуск и проверки — автор.

Запуск из чистого clone

Проверено: MacBook Air M3, 16 GB RAM, macOS 26.4.1; Docker Desktop 28.0.4 (VM 8 vCPU, 7.7 GiB), Compose v2.34.0; Python 3.12 на хосте (только стандартная библиотека, для тестов). Порты 127.0.0.1:8443 (HTTPS API) и 127.0.0.1:3000 (HTTPS Grafana) должны быть свободны — стенд lab6 остановить.

# 0. Локальные секреты, PKI и .env (не коммитятся; значения не печатаются; повтор ничего не перезаписывает).
#    CA private keys -> $OPERATOR_DIR (по умолчанию ~/.mtusi2026lab7-operator, ВНЕ проекта).
#    Сертификаты выпускает OpenSSL закреплённого образа python:3.12.7-slim (docker run --network none).
./scripts/init-secrets.sh

# 1. Офлайн-проверка конфигов (promtool config/web-config/rules, otelcol validate, loki -verify-config).
./scripts/check_rules.sh

# 2. ОПЕРАТОР, один раз на пустом volume: OpenBao init (3 shares, порог 2) -> $OPERATOR_DIR/openbao/init.json,
#    unseal, KV v2, policies, роли auth/cert, запись сервисных секретов. Повтор безопасен.
docker compose build migrate          # образ приложения (собирает его только migrate)
./scripts/bao-init.sh

# 3. Запуск (~40 с до готовности 18 контейнеров)
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
#    порядок: openbao (unsealed) + db, s3, broker (healthy) -> migrate (роли+гранты), s3-init -> api x2,
#    relay, worker x2, janitor -> lb; телеметрия независимо: otel-collector, prometheus, loki, tempo -> grafana
docker compose ps                     # migrate и s3-init Exited (0); порты только у lb и grafana

# 4. Обязательные проверки (публичный CA — secrets/pki/public-ca.crt)
CA=$PWD/secrets/pki/public-ca.crt
make check && make test CA_FILE=$CA && make test-security CA_FILE=$CA
make test-persistence ACTION_SCRIPT=scripts/restart.sh CA_FILE=$CA   # рестарт ВСЕХ хранилищ, вкл. OpenBao (+unseal)
make test-failover ACTION_SCRIPT=scripts/stop-one.sh CA_FILE=$CA && ./scripts/start-all.sh

# 5. Проверки lab7
docker compose --profile tools run --rm -T checks /app/student-tests/lab7_tls_matrix.py --output /app/evidence/lab7-tls-matrix.json
python3 student-tests/lab7_api_security.py --ca-file $CA --output evidence/lab7-api-security.json
python3 student-tests/lab7_openbao.py      --ca-file $CA --output evidence/lab7-openbao.json
CA_FILE=$CA python3 student-tests/lab7_hardening.py      --output evidence/lab7-hardening.json
docker compose exec -T api python - < student-tests/argon2_bench.py > evidence/argon2-bench.json

# Всё сразу с записью stdout в evidence/*.txt:
./student-tests/run_all.sh              # обязательное + lab7 (≈ 8 мин)
WITH_LAB6=1 ./student-tests/run_all.sh  # + перенесённые проверки lab6/lab5 поверх TLS

# 6. Grafana: https://localhost:3000 (доверить secrets/pki/public-ca.crt), admin / secrets/grafana_admin_password.

# 7. После рестарта Docker/хоста: OpenBao sealed -> ОПЕРАТОР
./scripts/bao-unseal.sh

# 8. Безопасная остановка (данные и секреты OpenBao остаются в volumes)
docker compose stop                   # или docker compose down (volumes остаются)

# 9. Намеренное удаление учебных данных (НЕОБРАТИМО): volumes, затем материал оператора
docker compose down -v                # после этого init.json в $OPERATOR_DIR/openbao не соответствует стенду —
                                      # удалить его вручную перед новым bao-init.sh

Действия оператора. Только оператор имеет $OPERATOR_DIR (ключи CA, root token, unseal shares). Нужны: bao-init.sh один раз на новый volume, bao-unseal.sh после каждого рестарта контейнера OpenBao (Docker/хост). Обычный рестарт API/worker ничего не требует. restart.sh — операторский хук, поэтому сам делает unseal.

Замечание (Docker Desktop на macOS): как в lab6, при запуске из неинтерактивной среды docker pull зависал на keychain-хелпере; обход — отдельный DOCKER_CONFIG с config.json = {} и ссылкой cli-plugins. Публичные образы скачиваются анонимно.

Архитектура и решения

 хост 127.0.0.1:8443 ─HTTPS(public-ca)─► lb ═mTLS: lb предъявляет id "lb", проверяет SAN "api"═► api ×2
                                          │ сеть apinet (internal: только lb и api)               │
 хост 127.0.0.1:3000 ─HTTPS(public-ca)─► grafana ═mTLS═► prometheus / loki / tempo                │
                                                                                                  │
 api/relay/worker/janitor ──TLS verify-full + роль *_svc──► db (PostgreSQL, hostssl only)  ◄──────┤
 api/worker/janitor ──HTTPS + свой ключ──► s3 (SeaweedFS)                                          │
 relay/worker ──AMQPS 5671 + свой пользователь/ACL──► broker (RabbitMQ)                            │
 все процессы приложения ═OTLP/HTTPS + client cert═► otel-collector ═mTLS═► tempo/loki/prometheus  │
 api/relay/worker/janitor/migrate/s3-init/ops ──TLS + auth/cert──► openbao (сеть vault)  ◄─────────┘

Источник истины, транзакционные границы, outbox, at-least-once и наблюдаемость — без изменений с lab5/lab6. Изменения lab7:

Область Решение Где
PKI Два CA: public-ca (ingress, Grafana; его сертификат раздаётся клиентам) и internal-ca (сервисы). ECDSA P-256, leaf 30 дней, CA 365 дней, SAN DNS = имя сервиса = identity. Ключи CA — только у оператора. Тестовые identities: intruder (internal-ca, чужая роль), rogue-lb (чужой CA, SAN lb) scripts/init-secrets.sh, scripts/pki-issue.sh
Внешний TLS HAProxy :8443 ssl, TLS ≥ 1.2, без tickets, HSTS, без Server infra/haproxy/haproxy.cfg
LB → API mTLS обязательный: LB проверяет CA + verifyhost api, предъявляет lb.pem; API — CERT_REQUIRED и SAN ∈ MTLS_ALLOWED_CLIENTS (= lb), иначе закрытие до HTTP. Handshake в потоке соединения, таймаут 5 с. Health — отдельный plaintext listener только 127.0.0.1:8081 src/server.py (Server.finish_request, HealthHandler), src/tlsutil.py
Секреты OpenBao 2.7.2: Raft на volume, TLS, audit → stdout; auth/cert (identity = leaf сервиса), policy на сервис = read только своего kv/data/messenger/<svc>; токен 15 мин/max 1 ч, renew, re-login. В env/образе/Docker secrets приложений паролей нет infra/openbao/, scripts/bao-init.sh, src/vault.py
PostgreSQL ssl=on, pg_hba: hostssl … scram-sha-256, hostnossl reject, локально peer только для postgres. Роли api_svc/worker_svc/relay_svc/janitor_svc/ops_svc + гранты по таблицам; для SELECT … FOR UPDATE — только UPDATE(id). DDL — job migrate (роль postgres) infra/postgres/, migrations/security/grants.sql, src/migrate.py
S3 SeaweedFS S3 только HTTPS; minio-py с CA; разные ключи api/worker/janitor/admin (как в lab6), выдаются из OpenBao compose.yaml (s3), src/objstore.py
Брокер RabbitMQ: только AMQPS 5671, verify_peer; метрики только HTTPS 15691 c обязательным cert; epmd/dist — 127.0.0.1 infra/rabbitmq/rabbitmq.conf, src/common.py
Телеметрия OTLP/HTTPS + обязательный client cert на Collector; mTLS Collector → Tempo/Loki/Prometheus; scrape только HTTPS + cert; Grafana → datasources HTTPS + cert; Grafana сама — HTTPS infra/otel, infra/prometheus, infra/loki, infra/tempo, infra/grafana
Пароли Argon2id m=19456 KiB, t=2, p=1, соль 16 B, PHC-строка; процесс не стартует с параметрами ниже базовых; rehash scrypt/старых параметров при входе; dummy-hash для неизвестного логина src/security.py
Alias реплики X-Instance-Id = случайный r-<10 hex> на жизнь процесса (не hostname); stop-one.sh находит контейнер по /tmp/instance-id src/instance.py, scripts/stop-one.sh
Hardening Приложение: uid 10001, cap_drop: ALL, no-new-privileges, read_only + tmpfs /tmp, лимиты CPU/RAM/PIDs. Остальные: no-new-privileges, cap_drop: ALL (+ минимальный cap_add для entrypoint-ов db/broker/s3), read-only где совместимо. Наружу — только 127.0.0.1:8443 и 127.0.0.1:3000 compose.yaml

Сети. frontend (lb, публикация), apinet internal (lb ↔ api), backend internal (данные), telemetry internal, vault internal (OpenBao + процессы приложения), grafana-ui (публикация Grafana). LB не видит БД/S3/брокер/OpenBao; Grafana — только telemetry.

Роли, сервисы и credentials

Роль Service Образ Health/readiness Volume Сеть / порт Credentials
LB lb haproxy:3.0.5-alpine haproxy -c; сам проверяет /health/ready API по mTLS — frontend+apinet+telemetry; 127.0.0.1:8443; :8404 (stats/metrics, mTLS, только telemetry) Docker secrets: lb-public.pem (public-ca), lb.pem (identity lb)
API ×2 api mtusi-messenger:lab7 127.0.0.1:8081/health/ready (БД) — apinet+backend+telemetry+vault; 8443 mTLS, не опубликован cert api (Docker secret) → OpenBao kv/messenger/api: пароль api_svc, ключ S3 api
Worker ×2 worker тот же heartbeat-файл tmpfs backend+telemetry+vault cert worker → kv/messenger/worker: worker_svc, ключ S3 worker, AMQPS user worker
Relay relay тот же heartbeat — backend+telemetry+vault cert relay → relay_svc, AMQPS user relay
Janitor janitor тот же heartbeat — backend+telemetry+vault cert janitor → janitor_svc, ключ S3 janitor
Миграции/роли migrate (job) тот же Exited 0 — backend+vault cert migrate → kv/messenger/migrate (суперпользователь + пароли ролей), токен 5 мин
Bucket s3-init (job) тот же Exited 0 — backend+vault cert s3-init → ключ S3 admin
PostgreSQL db postgres:16.4-alpine su-exec postgres pg_isready pgdata backend; 5432 TLS postgres_password (Docker secret), cert db
S3 s3 chrislusf/seaweedfs:4.50 curl --cacert … https://127.0.0.1:8333/healthz + запись в filer s3data backend; 8333 HTTPS s3_identities.json (Docker secret), cert s3
Брокер broker rabbitmq:4.1.4-alpine running, alarms, listener 5671, очередь объявлена brokerdata backend+telemetry; 5671 AMQPS, 15691 HTTPS-метрики rabbitmq_definitions.json (только хеши паролей), cert broker
Секреты openbao openbao/openbao:2.7.2 bao status (0 = unsealed) baodata (Raft) vault; 8200 TLS cert openbao; root/shares — у оператора
Collector otel-collector otel/opentelemetry-collector-contrib:0.163.2 up{job="otelcol-contrib"} — telemetry; 4318 OTLP/HTTPS mTLS cert otel-collector
Метрики prometheus prom/prometheus:v3.13.5 promtool check ready по mTLS promdata telemetry; 9090 mTLS cert prometheus
Логи loki grafana/loki:3.6.19 up{job="loki"} lokidata telemetry; 3100 mTLS cert loki
Трассы tempo grafana/tempo:2.10.10 up{job="tempo"} tempodata telemetry; 3200, 4317 mTLS cert tempo
UI grafana grafana/grafana:12.4.14 curl --cacert public-ca https://localhost:3000/api/health grafanadata telemetry+grafana-ui; 127.0.0.1:3000 HTTPS admin — Docker secret; cert grafana (к datasources), grafana-public (сервер)

Переменные .env.example → конфигурация. DATABASE_URL_FILE skeleton → POSTGRES_HOST/DB/USER + пароль роли из OpenBao (POSTGRES_PASSWORD), sslmode=verify-full; S3_ACCESS_KEY_ID_FILE/S3_SECRET_ACCESS_KEY_FILE → поля KV S3_ACCESS_KEY_ID/S3_SECRET_ACCESS_KEY; BROKER_URL_FILE → поле KV BROKER_URL (amqps); TLS_CA_FILE/TLS_CERT_FILE/TLS_KEY_FILE → /run/secrets/internal-ca.crt|service.crt|service.key (те же имена, дефолты src/tlsutil.py); BAO_ADDR/BAO_CACERT → как в skeleton + BAO_AUTH_ROLE, BAO_KV_PATH; ARGON2_* — как в skeleton; PUBLIC_BASE_URL → https://localhost:8443 (тесты); APP_PORT=8443 (mTLS), HEALTH_PORT=8081. SESSION_STORE=postgres, CACHE_URL_FILE — не используются (Redis/Valkey нет).

Критичные зависимости readiness. /health/ready API = PostgreSQL (как в lab6). OpenBao в readiness не входит: секреты читаются при старте процесса — без OpenBao процесс не стартует (и не становится ready), а работающий продолжает с секретами в памяти. Недоступность Grafana/телеметрии на API не влияет.

Доказательства критериев

Все прогоны — на стенде выше, 2026-11-18, проект mtusi-lab7. Сводный прогон: WITH_LAB6=1 ./student-tests/run_all.sh → evidence/run-all.txt.

Воспроизводимость из чистого clone. Копия репозитория без secrets/, .env и материала оператора (отдельный COMPOSE_PROJECT_NAME=mtusi-lab7-clean и OPERATOR_DIR): init-secrets.sh → check_rules.sh → docker compose build --no-cache migrate → bao-init.sh → up --wait → WITH_LAB6=1 run_all.sh — ALL PASS без ручных правок (evidence/clean-clone-run.txt); затем этот стенд удалён (down -v).

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke по HTTPS make check; make test CA_FILE=…/public-ca.crt PASS: lab7 public API scenario (health → пользователи → вход → чат → сообщения → пагинация → ACL → идемпотентность → файл → thumbnail → logout) evidence/make-test.txt
HTTPS с проверяемым CA и hostname/SAN; недоверенный TLS make test-security; lab7_api_security.py (tls.*) пустой trust store → SSLCertVerificationError; SNI evil.example → Hostname mismatch; internal-ca не валидирует ingress; TLS 1.1 → PROTOCOL_VERSION evidence/make-test-security.txt, evidence/lab7-api-security.json
Argon2id: salt и параметры, не ниже 19 MiB/t=2/p=1, обоснование замером lab7_api_security.py (argon2.*); argon2_bench.py в контейнере API В БД $argon2id$v=19$m=19456,t=2,p=1$<salt>$<hash>, соли разные; rehash scrypt → Argon2id при входе; замер — раздел «Эксперименты» evidence/lab7-api-security.json, evidence/argon2-bench.json
LB → каждая API-реплика: обязательное mTLS, проверка identity, нет обхода lab7_tls_matrix.py (в сети стенда) для обеих реплик: без cert → CERTIFICATE_REQUIRED; rogue CA (SAN lb) → UNKNOWN_CA; internal-ca, identity intruder → закрыто после handshake без HTTP-ответа; plaintext → reset; :8081 из сети → refused; identity lb → 200, бизнес-API без Bearer → 401; порт API не опубликован evidence/lab7-tls-matrix.json, evidence/lab7-hardening.json
TLS с проверкой сервера к DB, S3, broker, Collector, backends, OpenBao; раздельные credentials lab7_tls_matrix.py; selfcheck.py внутри сервисов 67/67: plaintext отвергается у всех (pg_hba reject, 400 HTTPS, refused), чужой CA/hostname → ошибка проверки, без client cert → отказ у Collector/Prometheus/Loki/Tempo/lb:8404/broker:15691; pg_stat_ssl TLSv1.3 у всех ролей; разные роли БД/ключи S3/пользователи брокера evidence/lab7-tls-matrix.json, evidence/lab7-openbao.json
OpenBao не dev, persistent; сервисная аутентификация, scoped policy; нет root/unseal/широкого токена в приложении lab7_openbao.py storage_type=raft, t=2 n=3, entrypoint bao server -config=…; для api/worker/relay/janitor: policies default,messenger-<svc>, TTL 900, свой путь 200, чужой/migrate/list/запись/policy/token create/seal → 403, после revoke 403; в env нет токенов; смонтированы только CA+свой cert/key; KV пережил рестарт evidence/lab7-openbao.json
Worker не получает admin credentials lab7_openbao.py (worker.*) ключ S3 worker = свой (не admin/api); worker_svc — denied на users/sessions/messages; путь migrate → 403 evidence/lab7-openbao.json
Контейнеры: без privileged/host network/docker.sock; app/worker non-root, без capabilities, лимиты; наружу только TLS ingress и локальные admin lab7_hardening.py 182/182: no-new-privileges везде, CapDrop ALL везде (cap_add только db/broker/s3 — документировано), app uid 10001 + read-only rootfs, лимиты у всех; опубликованы только 127.0.0.1:8443 и 127.0.0.1:3000; loopback health-listener изнутри контейнера отдаёт только /health/* (бизнес-API → 404) evidence/lab7-hardening.json
Secret values/ключи не в Git, образах, telemetry scripts/scan_secrets.py; lab7_hardening.py (image.*, telemetry.*); obs_correlation.py 125 значений (пароли, ключи S3, тела PEM leaf и CA keys, root token, unseal shares) — 0 файлов; в образе нет *.key/*.pem/secrets, история слоёв чистая; в Loki/Tempo нет свежего токена/пароля (с положительным контролем поиска) evidence/lab7-hardening.json, evidence/scan-secrets.txt, evidence/obs-correlation.json
Rate limit входа 429/Retry-After lab7_api_security.py (ratelimit.*) первый 429 на 21-й попытке за 10 с, Retry-After: 10, JSON rate_limited с request_id; после окна вход снова 201 evidence/lab7-api-security.json
Ограничение размера запросов lab7_api_security.py (limits.*) JSON > 1 MiB → 413; upload > 10 MiB → 413 до чтения тела evidence/lab7-api-security.json
Доступ постороннего; поддельный X-User-Id lab7_api_security.py (outsider.*, spoof.*) chat/history/metadata/content/thumbnail → 404; прикрепление чужого файла → 404; запись в чужой чат → 404; X-User-Id чужого пользователя не меняет /users/me evidence/lab7-api-security.json
Logout / expiry lab7_api_security.py (logout.*, expiry.*) logout 204 → тот же токен 401, повтор 401; сессия с expires_at в прошлом (оператор, своя тестовая строка) → 401 evidence/lab7-api-security.json
Сертификаты локально, документированный bootstrap ./scripts/init-secrets.sh выпуск 2 CA + 19 leaf сервисов (+ тестовые: rogue CA, intruder, rogue-lb); CA keys в $OPERATOR_DIR/ca (600); README infra/openbao, trust-matrix —
Перезапуск с сохранением данных (HTTPS) make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS; хук перезапустил openbao (+unseal), db, s3, broker, prometheus, loki, tempo и все процессы — состояния до/после evidence/test-persistence.txt, evidence/persistence-ps-before.txt, evidence/persistence-ps-after.txt
Последовательный отказ API-реплик (HTTPS) make test-failover ACTION_SCRIPT=scripts/stop-one.sh ×N PASS для api-1 и api-2 (для api-2 очередь round-robin сдвинута одним лишним запросом), 96–98 подтверждённых записей, 0 ошибок, восстановление записи 3.7–4.7 с evidence/test-failover.txt
Нагрузка по HTTPS tests/load.py --duration 30 --concurrency 4 9588 успешных, 0 ошибок, 319.5 rps, p50 8.3 мс (после исправления Nagle; до — 80.9 rps, p50 48.8 мс) evidence/load-after-nodelay.json, evidence/load-before-nodelay.json
Сохранение lab6 (наблюдаемость) поверх mTLS obs_correlation.py, dashboard_check.py, check_rules.sh трасса upload→relay→worker (26 spans), логи по trace_id в Loki; 3 datasource OK, 56 панелей без ошибок; все scrape-цели up=1 evidence/obs-correlation.json, evidence/dashboard-check.json, evidence/prometheus-up.txt
Сохранение lab5 (фоновая обработка) worker_outage.py остановка worker → upload 202 → рестарт API+брокера → ready, повторная доставка — no-op evidence/worker-outage.txt
Модель угроз, trust matrix — 10 угроз с контролями и тестами; матрица заполнена, N/A с причинами security/THREAT_MODEL.md, contracts/trust-matrix.md

Пункты уровня 4, сделанные попутно (уровень 4 не заявляется): rehash старого хеша при входе; общий для реплик rate limit; read-only/no-new-privileges/drop capabilities и tmpfs; ограничение upload-worker по CPU/RAM/времени (cgroup + RLIMIT подпроцесса, с lab5); проверка отсутствия утечек в telemetry; поведение при sealed OpenBao.

Эксперименты и отказы

Argon2id — выбор параметров (argon2_bench.py внутри API-контейнера: cgroup 0.5 CPU, 640 MiB, aarch64; 15 хешей + 15 проверок на профиль, затем 2×15 параллельно — как PASSWORD_HASH_CONCURRENCY=2):

Профиль hash p50 / p95, мс verify p50, мс рост RSS, MiB хешей/с на реплику (2 потока)
m=19 MiB, t=2, p=1 (выбран) 13.0 / 64.8 13.2 18.2 27.2
m=46 MiB, t=1, p=1 (OWASP alt) 21.6 / 71.3 21.6 46.0 14.4
m=19 MiB, t=3, p=1 23.4 / 108.6 69.7 — 16.6
m=64 MiB, t=3, p=1 186.4 / 207.8 183.9 — 3.7
m=19 MiB, t=2, p=2 8.0 / 80.8 — — 15.0

p95 завышен троттлингом CFS (квота 50 мс на 100 мс), это реальная задержка входа на стенде. Обоснование: базовый профиль OWASP (минимум задания) даёт ~13 мс на вход и ~27 входов/с на реплику (≈ 54/с на стенд); 2 одновременных хеша занимают ~37 MiB из 640 MiB. Профиль m=64 MiB/t=3 удорожает офлайн-перебор в ~14 раз, но снижает пропускную способность входа до 3.7/с на реплику — на 0.5 CPU 20 попыток (лимит LB за 10 с с одного IP) заняли бы ~5 с CPU всей реплики. Для учебного стенда с лимитом 0.5 CPU выбран базовый профиль; параметры меняются переменными ARGON2_* без миграции (хеши самоописаны, rehash при входе).

Нагрузка по HTTPS и найденная регрессия задержки. tests/load.py --duration 30 --concurrency 4 (closed-loop, только POST сообщений, клиент открывает новое TLS-соединение на каждый запрос; путь клиент →TLS→ LB →mTLS→ API → PostgreSQL TLS; телеметрия включена, 100 % трасс). Гипотеза: стабильные ~+40 мс к каждому ответу после перехода на TLS — эффект Nagle на сокете Python-сервера (заголовки и тело ответа — отдельные TLS-записи; вторая ждёт ACK первой, а HAProxy подтверждает с delayed ACK ~40 мс). Проверка — включить TCP_NODELAY на сокете API (disable_nagle_algorithm = True), остальное без изменений:

Конфигурация успешных / ошибок успешных rps p50 / p95 / p99, мс Файл
lab6 (plaintext HTTP, тот же стенд) 14173 / 0 471 4.8 / 37.6 / 56.3 REPORT.md lab6
lab7, Nagle включён 2429 / 0 80.9 48.8 / 52.9 / 75.1 evidence/load-before-nodelay.json
lab7, TCP_NODELAY (итог) 9588 / 0 319.5 8.3 / 37.7 / 77.5 evidence/load-after-nodelay.json

Гипотеза подтверждена (p50 −40 мс, rps ×4). Оставшаяся разница с lab6 (~32 %) — TLS-handshake на каждый запрос нагрузочного клиента (urllib без keep-alive) и шифрование на двух hop-ах; повторное использование соединений LB→API (http-reuse safe) сохраняется, TLS-сессии намеренно не переиспользуются (no-ssl-reuse, без tickets — каждое новое соединение заново проверяет identity). Ограничения: один прогон по 30 с на конфигурацию, closed-loop (coordinated omission), клиент на том же хосте; это сравнение конфигураций, а не предельная пропускная способность.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Рестарт всех хранилищ и процессов (restart.sh, вкл. OpenBao + unseal) данные и прежняя сессия доступны PASS test-persistence ~60 с хук; потерь нет
Остановка api-1, затем api-2 (stop-one.sh) запись продолжается через вторую реплику, без дублей PASS ×2, 0 failed attempts 3.7–4.7 с; потерь и дублей нет
OpenBao sealed (рестарт контейнера) при работающем API работающие реплики обслуживают; новая не стартует; после unseal — стартует вход и /users/me = 200; перезапущенная api-1 unhealthy, в логе openbao not ready (… sealed); LB отдаёт ответы с другой реплики; после bao-unseal.sh — healthy ~12 с после unseal (42 с от рестарта реплики); KV на месте
Чужой клиент в сети стенда (no cert / rogue CA / intruder) → API отказ до HTTP отказ во всех трёх случаях, событие mtls.identity_rejected —

Ограничения и следующие шаги

  • Identity только на LB→API. Collector, Prometheus, Loki, Tempo, lb:8404 и RabbitMQ проверяют цепочку internal-ca, но не роль клиента: любой сервис с сертификатом internal-ca может слать телеметрию/читать метрики (тест фиксирует, что intruder принят Collector-ом). Брокер аутентифицирует по паролю + ACL, client cert не обязателен. Разграничение identity (OTel auth extension / sidecar, rabbitmq_auth_mechanism_ssl) — уровень 4.
  • Нет ротации и отзыва сертификатов (CRL/OCSP, короткоживущие leaf из OpenBao PKI) и не продемонстрирована ротация секрета; механизм для паролей ролей БД есть (bao-init.sh + migrate). Leaf 30 дней — продление вручную.
  • Unseal shares хранятся у оператора на том же хосте (отдельно от OpenBao, 600, вне проекта) — учебный компромисс; root token не отозван после bootstrap (нет отдельной операторской policy).
  • S3-права — по bucket, не по prefix: worker и api читают все объекты bucket.
  • Rate limit — по IP на одном LB: распределённый перебор не ограничен; один LB — единая точка отказа (как в lab3–6).
  • Dependency/image scan с разбором применимости не выполнялся (уровень 4).
  • Часть нагрузочных/отказных тестов lab4–5 (медленный клиент, прогрессивный upload, память upload, нагрузочный failover) написана под plaintext :8080 и не перенесена на TLS — student-tests/legacy/README.md; обязательные возможности покрыты HTTPS smoke и перенесёнными проверками.
  • Один Docker-host: отказ хоста, Docker daemon или root на хосте модель не покрывает.