Перенесена реализация lab6; бизнес-API без изменений, транспорт — HTTPS. - Внешний HTTPS (public-ca) на 127.0.0.1:8443; HSTS, TLS >= 1.2. - Обязательное mTLS LB -> каждая API-реплика: API проверяет цепочку internal-ca и SAN клиента (allowlist: lb); health только на 127.0.0.1. - TLS с проверкой сервера ко всем зависимостям: PostgreSQL verify-full (pg_hba только hostssl), HTTPS S3, AMQPS, OTLP/HTTPS с client cert, mTLS Collector -> Prometheus/Loki/Tempo, Grafana -> datasources, scrape. - OpenBao 2.7.2 не в dev-mode: Raft на volume, init/unseal оператором, auth/cert с ролью и policy на сервис, TTL 15 мин + renew/re-login. - Отдельные роли PostgreSQL с грантами по таблицам; разные ключи S3 и пользователи брокера выдаются из OpenBao. - Argon2id (m=19 MiB, t=2, p=1, замер на стенде) и rehash при входе. - Случайный X-Instance-Id; hardening контейнеров (non-root, cap_drop ALL, no-new-privileges, read-only, лимиты); TCP_NODELAY на сокете API. - Модель угроз, trust matrix, отрицательные тесты TLS/mTLS, API, OpenBao, hardening; evidence, в т.ч. прогон из чистого clone.
33 KiB
Отчёт — лабораторная 7
- Автор, группа: Лазарев Юрий Сергеевич, БПИ2303
- Целевая оценка; выбранный трек 5, если нужен: 3, трек 5 не заявлен (отдельные пункты уровня 4 сделаны попутно и отмечены, уровень 4 целиком не заявляется)
- Commit/PR: TODO после публикации (fork
zemiles/mtusi2026lab7, веткаsolution/bpi2303-lazarev) - Использованные источники, библиотеки и помощь ИИ: всё из lab6 (Python 3.12, psycopg 3.2.3, psycopg-pool 3.2.4, minio 7.2.20, urllib3 2.8.0, Pillow 13.0.0, pika 1.3.2, OpenTelemetry SDK 1.45.1) и argon2-cffi 25.1.0 (+ argon2-cffi-bindings 25.1.0). Новый образ:
openbao/openbao:2.7.2@sha256:50469110…0561f; остальные образы и digest — как в lab6 (см.compose.yaml). Документация: OWASP Password Storage / File Upload Cheat Sheets, OpenBao (auth/cert, policies, KV v2, integrated storage, production hardening, declarative audit), PostgreSQL (SSL, pg_hba, привилегии,SELECT … FOR UPDATE), RabbitMQ TLS и rabbitmq_prometheus TLS, HAProxy SSL (verify,verifyhost,crt), OTel Collectorconfigtls, Prometheus web-config, Loki/Tempohttp_tls_config, Grafana provisioning$__file{}, Docker security (capabilities, no-new-privileges, read-only). Код lab6 перенесён и доработан с помощью ИИ-ассистента (Claude); решения, запуск и проверки — автор.
Запуск из чистого clone
Проверено: MacBook Air M3, 16 GB RAM, macOS 26.4.1; Docker Desktop 28.0.4 (VM 8 vCPU, 7.7 GiB), Compose v2.34.0; Python 3.12 на хосте (только стандартная библиотека, для тестов). Порты 127.0.0.1:8443 (HTTPS API) и 127.0.0.1:3000 (HTTPS Grafana) должны быть свободны — стенд lab6 остановить.
# 0. Локальные секреты, PKI и .env (не коммитятся; значения не печатаются; повтор ничего не перезаписывает).
# CA private keys -> $OPERATOR_DIR (по умолчанию ~/.mtusi2026lab7-operator, ВНЕ проекта).
# Сертификаты выпускает OpenSSL закреплённого образа python:3.12.7-slim (docker run --network none).
./scripts/init-secrets.sh
# 1. Офлайн-проверка конфигов (promtool config/web-config/rules, otelcol validate, loki -verify-config).
./scripts/check_rules.sh
# 2. ОПЕРАТОР, один раз на пустом volume: OpenBao init (3 shares, порог 2) -> $OPERATOR_DIR/openbao/init.json,
# unseal, KV v2, policies, роли auth/cert, запись сервисных секретов. Повтор безопасен.
docker compose build migrate # образ приложения (собирает его только migrate)
./scripts/bao-init.sh
# 3. Запуск (~40 с до готовности 18 контейнеров)
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
# порядок: openbao (unsealed) + db, s3, broker (healthy) -> migrate (роли+гранты), s3-init -> api x2,
# relay, worker x2, janitor -> lb; телеметрия независимо: otel-collector, prometheus, loki, tempo -> grafana
docker compose ps # migrate и s3-init Exited (0); порты только у lb и grafana
# 4. Обязательные проверки (публичный CA — secrets/pki/public-ca.crt)
CA=$PWD/secrets/pki/public-ca.crt
make check && make test CA_FILE=$CA && make test-security CA_FILE=$CA
make test-persistence ACTION_SCRIPT=scripts/restart.sh CA_FILE=$CA # рестарт ВСЕХ хранилищ, вкл. OpenBao (+unseal)
make test-failover ACTION_SCRIPT=scripts/stop-one.sh CA_FILE=$CA && ./scripts/start-all.sh
# 5. Проверки lab7
docker compose --profile tools run --rm -T checks /app/student-tests/lab7_tls_matrix.py --output /app/evidence/lab7-tls-matrix.json
python3 student-tests/lab7_api_security.py --ca-file $CA --output evidence/lab7-api-security.json
python3 student-tests/lab7_openbao.py --ca-file $CA --output evidence/lab7-openbao.json
CA_FILE=$CA python3 student-tests/lab7_hardening.py --output evidence/lab7-hardening.json
docker compose exec -T api python - < student-tests/argon2_bench.py > evidence/argon2-bench.json
# Всё сразу с записью stdout в evidence/*.txt:
./student-tests/run_all.sh # обязательное + lab7 (≈ 8 мин)
WITH_LAB6=1 ./student-tests/run_all.sh # + перенесённые проверки lab6/lab5 поверх TLS
# 6. Grafana: https://localhost:3000 (доверить secrets/pki/public-ca.crt), admin / secrets/grafana_admin_password.
# 7. После рестарта Docker/хоста: OpenBao sealed -> ОПЕРАТОР
./scripts/bao-unseal.sh
# 8. Безопасная остановка (данные и секреты OpenBao остаются в volumes)
docker compose stop # или docker compose down (volumes остаются)
# 9. Намеренное удаление учебных данных (НЕОБРАТИМО): volumes, затем материал оператора
docker compose down -v # после этого init.json в $OPERATOR_DIR/openbao не соответствует стенду —
# удалить его вручную перед новым bao-init.sh
Действия оператора. Только оператор имеет $OPERATOR_DIR (ключи CA, root token, unseal shares). Нужны: bao-init.sh один раз на новый volume, bao-unseal.sh после каждого рестарта контейнера OpenBao (Docker/хост). Обычный рестарт API/worker ничего не требует. restart.sh — операторский хук, поэтому сам делает unseal.
Замечание (Docker Desktop на macOS): как в lab6, при запуске из неинтерактивной среды docker pull зависал на keychain-хелпере; обход — отдельный DOCKER_CONFIG с config.json = {} и ссылкой cli-plugins. Публичные образы скачиваются анонимно.
Архитектура и решения
хост 127.0.0.1:8443 ─HTTPS(public-ca)─► lb ═mTLS: lb предъявляет id "lb", проверяет SAN "api"═► api ×2
│ сеть apinet (internal: только lb и api) │
хост 127.0.0.1:3000 ─HTTPS(public-ca)─► grafana ═mTLS═► prometheus / loki / tempo │
│
api/relay/worker/janitor ──TLS verify-full + роль *_svc──► db (PostgreSQL, hostssl only) ◄──────┤
api/worker/janitor ──HTTPS + свой ключ──► s3 (SeaweedFS) │
relay/worker ──AMQPS 5671 + свой пользователь/ACL──► broker (RabbitMQ) │
все процессы приложения ═OTLP/HTTPS + client cert═► otel-collector ═mTLS═► tempo/loki/prometheus │
api/relay/worker/janitor/migrate/s3-init/ops ──TLS + auth/cert──► openbao (сеть vault) ◄─────────┘
Источник истины, транзакционные границы, outbox, at-least-once и наблюдаемость — без изменений с lab5/lab6. Изменения lab7:
| Область | Решение | Где |
|---|---|---|
| PKI | Два CA: public-ca (ingress, Grafana; его сертификат раздаётся клиентам) и internal-ca (сервисы). ECDSA P-256, leaf 30 дней, CA 365 дней, SAN DNS = имя сервиса = identity. Ключи CA — только у оператора. Тестовые identities: intruder (internal-ca, чужая роль), rogue-lb (чужой CA, SAN lb) |
scripts/init-secrets.sh, scripts/pki-issue.sh |
| Внешний TLS | HAProxy :8443 ssl, TLS ≥ 1.2, без tickets, HSTS, без Server |
infra/haproxy/haproxy.cfg |
| LB → API | mTLS обязательный: LB проверяет CA + verifyhost api, предъявляет lb.pem; API — CERT_REQUIRED и SAN ∈ MTLS_ALLOWED_CLIENTS (= lb), иначе закрытие до HTTP. Handshake в потоке соединения, таймаут 5 с. Health — отдельный plaintext listener только 127.0.0.1:8081 |
src/server.py (Server.finish_request, HealthHandler), src/tlsutil.py |
| Секреты | OpenBao 2.7.2: Raft на volume, TLS, audit → stdout; auth/cert (identity = leaf сервиса), policy на сервис = read только своего kv/data/messenger/<svc>; токен 15 мин/max 1 ч, renew, re-login. В env/образе/Docker secrets приложений паролей нет |
infra/openbao/, scripts/bao-init.sh, src/vault.py |
| PostgreSQL | ssl=on, pg_hba: hostssl … scram-sha-256, hostnossl reject, локально peer только для postgres. Роли api_svc/worker_svc/relay_svc/janitor_svc/ops_svc + гранты по таблицам; для SELECT … FOR UPDATE — только UPDATE(id). DDL — job migrate (роль postgres) |
infra/postgres/, migrations/security/grants.sql, src/migrate.py |
| S3 | SeaweedFS S3 только HTTPS; minio-py с CA; разные ключи api/worker/janitor/admin (как в lab6), выдаются из OpenBao | compose.yaml (s3), src/objstore.py |
| Брокер | RabbitMQ: только AMQPS 5671, verify_peer; метрики только HTTPS 15691 c обязательным cert; epmd/dist — 127.0.0.1 |
infra/rabbitmq/rabbitmq.conf, src/common.py |
| Телеметрия | OTLP/HTTPS + обязательный client cert на Collector; mTLS Collector → Tempo/Loki/Prometheus; scrape только HTTPS + cert; Grafana → datasources HTTPS + cert; Grafana сама — HTTPS | infra/otel, infra/prometheus, infra/loki, infra/tempo, infra/grafana |
| Пароли | Argon2id m=19456 KiB, t=2, p=1, соль 16 B, PHC-строка; процесс не стартует с параметрами ниже базовых; rehash scrypt/старых параметров при входе; dummy-hash для неизвестного логина | src/security.py |
| Alias реплики | X-Instance-Id = случайный r-<10 hex> на жизнь процесса (не hostname); stop-one.sh находит контейнер по /tmp/instance-id |
src/instance.py, scripts/stop-one.sh |
| Hardening | Приложение: uid 10001, cap_drop: ALL, no-new-privileges, read_only + tmpfs /tmp, лимиты CPU/RAM/PIDs. Остальные: no-new-privileges, cap_drop: ALL (+ минимальный cap_add для entrypoint-ов db/broker/s3), read-only где совместимо. Наружу — только 127.0.0.1:8443 и 127.0.0.1:3000 |
compose.yaml |
Сети. frontend (lb, публикация), apinet internal (lb ↔ api), backend internal (данные), telemetry internal, vault internal (OpenBao + процессы приложения), grafana-ui (публикация Grafana). LB не видит БД/S3/брокер/OpenBao; Grafana — только telemetry.
Роли, сервисы и credentials
| Роль | Service | Образ | Health/readiness | Volume | Сеть / порт | Credentials |
|---|---|---|---|---|---|---|
| LB | lb |
haproxy:3.0.5-alpine |
haproxy -c; сам проверяет /health/ready API по mTLS |
— | frontend+apinet+telemetry; 127.0.0.1:8443; :8404 (stats/metrics, mTLS, только telemetry) |
Docker secrets: lb-public.pem (public-ca), lb.pem (identity lb) |
| API ×2 | api |
mtusi-messenger:lab7 |
127.0.0.1:8081/health/ready (БД) |
— | apinet+backend+telemetry+vault; 8443 mTLS, не опубликован |
cert api (Docker secret) → OpenBao kv/messenger/api: пароль api_svc, ключ S3 api |
| Worker ×2 | worker |
тот же | heartbeat-файл | tmpfs | backend+telemetry+vault | cert worker → kv/messenger/worker: worker_svc, ключ S3 worker, AMQPS user worker |
| Relay | relay |
тот же | heartbeat | — | backend+telemetry+vault | cert relay → relay_svc, AMQPS user relay |
| Janitor | janitor |
тот же | heartbeat | — | backend+telemetry+vault | cert janitor → janitor_svc, ключ S3 janitor |
| Миграции/роли | migrate (job) |
тот же | Exited 0 | — | backend+vault | cert migrate → kv/messenger/migrate (суперпользователь + пароли ролей), токен 5 мин |
| Bucket | s3-init (job) |
тот же | Exited 0 | — | backend+vault | cert s3-init → ключ S3 admin |
| PostgreSQL | db |
postgres:16.4-alpine |
su-exec postgres pg_isready |
pgdata |
backend; 5432 TLS |
postgres_password (Docker secret), cert db |
| S3 | s3 |
chrislusf/seaweedfs:4.50 |
curl --cacert … https://127.0.0.1:8333/healthz + запись в filer |
s3data |
backend; 8333 HTTPS |
s3_identities.json (Docker secret), cert s3 |
| Брокер | broker |
rabbitmq:4.1.4-alpine |
running, alarms, listener 5671, очередь объявлена | brokerdata |
backend+telemetry; 5671 AMQPS, 15691 HTTPS-метрики |
rabbitmq_definitions.json (только хеши паролей), cert broker |
| Секреты | openbao |
openbao/openbao:2.7.2 |
bao status (0 = unsealed) |
baodata (Raft) |
vault; 8200 TLS |
cert openbao; root/shares — у оператора |
| Collector | otel-collector |
otel/opentelemetry-collector-contrib:0.163.2 |
up{job="otelcol-contrib"} |
— | telemetry; 4318 OTLP/HTTPS mTLS |
cert otel-collector |
| Метрики | prometheus |
prom/prometheus:v3.13.5 |
promtool check ready по mTLS |
promdata |
telemetry; 9090 mTLS |
cert prometheus |
| Логи | loki |
grafana/loki:3.6.19 |
up{job="loki"} |
lokidata |
telemetry; 3100 mTLS |
cert loki |
| Трассы | tempo |
grafana/tempo:2.10.10 |
up{job="tempo"} |
tempodata |
telemetry; 3200, 4317 mTLS |
cert tempo |
| UI | grafana |
grafana/grafana:12.4.14 |
curl --cacert public-ca https://localhost:3000/api/health |
grafanadata |
telemetry+grafana-ui; 127.0.0.1:3000 HTTPS |
admin — Docker secret; cert grafana (к datasources), grafana-public (сервер) |
Переменные .env.example → конфигурация. DATABASE_URL_FILE skeleton → POSTGRES_HOST/DB/USER + пароль роли из OpenBao (POSTGRES_PASSWORD), sslmode=verify-full; S3_ACCESS_KEY_ID_FILE/S3_SECRET_ACCESS_KEY_FILE → поля KV S3_ACCESS_KEY_ID/S3_SECRET_ACCESS_KEY; BROKER_URL_FILE → поле KV BROKER_URL (amqps); TLS_CA_FILE/TLS_CERT_FILE/TLS_KEY_FILE → /run/secrets/internal-ca.crt|service.crt|service.key (те же имена, дефолты src/tlsutil.py); BAO_ADDR/BAO_CACERT → как в skeleton + BAO_AUTH_ROLE, BAO_KV_PATH; ARGON2_* — как в skeleton; PUBLIC_BASE_URL → https://localhost:8443 (тесты); APP_PORT=8443 (mTLS), HEALTH_PORT=8081. SESSION_STORE=postgres, CACHE_URL_FILE — не используются (Redis/Valkey нет).
Критичные зависимости readiness. /health/ready API = PostgreSQL (как в lab6). OpenBao в readiness не входит: секреты читаются при старте процесса — без OpenBao процесс не стартует (и не становится ready), а работающий продолжает с секретами в памяти. Недоступность Grafana/телеметрии на API не влияет.
Доказательства критериев
Все прогоны — на стенде выше, 2026-11-18, проект mtusi-lab7. Сводный прогон: WITH_LAB6=1 ./student-tests/run_all.sh → evidence/run-all.txt.
Воспроизводимость из чистого clone. Копия репозитория без secrets/, .env и материала оператора (отдельный COMPOSE_PROJECT_NAME=mtusi-lab7-clean и OPERATOR_DIR): init-secrets.sh → check_rules.sh → docker compose build --no-cache migrate → bao-init.sh → up --wait → WITH_LAB6=1 run_all.sh — ALL PASS без ручных правок (evidence/clean-clone-run.txt); затем этот стенд удалён (down -v).
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke по HTTPS | make check; make test CA_FILE=…/public-ca.crt |
PASS: lab7 public API scenario (health → пользователи → вход → чат → сообщения → пагинация → ACL → идемпотентность → файл → thumbnail → logout) |
evidence/make-test.txt |
| HTTPS с проверяемым CA и hostname/SAN; недоверенный TLS | make test-security; lab7_api_security.py (tls.*) |
пустой trust store → SSLCertVerificationError; SNI evil.example → Hostname mismatch; internal-ca не валидирует ingress; TLS 1.1 → PROTOCOL_VERSION |
evidence/make-test-security.txt, evidence/lab7-api-security.json |
| Argon2id: salt и параметры, не ниже 19 MiB/t=2/p=1, обоснование замером | lab7_api_security.py (argon2.*); argon2_bench.py в контейнере API |
В БД $argon2id$v=19$m=19456,t=2,p=1$<salt>$<hash>, соли разные; rehash scrypt → Argon2id при входе; замер — раздел «Эксперименты» |
evidence/lab7-api-security.json, evidence/argon2-bench.json |
| LB → каждая API-реплика: обязательное mTLS, проверка identity, нет обхода | lab7_tls_matrix.py (в сети стенда) |
для обеих реплик: без cert → CERTIFICATE_REQUIRED; rogue CA (SAN lb) → UNKNOWN_CA; internal-ca, identity intruder → закрыто после handshake без HTTP-ответа; plaintext → reset; :8081 из сети → refused; identity lb → 200, бизнес-API без Bearer → 401; порт API не опубликован |
evidence/lab7-tls-matrix.json, evidence/lab7-hardening.json |
| TLS с проверкой сервера к DB, S3, broker, Collector, backends, OpenBao; раздельные credentials | lab7_tls_matrix.py; selfcheck.py внутри сервисов |
67/67: plaintext отвергается у всех (pg_hba reject, 400 HTTPS, refused), чужой CA/hostname → ошибка проверки, без client cert → отказ у Collector/Prometheus/Loki/Tempo/lb:8404/broker:15691; pg_stat_ssl TLSv1.3 у всех ролей; разные роли БД/ключи S3/пользователи брокера |
evidence/lab7-tls-matrix.json, evidence/lab7-openbao.json |
| OpenBao не dev, persistent; сервисная аутентификация, scoped policy; нет root/unseal/широкого токена в приложении | lab7_openbao.py |
storage_type=raft, t=2 n=3, entrypoint bao server -config=…; для api/worker/relay/janitor: policies default,messenger-<svc>, TTL 900, свой путь 200, чужой/migrate/list/запись/policy/token create/seal → 403, после revoke 403; в env нет токенов; смонтированы только CA+свой cert/key; KV пережил рестарт |
evidence/lab7-openbao.json |
| Worker не получает admin credentials | lab7_openbao.py (worker.*) |
ключ S3 worker = свой (не admin/api); worker_svc — denied на users/sessions/messages; путь migrate → 403 |
evidence/lab7-openbao.json |
| Контейнеры: без privileged/host network/docker.sock; app/worker non-root, без capabilities, лимиты; наружу только TLS ingress и локальные admin | lab7_hardening.py |
182/182: no-new-privileges везде, CapDrop ALL везде (cap_add только db/broker/s3 — документировано), app uid 10001 + read-only rootfs, лимиты у всех; опубликованы только 127.0.0.1:8443 и 127.0.0.1:3000; loopback health-listener изнутри контейнера отдаёт только /health/* (бизнес-API → 404) |
evidence/lab7-hardening.json |
| Secret values/ключи не в Git, образах, telemetry | scripts/scan_secrets.py; lab7_hardening.py (image.*, telemetry.*); obs_correlation.py |
125 значений (пароли, ключи S3, тела PEM leaf и CA keys, root token, unseal shares) — 0 файлов; в образе нет *.key/*.pem/secrets, история слоёв чистая; в Loki/Tempo нет свежего токена/пароля (с положительным контролем поиска) |
evidence/lab7-hardening.json, evidence/scan-secrets.txt, evidence/obs-correlation.json |
| Rate limit входа 429/Retry-After | lab7_api_security.py (ratelimit.*) |
первый 429 на 21-й попытке за 10 с, Retry-After: 10, JSON rate_limited с request_id; после окна вход снова 201 |
evidence/lab7-api-security.json |
| Ограничение размера запросов | lab7_api_security.py (limits.*) |
JSON > 1 MiB → 413; upload > 10 MiB → 413 до чтения тела | evidence/lab7-api-security.json |
| Доступ постороннего; поддельный X-User-Id | lab7_api_security.py (outsider.*, spoof.*) |
chat/history/metadata/content/thumbnail → 404; прикрепление чужого файла → 404; запись в чужой чат → 404; X-User-Id чужого пользователя не меняет /users/me |
evidence/lab7-api-security.json |
| Logout / expiry | lab7_api_security.py (logout.*, expiry.*) |
logout 204 → тот же токен 401, повтор 401; сессия с expires_at в прошлом (оператор, своя тестовая строка) → 401 |
evidence/lab7-api-security.json |
| Сертификаты локально, документированный bootstrap | ./scripts/init-secrets.sh |
выпуск 2 CA + 19 leaf сервисов (+ тестовые: rogue CA, intruder, rogue-lb); CA keys в $OPERATOR_DIR/ca (600); README infra/openbao, trust-matrix |
— |
| Перезапуск с сохранением данных (HTTPS) | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS; хук перезапустил openbao (+unseal), db, s3, broker, prometheus, loki, tempo и все процессы — состояния до/после | evidence/test-persistence.txt, evidence/persistence-ps-before.txt, evidence/persistence-ps-after.txt |
| Последовательный отказ API-реплик (HTTPS) | make test-failover ACTION_SCRIPT=scripts/stop-one.sh ×N |
PASS для api-1 и api-2 (для api-2 очередь round-robin сдвинута одним лишним запросом), 96–98 подтверждённых записей, 0 ошибок, восстановление записи 3.7–4.7 с | evidence/test-failover.txt |
| Нагрузка по HTTPS | tests/load.py --duration 30 --concurrency 4 |
9588 успешных, 0 ошибок, 319.5 rps, p50 8.3 мс (после исправления Nagle; до — 80.9 rps, p50 48.8 мс) | evidence/load-after-nodelay.json, evidence/load-before-nodelay.json |
| Сохранение lab6 (наблюдаемость) поверх mTLS | obs_correlation.py, dashboard_check.py, check_rules.sh |
трасса upload→relay→worker (26 spans), логи по trace_id в Loki; 3 datasource OK, 56 панелей без ошибок; все scrape-цели up=1 |
evidence/obs-correlation.json, evidence/dashboard-check.json, evidence/prometheus-up.txt |
| Сохранение lab5 (фоновая обработка) | worker_outage.py |
остановка worker → upload 202 → рестарт API+брокера → ready, повторная доставка — no-op | evidence/worker-outage.txt |
| Модель угроз, trust matrix | — | 10 угроз с контролями и тестами; матрица заполнена, N/A с причинами | security/THREAT_MODEL.md, contracts/trust-matrix.md |
Пункты уровня 4, сделанные попутно (уровень 4 не заявляется): rehash старого хеша при входе; общий для реплик rate limit; read-only/no-new-privileges/drop capabilities и tmpfs; ограничение upload-worker по CPU/RAM/времени (cgroup + RLIMIT подпроцесса, с lab5); проверка отсутствия утечек в telemetry; поведение при sealed OpenBao.
Эксперименты и отказы
Argon2id — выбор параметров (argon2_bench.py внутри API-контейнера: cgroup 0.5 CPU, 640 MiB, aarch64; 15 хешей + 15 проверок на профиль, затем 2×15 параллельно — как PASSWORD_HASH_CONCURRENCY=2):
| Профиль | hash p50 / p95, мс | verify p50, мс | рост RSS, MiB | хешей/с на реплику (2 потока) |
|---|---|---|---|---|
| m=19 MiB, t=2, p=1 (выбран) | 13.0 / 64.8 | 13.2 | 18.2 | 27.2 |
| m=46 MiB, t=1, p=1 (OWASP alt) | 21.6 / 71.3 | 21.6 | 46.0 | 14.4 |
| m=19 MiB, t=3, p=1 | 23.4 / 108.6 | 69.7 | — | 16.6 |
| m=64 MiB, t=3, p=1 | 186.4 / 207.8 | 183.9 | — | 3.7 |
| m=19 MiB, t=2, p=2 | 8.0 / 80.8 | — | — | 15.0 |
p95 завышен троттлингом CFS (квота 50 мс на 100 мс), это реальная задержка входа на стенде. Обоснование: базовый профиль OWASP (минимум задания) даёт ~13 мс на вход и ~27 входов/с на реплику (≈ 54/с на стенд); 2 одновременных хеша занимают ~37 MiB из 640 MiB. Профиль m=64 MiB/t=3 удорожает офлайн-перебор в ~14 раз, но снижает пропускную способность входа до 3.7/с на реплику — на 0.5 CPU 20 попыток (лимит LB за 10 с с одного IP) заняли бы ~5 с CPU всей реплики. Для учебного стенда с лимитом 0.5 CPU выбран базовый профиль; параметры меняются переменными ARGON2_* без миграции (хеши самоописаны, rehash при входе).
Нагрузка по HTTPS и найденная регрессия задержки. tests/load.py --duration 30 --concurrency 4 (closed-loop, только POST сообщений, клиент открывает новое TLS-соединение на каждый запрос; путь клиент →TLS→ LB →mTLS→ API → PostgreSQL TLS; телеметрия включена, 100 % трасс). Гипотеза: стабильные ~+40 мс к каждому ответу после перехода на TLS — эффект Nagle на сокете Python-сервера (заголовки и тело ответа — отдельные TLS-записи; вторая ждёт ACK первой, а HAProxy подтверждает с delayed ACK ~40 мс). Проверка — включить TCP_NODELAY на сокете API (disable_nagle_algorithm = True), остальное без изменений:
| Конфигурация | успешных / ошибок | успешных rps | p50 / p95 / p99, мс | Файл |
|---|---|---|---|---|
| lab6 (plaintext HTTP, тот же стенд) | 14173 / 0 | 471 | 4.8 / 37.6 / 56.3 | REPORT.md lab6 |
| lab7, Nagle включён | 2429 / 0 | 80.9 | 48.8 / 52.9 / 75.1 | evidence/load-before-nodelay.json |
| lab7, TCP_NODELAY (итог) | 9588 / 0 | 319.5 | 8.3 / 37.7 / 77.5 | evidence/load-after-nodelay.json |
Гипотеза подтверждена (p50 −40 мс, rps ×4). Оставшаяся разница с lab6 (~32 %) — TLS-handshake на каждый запрос нагрузочного клиента (urllib без keep-alive) и шифрование на двух hop-ах; повторное использование соединений LB→API (http-reuse safe) сохраняется, TLS-сессии намеренно не переиспользуются (no-ssl-reuse, без tickets — каждое новое соединение заново проверяет identity). Ограничения: один прогон по 30 с на конфигурацию, closed-loop (coordinated omission), клиент на том же хосте; это сравнение конфигураций, а не предельная пропускная способность.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
Рестарт всех хранилищ и процессов (restart.sh, вкл. OpenBao + unseal) |
данные и прежняя сессия доступны | PASS test-persistence |
~60 с хук; потерь нет |
Остановка api-1, затем api-2 (stop-one.sh) |
запись продолжается через вторую реплику, без дублей | PASS ×2, 0 failed attempts | 3.7–4.7 с; потерь и дублей нет |
| OpenBao sealed (рестарт контейнера) при работающем API | работающие реплики обслуживают; новая не стартует; после unseal — стартует | вход и /users/me = 200; перезапущенная api-1 unhealthy, в логе openbao not ready (… sealed); LB отдаёт ответы с другой реплики; после bao-unseal.sh — healthy |
~12 с после unseal (42 с от рестарта реплики); KV на месте |
| Чужой клиент в сети стенда (no cert / rogue CA / intruder) → API | отказ до HTTP | отказ во всех трёх случаях, событие mtls.identity_rejected |
— |
Ограничения и следующие шаги
- Identity только на LB→API. Collector, Prometheus, Loki, Tempo,
lb:8404и RabbitMQ проверяют цепочку internal-ca, но не роль клиента: любой сервис с сертификатом internal-ca может слать телеметрию/читать метрики (тест фиксирует, чтоintruderпринят Collector-ом). Брокер аутентифицирует по паролю + ACL, client cert не обязателен. Разграничение identity (OTelauthextension / sidecar,rabbitmq_auth_mechanism_ssl) — уровень 4. - Нет ротации и отзыва сертификатов (CRL/OCSP, короткоживущие leaf из OpenBao PKI) и не продемонстрирована ротация секрета; механизм для паролей ролей БД есть (
bao-init.sh+migrate). Leaf 30 дней — продление вручную. - Unseal shares хранятся у оператора на том же хосте (отдельно от OpenBao, 600, вне проекта) — учебный компромисс; root token не отозван после bootstrap (нет отдельной операторской policy).
- S3-права — по bucket, не по prefix: worker и api читают все объекты bucket.
- Rate limit — по IP на одном LB: распределённый перебор не ограничен; один LB — единая точка отказа (как в lab3–6).
- Dependency/image scan с разбором применимости не выполнялся (уровень 4).
- Часть нагрузочных/отказных тестов lab4–5 (медленный клиент, прогрессивный upload, память upload, нагрузочный failover) написана под plaintext
:8080и не перенесена на TLS —student-tests/legacy/README.md; обязательные возможности покрыты HTTPS smoke и перенесёнными проверками. - Один Docker-host: отказ хоста, Docker daemon или root на хосте модель не покрывает.