Files
mtusi2026lab7/REPORT.md
T

64 KiB
Raw Blame History

Отчёт — лабораторная 7

  • Автор, группа: Бабиченко Максим, БВТ2303
  • Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не выбран
  • Commit/PR: <<ссылка на MR после публикации>>
  • Использованные источники, библиотеки и помощь ИИ: всё из lab6 (FastAPI, psycopg 3, pika, boto3, Pillow, OpenTelemetry SDK, RabbitMQ 4.1, SeaweedFS, PostgreSQL 17, Redis 7.4, HAProxy 3.2, OTel Collector, Prometheus, Loki, Tempo, Grafana). Новое: cryptography 50.0.2 (выпуск сертификатов оператором, разбор и проверка подписи CRL в API), образ openbao/openbao:2.6.2, SeaweedFS обновлён до 4.52 (TLS шлюза S3, права по prefix, mTLS внутреннего gRPC), Pillow 12.3.0 → 13.0.0 и security-обновления Debian в образе приложения (скан). Документация: OWASP Password Storage и File Upload Cheat Sheets, RFC 9106 (Argon2), OpenBao (cert auth, policies, KV v2, seal/unseal, production hardening), RabbitMQ TLS и rabbitmq_auth_mechanism_ssl, PostgreSQL pg_hba/SSL/SCRAM, Redis TLS и ACL, SeaweedFS security.toml, Prometheus web configuration (client_allowed_sans), Grafana/Tempo/Loki TLS, Docker security, pip-audit, Trivy. При написании кода, конфигураций и тестов использовался ИИ-ассистент (Claude); весь код я прогнал и могу объяснить и изменить на защите.

Запуск из чистого clone

Проверяю на Windows (PowerShell, Docker Desktop). На хосте нужен Python 3.11+: тесты — только стандартная библиотека, операторские скрипты PKI — пакет cryptography (requirements-ops.txt). Перед запуском остановить стенд lab6 (docker compose down в его папке). Имя проекта Compose — messenger-lab7, volumes свои.

git clone https://gitea.privcloud.tech/Kalibr/mtusi2026lab7.git
cd mtusi2026lab7
git checkout solution/bvt2303-babichenko
$env:PYTHONUTF8 = "1"
python -m pip install -r requirements-ops.txt     # cryptography — только для scripts/pki.py
Copy-Item .env.example .env

# 1. Оператор: учебный CA и сертификаты сервисов (ключ CA остаётся в secrets/pki/ca, никуда не монтируется)
python scripts/pki.py init
# 2. Оператор: пароли/ключи стенда (серверные конфиги + файл для OpenBao), значения не печатаются
python scripts/init_secrets.py
# 3. OpenBao: старт, инициализация (3 доли, порог 2), распечатка, настройка (KV, cert auth, политики, секреты)
docker compose up -d openbao
python scripts/bao.py init
python scripts/bao.py unseal
python scripts/bao.py configure
# 4. Весь стенд
docker compose --env-file .env config --quiet
docker compose up -d --build --wait
docker compose ps -a        # migrate, s3-init, telemetry-init: Exited (0); остальные running/healthy

# 5. Проверки
python tests/smoke.py    --base-url https://localhost:8443 --ca-file secrets/pki/public/ca.crt   # make test CA_FILE=...
python tests/security.py --base-url https://localhost:8443 --ca-file secrets/pki/public/ca.crt   # make test-security
python student-tests/collect_evidence.py      # все шаги lab7 + регрессия lab1–6 -> evidence/, таблицы в REPORT.md
python scripts/scan.py                        # pip-audit + Trivy по образам -> evidence/scan/
Что Где
API (единственная точка входа) https://localhost:8443, доверять secrets/pki/public/ca.crt (сертификат ingress: SAN localhost, 127.0.0.1)
Grafana https://localhost:3000, логин admin, пароль — secrets/grafana_admin_password. Браузеру нужен наш CA: Import-Certificate -FilePath secrets\pki\public\ca.crt -CertStoreLocation Cert:\CurrentUser\Root (по желанию; проверку не отключаем)
Prometheus / Loki / Tempo https://localhost:9090, :3100, :3200 — только с клиентским сертификатом оператора: curl.exe --cacert secrets/pki/public/ca.crt --cert secrets/pki/operator/tls.crt --key secrets/pki/operator/tls.key https://localhost:9090/-/ready
Статистика HAProxy https://localhost:8404/stats — тот же сертификат оператора
OpenBao (оператор) https://127.0.0.1:8200, python scripts/bao.py status

Отдельные проверки lab7 (make на Windows нет):

Команда Что проверяет
python student-tests/test_tls_matrix.py вся trust matrix изнутри сети (контейнер probe): разрешённая identity проходит, без сертификата / чужой CA / чужая identity нашего CA / истёкший / отозванный — отказ; plaintext не отвечает
python student-tests/test_least_privilege.py api/worker/dispatcher/janitor своими учётными данными: GRANT PostgreSQL, prefix S3, политики OpenBao, ACL Redis
python student-tests/test_lab7_security.py только HTTPS, заголовки, посторонний пользователь, logout, общий rate limit, лимиты тела, Argon2id, rehash, отсутствие утечек
python student-tests/lifecycle.py rotate-secret rotate-leaf token-expiry sealed ротация секрета и leaf, отзыв, истечение токенов, sealed OpenBao — под нагрузкой
python student-tests/leak_check.py пароль/токен/Authorization не попадают в логи контейнеров, Loki, Tempo, метки Prometheus
python student-tests/argon2_bench.py, python student-tests/login_dos.py замер Argon2id в контейнере api; бюджет защиты от login DoS
python student-tests/check_hardening.py --runtime privileged/host/docker.sock, capabilities, no-new-privileges, read_only, не root, лимиты, порты
python student-tests/run_persistence.py, python student-tests/run_failover.py публичные test-persistence (hook scripts\restart.cmd, включая рестарт и unseal OpenBao) и test-failover (hook scripts\stop-one.cmd) по HTTPS

После перезагрузки хоста / рестарта OpenBao он запечатан: python scripts/bao.py unseal. До этого уже работающих процессов нет, новые не стартуют (ждут до 60 с и перезапускаются Docker) — после unseal стенд поднимается сам. Остановка без потери данных: docker compose down (volumes openbaodata, pgdata, redisdata, s3data, rabbitmqdata, faults, promdata, lokidata, tempodata, grafanadata остаются). Намеренное удаление учебных данных: docker compose down -v, удалить папку secrets (CA, ключи, доли unseal, пароли) и пройти шаги 1–4 заново.

Архитектура и решения

клиент --HTTPS 127.0.0.1:8443--> lb (HAProxy) ==mTLS, клиент CN=lb==> api x2 (FastAPI)
  api --TLS verify-full + SCRAM, роль messenger_api--> postgres      api --TLS+mTLS + ACL user api--> redis
  api --HTTPS + ключ api (staging/ write, attachments/ read)--> s3  api ==cert auth CN=api==> openbao
  api/worker/dispatcher/janitor ==mTLS, CN из allowlist==> otel-gate --127.0.0.1--> otel-collector
  dispatcher ==AMQPS EXTERNAL CN=dispatcher==> rabbitmq <==AMQPS EXTERNAL CN=worker== worker
  otel-collector ==mTLS CN=otel-collector==> prometheus | loki | tempo <==mTLS CN=grafana== grafana

Что перенесено из lab6: весь API (lab1–5), outbox/dispatcher/worker/janitor, телеметрия (SDK, Collector, Prometheus/Loki/Tempo/Grafana, dashboard, алерты, runbooks), тесты lab1–6. Что изменено в lab7:

Область Решение Где
PKI Учебный CA оператора (ECDSA P-256), leaf на каждую identity (30 суток, CN + URI SAN spiffe://messenger.lab/<cn>), CRL, ротация/отзыв, тестовые сертификаты (чужой CA, intruder, истёкший) scripts/pki.py
Внешний TLS HAProxy: только HTTPS :8443, TLS 1.2+, без tickets, HSTS, nosniff, без Server; X-Forwarded-For перезаписывается; тело > 11 MiB → 413 infra/haproxy.cfg
LB → API mTLS: HAProxy проверяет сертификат API (CA, CRL, имя api) и предъявляет lb; API (tlsutil.py, свой протокол uvicorn) — цепочка/срок (OpenSSL) + allowlist CN и CRL до чтения запроса; CRL перечитывается раз в 5 с, открытые соединения отозванных сертификатов закрываются. Health — отдельный listener 127.0.0.1:8081 tlsutil.py, main.py
OpenBao Не dev-mode: file storage в volume, TLS-listener, init/unseal оператором, KV v2 messenger/, cert auth (роль = CN, только наш CA, CRL), 6 политик по одному пути, токены 15 мин / max 1 ч. Клиент приложения: вход, renew, relogin, перечитывание KV раз в 30 с, работа на кэше при sealed infra/openbao/, scripts/bao.py, secretstore.py
PostgreSQL ssl=on, pg_hba: только hostssl + SCRAM; 4 роли приложения с GRANT по запросам (006_roles.sql), пароли из OpenBao на каждое соединение, migrate ставит их SCRAM-verifier'ом infra/postgres/pg_hba.conf, dbconn.py, migrate.py
Redis Только TLS, клиентский сертификат обязателен, ACL: default off, api — session:*/ratelimit:* и 13 команд; пароль через credential provider (ротация без рестарта) infra/redis.conf, auth.py
S3 SeaweedFS 4.52: HTTPS :8333, внутренние порты на loopback, gRPC :18333 — mTLS только CN=s3, IAM/Iceberg/Lance выключены; ключи api/worker/janitor/s3-init с правами по prefix infra/seaweedfs/security.toml, scripts/init_secrets.py
RabbitMQ Только AMQPS :5671, verify_peer, EXTERNAL (пользователь = CN), пользователи без паролей, distribution/epmd на loopback; плагины — только rabbitmq_auth_mechanism_ssl infra/rabbitmq.conf, broker.py
Телеметрия otel-gate (HAProxy) — mTLS и allowlist CN приложений перед Collector (Collector на 127.0.0.1); Collector → Tempo/Loki/Prometheus по mTLS; Prometheus client_allowed_sans; Loki gRPC на loopback, Tempo внутренний gRPC по TLS; Grafana по HTTPS, источники — mTLS infra/otel/, infra/prometheus/web.yml, infra/loki, infra/tempo, infra/grafana
Пароли и вход Argon2id m=32 MiB, t=2, p=1 (замер ниже), rehash при входе, ≤2 хеша на реплику одновременно (иначе 503 + Retry-After), общий rate limit в Redis (429 + Retry-After), JSON ≤ 64 KiB (в т.ч. chunked) auth.py, main.py
Hardening Все сервисы: cap_drop ALL, no-new-privileges, read_only + tmpfs, не root, лимиты CPU/RAM/PID, нет privileged/host/docker.sock; объяснённые исключения (RabbitMQ записываемый корень, telemetry-init CHOWN); SeaweedFS — uid 1000 образа (в Docker-прогоне исключение uid 0 снято). Наружу — только 127.0.0.1 compose.yaml, Dockerfile, student-tests/check_hardening.py
X-Instance-Id Случайный alias процесса (12 hex), а не ID контейнера; stop_one.py находит реплику по файлу alias settings.py, scripts/stop_one.py

Источник истины не менялся: PostgreSQL (данные), S3 (байты), Redis (сессии, счётчики лимитов), OpenBao (учётные данные сервисов). Транзакционные границы — как в lab5/6 (outbox). Готовность (/health/ready): PostgreSQL + Redis + секреты загружены; OpenBao в readiness не входит — его недоступность не останавливает уже работающую реплику (см. «Эксперименты»).

Соответствие .env.example

Переменная skeleton В решении
APP_PORT=8080 API слушает 8443 (только mTLS); наружу — HAProxy 127.0.0.1:8443
DATABASE_URL_FILE, CACHE_URL_FILE, BROKER_URL_FILE, S3_*_FILE не используются: адреса — DB_HOST/DB_USER/REDIS_HOST/REDIS_USER/BROKER_URL/S3_ENDPOINT в compose, учётные данные — из OpenBao (messenger/<сервис>); брокер — вход по сертификату
S3_ENDPOINT=https://s3:9000 https://s3:8333 (SeaweedFS S3)
OTEL_EXPORTER_OTLP_ENDPOINT=https://otel-collector:4318 так и есть (alias otel-gate) + OTEL_EXPORTER_OTLP_CERTIFICATE/CLIENT_CERTIFICATE/CLIENT_KEY
PUBLIC_BASE_URL https://localhost:8443 (тесты, ingress)
TLS_CA_FILE, TLS_CERT_FILE, TLS_KEY_FILE /run/tls-ca/ca.crt, /run/tls/tls.crt, /run/tls/tls.key (+ TLS_CRL_FILE=/run/tls-ca/crl.pem)
BAO_ADDR, BAO_CACERT BAO_ADDR=https://openbao:8200; CA — тот же TLS_CA_FILE; роль — BAO_ROLE = CN сертификата
ARGON2_MEMORY_KIB=19456, ARGON2_ITERATIONS=2, ARGON2_PARALLELISM=1 32768 / 2 / 1 (+ ARGON2_MAX_CONCURRENCY=2, ARGON2_QUEUE_SECONDS=2)
— новые: SECRETS_REFRESH_SECONDS, CRL_RELOAD_SECONDS, LOGIN_RATE_*, REGISTER_RATE_PER_CLIENT, MAX_JSON_BYTES

Доказательства критериев

Где проверено: Docker-стенд на машине автора (Windows 10, Docker Desktop, 16 CPU / 15 GiB VM): стенд поднят с нуля шагами раздела «Запуск», затем python student-tests/collect_evidence.py — все 46 шагов PASS (evidence/summary.md), результаты в evidence/*.txt|json, замеры — блок ниже. Ранее решение проверялось в нативной песочнице без Docker (evidence/native-sandbox/, оставлена для сравнения): тот же стенд процессами, конфиги из infra/, вместо docker — подмена, управляющая процессами. Ошибки, которые песочница не поймала и которые исправлены по Docker-прогону, — в «Ограничениях». Отличия песочницы: PostgreSQL 16 вместо 17, Redis 7.0 вместо 7.4, RabbitMQ 4.4 вместо 4.1.4, HAProxy 2.8 вместо 3.2, HashiCorp Vault 2.1.2 как API-совместимая замена OpenBao 2.6.2 (тот же HTTP API: sys/init, unseal, cert auth, KV v2, policies), Prometheus 2.45 (только web-config TLS), Collector — заглушка OTLP за настоящим otel-gate; Loki/Tempo/Grafana не запускались (их TLS-конфиги проверяются только в Docker).

Уровень 3

Критерий README Команда/сценарий Наблюдаемый результат (Docker) Файл доказательства
Публичный smoke по HTTPS с проверяемым CA и hostname make test CA_FILE=secrets/pki/public/ca.crt PASS: lab7 public API scenario (регистрация, вход, чат, сообщения, пагинация, идемпотентность, вложение → thumbnail, logout) evidence/smoke.txt
Внешний TLS: недоверенный CA отвергается make test-security; test_lab7_security.py test_https_only_and_certificate_checks PASS: пустой trust store, чужой CA → SSLCertVerificationError; имя evil.example → Hostname mismatch; plaintext на 8443 — без ответа приложения; 8080 — не API security.txt, lab7-security.txt
Предыдущие возможности через HTTPS регрессия lab1–5: test_api, test_race, test_idempotency, test_balancing, test_attachments, test_consistency, test_jobs, test_janitor_replay, test_failures, test_db, redis_info, explain, load все PASS (см. сводку) evidence/*.txt
Argon2id: соль, параметры, ≥19 MiB/t=2/p=1, обоснование замером test_password_storage_argon2id, argon2_bench.py $argon2id$v=19$m=32768,t=2,p=1$<16-байтная соль>$…; одинаковый пароль → разные хеши; замер — «Эксперименты» lab7-security.txt, argon2-bench.json
LB→API mTLS, отказ без cert / чужой CA / неверная identity; нет обхода test_tls_matrix.py lb-api lb → 200; без сертификата, чужой CA с CN=lb, истёкший lb, intruder (наш CA), worker, api → соединение закрыто; клиент с чужим CA не принимает сервер; plaintext — нет ответа; порт API не опубликован tls-matrix.json
Остальные связи — TLS с проверкой сервера, раздельные учётные данные и минимальные права test_tls_matrix.py, test_least_privilege.py, contracts/trust-matrix.md 78 проверок matrix (12 связей, включая Loki/Tempo/Grafana и внутренний gRPC Tempo), 83 проверки прав — все PASS tls-matrix.json, least-privilege.json
OpenBao не dev-mode, persistent storage, сервисная аутентификация, scoped policy, без root token в приложении bao.py init/unseal/configure; test_least_privilege.py (openbao); run_persistence.py (рестарт OpenBao + unseal, данные на месте) cert auth по CN; чужие пути, запись KV/политики, список auth, создание токена → 403; worker как роль api → 400 least-privilege.txt, tls-matrix.txt, persistence.txt
Контейнеры: без privileged/host/docker.sock, app/worker non-root, без лишних capabilities, лимиты; наружу только TLS-ingress и локальные админ-порты; секреты не в Git/образах/телеметрии check_hardening.py --runtime, check_stack.py, leak_check.py, .gitignore/.dockerignore статически 183 PASS, 4 объяснённых исключения, 0 нарушений + docker inspect всех контейнеров; маркерные пароль/токен — 0 в логах и OTLP hardening.json, leak-check.json
429 + Retry-After, лимит размера, посторонний пользователь, logout/expiry, недоверенный TLS test_lab7_security.py, test_expiry.py (lab2) 401×9 → 429, Retry-After 60, ответы двух реплик; JSON > 64 KiB → 413 (и chunked), upload 50 MB → 413 на LB; посторонний → 404 ×6; logout → 401 lab7-security.txt
Сертификаты — локальный документированный bootstrap pki.py init → init_secrets.py → bao.py init/unseal/configure чистый Docker-стенд по этим шагам поднят с нуля (новые secrets/, volumes) раздел «Запуск»
Smoke, рестарт и отказ реплики через HTTPS без отключения проверки run_persistence.py, run_failover.py PASS (рестарт 16 сервисов, включая OpenBao + unseal, 82.1 с) / PASS ×2 (0 неудачных записей) persistence.txt, failover.txt

Уровень 4

Критерий README Команда/сценарий Наблюдаемый результат (Docker) Файл доказательства
mTLS API/worker→broker и →Collector с разными identity; сертификат того же CA не даёт лишних прав test_tls_matrix.py broker collector broker: worker/dispatcher входят, CN=api/intruder/lb → login refused, worker publish / dispatcher basic_get / declare → 403; Collector: api/worker/dispatcher/janitor → 200, lb/grafana/operator/intruder → 403 tls-matrix.json
Пароли/token hashes и ошибки не раскрывают credentials test_errors_and_storage_do_not_reveal_credentials, leak_check.py ошибки без эха пароля/username; в Redis только session:<SHA-256>; в логах/телеметрии — 0 маркеров lab7-security.txt, leak-check.json
Rehash старого хеша при входе test_rehash_on_login m=12288,t=3 (lab2–6) → после входа m=32768,t=2,p=1, повторный вход работает lab7-security.txt
Измеренный бюджет защиты от login DoS; rate limit общий для реплик login_dos.py, test_login_rate_limit_is_shared см. «Эксперименты»: атака получает 503 busy / 429, легитимные запросы — ограниченная задержка login-dos.json
Ротация рабочего secret и leaf без пересборки, отзыв старой identity lifecycle.py rotate-secret rotate-leaf Redis-пароль: v1→v2, обе реплики подхватили, активен только новый, 0 ошибок; leaf lb: rotate → reload → revoke → старый на новом соединении отвергнут, API закрыл 2 соединения со старым leaf, 0 ошибок lifecycle-rotate-*.json
Ограниченное поведение при expiry / sealed OpenBao; bootstrap trust и renewal описаны; нет постоянного «секрета для получения секретов» lifecycle.py token-expiry sealed; contracts/trust-matrix.md «Bootstrap и эксплуатация» TTL 20 с/max 40 с + отзыв: повторный вход сертификатом, 2393 ответов, 0 ошибок; sealed 75.6 с: работающая реплика без ошибок, перезапущенная — не ready, после unseal ready через 5.4 с lifecycle-token-expiry.json, lifecycle-sealed.json
read_only / no-new-privileges / drop caps / tmpfs; исключения stateful объяснены check_hardening.py --runtime см. выше; исключения — в EXCEPTIONS скрипта и в security/THREAT_MODEL.md (T12) hardening.json
Dependency/image scan с разбором применимости pip-audit, trivy config, scripts/scan.py pip-audit: Pillow 12.3.0 — 39 находок, применимо (worker декодирует недоверенные изображения) → 13.0.0 + formats=(PNG, JPEG), повторно 0. Trivy образов (Docker): OpenSSL 3.5.1 (CRITICAL) и zlib/sqlite/libuuid в базовом python:3.11.13-slim — применимо (TLS каждого процесса) → apt-get upgrade в Dockerfile, OpenSSL 3.5.7, applicable 37 → 9 (оставшиеся без исправления и недостижимы: модули не импортируются); сторонние образы разобраны по ролям, открыто — RabbitMQ (OpenSSL 3.5.4), OpenBao (Go stdlib), HAProxy (musl/pcre2/zlib) security/scan-triage.md, evidence/scan/
Модель угроз: ≥6 угроз → контроли → отрицательные тесты security/THREAT_MODEL.md 14 угроз, у каждой — тест из списка выше —
Upload-worker ограничен по CPU/RAM/времени test_jobs.py limits (lab5), compose: worker 2 CPU / 1536 MiB / 128 PID, imaging.py RLIMIT_AS/CPU + таймаут PASS jobs-limits.txt
TLS-аудит всей заявленной матрицы, ACL и отсутствие утечек в telemetry test_tls_matrix.py, test_lab7_security.py, leak_check.py все PASS см. выше

Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-11-07, commit 20afc2c + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres, s3 (SeaweedFS) и rabbitmq по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB, dispatcher 0,25 CPU / 128 MiB, worker 2 CPU / 1536 MiB; lab6: otel-collector 0,5 CPU / 384 MiB, prometheus, loki, tempo по 1 CPU / 512 MiB, grafana 0,5 CPU / 384 MiB; lab7: openbao 0,5 CPU / 256 MiB, otel-gate 0,25 CPU / 64 MiB; у всех — лимит PID.

TLS/mTLS-аудит trust matrix изнутри сети (student-tests/test_tls_matrix.py, контейнер probe):

Связь Проверок Пройдено
LB -> API (mTLS, allowlist CN=lb) 10 10
API/worker -> RabbitMQ (mTLS + EXTERNAL, CN = broker user) 11 11
API/worker -> OTel Collector (mTLS via otel-gate, allowlist app CNs) 13 13
API/worker -> PostgreSQL (TLS verify-full, SCRAM, roles) 4 4
API -> Redis (TLS + client cert of our CA + ACL user) 6 6
API/worker -> S3 (HTTPS + per-service keys by prefix) 6 6
Services -> OpenBao (TLS + cert auth by CN + policy) 7 7
Collector/Grafana/operator -> Prometheus (mTLS + allowed SANs) 7 7
Collector/Grafana/operator -> Loki (mTLS, CA) 4 4
Collector/Grafana/operator -> Tempo (mTLS, CA) 4 4
Collector -> Tempo OTLP gRPC :4317 (mTLS) 3 3
Operator -> Grafana (HTTPS) 3 3

Минимальные права (test_least_privilege.py): 83 проверок, 83 пройдено (разрешённое работает, запрещённое — отказ).

Argon2id внутри контейнера api (argon2_bench.py, медиана из 7):

m, KiB t p hash, мс verify, мс входов/с на реплику при 2 параллельных RAM на хеширование, MiB
19456 2 1 12.2 12.2 163.9 38
19456 3 1 18.3 18.5 108.1 38
32768 (выбрано) 2 1 22.6 22.2 90.1 64
47104 2 1 34.2 34.8 57.5 92
65536 2 1 49.8 50.4 39.7 128
65536 3 1 75.3 75.2 26.6 128

Login DoS (login_dos.py, 16 потоков неверных входов, 20 с): атака 96.2 попыток/с, коды {'401': 360, '429': 1564}; легитимный клиент p95 34.6 -> 194.1 мс, p99 35.5 -> 243.6 мс, коды {'200': 93, '201': 93}.

Ротация пароля Redis (api) через OpenBao: {"kv_version": [5, 6], "replicas": 2, "active_passwords_during_overlap": 2, "all_replicas_picked_up_after_s": 23.9, "active_password_hashes_after": 1, "new_password_hash_matches": true}; нагрузка 37.6 с, ответы {'me:200': 431, 'send:201': 431, 'login:201': 18}, ошибок 5xx/соединения 0.

Ротация leaf LB + отзыв старого через CRL: {"old_serial": "70ea18ded7f86e5a", "new_serial": "22a71730433d9d42", "probe": {"valid LB identity (CN=lb)": "http_200", "foreign CA, CN=lb": "connection_closed_after_handshake", "our CA, expired, CN=lb": "connection_closed_after_handshake", "previous (rotated, revoked) LB leaf": "connection_closed_after_handshake"}, "api_events_after_revoke": {"tls.crl_loaded": 2, "tls.revoked_connections_closed": 2, "tls.client_rejected": 4}}; нагрузка 23.1 с, ответы {'me:200': 243, 'send:201': 243, 'login:201': 11}, ошибок 5xx/соединения 0.

Истечение/отзыв токенов OpenBao: {"role_ttl": "20s / max 40s", "observed_seconds": 100, "api_events": {"secrets.refresh_failed": 2, "secrets.login": 4}}; нагрузка 101.6 с, ответы {'me:200': 1172, 'send:201': 1172, 'login:201': 49}, ошибок 5xx/соединения 0.

OpenBao sealed: {"sealed_seconds": 75.6, "restarted_replica_health_while_sealed": "starting", "replicas_answering_while_sealed": 1, "restarted_replica_ready_after_unseal_s": 5.4, "api_events": {"secrets.refresh_failed": 5, "secrets.waiting": 8, "secrets.login": 1}}; нагрузка 89.2 с, ответы {'me:200': 1012, 'send:201': 1012, 'login:201': 43}, ошибок 5xx/соединения 0.

Алерты на контролируемых инцидентах (student-tests/incidents.py, состояние из Prometheus /api/v1/alerts):

Инцидент Воздействие Алерт firing через, с resolved через, с после устранения
1. worker docker compose stop worker + 3 загрузки MessengerWorkerNoConsumers 94.0 (от stop) 45.6 (от start)
1. worker docker compose stop worker + 3 загрузки MessengerQueueLagGrowing 124.5 (от stop) 45.6 (от start)
2. PostgreSQL LOCK TABLE messages IN ACCESS EXCLUSIVE MODE на 210 с под нагрузкой 8 потоков MessengerHighErrorRate 122.5 (от LOCK) 35.1 (от COMMIT блокировки)
3. телеметрия docker compose stop tempo loki на 150 с TelemetryExportFailing 85.9 (от stop) 70.6 (от start)

Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 3.0, queued заданий = 3.0, возраст старейшего = 115.4 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 123.0 с, последний лог worker: event=service.stopped; трасса загрузки содержит publish attachments, но не содержит process attachments.process.v1. После start: вложения ready через 5.4 с, backlog 0.0.

Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '400': 0.0, '409': 0.0, '404': 0.0, '503': 1.44}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 15.6, 'max': 31.5} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 184}. Error-трасса 50418f127c336af7f2e4dc0190adf7ea: server-спан 5010.0 мс, из них INSERT 5001.6 мс (доля 0.998, статус ERROR). Контраст «медленный обработчик» (трасса 2e774b9d5912ba768f3e9881f3c41e80, POST /users): server 47.0 мс, argon2id hash 32.2 мс, все спаны БД 6.9 мс. Нагрузка: до 102.1 успешных записей/с, во время блокировки {'503': 320, '201': 8}, после 102.4/с без ошибок.

Отказ телеметрии API во время отказа Память Потери телеметрии
stop tempo loki на 150 с (окно повторов Collector 120 с) 8486 запросов, коды {'201': 8486}, доля успеха 1.0 heap Collector 32.3 -> max 84.7 MiB (limit 200), контейнер max 103.7 MiB send/enqueue failed в Collector: {'spans': 2048, 'log_records': 213}; пробные трассы дошли 13/13, потеряны отправленные на [] с
stop otel-collector на 90 с 5298 запросов, коды {'201': 5298}, доля успеха 1.0 api 831.6 -> max 866.4 MiB (2 реплики) SDK api потерял спанов: {'processor_queue_full': 0, 'exporter_failed': 19456} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (5554 спанов за минуту)

Публичный тест отказа (make test-failover, 15 с записи во время остановки реплики):

Прогон Остановлена реплика Реплик до отказа Успешных записей Неудачных попыток (повторены с тем же ключом) Первая запись после hook, с
1 0c7893e1043d 2 126 0 5.453
2 b7f37f051ba1 2 125 0 5.313

Одновременные загрузки (student-tests/upload_memory.py, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов:

Сценарий Одновременно Объём, MiB Время, с (p50 / max) Реплика: загрузок RSS до, MiB Пик RSS, MiB Рост, MiB Пик cgroup, MiB
10 x ~9.5 MiB PNG (noise) 10 94.9 1.54 / 1.64 0c7893e1043d: 5 129.5 141.0 11.5 164.8
b7f37f051ba1: 5 126.2 139.1 12.9 164.8
10 x 40 Mpx PNG (8000x5000 RGB) 10 1.1 1.13 / 1.39 0c7893e1043d: 5 128.9 134.9 6.0 113.5
b7f37f051ba1: 5 126.7 134.4 7.7 113.9
20 mixed: large + 40 Mpx + JPEG 20 133.2 1.64 / 2.25 0c7893e1043d: 10 125.6 144.1 18.5 174.8
b7f37f051ba1: 10 128.7 147.9 19.2 182.8

Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 162 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB.

Публичный генератор нагрузки (tests/load.py, closed loop, concurrency 4, 30 с, 2 реплики): 206.623 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 47.0 мс.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
публичный make test-failover для каждой реплики запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет PASS 2 раз(а), неудачных попыток: 0, 0 первая запись после hook через 5.453, 5.313 с (hook ждёт остановки ~4 с); потерь нет
перезапуск всего стенда (restart hook: postgres, redis, s3, api, janitor, lb) данные, файл и прежний токен живы PASS, те же контейнеры с новым временем старта 82.1 с до готовности; потерь нет
docker compose stop s3 (SeaweedFS остановлен) загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают upload 503 за 781 мс, download 503, остальное 200/201 после start файлы на месте; uploading-строку убрал janitor; потерь нет
docker compose pause s3 (SeaweedFS завис) то же, но через таймауты S3-клиента upload 503 за 8703 мс (2 попытки x 5 с + откат 2 с) после unpause файлы на месте; потерь нет
падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено мусора не осталось; повторный проход ничего не делает
обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) ничего не сохраняется строк и объектов не прибавилось, временных файлов 0 мгновенно
worker остановлен, upload, рестарт rabbitmq и api с volumes, start worker 202 queued, сообщение с вложением 201, content 409; после рестартов job в очереди; тот же job_id -> ready worker started -> same job 6133fe0a-b568-4024-8bb7-4d7d32ed0433 ready, thumbnail downloadable; staging object deleted потерь нет; staging удалён после COMMIT
rabbitmq остановлен во время upload 202 и /health/ready 200 без брокера; строка outbox ждёт; после start публикуется rabbitmq started -> dispatcher published the pending row -> ready потерь нет
crash dispatcher между COMMIT задания и publish строка outbox не отмечена -> публикуется после рестарта процесса dispatcher killed between COMMIT and publish; restarted by policy, outbox re-published -> job 60ca1ef4-a5fb-48ad-94bd-5f14f683304d ready, attempt 1, no manual action без ручного действия
crash dispatcher после confirm, до отметки outbox дубль сообщения, worker распознаёт по состоянию job dispatcher killed after publisher confirm, before marking outbox -> message published twice; worker: ['created', 'claimed', 'ready', 'duplicate_ignored'] -> one result set один набор вариантов
crash worker после PUT в S3, до COMMIT и ack повтор после истечения аренды перезаписывает те же ключи worker killed after S3 PUT (before COMMIT and ack): redelivery saw a live lease (no-op), lease expired after 15 s, attempt 2 rewrote the same keys -> one set; events ['created', 'claimed', 'duplicate_ignored', 'lease_expired', 'claimed', 'ready'] один набор, 4 объекта
crash worker после COMMIT, до ack redelivery ready-задачи -> no-op ack worker killed after COMMIT, before ack: broker redelivered, worker acked as no-op (1:duplicate_ignored:status=ready); queue empty (0 ready, 0 unacked) очередь пуста, дублей нет
worker завис (не продлевает аренду) dispatcher возвращает job, другой поток завершает; поздний результат отклонён fencing frozen attempt 1 stopped renewing; lease expired, recovered by dispatcher, attempt 2 ready after 18 s; frozen attempt woke up -> stale_result_rejected; events ['created', 'claimed', 'lease_expired', 'claimed', 'ready', 'stale_result_rejected'] ready не откатан
зависание обработки изображения процесс убит по JOB_TIMEOUT_SECONDS, временная ошибка, аренда продлевалась imaging hang -> killed after 60 s (processing_timeout, temporary), lease renewed meanwhile (no lease_expired), attempt 2 ready after 63 s повтор -> ready
нехватка памяти в процессе обработки (RLIMIT_AS) failed/resource_limit, worker жив memory bomb in the imaging process -> failed/resource_limit after attempt 1; worker itself survived постоянная ошибка, без повторов
2 временные ошибки S3 backoff с jitter, затем ready 2 x storage_unavailable -> retries after 1.70 s and 2.50 s (equal jitter: 1..2 s, 2..4 s), attempt 3 ready -
5 временных ошибок подряд failed/retry_exhausted, реестр failed, content 409 5 temporary errors -> failed/retry_exhausted (public error_code), content 409, attach 409, listed by ops.py failed (replayable) replay оператора
replay failed и повторный replay ready тот же job_id -> ready; повтор отклонён ops replay -> same job_id 3d109dba-1036-482a-a6fb-8116c7894b6d attempt 6 ready; second replay refused: "job is ready, replay is only for failed jobs" дубля нет
невалидное сообщение и неизвестный job_id reject -> DLQ, dlq-replay не исполняет schema-invalid message and unknown job_id -> reject -> DLQ (4 message(s)); dlq-replay kept them: ['unknown job', 'unknown job'] сообщения сохранены
8 заданий в очереди, старт worker WORKER_CONCURRENCY=2, prefetch 1 2 consumers, prefetch_count 1, manual ack; 8 queued 3000x2000 JPEG drained in 2.6 s after worker start, peak processing 2 of 8 (6 samples) -

Эксперименты и отказы

Docker-стенд: Windows 10, Docker Desktop (VM 16 CPU, 15.2 GiB), клиент тестов — Python 3.11 на том же хосте, 2 реплики API по 1 CPU / 512 MiB. Числа нативной песочницы (2 vCPU на всё) — в evidence/native-sandbox/summary.md, с этими не сравнивать.

Argon2id — выбор параметров (argon2_bench.py, внутри контейнера api, медиана из 7):

m, KiB t p hash, мс verify, мс входов/с на реплику (2 параллельно) RAM на хеширование

| 19456 | 2 | 1 | 12.2 | 12.2 | 163.9 | 38 MiB | | 19456 | 3 | 1 | 18.3 | 18.5 | 108.1 | 38 MiB | | 32768 (выбрано) | 2 | 1 | 22.6 | 22.2 | 90.1 | 64 MiB | | 47104 | 2 | 1 | 34.2 | 34.8 | 57.5 | 92 MiB | | 65536 | 2 | 1 | 49.8 | 50.4 | 39.7 | 128 MiB | | 65536 | 3 | 1 | 75.3 | 75.2 | 26.6 | 128 MiB |

Выбрано m=32 MiB, t=2, p=1: в 1,7 раза больше памяти, чем минимум OWASP/README (19 MiB, t=2), ~22 мс на проверку в контейнере api — незаметно для пользователя и вдвое дешевле 64 MiB (~50 мс). Бюджет реплики: не больше ARGON2_MAX_CONCURRENCY=2 хешей одновременно (≤ 64 MiB из 512 MiB лимита памяти), ожидание слота не дольше 2 с, дальше — 503 + Retry-After. У api лимит 1 CPU, поэтому два параллельных хеша делят одно ядро: реальный потолок ≈ 1000 / 22 мс ≈ 45 проверок пароля в секунду на реплику (≈ 90/с на две; колонка «2 параллельно» — без учёта лимита CPU); всё, что выше, отсекают сначала общий лимит Redis (429), потом бюджет реплики (503), а не рост памяти или очередь. 64 MiB/t=2 удвоили бы и цену входа, и память на хеширование при том же бюджете, то есть вдвое снизили бы потолок входов. (В песочнице те же параметры стоили ~50 мс — выбор от этого не меняется.)

Находка при проверке burst (песочница): без настройки аллокатора glibc держит 32-MiB буферы Argon2 в отдельных arena каждого потока — 200 одновременных проверок раздували RSS реплики на +548 MiB (больше лимита 512 MiB → OOM-kill под атакой). MALLOC_MMAP_THRESHOLD_=1048576 в окружении api заставляет крупные буферы идти через mmap и возвращаться ОС сразу: прирост RSS на том же burst — +37 MiB в песочнице, +74.7 MiB в Docker (ниже). Добавлено в compose.yaml и в угрозу T5.

Login DoS (login_dos.py):

Фаза Легитимных запросов p50 / p95 / p99, мс Коды легитимных Попыток входа атаки Коды атаки
без атаки, 20 с 694 12.3 / 34.6 / 35.5 {'200': 347, '201': 347} — —
атака: 16 потоков неверных паролей по 40 username, 20 с 186 91.1 / 194.1 / 243.6 {'200': 93, '201': 93} 1924 (96.2/с), p95 ответа 480.5 мс {'401': 360, '429': 1564}

Из 1924 попыток атаки хеш Argon2id посчитан только для 360 (ответ 401: по 9 на каждый из 40 username до срабатывания лимита), 1564 отсечены общим (Redis) лимитом 429 + Retry-After до хеширования, 503 busy — 0: до бюджета реплики дело не дошло, его отдельно проверяет burst ниже. Легитимные запросы обслуживались без ошибок; задержка выросла (p95 34.6 → 194.1 мс), и поэтому closed-loop клиент сделал за 20 с меньше запросов (694 → 186): атакующий клиент, стенд и легитимный клиент делят одну машину, а 16 потоков TLS-рукопожатий и Python-клиента сами занимают CPU хоста.

Burst в одном процессе api (бюджет без помощи rate limit): 200 одновременных проверок пароля → одновременно считалось не больше 2 хешей (лимит 2), посчитано 75, отклонено 503 + Retry-After 125, самое долгое ожидание отказа 2.05 с (= очередь 2 с); прирост RSS 74.7 MiB при лимите 512 MiB (с MALLOC_MMAP_THRESHOLD_=1048576; без него в песочнице было +548 MiB, см. угрозу T5).

Жизненный цикл под нагрузкой (lifecycle.py, фоновая нагрузка: вход + GET /users/me + POST message):

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных

| Ротация пароля Redis-пользователя api через OpenBao | 0 ошибок; после — активен только новый пароль | KV v5 → v6 (предыдущие версии — от прошлых прогонов); паролей во время перехода 2, после — 1 (новый); обе реплики подхватили за 23.9 с (≤ SECRETS_REFRESH_SECONDS 30 с); нагрузка 37.6 с, 880 ответов, ошибок 0 | без рестартов и пересборки; потерь данных нет | | Ротация leaf-сертификата LB + отзыв старого (CRL) | 0 ошибок; старый leaf отвергается на новом соединении, открытые закрыты | старый leaf → connection_closed_after_handshake, новый → http_200; события API: {'tls.crl_loaded': 2, 'tls.revoked_connections_closed': 2, 'tls.client_rejected': 4}; нагрузка 23.1 с, 497 ответов, ошибок 0 | эффект отзыва ≤ CRL_RELOAD_SECONDS (5 с) после reload; потерь данных нет | | Токены OpenBao роли api: TTL 20 с / max 40 с + отзыв всех токенов | сервисы перелогиниваются сертификатом, 0 ошибок | события API за 100 с: {'secrets.refresh_failed': 2, 'secrets.login': 4}; нагрузка 101.6 с, 2393 ответов, ошибок 0 | без участия оператора; потерь данных нет | | OpenBao запечатан, одна реплика API перезапущена | работающая реплика обслуживает, перезапущенная не ready до unseal | sealed 75.6 с; перезапущенная реплика: starting (не healthy, LB её не использует); события API: {'secrets.refresh_failed': 5, 'secrets.waiting': 8, 'secrets.login': 1}; нагрузка 89.2 с, 2067 ответов, ошибок 0 | реплика ready через 5.4 с после unseal; потерь данных нет |

Отказы lab3–5 через HTTPS (публичные тесты): run_persistence.py — рестарт PostgreSQL, Redis, S3, RabbitMQ, OpenBao (+ unseal hook'ом), телеметрии, приложения и LB с сохранением volumes; данные и прежний токен на месте. run_failover.py — остановка каждой реплики по очереди под записью.

  • persistence: PASS — the hook restarted postgres, redis, s3, rabbitmq, openbao, api, janitor, dispatcher, worker, lb, otel-gate, otel-collector, prometheus, loki, tempo, grafana (all api replicas; same containers, new start time); data, the attachment bytes and the old token survived; hook + готовность 82.1 с
  • failover, реплика 1: реплик до отказа 2, успешных записей 126, неудачных попыток (повторены тем же ключом) 0, первая запись после hook через 5.453 с
  • failover, реплика 2: реплик до отказа 2, успешных записей 125, неудачных попыток (повторены тем же ключом) 0, первая запись после hook через 5.313 с

Ограничения и следующие шаги

  • Один хост, одна копия каждого хранилища — отказ хоста, PostgreSQL, Redis, RabbitMQ, SeaweedFS или OpenBao не выдерживается (как в lab3–6). OpenBao sealed/недоступен: работающие реплики живут на кэше, новые не стартуют — сознательный fail closed.
  • Доли unseal в одном файле оператора (учебный компромисс): restart-hook распечатывает OpenBao без человека. В эксплуатации — bao.py init --print-shares-once, доли у разных людей, unseal --prompt, отзыв root token после настройки, CA офлайн.
  • CRL проверяют API (сам, с перечитыванием), HAProxy (lb, otel-gate — при reload), OpenBao cert auth (bao.py sync-crl). Не проверяют: RabbitMQ, Redis, PostgreSQL, Prometheus/Loki/Tempo — для них отзыв = удаление пользователя/смена пароля + короткий срок leaf (30 суток). Следующий шаг — короткоживущие leaf из OpenBao PKI с автопродлением (трек 5.2).
  • Loki/Tempo различают только «наш CA / не наш»: читатель и писатель не разделены; сервис приложения может подписать телеметрию чужим service.name (шлюз проверяет identity, но не содержимое).
  • Пароли ролей PostgreSQL: ротация описана (новая версия KV → docker compose run --rm migrate), но не демонстрировалась и даёт окно до 30 с отказов новых соединений; на 4 продемонстрирована ротация пароля Redis (без окна — два пароля одновременно).
  • SeaweedFS 4.52 после рестарта отдаёт чтение раньше записи: /cluster/healthz = 200 через ~20 с, но мастер ещё ~15 с отвечает «master is warming up» на /dir/assign, и загрузки получают 503. Флага, сокращающего прогрев, нет; healthcheck S3 переведён на /dir/assign (готовность к записи), test_consistency ждёт первую успешную загрузку (в Docker — 14.7 с после того, как старый файл снова читается; в песочнице было 16 с).
  • Исключения hardening: RabbitMQ с записываемым корнем; telemetry-init — root + CAP_CHOWN на время chown (идемпотентно: chown только для volume, который ещё не принадлежит 10001). SeaweedFS после Docker-прогона работает от uid 1000 (seaweed образа), исключение uid 0 снято.
  • Restart hook на настоящем Docker (в песочнице не воспроизводилось): (1) docker compose restart восьми хранилищ ждёт самые медленные (PostgreSQL, RabbitMQ), а запечатанный OpenBao за это время проваливает 3 healthcheck, становится unhealthy, и up --wait сразу падает, хотя через секунду OpenBao уже распечатан; (2) параллельный restart otel-gate otel-collector … — Collector не может войти в network namespace ещё остановленного gate. Исправлено порядком в scripts/restart.cmd/.sh: OpenBao перезапускается отдельно и распечатывается сразу (внутри start_period), otel-gate — отдельно перед Collector; набор перезапускаемых сервисов тот же.
  • Нестабильные проверки, найденные в Docker (ожидания не менялись, исправлено ожидание готовности): Loki после старта ~15 с отвечает /ready → 503 «Ingester not ready» — положительная проверка mTLS оператора к Loki/Tempo в tls_probe.py ждёт готовности до 30 с, только если mTLS пройден (ответ 503), итог по-прежнему должен быть 200; в test_telemetry.py трасса считалась полной по span'ам worker, а batch API/dispatcher выгружается независимо (до 5 с) и иногда приходил в Tempo позже (2 FAIL из 4) — условие ожидания теперь требует span'ы всех процессов, проверки те же (4 из 4 PASS). lifecycle.py token-expiry: после revoke-service-tokens отзыв замечает то обращение к OpenBao, которое случится раньше, — чтение KV (secrets.refresh_failed) или продление токена; во втором случае API сразу входил заново, но писал общее с max TTL событие secrets.relogin, и тест (ждал только refresh_failed) падал при работающей функции. Теперь неудачный renew — отдельное событие secrets.renew_failed (WARNING, secretstore.py), тест принимает любой из двух путей обнаружения и по-прежнему требует повторный вход и 0 ошибок. В upload_memory.py счётчик загрузок по репликам сравнивал X-Instance-Id с ID контейнера (в lab7 это alias) и всегда давал 0 — сопоставление через instance_aliases().
  • Память SeaweedFS 4.52: ~240 MiB в простое; в Docker-прогоне upload_memory.py (20 параллельных загрузок по ~10 MiB) довёл процесс до лимита 512 MiB, ядро убило его (SIGKILL, рестарт по политике), половина загрузок получила 503. Исправлено без повышения лимита: GOMEMLIMIT=400MiB (GC Go ориентируется на лимит) и -s3.concurrentUploadLimitMB=128 (сверх 128 MiB тел одновременно шлюз ставит загрузки в очередь). После — все 20 загрузок 202, рестартов S3 нет. Цена — задержка загрузок при длительном потоке крупных файлов (T14).
  • localhost на хосте Windows резолвится сначала в ::1, а порты опубликованы только на 127.0.0.1 (IPv6-loopback не публикуем намеренно): каждое новое TCP-соединение с https://localhost:8443 ждёт ~2 с отказа по IPv6 (замер: localhost 2031–2051 мс, 127.0.0.1 — 0 мс). Первый Docker-прогон из-за этого давал в 40 раз меньше запросов нагрузки. Скрипты student-tests по умолчанию ходят на https://127.0.0.1:<порт> (IP есть в SAN сертификатов ingress и админ-интерфейсов, имя проверяется так же строго); https://localhost:8443 работает, только медленнее на новых соединениях.
  • OpenBao file storage в 2.6.2 помечен deprecated (в логе: «use bao operator migrate … by v2.7.0»). Для учебного стенда на одном хосте оставлен; перед обновлением до 2.7 — bao operator migrate на integrated storage (raft).
  • Rate limit на username позволяет заблокировать вход конкретному пользователю на окно (60 с) — плата за защиту от подбора; лимит регистрации при недоступном Redis пропускается (защищает бюджет Argon2id).
  • Docker-прогон после песочницы (настоящие OpenBao 2.6.2, HAProxy 3.2, RabbitMQ 4.1.4, PostgreSQL 17, Redis 7.4, Loki/Tempo/Grafana с TLS): прошли все 46 шагов. Исправлено по его итогам (подробно — пункты выше): SeaweedFS 4.52 не мог писать в /data от root без capabilities → запуск от uid 1000; telemetry-init падал на повторном up → идемпотентный chown; у Prometheus не было tmpfs /tmp для promtool test rules; память SeaweedFS под 20 параллельными загрузками; порядок restart hook; localhost → 127.0.0.1 в клиентах тестов; ожидания готовности в трёх тестах; отдельное событие secrets.renew_failed; по скану образов — apt-get upgrade в Dockerfile (OpenSSL 3.5.1 → 3.5.7), после чего весь прогон повторён.
  • Открыто по скану (security/scan-triage.md): OpenSSL 3.5.4 в rabbitmq:4.1.4-alpine (порт только в internal-сети data, вход по mTLS), Go stdlib/x/net в OpenBao 2.6.2, musl/pcre2/zlib в HAProxy 3.2.25 — закрываются обновлением тегов до патч-релизов с повторным прогоном; в этой работе версии сторонних сервисов не менялись. Конфигурации OpenBao, HAProxy, RabbitMQ (EXTERNAL), PostgreSQL (ключ в /tmp/pgtls), TLS Collector → Loki/Tempo/Prometheus, Grafana → источники и внутренний gRPC Tempo заработали без изменений.

Ответы на вопросы защиты (кратко)

  • Какая часть mTLS проверяет шифрование, какая идентичность и где разрешение на действие? Шифрование и целостность — TLS-сессия (ECDHE). Идентичность сервера — проверка цепочки до нашего CA и имени (verify-full / check_hostname / verifyhost). Идентичность клиента — его сертификат (цепочка, срок, CRL). Разрешение — отдельный шаг после рукопожатия: API — allowlist CN=lb; otel-gate — CN ∈ приложений; RabbitMQ — пользователь = CN и его permissions; OpenBao — роль cert auth = CN → policy; Prometheus — client_allowed_sans; PostgreSQL/Redis/S3 — по роли/ACL/ключу. Пользовательская сессия (Bearer) — ещё выше, внутри API.
  • Почему доверенный CA ещё не означает, что любой его клиент может быть LB? Один CA выпускает сертификаты всем сервисам; «подписан нашим CA» говорит только «это кто-то из наших». Если пускать любого, скомпрометированный worker стал бы балансировщиком (обход лимитов, подделка XFF). Поэтому API проверяет CN=lb — в тесте сертификаты worker, api и intruder нашего CA отвергаются.
  • Где хранится первый секрет для доступа к OpenBao и кто имеет право unseal? Первый секрет сервиса — его leaf-сертификат и ключ (secrets/pki/<identity>, смонтирован только в этот сервис, 30 суток, отзывается CRL). SecretID/токенов в env нет. Unseal — оператор: 3 доли, порог 2 (на стенде в secrets/operator/openbao-init.json, 0600, вне Git и контейнеров; в эксплуатации — у разных людей).
  • Что происходит при истечении credentials, остановке OpenBao и рестарте API? Токен OpenBao продлевается и при исчерпании max TTL заменяется новым входом по сертификату (без влияния на запросы). Истёкший leaf — отказ рукопожатия, нужен pki.py rotate. OpenBao остановлен/sealed — работающие процессы обслуживают запросы с секретами в памяти, обновление ротаций откладывается; рестартованная реплика не становится ready, LB её не использует; после unseal — восстанавливается сама. Рестарт API при работающем OpenBao — обычный: вход сертификатом, секреты за доли секунды.