64 KiB
Отчёт — лабораторная 7
- Автор, группа: Бабиченко Максим, БВТ2303
- Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не выбран
- Commit/PR: <<ссылка на MR после публикации>>
- Использованные источники, библиотеки и помощь ИИ: всё из lab6 (FastAPI, psycopg 3, pika, boto3, Pillow, OpenTelemetry SDK, RabbitMQ 4.1, SeaweedFS, PostgreSQL 17, Redis 7.4, HAProxy 3.2, OTel Collector, Prometheus, Loki, Tempo, Grafana). Новое:
cryptography50.0.2 (выпуск сертификатов оператором, разбор и проверка подписи CRL в API), образopenbao/openbao:2.6.2, SeaweedFS обновлён до 4.52 (TLS шлюза S3, права по prefix, mTLS внутреннего gRPC), Pillow 12.3.0 → 13.0.0 и security-обновления Debian в образе приложения (скан). Документация: OWASP Password Storage и File Upload Cheat Sheets, RFC 9106 (Argon2), OpenBao (cert auth, policies, KV v2, seal/unseal, production hardening), RabbitMQ TLS иrabbitmq_auth_mechanism_ssl, PostgreSQLpg_hba/SSL/SCRAM, Redis TLS и ACL, SeaweedFSsecurity.toml, Prometheus web configuration (client_allowed_sans), Grafana/Tempo/Loki TLS, Docker security, pip-audit, Trivy. При написании кода, конфигураций и тестов использовался ИИ-ассистент (Claude); весь код я прогнал и могу объяснить и изменить на защите.
Запуск из чистого clone
Проверяю на Windows (PowerShell, Docker Desktop). На хосте нужен Python 3.11+: тесты — только стандартная библиотека, операторские скрипты PKI — пакет cryptography (requirements-ops.txt). Перед запуском остановить стенд lab6 (docker compose down в его папке). Имя проекта Compose — messenger-lab7, volumes свои.
git clone https://gitea.privcloud.tech/Kalibr/mtusi2026lab7.git
cd mtusi2026lab7
git checkout solution/bvt2303-babichenko
$env:PYTHONUTF8 = "1"
python -m pip install -r requirements-ops.txt # cryptography — только для scripts/pki.py
Copy-Item .env.example .env
# 1. Оператор: учебный CA и сертификаты сервисов (ключ CA остаётся в secrets/pki/ca, никуда не монтируется)
python scripts/pki.py init
# 2. Оператор: пароли/ключи стенда (серверные конфиги + файл для OpenBao), значения не печатаются
python scripts/init_secrets.py
# 3. OpenBao: старт, инициализация (3 доли, порог 2), распечатка, настройка (KV, cert auth, политики, секреты)
docker compose up -d openbao
python scripts/bao.py init
python scripts/bao.py unseal
python scripts/bao.py configure
# 4. Весь стенд
docker compose --env-file .env config --quiet
docker compose up -d --build --wait
docker compose ps -a # migrate, s3-init, telemetry-init: Exited (0); остальные running/healthy
# 5. Проверки
python tests/smoke.py --base-url https://localhost:8443 --ca-file secrets/pki/public/ca.crt # make test CA_FILE=...
python tests/security.py --base-url https://localhost:8443 --ca-file secrets/pki/public/ca.crt # make test-security
python student-tests/collect_evidence.py # все шаги lab7 + регрессия lab1–6 -> evidence/, таблицы в REPORT.md
python scripts/scan.py # pip-audit + Trivy по образам -> evidence/scan/
| Что | Где |
|---|---|
| API (единственная точка входа) | https://localhost:8443, доверять secrets/pki/public/ca.crt (сертификат ingress: SAN localhost, 127.0.0.1) |
| Grafana | https://localhost:3000, логин admin, пароль — secrets/grafana_admin_password. Браузеру нужен наш CA: Import-Certificate -FilePath secrets\pki\public\ca.crt -CertStoreLocation Cert:\CurrentUser\Root (по желанию; проверку не отключаем) |
| Prometheus / Loki / Tempo | https://localhost:9090, :3100, :3200 — только с клиентским сертификатом оператора: curl.exe --cacert secrets/pki/public/ca.crt --cert secrets/pki/operator/tls.crt --key secrets/pki/operator/tls.key https://localhost:9090/-/ready |
| Статистика HAProxy | https://localhost:8404/stats — тот же сертификат оператора |
| OpenBao (оператор) | https://127.0.0.1:8200, python scripts/bao.py status |
Отдельные проверки lab7 (make на Windows нет):
| Команда | Что проверяет |
|---|---|
python student-tests/test_tls_matrix.py |
вся trust matrix изнутри сети (контейнер probe): разрешённая identity проходит, без сертификата / чужой CA / чужая identity нашего CA / истёкший / отозванный — отказ; plaintext не отвечает |
python student-tests/test_least_privilege.py |
api/worker/dispatcher/janitor своими учётными данными: GRANT PostgreSQL, prefix S3, политики OpenBao, ACL Redis |
python student-tests/test_lab7_security.py |
только HTTPS, заголовки, посторонний пользователь, logout, общий rate limit, лимиты тела, Argon2id, rehash, отсутствие утечек |
python student-tests/lifecycle.py rotate-secret rotate-leaf token-expiry sealed |
ротация секрета и leaf, отзыв, истечение токенов, sealed OpenBao — под нагрузкой |
python student-tests/leak_check.py |
пароль/токен/Authorization не попадают в логи контейнеров, Loki, Tempo, метки Prometheus |
python student-tests/argon2_bench.py, python student-tests/login_dos.py |
замер Argon2id в контейнере api; бюджет защиты от login DoS |
python student-tests/check_hardening.py --runtime |
privileged/host/docker.sock, capabilities, no-new-privileges, read_only, не root, лимиты, порты |
python student-tests/run_persistence.py, python student-tests/run_failover.py |
публичные test-persistence (hook scripts\restart.cmd, включая рестарт и unseal OpenBao) и test-failover (hook scripts\stop-one.cmd) по HTTPS |
После перезагрузки хоста / рестарта OpenBao он запечатан: python scripts/bao.py unseal. До этого уже работающих процессов нет, новые не стартуют (ждут до 60 с и перезапускаются Docker) — после unseal стенд поднимается сам. Остановка без потери данных: docker compose down (volumes openbaodata, pgdata, redisdata, s3data, rabbitmqdata, faults, promdata, lokidata, tempodata, grafanadata остаются). Намеренное удаление учебных данных: docker compose down -v, удалить папку secrets (CA, ключи, доли unseal, пароли) и пройти шаги 1–4 заново.
Архитектура и решения
клиент --HTTPS 127.0.0.1:8443--> lb (HAProxy) ==mTLS, клиент CN=lb==> api x2 (FastAPI)
api --TLS verify-full + SCRAM, роль messenger_api--> postgres api --TLS+mTLS + ACL user api--> redis
api --HTTPS + ключ api (staging/ write, attachments/ read)--> s3 api ==cert auth CN=api==> openbao
api/worker/dispatcher/janitor ==mTLS, CN из allowlist==> otel-gate --127.0.0.1--> otel-collector
dispatcher ==AMQPS EXTERNAL CN=dispatcher==> rabbitmq <==AMQPS EXTERNAL CN=worker== worker
otel-collector ==mTLS CN=otel-collector==> prometheus | loki | tempo <==mTLS CN=grafana== grafana
Что перенесено из lab6: весь API (lab1–5), outbox/dispatcher/worker/janitor, телеметрия (SDK, Collector, Prometheus/Loki/Tempo/Grafana, dashboard, алерты, runbooks), тесты lab1–6. Что изменено в lab7:
| Область | Решение | Где |
|---|---|---|
| PKI | Учебный CA оператора (ECDSA P-256), leaf на каждую identity (30 суток, CN + URI SAN spiffe://messenger.lab/<cn>), CRL, ротация/отзыв, тестовые сертификаты (чужой CA, intruder, истёкший) |
scripts/pki.py |
| Внешний TLS | HAProxy: только HTTPS :8443, TLS 1.2+, без tickets, HSTS, nosniff, без Server; X-Forwarded-For перезаписывается; тело > 11 MiB → 413 |
infra/haproxy.cfg |
| LB → API | mTLS: HAProxy проверяет сертификат API (CA, CRL, имя api) и предъявляет lb; API (tlsutil.py, свой протокол uvicorn) — цепочка/срок (OpenSSL) + allowlist CN и CRL до чтения запроса; CRL перечитывается раз в 5 с, открытые соединения отозванных сертификатов закрываются. Health — отдельный listener 127.0.0.1:8081 |
tlsutil.py, main.py |
| OpenBao | Не dev-mode: file storage в volume, TLS-listener, init/unseal оператором, KV v2 messenger/, cert auth (роль = CN, только наш CA, CRL), 6 политик по одному пути, токены 15 мин / max 1 ч. Клиент приложения: вход, renew, relogin, перечитывание KV раз в 30 с, работа на кэше при sealed |
infra/openbao/, scripts/bao.py, secretstore.py |
| PostgreSQL | ssl=on, pg_hba: только hostssl + SCRAM; 4 роли приложения с GRANT по запросам (006_roles.sql), пароли из OpenBao на каждое соединение, migrate ставит их SCRAM-verifier'ом |
infra/postgres/pg_hba.conf, dbconn.py, migrate.py |
| Redis | Только TLS, клиентский сертификат обязателен, ACL: default off, api — session:*/ratelimit:* и 13 команд; пароль через credential provider (ротация без рестарта) |
infra/redis.conf, auth.py |
| S3 | SeaweedFS 4.52: HTTPS :8333, внутренние порты на loopback, gRPC :18333 — mTLS только CN=s3, IAM/Iceberg/Lance выключены; ключи api/worker/janitor/s3-init с правами по prefix | infra/seaweedfs/security.toml, scripts/init_secrets.py |
| RabbitMQ | Только AMQPS :5671, verify_peer, EXTERNAL (пользователь = CN), пользователи без паролей, distribution/epmd на loopback; плагины — только rabbitmq_auth_mechanism_ssl |
infra/rabbitmq.conf, broker.py |
| Телеметрия | otel-gate (HAProxy) — mTLS и allowlist CN приложений перед Collector (Collector на 127.0.0.1); Collector → Tempo/Loki/Prometheus по mTLS; Prometheus client_allowed_sans; Loki gRPC на loopback, Tempo внутренний gRPC по TLS; Grafana по HTTPS, источники — mTLS |
infra/otel/, infra/prometheus/web.yml, infra/loki, infra/tempo, infra/grafana |
| Пароли и вход | Argon2id m=32 MiB, t=2, p=1 (замер ниже), rehash при входе, ≤2 хеша на реплику одновременно (иначе 503 + Retry-After), общий rate limit в Redis (429 + Retry-After), JSON ≤ 64 KiB (в т.ч. chunked) | auth.py, main.py |
| Hardening | Все сервисы: cap_drop ALL, no-new-privileges, read_only + tmpfs, не root, лимиты CPU/RAM/PID, нет privileged/host/docker.sock; объяснённые исключения (RabbitMQ записываемый корень, telemetry-init CHOWN); SeaweedFS — uid 1000 образа (в Docker-прогоне исключение uid 0 снято). Наружу — только 127.0.0.1 | compose.yaml, Dockerfile, student-tests/check_hardening.py |
| X-Instance-Id | Случайный alias процесса (12 hex), а не ID контейнера; stop_one.py находит реплику по файлу alias |
settings.py, scripts/stop_one.py |
Источник истины не менялся: PostgreSQL (данные), S3 (байты), Redis (сессии, счётчики лимитов), OpenBao (учётные данные сервисов). Транзакционные границы — как в lab5/6 (outbox). Готовность (/health/ready): PostgreSQL + Redis + секреты загружены; OpenBao в readiness не входит — его недоступность не останавливает уже работающую реплику (см. «Эксперименты»).
Соответствие .env.example
| Переменная skeleton | В решении |
|---|---|
APP_PORT=8080 |
API слушает 8443 (только mTLS); наружу — HAProxy 127.0.0.1:8443 |
DATABASE_URL_FILE, CACHE_URL_FILE, BROKER_URL_FILE, S3_*_FILE |
не используются: адреса — DB_HOST/DB_USER/REDIS_HOST/REDIS_USER/BROKER_URL/S3_ENDPOINT в compose, учётные данные — из OpenBao (messenger/<сервис>); брокер — вход по сертификату |
S3_ENDPOINT=https://s3:9000 |
https://s3:8333 (SeaweedFS S3) |
OTEL_EXPORTER_OTLP_ENDPOINT=https://otel-collector:4318 |
так и есть (alias otel-gate) + OTEL_EXPORTER_OTLP_CERTIFICATE/CLIENT_CERTIFICATE/CLIENT_KEY |
PUBLIC_BASE_URL |
https://localhost:8443 (тесты, ingress) |
TLS_CA_FILE, TLS_CERT_FILE, TLS_KEY_FILE |
/run/tls-ca/ca.crt, /run/tls/tls.crt, /run/tls/tls.key (+ TLS_CRL_FILE=/run/tls-ca/crl.pem) |
BAO_ADDR, BAO_CACERT |
BAO_ADDR=https://openbao:8200; CA — тот же TLS_CA_FILE; роль — BAO_ROLE = CN сертификата |
ARGON2_MEMORY_KIB=19456, ARGON2_ITERATIONS=2, ARGON2_PARALLELISM=1 |
32768 / 2 / 1 (+ ARGON2_MAX_CONCURRENCY=2, ARGON2_QUEUE_SECONDS=2) |
| — | новые: SECRETS_REFRESH_SECONDS, CRL_RELOAD_SECONDS, LOGIN_RATE_*, REGISTER_RATE_PER_CLIENT, MAX_JSON_BYTES |
Доказательства критериев
Где проверено: Docker-стенд на машине автора (Windows 10, Docker Desktop, 16 CPU / 15 GiB VM): стенд поднят с нуля шагами раздела «Запуск», затем python student-tests/collect_evidence.py — все 46 шагов PASS (evidence/summary.md), результаты в evidence/*.txt|json, замеры — блок ниже. Ранее решение проверялось в нативной песочнице без Docker (evidence/native-sandbox/, оставлена для сравнения): тот же стенд процессами, конфиги из infra/, вместо docker — подмена, управляющая процессами. Ошибки, которые песочница не поймала и которые исправлены по Docker-прогону, — в «Ограничениях». Отличия песочницы: PostgreSQL 16 вместо 17, Redis 7.0 вместо 7.4, RabbitMQ 4.4 вместо 4.1.4, HAProxy 2.8 вместо 3.2, HashiCorp Vault 2.1.2 как API-совместимая замена OpenBao 2.6.2 (тот же HTTP API: sys/init, unseal, cert auth, KV v2, policies), Prometheus 2.45 (только web-config TLS), Collector — заглушка OTLP за настоящим otel-gate; Loki/Tempo/Grafana не запускались (их TLS-конфиги проверяются только в Docker).
Уровень 3
| Критерий README | Команда/сценарий | Наблюдаемый результат (Docker) | Файл доказательства |
|---|---|---|---|
| Публичный smoke по HTTPS с проверяемым CA и hostname | make test CA_FILE=secrets/pki/public/ca.crt |
PASS: lab7 public API scenario (регистрация, вход, чат, сообщения, пагинация, идемпотентность, вложение → thumbnail, logout) | evidence/smoke.txt |
| Внешний TLS: недоверенный CA отвергается | make test-security; test_lab7_security.py test_https_only_and_certificate_checks |
PASS: пустой trust store, чужой CA → SSLCertVerificationError; имя evil.example → Hostname mismatch; plaintext на 8443 — без ответа приложения; 8080 — не API |
security.txt, lab7-security.txt |
| Предыдущие возможности через HTTPS | регрессия lab1–5: test_api, test_race, test_idempotency, test_balancing, test_attachments, test_consistency, test_jobs, test_janitor_replay, test_failures, test_db, redis_info, explain, load |
все PASS (см. сводку) | evidence/*.txt |
| Argon2id: соль, параметры, ≥19 MiB/t=2/p=1, обоснование замером | test_password_storage_argon2id, argon2_bench.py |
$argon2id$v=19$m=32768,t=2,p=1$<16-байтная соль>$…; одинаковый пароль → разные хеши; замер — «Эксперименты» |
lab7-security.txt, argon2-bench.json |
| LB→API mTLS, отказ без cert / чужой CA / неверная identity; нет обхода | test_tls_matrix.py lb-api |
lb → 200; без сертификата, чужой CA с CN=lb, истёкший lb, intruder (наш CA), worker, api → соединение закрыто; клиент с чужим CA не принимает сервер; plaintext — нет ответа; порт API не опубликован | tls-matrix.json |
| Остальные связи — TLS с проверкой сервера, раздельные учётные данные и минимальные права | test_tls_matrix.py, test_least_privilege.py, contracts/trust-matrix.md |
78 проверок matrix (12 связей, включая Loki/Tempo/Grafana и внутренний gRPC Tempo), 83 проверки прав — все PASS | tls-matrix.json, least-privilege.json |
| OpenBao не dev-mode, persistent storage, сервисная аутентификация, scoped policy, без root token в приложении | bao.py init/unseal/configure; test_least_privilege.py (openbao); run_persistence.py (рестарт OpenBao + unseal, данные на месте) |
cert auth по CN; чужие пути, запись KV/политики, список auth, создание токена → 403; worker как роль api → 400 | least-privilege.txt, tls-matrix.txt, persistence.txt |
| Контейнеры: без privileged/host/docker.sock, app/worker non-root, без лишних capabilities, лимиты; наружу только TLS-ingress и локальные админ-порты; секреты не в Git/образах/телеметрии | check_hardening.py --runtime, check_stack.py, leak_check.py, .gitignore/.dockerignore |
статически 183 PASS, 4 объяснённых исключения, 0 нарушений + docker inspect всех контейнеров; маркерные пароль/токен — 0 в логах и OTLP |
hardening.json, leak-check.json |
| 429 + Retry-After, лимит размера, посторонний пользователь, logout/expiry, недоверенный TLS | test_lab7_security.py, test_expiry.py (lab2) |
401×9 → 429, Retry-After 60, ответы двух реплик; JSON > 64 KiB → 413 (и chunked), upload 50 MB → 413 на LB; посторонний → 404 ×6; logout → 401 | lab7-security.txt |
| Сертификаты — локальный документированный bootstrap | pki.py init → init_secrets.py → bao.py init/unseal/configure |
чистый Docker-стенд по этим шагам поднят с нуля (новые secrets/, volumes) | раздел «Запуск» |
| Smoke, рестарт и отказ реплики через HTTPS без отключения проверки | run_persistence.py, run_failover.py |
PASS (рестарт 16 сервисов, включая OpenBao + unseal, 82.1 с) / PASS ×2 (0 неудачных записей) | persistence.txt, failover.txt |
Уровень 4
| Критерий README | Команда/сценарий | Наблюдаемый результат (Docker) | Файл доказательства |
|---|---|---|---|
| mTLS API/worker→broker и →Collector с разными identity; сертификат того же CA не даёт лишних прав | test_tls_matrix.py broker collector |
broker: worker/dispatcher входят, CN=api/intruder/lb → login refused, worker publish / dispatcher basic_get / declare → 403; Collector: api/worker/dispatcher/janitor → 200, lb/grafana/operator/intruder → 403 | tls-matrix.json |
| Пароли/token hashes и ошибки не раскрывают credentials | test_errors_and_storage_do_not_reveal_credentials, leak_check.py |
ошибки без эха пароля/username; в Redis только session:<SHA-256>; в логах/телеметрии — 0 маркеров |
lab7-security.txt, leak-check.json |
| Rehash старого хеша при входе | test_rehash_on_login |
m=12288,t=3 (lab2–6) → после входа m=32768,t=2,p=1, повторный вход работает | lab7-security.txt |
| Измеренный бюджет защиты от login DoS; rate limit общий для реплик | login_dos.py, test_login_rate_limit_is_shared |
см. «Эксперименты»: атака получает 503 busy / 429, легитимные запросы — ограниченная задержка | login-dos.json |
| Ротация рабочего secret и leaf без пересборки, отзыв старой identity | lifecycle.py rotate-secret rotate-leaf |
Redis-пароль: v1→v2, обе реплики подхватили, активен только новый, 0 ошибок; leaf lb: rotate → reload → revoke → старый на новом соединении отвергнут, API закрыл 2 соединения со старым leaf, 0 ошибок | lifecycle-rotate-*.json |
| Ограниченное поведение при expiry / sealed OpenBao; bootstrap trust и renewal описаны; нет постоянного «секрета для получения секретов» | lifecycle.py token-expiry sealed; contracts/trust-matrix.md «Bootstrap и эксплуатация» |
TTL 20 с/max 40 с + отзыв: повторный вход сертификатом, 2393 ответов, 0 ошибок; sealed 75.6 с: работающая реплика без ошибок, перезапущенная — не ready, после unseal ready через 5.4 с | lifecycle-token-expiry.json, lifecycle-sealed.json |
| read_only / no-new-privileges / drop caps / tmpfs; исключения stateful объяснены | check_hardening.py --runtime |
см. выше; исключения — в EXCEPTIONS скрипта и в security/THREAT_MODEL.md (T12) |
hardening.json |
| Dependency/image scan с разбором применимости | pip-audit, trivy config, scripts/scan.py |
pip-audit: Pillow 12.3.0 — 39 находок, применимо (worker декодирует недоверенные изображения) → 13.0.0 + formats=(PNG, JPEG), повторно 0. Trivy образов (Docker): OpenSSL 3.5.1 (CRITICAL) и zlib/sqlite/libuuid в базовом python:3.11.13-slim — применимо (TLS каждого процесса) → apt-get upgrade в Dockerfile, OpenSSL 3.5.7, applicable 37 → 9 (оставшиеся без исправления и недостижимы: модули не импортируются); сторонние образы разобраны по ролям, открыто — RabbitMQ (OpenSSL 3.5.4), OpenBao (Go stdlib), HAProxy (musl/pcre2/zlib) |
security/scan-triage.md, evidence/scan/ |
| Модель угроз: ≥6 угроз → контроли → отрицательные тесты | security/THREAT_MODEL.md |
14 угроз, у каждой — тест из списка выше | — |
| Upload-worker ограничен по CPU/RAM/времени | test_jobs.py limits (lab5), compose: worker 2 CPU / 1536 MiB / 128 PID, imaging.py RLIMIT_AS/CPU + таймаут |
PASS | jobs-limits.txt |
| TLS-аудит всей заявленной матрицы, ACL и отсутствие утечек в telemetry | test_tls_matrix.py, test_lab7_security.py, leak_check.py |
все PASS | см. выше |
Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-11-07, commit 20afc2c + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres, s3 (SeaweedFS) и rabbitmq по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB, dispatcher 0,25 CPU / 128 MiB, worker 2 CPU / 1536 MiB; lab6: otel-collector 0,5 CPU / 384 MiB, prometheus, loki, tempo по 1 CPU / 512 MiB, grafana 0,5 CPU / 384 MiB; lab7: openbao 0,5 CPU / 256 MiB, otel-gate 0,25 CPU / 64 MiB; у всех — лимит PID.
TLS/mTLS-аудит trust matrix изнутри сети (student-tests/test_tls_matrix.py, контейнер probe):
| Связь | Проверок | Пройдено |
|---|---|---|
| LB -> API (mTLS, allowlist CN=lb) | 10 | 10 |
| API/worker -> RabbitMQ (mTLS + EXTERNAL, CN = broker user) | 11 | 11 |
| API/worker -> OTel Collector (mTLS via otel-gate, allowlist app CNs) | 13 | 13 |
| API/worker -> PostgreSQL (TLS verify-full, SCRAM, roles) | 4 | 4 |
| API -> Redis (TLS + client cert of our CA + ACL user) | 6 | 6 |
| API/worker -> S3 (HTTPS + per-service keys by prefix) | 6 | 6 |
| Services -> OpenBao (TLS + cert auth by CN + policy) | 7 | 7 |
| Collector/Grafana/operator -> Prometheus (mTLS + allowed SANs) | 7 | 7 |
| Collector/Grafana/operator -> Loki (mTLS, CA) | 4 | 4 |
| Collector/Grafana/operator -> Tempo (mTLS, CA) | 4 | 4 |
| Collector -> Tempo OTLP gRPC :4317 (mTLS) | 3 | 3 |
| Operator -> Grafana (HTTPS) | 3 | 3 |
Минимальные права (test_least_privilege.py): 83 проверок, 83 пройдено (разрешённое работает, запрещённое — отказ).
Argon2id внутри контейнера api (argon2_bench.py, медиана из 7):
| m, KiB | t | p | hash, мс | verify, мс | входов/с на реплику при 2 параллельных | RAM на хеширование, MiB |
|---|---|---|---|---|---|---|
| 19456 | 2 | 1 | 12.2 | 12.2 | 163.9 | 38 |
| 19456 | 3 | 1 | 18.3 | 18.5 | 108.1 | 38 |
| 32768 (выбрано) | 2 | 1 | 22.6 | 22.2 | 90.1 | 64 |
| 47104 | 2 | 1 | 34.2 | 34.8 | 57.5 | 92 |
| 65536 | 2 | 1 | 49.8 | 50.4 | 39.7 | 128 |
| 65536 | 3 | 1 | 75.3 | 75.2 | 26.6 | 128 |
Login DoS (login_dos.py, 16 потоков неверных входов, 20 с): атака 96.2 попыток/с, коды {'401': 360, '429': 1564}; легитимный клиент p95 34.6 -> 194.1 мс, p99 35.5 -> 243.6 мс, коды {'200': 93, '201': 93}.
Ротация пароля Redis (api) через OpenBao: {"kv_version": [5, 6], "replicas": 2, "active_passwords_during_overlap": 2, "all_replicas_picked_up_after_s": 23.9, "active_password_hashes_after": 1, "new_password_hash_matches": true}; нагрузка 37.6 с, ответы {'me:200': 431, 'send:201': 431, 'login:201': 18}, ошибок 5xx/соединения 0.
Ротация leaf LB + отзыв старого через CRL: {"old_serial": "70ea18ded7f86e5a", "new_serial": "22a71730433d9d42", "probe": {"valid LB identity (CN=lb)": "http_200", "foreign CA, CN=lb": "connection_closed_after_handshake", "our CA, expired, CN=lb": "connection_closed_after_handshake", "previous (rotated, revoked) LB leaf": "connection_closed_after_handshake"}, "api_events_after_revoke": {"tls.crl_loaded": 2, "tls.revoked_connections_closed": 2, "tls.client_rejected": 4}}; нагрузка 23.1 с, ответы {'me:200': 243, 'send:201': 243, 'login:201': 11}, ошибок 5xx/соединения 0.
Истечение/отзыв токенов OpenBao: {"role_ttl": "20s / max 40s", "observed_seconds": 100, "api_events": {"secrets.refresh_failed": 2, "secrets.login": 4}}; нагрузка 101.6 с, ответы {'me:200': 1172, 'send:201': 1172, 'login:201': 49}, ошибок 5xx/соединения 0.
OpenBao sealed: {"sealed_seconds": 75.6, "restarted_replica_health_while_sealed": "starting", "replicas_answering_while_sealed": 1, "restarted_replica_ready_after_unseal_s": 5.4, "api_events": {"secrets.refresh_failed": 5, "secrets.waiting": 8, "secrets.login": 1}}; нагрузка 89.2 с, ответы {'me:200': 1012, 'send:201': 1012, 'login:201': 43}, ошибок 5xx/соединения 0.
Алерты на контролируемых инцидентах (student-tests/incidents.py, состояние из Prometheus /api/v1/alerts):
| Инцидент | Воздействие | Алерт | firing через, с | resolved через, с после устранения |
|---|---|---|---|---|
| 1. worker | docker compose stop worker + 3 загрузки |
MessengerWorkerNoConsumers | 94.0 (от stop) | 45.6 (от start) |
| 1. worker | docker compose stop worker + 3 загрузки |
MessengerQueueLagGrowing | 124.5 (от stop) | 45.6 (от start) |
| 2. PostgreSQL | LOCK TABLE messages IN ACCESS EXCLUSIVE MODE на 210 с под нагрузкой 8 потоков |
MessengerHighErrorRate | 122.5 (от LOCK) | 35.1 (от COMMIT блокировки) |
| 3. телеметрия | docker compose stop tempo loki на 150 с |
TelemetryExportFailing | 85.9 (от stop) | 70.6 (от start) |
Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 3.0, queued заданий = 3.0, возраст старейшего = 115.4 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 123.0 с, последний лог worker: event=service.stopped; трасса загрузки содержит publish attachments, но не содержит process attachments.process.v1. После start: вложения ready через 5.4 с, backlog 0.0.
Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '400': 0.0, '409': 0.0, '404': 0.0, '503': 1.44}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 15.6, 'max': 31.5} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 184}. Error-трасса 50418f127c336af7f2e4dc0190adf7ea: server-спан 5010.0 мс, из них INSERT 5001.6 мс (доля 0.998, статус ERROR). Контраст «медленный обработчик» (трасса 2e774b9d5912ba768f3e9881f3c41e80, POST /users): server 47.0 мс, argon2id hash 32.2 мс, все спаны БД 6.9 мс. Нагрузка: до 102.1 успешных записей/с, во время блокировки {'503': 320, '201': 8}, после 102.4/с без ошибок.
| Отказ телеметрии | API во время отказа | Память | Потери телеметрии |
|---|---|---|---|
stop tempo loki на 150 с (окно повторов Collector 120 с) |
8486 запросов, коды {'201': 8486}, доля успеха 1.0 | heap Collector 32.3 -> max 84.7 MiB (limit 200), контейнер max 103.7 MiB | send/enqueue failed в Collector: {'spans': 2048, 'log_records': 213}; пробные трассы дошли 13/13, потеряны отправленные на [] с |
stop otel-collector на 90 с |
5298 запросов, коды {'201': 5298}, доля успеха 1.0 | api 831.6 -> max 866.4 MiB (2 реплики) | SDK api потерял спанов: {'processor_queue_full': 0, 'exporter_failed': 19456} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (5554 спанов за минуту) |
Публичный тест отказа (make test-failover, 15 с записи во время остановки реплики):
| Прогон | Остановлена реплика | Реплик до отказа | Успешных записей | Неудачных попыток (повторены с тем же ключом) | Первая запись после hook, с |
|---|---|---|---|---|---|
| 1 | 0c7893e1043d | 2 | 126 | 0 | 5.453 |
| 2 | b7f37f051ba1 | 2 | 125 | 0 | 5.313 |
Одновременные загрузки (student-tests/upload_memory.py, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов:
| Сценарий | Одновременно | Объём, MiB | Время, с (p50 / max) | Реплика: загрузок | RSS до, MiB | Пик RSS, MiB | Рост, MiB | Пик cgroup, MiB |
|---|---|---|---|---|---|---|---|---|
| 10 x ~9.5 MiB PNG (noise) | 10 | 94.9 | 1.54 / 1.64 | 0c7893e1043d: 5 | 129.5 | 141.0 | 11.5 | 164.8 |
| b7f37f051ba1: 5 | 126.2 | 139.1 | 12.9 | 164.8 | ||||
| 10 x 40 Mpx PNG (8000x5000 RGB) | 10 | 1.1 | 1.13 / 1.39 | 0c7893e1043d: 5 | 128.9 | 134.9 | 6.0 | 113.5 |
| b7f37f051ba1: 5 | 126.7 | 134.4 | 7.7 | 113.9 | ||||
| 20 mixed: large + 40 Mpx + JPEG | 20 | 133.2 | 1.64 / 2.25 | 0c7893e1043d: 10 | 125.6 | 144.1 | 18.5 | 174.8 |
| b7f37f051ba1: 10 | 128.7 | 147.9 | 19.2 | 182.8 |
Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 162 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB.
Публичный генератор нагрузки (tests/load.py, closed loop, concurrency 4, 30 с, 2 реплики): 206.623 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 47.0 мс.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
публичный make test-failover для каждой реплики |
запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет | PASS 2 раз(а), неудачных попыток: 0, 0 | первая запись после hook через 5.453, 5.313 с (hook ждёт остановки ~4 с); потерь нет |
перезапуск всего стенда (restart hook: postgres, redis, s3, api, janitor, lb) |
данные, файл и прежний токен живы | PASS, те же контейнеры с новым временем старта | 82.1 с до готовности; потерь нет |
docker compose stop s3 (SeaweedFS остановлен) |
загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают | upload 503 за 781 мс, download 503, остальное 200/201 | после start файлы на месте; uploading-строку убрал janitor; потерь нет |
docker compose pause s3 (SeaweedFS завис) |
то же, но через таймауты S3-клиента | upload 503 за 8703 мс (2 попытки x 5 с + откат 2 с) | после unpause файлы на месте; потерь нет |
| падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) | вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку | GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено | мусора не осталось; повторный проход ничего не делает |
| обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) | ничего не сохраняется | строк и объектов не прибавилось, временных файлов 0 | мгновенно |
| worker остановлен, upload, рестарт rabbitmq и api с volumes, start worker | 202 queued, сообщение с вложением 201, content 409; после рестартов job в очереди; тот же job_id -> ready | worker started -> same job 6133fe0a-b568-4024-8bb7-4d7d32ed0433 ready, thumbnail downloadable; staging object deleted | потерь нет; staging удалён после COMMIT |
| rabbitmq остановлен во время upload | 202 и /health/ready 200 без брокера; строка outbox ждёт; после start публикуется | rabbitmq started -> dispatcher published the pending row -> ready | потерь нет |
| crash dispatcher между COMMIT задания и publish | строка outbox не отмечена -> публикуется после рестарта процесса | dispatcher killed between COMMIT and publish; restarted by policy, outbox re-published -> job 60ca1ef4-a5fb-48ad-94bd-5f14f683304d ready, attempt 1, no manual action | без ручного действия |
| crash dispatcher после confirm, до отметки outbox | дубль сообщения, worker распознаёт по состоянию job | dispatcher killed after publisher confirm, before marking outbox -> message published twice; worker: ['created', 'claimed', 'ready', 'duplicate_ignored'] -> one result set | один набор вариантов |
| crash worker после PUT в S3, до COMMIT и ack | повтор после истечения аренды перезаписывает те же ключи | worker killed after S3 PUT (before COMMIT and ack): redelivery saw a live lease (no-op), lease expired after 15 s, attempt 2 rewrote the same keys -> one set; events ['created', 'claimed', 'duplicate_ignored', 'lease_expired', 'claimed', 'ready'] | один набор, 4 объекта |
| crash worker после COMMIT, до ack | redelivery ready-задачи -> no-op ack | worker killed after COMMIT, before ack: broker redelivered, worker acked as no-op (1:duplicate_ignored:status=ready); queue empty (0 ready, 0 unacked) | очередь пуста, дублей нет |
| worker завис (не продлевает аренду) | dispatcher возвращает job, другой поток завершает; поздний результат отклонён fencing | frozen attempt 1 stopped renewing; lease expired, recovered by dispatcher, attempt 2 ready after 18 s; frozen attempt woke up -> stale_result_rejected; events ['created', 'claimed', 'lease_expired', 'claimed', 'ready', 'stale_result_rejected'] | ready не откатан |
| зависание обработки изображения | процесс убит по JOB_TIMEOUT_SECONDS, временная ошибка, аренда продлевалась | imaging hang -> killed after 60 s (processing_timeout, temporary), lease renewed meanwhile (no lease_expired), attempt 2 ready after 63 s | повтор -> ready |
| нехватка памяти в процессе обработки (RLIMIT_AS) | failed/resource_limit, worker жив | memory bomb in the imaging process -> failed/resource_limit after attempt 1; worker itself survived | постоянная ошибка, без повторов |
| 2 временные ошибки S3 | backoff с jitter, затем ready | 2 x storage_unavailable -> retries after 1.70 s and 2.50 s (equal jitter: 1..2 s, 2..4 s), attempt 3 ready | - |
| 5 временных ошибок подряд | failed/retry_exhausted, реестр failed, content 409 | 5 temporary errors -> failed/retry_exhausted (public error_code), content 409, attach 409, listed by ops.py failed (replayable) | replay оператора |
| replay failed и повторный replay ready | тот же job_id -> ready; повтор отклонён | ops replay -> same job_id 3d109dba-1036-482a-a6fb-8116c7894b6d attempt 6 ready; second replay refused: "job is ready, replay is only for failed jobs" | дубля нет |
| невалидное сообщение и неизвестный job_id | reject -> DLQ, dlq-replay не исполняет | schema-invalid message and unknown job_id -> reject -> DLQ (4 message(s)); dlq-replay kept them: ['unknown job', 'unknown job'] | сообщения сохранены |
| 8 заданий в очереди, старт worker | WORKER_CONCURRENCY=2, prefetch 1 | 2 consumers, prefetch_count 1, manual ack; 8 queued 3000x2000 JPEG drained in 2.6 s after worker start, peak processing 2 of 8 (6 samples) | - |
Эксперименты и отказы
Docker-стенд: Windows 10, Docker Desktop (VM 16 CPU, 15.2 GiB), клиент тестов — Python 3.11 на том же хосте, 2 реплики API по 1 CPU / 512 MiB. Числа нативной песочницы (2 vCPU на всё) — в evidence/native-sandbox/summary.md, с этими не сравнивать.
Argon2id — выбор параметров (argon2_bench.py, внутри контейнера api, медиана из 7):
| m, KiB | t | p | hash, мс | verify, мс | входов/с на реплику (2 параллельно) | RAM на хеширование |
|---|
| 19456 | 2 | 1 | 12.2 | 12.2 | 163.9 | 38 MiB | | 19456 | 3 | 1 | 18.3 | 18.5 | 108.1 | 38 MiB | | 32768 (выбрано) | 2 | 1 | 22.6 | 22.2 | 90.1 | 64 MiB | | 47104 | 2 | 1 | 34.2 | 34.8 | 57.5 | 92 MiB | | 65536 | 2 | 1 | 49.8 | 50.4 | 39.7 | 128 MiB | | 65536 | 3 | 1 | 75.3 | 75.2 | 26.6 | 128 MiB |
Выбрано m=32 MiB, t=2, p=1: в 1,7 раза больше памяти, чем минимум OWASP/README (19 MiB, t=2), ~22 мс на проверку в контейнере api — незаметно для пользователя и вдвое дешевле 64 MiB (~50 мс). Бюджет реплики: не больше ARGON2_MAX_CONCURRENCY=2 хешей одновременно (≤ 64 MiB из 512 MiB лимита памяти), ожидание слота не дольше 2 с, дальше — 503 + Retry-After. У api лимит 1 CPU, поэтому два параллельных хеша делят одно ядро: реальный потолок ≈ 1000 / 22 мс ≈ 45 проверок пароля в секунду на реплику (≈ 90/с на две; колонка «2 параллельно» — без учёта лимита CPU); всё, что выше, отсекают сначала общий лимит Redis (429), потом бюджет реплики (503), а не рост памяти или очередь. 64 MiB/t=2 удвоили бы и цену входа, и память на хеширование при том же бюджете, то есть вдвое снизили бы потолок входов. (В песочнице те же параметры стоили ~50 мс — выбор от этого не меняется.)
Находка при проверке burst (песочница): без настройки аллокатора glibc держит 32-MiB буферы Argon2 в отдельных arena каждого потока — 200 одновременных проверок раздували RSS реплики на +548 MiB (больше лимита 512 MiB → OOM-kill под атакой). MALLOC_MMAP_THRESHOLD_=1048576 в окружении api заставляет крупные буферы идти через mmap и возвращаться ОС сразу: прирост RSS на том же burst — +37 MiB в песочнице, +74.7 MiB в Docker (ниже). Добавлено в compose.yaml и в угрозу T5.
Login DoS (login_dos.py):
| Фаза | Легитимных запросов | p50 / p95 / p99, мс | Коды легитимных | Попыток входа атаки | Коды атаки |
|---|---|---|---|---|---|
| без атаки, 20 с | 694 | 12.3 / 34.6 / 35.5 | {'200': 347, '201': 347} | — | — |
| атака: 16 потоков неверных паролей по 40 username, 20 с | 186 | 91.1 / 194.1 / 243.6 | {'200': 93, '201': 93} | 1924 (96.2/с), p95 ответа 480.5 мс | {'401': 360, '429': 1564} |
Из 1924 попыток атаки хеш Argon2id посчитан только для 360 (ответ 401: по 9 на каждый из 40 username до срабатывания лимита), 1564 отсечены общим (Redis) лимитом 429 + Retry-After до хеширования, 503 busy — 0: до бюджета реплики дело не дошло, его отдельно проверяет burst ниже. Легитимные запросы обслуживались без ошибок; задержка выросла (p95 34.6 → 194.1 мс), и поэтому closed-loop клиент сделал за 20 с меньше запросов (694 → 186): атакующий клиент, стенд и легитимный клиент делят одну машину, а 16 потоков TLS-рукопожатий и Python-клиента сами занимают CPU хоста.
Burst в одном процессе api (бюджет без помощи rate limit): 200 одновременных проверок пароля → одновременно считалось не больше 2 хешей (лимит 2), посчитано 75, отклонено 503 + Retry-After 125, самое долгое ожидание отказа 2.05 с (= очередь 2 с); прирост RSS 74.7 MiB при лимите 512 MiB (с MALLOC_MMAP_THRESHOLD_=1048576; без него в песочнице было +548 MiB, см. угрозу T5).
Жизненный цикл под нагрузкой (lifecycle.py, фоновая нагрузка: вход + GET /users/me + POST message):
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|
| Ротация пароля Redis-пользователя api через OpenBao | 0 ошибок; после — активен только новый пароль | KV v5 → v6 (предыдущие версии — от прошлых прогонов); паролей во время перехода 2, после — 1 (новый); обе реплики подхватили за 23.9 с (≤ SECRETS_REFRESH_SECONDS 30 с); нагрузка 37.6 с, 880 ответов, ошибок 0 | без рестартов и пересборки; потерь данных нет | | Ротация leaf-сертификата LB + отзыв старого (CRL) | 0 ошибок; старый leaf отвергается на новом соединении, открытые закрыты | старый leaf → connection_closed_after_handshake, новый → http_200; события API: {'tls.crl_loaded': 2, 'tls.revoked_connections_closed': 2, 'tls.client_rejected': 4}; нагрузка 23.1 с, 497 ответов, ошибок 0 | эффект отзыва ≤ CRL_RELOAD_SECONDS (5 с) после reload; потерь данных нет | | Токены OpenBao роли api: TTL 20 с / max 40 с + отзыв всех токенов | сервисы перелогиниваются сертификатом, 0 ошибок | события API за 100 с: {'secrets.refresh_failed': 2, 'secrets.login': 4}; нагрузка 101.6 с, 2393 ответов, ошибок 0 | без участия оператора; потерь данных нет | | OpenBao запечатан, одна реплика API перезапущена | работающая реплика обслуживает, перезапущенная не ready до unseal | sealed 75.6 с; перезапущенная реплика: starting (не healthy, LB её не использует); события API: {'secrets.refresh_failed': 5, 'secrets.waiting': 8, 'secrets.login': 1}; нагрузка 89.2 с, 2067 ответов, ошибок 0 | реплика ready через 5.4 с после unseal; потерь данных нет |
Отказы lab3–5 через HTTPS (публичные тесты): run_persistence.py — рестарт PostgreSQL, Redis, S3, RabbitMQ, OpenBao (+ unseal hook'ом), телеметрии, приложения и LB с сохранением volumes; данные и прежний токен на месте. run_failover.py — остановка каждой реплики по очереди под записью.
- persistence: PASS — the hook restarted postgres, redis, s3, rabbitmq, openbao, api, janitor, dispatcher, worker, lb, otel-gate, otel-collector, prometheus, loki, tempo, grafana (all api replicas; same containers, new start time); data, the attachment bytes and the old token survived; hook + готовность 82.1 с
- failover, реплика 1: реплик до отказа 2, успешных записей 126, неудачных попыток (повторены тем же ключом) 0, первая запись после hook через 5.453 с
- failover, реплика 2: реплик до отказа 2, успешных записей 125, неудачных попыток (повторены тем же ключом) 0, первая запись после hook через 5.313 с
Ограничения и следующие шаги
- Один хост, одна копия каждого хранилища — отказ хоста, PostgreSQL, Redis, RabbitMQ, SeaweedFS или OpenBao не выдерживается (как в lab3–6). OpenBao sealed/недоступен: работающие реплики живут на кэше, новые не стартуют — сознательный fail closed.
- Доли unseal в одном файле оператора (учебный компромисс): restart-hook распечатывает OpenBao без человека. В эксплуатации —
bao.py init --print-shares-once, доли у разных людей,unseal --prompt, отзыв root token после настройки, CA офлайн. - CRL проверяют API (сам, с перечитыванием), HAProxy (lb, otel-gate — при reload), OpenBao cert auth (
bao.py sync-crl). Не проверяют: RabbitMQ, Redis, PostgreSQL, Prometheus/Loki/Tempo — для них отзыв = удаление пользователя/смена пароля + короткий срок leaf (30 суток). Следующий шаг — короткоживущие leaf из OpenBao PKI с автопродлением (трек 5.2). - Loki/Tempo различают только «наш CA / не наш»: читатель и писатель не разделены; сервис приложения может подписать телеметрию чужим
service.name(шлюз проверяет identity, но не содержимое). - Пароли ролей PostgreSQL: ротация описана (новая версия KV →
docker compose run --rm migrate), но не демонстрировалась и даёт окно до 30 с отказов новых соединений; на 4 продемонстрирована ротация пароля Redis (без окна — два пароля одновременно). - SeaweedFS 4.52 после рестарта отдаёт чтение раньше записи:
/cluster/healthz= 200 через ~20 с, но мастер ещё ~15 с отвечает «master is warming up» на/dir/assign, и загрузки получают 503. Флага, сокращающего прогрев, нет; healthcheck S3 переведён на/dir/assign(готовность к записи),test_consistencyждёт первую успешную загрузку (в Docker — 14.7 с после того, как старый файл снова читается; в песочнице было 16 с). - Исключения hardening: RabbitMQ с записываемым корнем; telemetry-init — root + CAP_CHOWN на время chown (идемпотентно: chown только для volume, который ещё не принадлежит 10001). SeaweedFS после Docker-прогона работает от uid 1000 (
seaweedобраза), исключение uid 0 снято. - Restart hook на настоящем Docker (в песочнице не воспроизводилось): (1)
docker compose restartвосьми хранилищ ждёт самые медленные (PostgreSQL, RabbitMQ), а запечатанный OpenBao за это время проваливает 3 healthcheck, становитсяunhealthy, иup --waitсразу падает, хотя через секунду OpenBao уже распечатан; (2) параллельныйrestart otel-gate otel-collector …— Collector не может войти в network namespace ещё остановленного gate. Исправлено порядком вscripts/restart.cmd/.sh: OpenBao перезапускается отдельно и распечатывается сразу (внутриstart_period), otel-gate — отдельно перед Collector; набор перезапускаемых сервисов тот же. - Нестабильные проверки, найденные в Docker (ожидания не менялись, исправлено ожидание готовности): Loki после старта ~15 с отвечает
/ready→ 503 «Ingester not ready» — положительная проверка mTLS оператора к Loki/Tempo вtls_probe.pyждёт готовности до 30 с, только если mTLS пройден (ответ 503), итог по-прежнему должен быть 200; вtest_telemetry.pyтрасса считалась полной по span'ам worker, а batch API/dispatcher выгружается независимо (до 5 с) и иногда приходил в Tempo позже (2 FAIL из 4) — условие ожидания теперь требует span'ы всех процессов, проверки те же (4 из 4 PASS).lifecycle.py token-expiry: послеrevoke-service-tokensотзыв замечает то обращение к OpenBao, которое случится раньше, — чтение KV (secrets.refresh_failed) или продление токена; во втором случае API сразу входил заново, но писал общее с max TTL событиеsecrets.relogin, и тест (ждал только refresh_failed) падал при работающей функции. Теперь неудачный renew — отдельное событиеsecrets.renew_failed(WARNING,secretstore.py), тест принимает любой из двух путей обнаружения и по-прежнему требует повторный вход и 0 ошибок. Вupload_memory.pyсчётчик загрузок по репликам сравнивал X-Instance-Id с ID контейнера (в lab7 это alias) и всегда давал 0 — сопоставление черезinstance_aliases(). - Память SeaweedFS 4.52: ~240 MiB в простое; в Docker-прогоне
upload_memory.py(20 параллельных загрузок по ~10 MiB) довёл процесс до лимита 512 MiB, ядро убило его (SIGKILL, рестарт по политике), половина загрузок получила 503. Исправлено без повышения лимита:GOMEMLIMIT=400MiB(GC Go ориентируется на лимит) и-s3.concurrentUploadLimitMB=128(сверх 128 MiB тел одновременно шлюз ставит загрузки в очередь). После — все 20 загрузок 202, рестартов S3 нет. Цена — задержка загрузок при длительном потоке крупных файлов (T14). localhostна хосте Windows резолвится сначала в::1, а порты опубликованы только на127.0.0.1(IPv6-loopback не публикуем намеренно): каждое новое TCP-соединение сhttps://localhost:8443ждёт ~2 с отказа по IPv6 (замер: localhost 2031–2051 мс, 127.0.0.1 — 0 мс). Первый Docker-прогон из-за этого давал в 40 раз меньше запросов нагрузки. Скриптыstudent-testsпо умолчанию ходят наhttps://127.0.0.1:<порт>(IP есть в SAN сертификатов ingress и админ-интерфейсов, имя проверяется так же строго);https://localhost:8443работает, только медленнее на новых соединениях.- OpenBao file storage в 2.6.2 помечен deprecated (в логе: «use bao operator migrate … by v2.7.0»). Для учебного стенда на одном хосте оставлен; перед обновлением до 2.7 —
bao operator migrateна integrated storage (raft). - Rate limit на username позволяет заблокировать вход конкретному пользователю на окно (60 с) — плата за защиту от подбора; лимит регистрации при недоступном Redis пропускается (защищает бюджет Argon2id).
- Docker-прогон после песочницы (настоящие OpenBao 2.6.2, HAProxy 3.2, RabbitMQ 4.1.4, PostgreSQL 17, Redis 7.4, Loki/Tempo/Grafana с TLS): прошли все 46 шагов. Исправлено по его итогам (подробно — пункты выше): SeaweedFS 4.52 не мог писать в
/dataот root без capabilities → запуск от uid 1000;telemetry-initпадал на повторномup→ идемпотентный chown; у Prometheus не было tmpfs/tmpдляpromtool test rules; память SeaweedFS под 20 параллельными загрузками; порядок restart hook;localhost→127.0.0.1в клиентах тестов; ожидания готовности в трёх тестах; отдельное событиеsecrets.renew_failed; по скану образов —apt-get upgradeвDockerfile(OpenSSL 3.5.1 → 3.5.7), после чего весь прогон повторён. - Открыто по скану (
security/scan-triage.md): OpenSSL 3.5.4 вrabbitmq:4.1.4-alpine(порт только в internal-сетиdata, вход по mTLS), Go stdlib/x/net в OpenBao 2.6.2, musl/pcre2/zlib в HAProxy 3.2.25 — закрываются обновлением тегов до патч-релизов с повторным прогоном; в этой работе версии сторонних сервисов не менялись. Конфигурации OpenBao, HAProxy, RabbitMQ (EXTERNAL), PostgreSQL (ключ в /tmp/pgtls), TLS Collector → Loki/Tempo/Prometheus, Grafana → источники и внутренний gRPC Tempo заработали без изменений.
Ответы на вопросы защиты (кратко)
- Какая часть mTLS проверяет шифрование, какая идентичность и где разрешение на действие? Шифрование и целостность — TLS-сессия (ECDHE). Идентичность сервера — проверка цепочки до нашего CA и имени (verify-full / check_hostname / verifyhost). Идентичность клиента — его сертификат (цепочка, срок, CRL). Разрешение — отдельный шаг после рукопожатия: API — allowlist CN=lb; otel-gate — CN ∈ приложений; RabbitMQ — пользователь = CN и его permissions; OpenBao — роль cert auth = CN → policy; Prometheus —
client_allowed_sans; PostgreSQL/Redis/S3 — по роли/ACL/ключу. Пользовательская сессия (Bearer) — ещё выше, внутри API. - Почему доверенный CA ещё не означает, что любой его клиент может быть LB? Один CA выпускает сертификаты всем сервисам; «подписан нашим CA» говорит только «это кто-то из наших». Если пускать любого, скомпрометированный worker стал бы балансировщиком (обход лимитов, подделка XFF). Поэтому API проверяет CN=lb — в тесте сертификаты worker, api и intruder нашего CA отвергаются.
- Где хранится первый секрет для доступа к OpenBao и кто имеет право unseal? Первый секрет сервиса — его leaf-сертификат и ключ (
secrets/pki/<identity>, смонтирован только в этот сервис, 30 суток, отзывается CRL). SecretID/токенов в env нет. Unseal — оператор: 3 доли, порог 2 (на стенде вsecrets/operator/openbao-init.json, 0600, вне Git и контейнеров; в эксплуатации — у разных людей). - Что происходит при истечении credentials, остановке OpenBao и рестарте API? Токен OpenBao продлевается и при исчерпании max TTL заменяется новым входом по сертификату (без влияния на запросы). Истёкший leaf — отказ рукопожатия, нужен
pki.py rotate. OpenBao остановлен/sealed — работающие процессы обслуживают запросы с секретами в памяти, обновление ротаций откладывается; рестартованная реплика не становится ready, LB её не использует; после unseal — восстанавливается сама. Рестарт API при работающем OpenBao — обычный: вход сертификатом, секреты за доли секунды.