# Отчёт — лабораторная 7 - Автор, группа: Бабиченко Максим, БВТ2303 - Целевая оценка; выбранный трек 5, если нужен: **4**, трек 5 не выбран - Commit/PR: <<ссылка на MR после публикации>> - Использованные источники, библиотеки и помощь ИИ: всё из lab6 (FastAPI, psycopg 3, pika, boto3, Pillow, OpenTelemetry SDK, RabbitMQ 4.1, SeaweedFS, PostgreSQL 17, Redis 7.4, HAProxy 3.2, OTel Collector, Prometheus, Loki, Tempo, Grafana). Новое: `cryptography` 50.0.2 (выпуск сертификатов оператором, разбор и проверка подписи CRL в API), образ `openbao/openbao:2.6.2`, SeaweedFS обновлён до 4.52 (TLS шлюза S3, права по prefix, mTLS внутреннего gRPC), Pillow 12.3.0 → 13.0.0 и security-обновления Debian в образе приложения (скан). Документация: OWASP Password Storage и File Upload Cheat Sheets, RFC 9106 (Argon2), OpenBao (cert auth, policies, KV v2, seal/unseal, production hardening), RabbitMQ TLS и `rabbitmq_auth_mechanism_ssl`, PostgreSQL `pg_hba`/SSL/SCRAM, Redis TLS и ACL, SeaweedFS `security.toml`, Prometheus web configuration (`client_allowed_sans`), Grafana/Tempo/Loki TLS, Docker security, pip-audit, Trivy. При написании кода, конфигураций и тестов использовался ИИ-ассистент (Claude); весь код я прогнал и могу объяснить и изменить на защите. ## Запуск из чистого clone Проверяю на Windows (PowerShell, Docker Desktop). На хосте нужен Python 3.11+: тесты — только стандартная библиотека, операторские скрипты PKI — пакет `cryptography` (`requirements-ops.txt`). Перед запуском остановить стенд lab6 (`docker compose down` в его папке). Имя проекта Compose — `messenger-lab7`, volumes свои. ```powershell git clone https://gitea.privcloud.tech/Kalibr/mtusi2026lab7.git cd mtusi2026lab7 git checkout solution/bvt2303-babichenko $env:PYTHONUTF8 = "1" python -m pip install -r requirements-ops.txt # cryptography — только для scripts/pki.py Copy-Item .env.example .env # 1. Оператор: учебный CA и сертификаты сервисов (ключ CA остаётся в secrets/pki/ca, никуда не монтируется) python scripts/pki.py init # 2. Оператор: пароли/ключи стенда (серверные конфиги + файл для OpenBao), значения не печатаются python scripts/init_secrets.py # 3. OpenBao: старт, инициализация (3 доли, порог 2), распечатка, настройка (KV, cert auth, политики, секреты) docker compose up -d openbao python scripts/bao.py init python scripts/bao.py unseal python scripts/bao.py configure # 4. Весь стенд docker compose --env-file .env config --quiet docker compose up -d --build --wait docker compose ps -a # migrate, s3-init, telemetry-init: Exited (0); остальные running/healthy # 5. Проверки python tests/smoke.py --base-url https://localhost:8443 --ca-file secrets/pki/public/ca.crt # make test CA_FILE=... python tests/security.py --base-url https://localhost:8443 --ca-file secrets/pki/public/ca.crt # make test-security python student-tests/collect_evidence.py # все шаги lab7 + регрессия lab1–6 -> evidence/, таблицы в REPORT.md python scripts/scan.py # pip-audit + Trivy по образам -> evidence/scan/ ``` | Что | Где | | --- | --- | | API (единственная точка входа) | https://localhost:8443, доверять `secrets/pki/public/ca.crt` (сертификат ingress: SAN localhost, 127.0.0.1) | | Grafana | https://localhost:3000, логин `admin`, пароль — `secrets/grafana_admin_password`. Браузеру нужен наш CA: `Import-Certificate -FilePath secrets\pki\public\ca.crt -CertStoreLocation Cert:\CurrentUser\Root` (по желанию; проверку не отключаем) | | Prometheus / Loki / Tempo | https://localhost:9090, :3100, :3200 — только с клиентским сертификатом оператора: `curl.exe --cacert secrets/pki/public/ca.crt --cert secrets/pki/operator/tls.crt --key secrets/pki/operator/tls.key https://localhost:9090/-/ready` | | Статистика HAProxy | https://localhost:8404/stats — тот же сертификат оператора | | OpenBao (оператор) | https://127.0.0.1:8200, `python scripts/bao.py status` | Отдельные проверки lab7 (make на Windows нет): | Команда | Что проверяет | | --- | --- | | `python student-tests/test_tls_matrix.py` | вся trust matrix изнутри сети (контейнер `probe`): разрешённая identity проходит, без сертификата / чужой CA / чужая identity нашего CA / истёкший / отозванный — отказ; plaintext не отвечает | | `python student-tests/test_least_privilege.py` | api/worker/dispatcher/janitor своими учётными данными: GRANT PostgreSQL, prefix S3, политики OpenBao, ACL Redis | | `python student-tests/test_lab7_security.py` | только HTTPS, заголовки, посторонний пользователь, logout, общий rate limit, лимиты тела, Argon2id, rehash, отсутствие утечек | | `python student-tests/lifecycle.py rotate-secret rotate-leaf token-expiry sealed` | ротация секрета и leaf, отзыв, истечение токенов, sealed OpenBao — под нагрузкой | | `python student-tests/leak_check.py` | пароль/токен/Authorization не попадают в логи контейнеров, Loki, Tempo, метки Prometheus | | `python student-tests/argon2_bench.py`, `python student-tests/login_dos.py` | замер Argon2id в контейнере api; бюджет защиты от login DoS | | `python student-tests/check_hardening.py --runtime` | privileged/host/docker.sock, capabilities, no-new-privileges, read_only, не root, лимиты, порты | | `python student-tests/run_persistence.py`, `python student-tests/run_failover.py` | публичные `test-persistence` (hook `scripts\restart.cmd`, включая рестарт и unseal OpenBao) и `test-failover` (hook `scripts\stop-one.cmd`) по HTTPS | **После перезагрузки хоста / рестарта OpenBao** он запечатан: `python scripts/bao.py unseal`. До этого уже работающих процессов нет, новые не стартуют (ждут до 60 с и перезапускаются Docker) — после unseal стенд поднимается сам. **Остановка без потери данных:** `docker compose down` (volumes `openbaodata`, `pgdata`, `redisdata`, `s3data`, `rabbitmqdata`, `faults`, `promdata`, `lokidata`, `tempodata`, `grafanadata` остаются). **Намеренное удаление учебных данных:** `docker compose down -v`, удалить папку `secrets` (CA, ключи, доли unseal, пароли) и пройти шаги 1–4 заново. ## Архитектура и решения ``` клиент --HTTPS 127.0.0.1:8443--> lb (HAProxy) ==mTLS, клиент CN=lb==> api x2 (FastAPI) api --TLS verify-full + SCRAM, роль messenger_api--> postgres api --TLS+mTLS + ACL user api--> redis api --HTTPS + ключ api (staging/ write, attachments/ read)--> s3 api ==cert auth CN=api==> openbao api/worker/dispatcher/janitor ==mTLS, CN из allowlist==> otel-gate --127.0.0.1--> otel-collector dispatcher ==AMQPS EXTERNAL CN=dispatcher==> rabbitmq <==AMQPS EXTERNAL CN=worker== worker otel-collector ==mTLS CN=otel-collector==> prometheus | loki | tempo <==mTLS CN=grafana== grafana ``` **Что перенесено из lab6:** весь API (lab1–5), outbox/dispatcher/worker/janitor, телеметрия (SDK, Collector, Prometheus/Loki/Tempo/Grafana, dashboard, алерты, runbooks), тесты lab1–6. **Что изменено в lab7:** | Область | Решение | Где | | --- | --- | --- | | PKI | Учебный CA оператора (ECDSA P-256), leaf на каждую identity (30 суток, CN + URI SAN `spiffe://messenger.lab/`), CRL, ротация/отзыв, тестовые сертификаты (чужой CA, intruder, истёкший) | `scripts/pki.py` | | Внешний TLS | HAProxy: только HTTPS :8443, TLS 1.2+, без tickets, HSTS, nosniff, без `Server`; `X-Forwarded-For` перезаписывается; тело > 11 MiB → 413 | `infra/haproxy.cfg` | | LB → API | mTLS: HAProxy проверяет сертификат API (CA, CRL, имя api) и предъявляет `lb`; API (`tlsutil.py`, свой протокол uvicorn) — цепочка/срок (OpenSSL) + **allowlist CN** и CRL до чтения запроса; CRL перечитывается раз в 5 с, открытые соединения отозванных сертификатов закрываются. Health — отдельный listener 127.0.0.1:8081 | `tlsutil.py`, `main.py` | | OpenBao | Не dev-mode: file storage в volume, TLS-listener, init/unseal оператором, KV v2 `messenger/`, **cert auth** (роль = CN, только наш CA, CRL), 6 политик по одному пути, токены 15 мин / max 1 ч. Клиент приложения: вход, renew, relogin, перечитывание KV раз в 30 с, работа на кэше при sealed | `infra/openbao/`, `scripts/bao.py`, `secretstore.py` | | PostgreSQL | `ssl=on`, `pg_hba`: только `hostssl` + SCRAM; 4 роли приложения с GRANT по запросам (`006_roles.sql`), пароли из OpenBao на каждое соединение, migrate ставит их SCRAM-verifier'ом | `infra/postgres/pg_hba.conf`, `dbconn.py`, `migrate.py` | | Redis | Только TLS, клиентский сертификат обязателен, ACL: `default off`, `api` — `session:*`/`ratelimit:*` и 13 команд; пароль через credential provider (ротация без рестарта) | `infra/redis.conf`, `auth.py` | | S3 | SeaweedFS 4.52: HTTPS :8333, внутренние порты на loopback, gRPC :18333 — mTLS только CN=s3, IAM/Iceberg/Lance выключены; ключи api/worker/janitor/s3-init с правами по prefix | `infra/seaweedfs/security.toml`, `scripts/init_secrets.py` | | RabbitMQ | Только AMQPS :5671, `verify_peer`, EXTERNAL (пользователь = CN), пользователи без паролей, distribution/epmd на loopback; плагины — только `rabbitmq_auth_mechanism_ssl` | `infra/rabbitmq.conf`, `broker.py` | | Телеметрия | otel-gate (HAProxy) — mTLS и allowlist CN приложений перед Collector (Collector на 127.0.0.1); Collector → Tempo/Loki/Prometheus по mTLS; Prometheus `client_allowed_sans`; Loki gRPC на loopback, Tempo внутренний gRPC по TLS; Grafana по HTTPS, источники — mTLS | `infra/otel/`, `infra/prometheus/web.yml`, `infra/loki`, `infra/tempo`, `infra/grafana` | | Пароли и вход | Argon2id m=32 MiB, t=2, p=1 (замер ниже), rehash при входе, ≤2 хеша на реплику одновременно (иначе 503 + Retry-After), общий rate limit в Redis (429 + Retry-After), JSON ≤ 64 KiB (в т.ч. chunked) | `auth.py`, `main.py` | | Hardening | Все сервисы: cap_drop ALL, no-new-privileges, read_only + tmpfs, не root, лимиты CPU/RAM/PID, нет privileged/host/docker.sock; объяснённые исключения (RabbitMQ записываемый корень, telemetry-init CHOWN); SeaweedFS — uid 1000 образа (в Docker-прогоне исключение uid 0 снято). Наружу — только 127.0.0.1 | `compose.yaml`, `Dockerfile`, `student-tests/check_hardening.py` | | X-Instance-Id | Случайный alias процесса (12 hex), а не ID контейнера; `stop_one.py` находит реплику по файлу alias | `settings.py`, `scripts/stop_one.py` | **Источник истины** не менялся: PostgreSQL (данные), S3 (байты), Redis (сессии, счётчики лимитов), OpenBao (учётные данные сервисов). **Транзакционные границы** — как в lab5/6 (outbox). **Готовность (`/health/ready`)**: PostgreSQL + Redis + секреты загружены; OpenBao в readiness не входит — его недоступность не останавливает уже работающую реплику (см. «Эксперименты»). ### Соответствие `.env.example` | Переменная skeleton | В решении | | --- | --- | | `APP_PORT=8080` | API слушает **8443** (только mTLS); наружу — HAProxy 127.0.0.1:8443 | | `DATABASE_URL_FILE`, `CACHE_URL_FILE`, `BROKER_URL_FILE`, `S3_*_FILE` | не используются: адреса — `DB_HOST/DB_USER/REDIS_HOST/REDIS_USER/BROKER_URL/S3_ENDPOINT` в compose, учётные данные — из OpenBao (`messenger/<сервис>`); брокер — вход по сертификату | | `S3_ENDPOINT=https://s3:9000` | `https://s3:8333` (SeaweedFS S3) | | `OTEL_EXPORTER_OTLP_ENDPOINT=https://otel-collector:4318` | так и есть (alias otel-gate) + `OTEL_EXPORTER_OTLP_CERTIFICATE/CLIENT_CERTIFICATE/CLIENT_KEY` | | `PUBLIC_BASE_URL` | `https://localhost:8443` (тесты, ingress) | | `TLS_CA_FILE`, `TLS_CERT_FILE`, `TLS_KEY_FILE` | `/run/tls-ca/ca.crt`, `/run/tls/tls.crt`, `/run/tls/tls.key` (+ `TLS_CRL_FILE=/run/tls-ca/crl.pem`) | | `BAO_ADDR`, `BAO_CACERT` | `BAO_ADDR=https://openbao:8200`; CA — тот же `TLS_CA_FILE`; роль — `BAO_ROLE` = CN сертификата | | `ARGON2_MEMORY_KIB=19456`, `ARGON2_ITERATIONS=2`, `ARGON2_PARALLELISM=1` | `32768 / 2 / 1` (+ `ARGON2_MAX_CONCURRENCY=2`, `ARGON2_QUEUE_SECONDS=2`) | | — | новые: `SECRETS_REFRESH_SECONDS`, `CRL_RELOAD_SECONDS`, `LOGIN_RATE_*`, `REGISTER_RATE_PER_CLIENT`, `MAX_JSON_BYTES` | ## Доказательства критериев Где проверено: **Docker-стенд** на машине автора (Windows 10, Docker Desktop, 16 CPU / 15 GiB VM): стенд поднят с нуля шагами раздела «Запуск», затем `python student-tests/collect_evidence.py` — **все 46 шагов PASS** (`evidence/summary.md`), результаты в `evidence/*.txt|json`, замеры — блок ниже. Ранее решение проверялось в **нативной песочнице** без Docker (`evidence/native-sandbox/`, оставлена для сравнения): тот же стенд процессами, конфиги из `infra/`, вместо `docker` — подмена, управляющая процессами. Ошибки, которые песочница не поймала и которые исправлены по Docker-прогону, — в «Ограничениях». Отличия песочницы: PostgreSQL 16 вместо 17, Redis 7.0 вместо 7.4, RabbitMQ 4.4 вместо 4.1.4, HAProxy 2.8 вместо 3.2, **HashiCorp Vault 2.1.2 как API-совместимая замена OpenBao 2.6.2** (тот же HTTP API: sys/init, unseal, cert auth, KV v2, policies), Prometheus 2.45 (только web-config TLS), Collector — заглушка OTLP за настоящим otel-gate; Loki/Tempo/Grafana не запускались (их TLS-конфиги проверяются только в Docker). ### Уровень 3 | Критерий README | Команда/сценарий | Наблюдаемый результат (Docker) | Файл доказательства | | --- | --- | --- | --- | | Публичный smoke по HTTPS с проверяемым CA и hostname | `make test CA_FILE=secrets/pki/public/ca.crt` | PASS: lab7 public API scenario (регистрация, вход, чат, сообщения, пагинация, идемпотентность, вложение → thumbnail, logout) | `evidence/smoke.txt` | | Внешний TLS: недоверенный CA отвергается | `make test-security`; `test_lab7_security.py test_https_only_and_certificate_checks` | PASS: пустой trust store, чужой CA → `SSLCertVerificationError`; имя `evil.example` → Hostname mismatch; plaintext на 8443 — без ответа приложения; 8080 — не API | `security.txt`, `lab7-security.txt` | | Предыдущие возможности через HTTPS | регрессия lab1–5: `test_api`, `test_race`, `test_idempotency`, `test_balancing`, `test_attachments`, `test_consistency`, `test_jobs`, `test_janitor_replay`, `test_failures`, `test_db`, `redis_info`, `explain`, `load` | все PASS (см. сводку) | `evidence/*.txt` | | Argon2id: соль, параметры, ≥19 MiB/t=2/p=1, обоснование замером | `test_password_storage_argon2id`, `argon2_bench.py` | `$argon2id$v=19$m=32768,t=2,p=1$<16-байтная соль>$…`; одинаковый пароль → разные хеши; замер — «Эксперименты» | `lab7-security.txt`, `argon2-bench.json` | | LB→API mTLS, отказ без cert / чужой CA / неверная identity; нет обхода | `test_tls_matrix.py lb-api` | lb → 200; без сертификата, чужой CA с CN=lb, истёкший lb, intruder (наш CA), worker, api → соединение закрыто; клиент с чужим CA не принимает сервер; plaintext — нет ответа; порт API не опубликован | `tls-matrix.json` | | Остальные связи — TLS с проверкой сервера, раздельные учётные данные и минимальные права | `test_tls_matrix.py`, `test_least_privilege.py`, `contracts/trust-matrix.md` | 78 проверок matrix (12 связей, включая Loki/Tempo/Grafana и внутренний gRPC Tempo), 83 проверки прав — все PASS | `tls-matrix.json`, `least-privilege.json` | | OpenBao не dev-mode, persistent storage, сервисная аутентификация, scoped policy, без root token в приложении | `bao.py init/unseal/configure`; `test_least_privilege.py` (openbao); `run_persistence.py` (рестарт OpenBao + unseal, данные на месте) | cert auth по CN; чужие пути, запись KV/политики, список auth, создание токена → 403; worker как роль api → 400 | `least-privilege.txt`, `tls-matrix.txt`, `persistence.txt` | | Контейнеры: без privileged/host/docker.sock, app/worker non-root, без лишних capabilities, лимиты; наружу только TLS-ingress и локальные админ-порты; секреты не в Git/образах/телеметрии | `check_hardening.py --runtime`, `check_stack.py`, `leak_check.py`, `.gitignore`/`.dockerignore` | статически 183 PASS, 4 объяснённых исключения, 0 нарушений + `docker inspect` всех контейнеров; маркерные пароль/токен — 0 в логах и OTLP | `hardening.json`, `leak-check.json` | | 429 + Retry-After, лимит размера, посторонний пользователь, logout/expiry, недоверенный TLS | `test_lab7_security.py`, `test_expiry.py` (lab2) | 401×9 → 429, Retry-After 60, ответы двух реплик; JSON > 64 KiB → 413 (и chunked), upload 50 MB → 413 на LB; посторонний → 404 ×6; logout → 401 | `lab7-security.txt` | | Сертификаты — локальный документированный bootstrap | `pki.py init` → `init_secrets.py` → `bao.py init/unseal/configure` | чистый Docker-стенд по этим шагам поднят с нуля (новые secrets/, volumes) | раздел «Запуск» | | Smoke, рестарт и отказ реплики через HTTPS без отключения проверки | `run_persistence.py`, `run_failover.py` | PASS (рестарт 16 сервисов, включая OpenBao + unseal, 82.1 с) / PASS ×2 (0 неудачных записей) | `persistence.txt`, `failover.txt` | ### Уровень 4 | Критерий README | Команда/сценарий | Наблюдаемый результат (Docker) | Файл доказательства | | --- | --- | --- | --- | | mTLS API/worker→broker и →Collector с разными identity; сертификат того же CA не даёт лишних прав | `test_tls_matrix.py broker collector` | broker: worker/dispatcher входят, CN=api/intruder/lb → login refused, worker publish / dispatcher basic_get / declare → 403; Collector: api/worker/dispatcher/janitor → 200, lb/grafana/operator/intruder → 403 | `tls-matrix.json` | | Пароли/token hashes и ошибки не раскрывают credentials | `test_errors_and_storage_do_not_reveal_credentials`, `leak_check.py` | ошибки без эха пароля/username; в Redis только `session:`; в логах/телеметрии — 0 маркеров | `lab7-security.txt`, `leak-check.json` | | Rehash старого хеша при входе | `test_rehash_on_login` | m=12288,t=3 (lab2–6) → после входа m=32768,t=2,p=1, повторный вход работает | `lab7-security.txt` | | Измеренный бюджет защиты от login DoS; rate limit общий для реплик | `login_dos.py`, `test_login_rate_limit_is_shared` | см. «Эксперименты»: атака получает 503 busy / 429, легитимные запросы — ограниченная задержка | `login-dos.json` | | Ротация рабочего secret и leaf без пересборки, отзыв старой identity | `lifecycle.py rotate-secret rotate-leaf` | Redis-пароль: v1→v2, обе реплики подхватили, активен только новый, 0 ошибок; leaf lb: rotate → reload → revoke → старый на новом соединении отвергнут, API закрыл 2 соединения со старым leaf, 0 ошибок | `lifecycle-rotate-*.json` | | Ограниченное поведение при expiry / sealed OpenBao; bootstrap trust и renewal описаны; нет постоянного «секрета для получения секретов» | `lifecycle.py token-expiry sealed`; `contracts/trust-matrix.md` «Bootstrap и эксплуатация» | TTL 20 с/max 40 с + отзыв: повторный вход сертификатом, 2393 ответов, 0 ошибок; sealed 75.6 с: работающая реплика без ошибок, перезапущенная — не ready, после unseal ready через 5.4 с | `lifecycle-token-expiry.json`, `lifecycle-sealed.json` | | read_only / no-new-privileges / drop caps / tmpfs; исключения stateful объяснены | `check_hardening.py --runtime` | см. выше; исключения — в `EXCEPTIONS` скрипта и в `security/THREAT_MODEL.md` (T12) | `hardening.json` | | Dependency/image scan с разбором применимости | pip-audit, `trivy config`, `scripts/scan.py` | pip-audit: Pillow 12.3.0 — 39 находок, применимо (worker декодирует недоверенные изображения) → 13.0.0 + `formats=(PNG, JPEG)`, повторно 0. Trivy образов (Docker): OpenSSL 3.5.1 (CRITICAL) и zlib/sqlite/libuuid в базовом `python:3.11.13-slim` — применимо (TLS каждого процесса) → `apt-get upgrade` в Dockerfile, OpenSSL 3.5.7, applicable 37 → 9 (оставшиеся без исправления и недостижимы: модули не импортируются); сторонние образы разобраны по ролям, открыто — RabbitMQ (OpenSSL 3.5.4), OpenBao (Go stdlib), HAProxy (musl/pcre2/zlib) | `security/scan-triage.md`, `evidence/scan/` | | Модель угроз: ≥6 угроз → контроли → отрицательные тесты | `security/THREAT_MODEL.md` | 14 угроз, у каждой — тест из списка выше | — | | Upload-worker ограничен по CPU/RAM/времени | `test_jobs.py limits` (lab5), compose: worker 2 CPU / 1536 MiB / 128 PID, `imaging.py` RLIMIT_AS/CPU + таймаут | PASS | `jobs-limits.txt` | | TLS-аудит всей заявленной матрицы, ACL и отсутствие утечек в telemetry | `test_tls_matrix.py`, `test_lab7_security.py`, `leak_check.py` | все PASS | см. выше | Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-11-07, commit 20afc2c + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres, s3 (SeaweedFS) и rabbitmq по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB, dispatcher 0,25 CPU / 128 MiB, worker 2 CPU / 1536 MiB; lab6: otel-collector 0,5 CPU / 384 MiB, prometheus, loki, tempo по 1 CPU / 512 MiB, grafana 0,5 CPU / 384 MiB; lab7: openbao 0,5 CPU / 256 MiB, otel-gate 0,25 CPU / 64 MiB; у всех — лимит PID. TLS/mTLS-аудит trust matrix изнутри сети (`student-tests/test_tls_matrix.py`, контейнер probe): | Связь | Проверок | Пройдено | | --- | --- | --- | | LB -> API (mTLS, allowlist CN=lb) | 10 | 10 | | API/worker -> RabbitMQ (mTLS + EXTERNAL, CN = broker user) | 11 | 11 | | API/worker -> OTel Collector (mTLS via otel-gate, allowlist app CNs) | 13 | 13 | | API/worker -> PostgreSQL (TLS verify-full, SCRAM, roles) | 4 | 4 | | API -> Redis (TLS + client cert of our CA + ACL user) | 6 | 6 | | API/worker -> S3 (HTTPS + per-service keys by prefix) | 6 | 6 | | Services -> OpenBao (TLS + cert auth by CN + policy) | 7 | 7 | | Collector/Grafana/operator -> Prometheus (mTLS + allowed SANs) | 7 | 7 | | Collector/Grafana/operator -> Loki (mTLS, CA) | 4 | 4 | | Collector/Grafana/operator -> Tempo (mTLS, CA) | 4 | 4 | | Collector -> Tempo OTLP gRPC :4317 (mTLS) | 3 | 3 | | Operator -> Grafana (HTTPS) | 3 | 3 | Минимальные права (`test_least_privilege.py`): 83 проверок, 83 пройдено (разрешённое работает, запрещённое — отказ). Argon2id внутри контейнера api (`argon2_bench.py`, медиана из 7): | m, KiB | t | p | hash, мс | verify, мс | входов/с на реплику при 2 параллельных | RAM на хеширование, MiB | | --- | --- | --- | --- | --- | --- | --- | | 19456 | 2 | 1 | 12.2 | 12.2 | 163.9 | 38 | | 19456 | 3 | 1 | 18.3 | 18.5 | 108.1 | 38 | | 32768 (выбрано) | 2 | 1 | 22.6 | 22.2 | 90.1 | 64 | | 47104 | 2 | 1 | 34.2 | 34.8 | 57.5 | 92 | | 65536 | 2 | 1 | 49.8 | 50.4 | 39.7 | 128 | | 65536 | 3 | 1 | 75.3 | 75.2 | 26.6 | 128 | Login DoS (`login_dos.py`, 16 потоков неверных входов, 20 с): атака 96.2 попыток/с, коды {'401': 360, '429': 1564}; легитимный клиент p95 34.6 -> 194.1 мс, p99 35.5 -> 243.6 мс, коды {'200': 93, '201': 93}. Ротация пароля Redis (api) через OpenBao: {"kv_version": [5, 6], "replicas": 2, "active_passwords_during_overlap": 2, "all_replicas_picked_up_after_s": 23.9, "active_password_hashes_after": 1, "new_password_hash_matches": true}; нагрузка 37.6 с, ответы {'me:200': 431, 'send:201': 431, 'login:201': 18}, ошибок 5xx/соединения 0. Ротация leaf LB + отзыв старого через CRL: {"old_serial": "70ea18ded7f86e5a", "new_serial": "22a71730433d9d42", "probe": {"valid LB identity (CN=lb)": "http_200", "foreign CA, CN=lb": "connection_closed_after_handshake", "our CA, expired, CN=lb": "connection_closed_after_handshake", "previous (rotated, revoked) LB leaf": "connection_closed_after_handshake"}, "api_events_after_revoke": {"tls.crl_loaded": 2, "tls.revoked_connections_closed": 2, "tls.client_rejected": 4}}; нагрузка 23.1 с, ответы {'me:200': 243, 'send:201': 243, 'login:201': 11}, ошибок 5xx/соединения 0. Истечение/отзыв токенов OpenBao: {"role_ttl": "20s / max 40s", "observed_seconds": 100, "api_events": {"secrets.refresh_failed": 2, "secrets.login": 4}}; нагрузка 101.6 с, ответы {'me:200': 1172, 'send:201': 1172, 'login:201': 49}, ошибок 5xx/соединения 0. OpenBao sealed: {"sealed_seconds": 75.6, "restarted_replica_health_while_sealed": "starting", "replicas_answering_while_sealed": 1, "restarted_replica_ready_after_unseal_s": 5.4, "api_events": {"secrets.refresh_failed": 5, "secrets.waiting": 8, "secrets.login": 1}}; нагрузка 89.2 с, ответы {'me:200': 1012, 'send:201': 1012, 'login:201': 43}, ошибок 5xx/соединения 0. Алерты на контролируемых инцидентах (`student-tests/incidents.py`, состояние из Prometheus /api/v1/alerts): | Инцидент | Воздействие | Алерт | firing через, с | resolved через, с после устранения | | --- | --- | --- | --- | --- | | 1. worker | `docker compose stop worker` + 3 загрузки | MessengerWorkerNoConsumers | 94.0 (от stop) | 45.6 (от start) | | 1. worker | `docker compose stop worker` + 3 загрузки | MessengerQueueLagGrowing | 124.5 (от stop) | 45.6 (от start) | | 2. PostgreSQL | `LOCK TABLE messages IN ACCESS EXCLUSIVE MODE` на 210 с под нагрузкой 8 потоков | MessengerHighErrorRate | 122.5 (от LOCK) | 35.1 (от COMMIT блокировки) | | 3. телеметрия | `docker compose stop tempo loki` на 150 с | TelemetryExportFailing | 85.9 (от stop) | 70.6 (от start) | Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 3.0, queued заданий = 3.0, возраст старейшего = 115.4 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 123.0 с, последний лог worker: event=`service.stopped`; трасса загрузки содержит `publish attachments`, но не содержит `process attachments.process.v1`. После start: вложения ready через 5.4 с, backlog 0.0. Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '400': 0.0, '409': 0.0, '404': 0.0, '503': 1.44}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 15.6, 'max': 31.5} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 184}. Error-трасса 50418f127c336af7f2e4dc0190adf7ea: server-спан 5010.0 мс, из них `INSERT` 5001.6 мс (доля 0.998, статус ERROR). Контраст «медленный обработчик» (трасса 2e774b9d5912ba768f3e9881f3c41e80, POST /users): server 47.0 мс, `argon2id hash` 32.2 мс, все спаны БД 6.9 мс. Нагрузка: до 102.1 успешных записей/с, во время блокировки {'503': 320, '201': 8}, после 102.4/с без ошибок. | Отказ телеметрии | API во время отказа | Память | Потери телеметрии | | --- | --- | --- | --- | | `stop tempo loki` на 150 с (окно повторов Collector 120 с) | 8486 запросов, коды {'201': 8486}, доля успеха 1.0 | heap Collector 32.3 -> max 84.7 MiB (limit 200), контейнер max 103.7 MiB | send/enqueue failed в Collector: {'spans': 2048, 'log_records': 213}; пробные трассы дошли 13/13, потеряны отправленные на [] с | | `stop otel-collector` на 90 с | 5298 запросов, коды {'201': 5298}, доля успеха 1.0 | api 831.6 -> max 866.4 MiB (2 реплики) | SDK api потерял спанов: {'processor_queue_full': 0, 'exporter_failed': 19456} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (5554 спанов за минуту) | Публичный тест отказа (`make test-failover`, 15 с записи во время остановки реплики): | Прогон | Остановлена реплика | Реплик до отказа | Успешных записей | Неудачных попыток (повторены с тем же ключом) | Первая запись после hook, с | | --- | --- | --- | --- | --- | --- | | 1 | 0c7893e1043d | 2 | 126 | 0 | 5.453 | | 2 | b7f37f051ba1 | 2 | 125 | 0 | 5.313 | Одновременные загрузки (`student-tests/upload_memory.py`, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов: | Сценарий | Одновременно | Объём, MiB | Время, с (p50 / max) | Реплика: загрузок | RSS до, MiB | Пик RSS, MiB | Рост, MiB | Пик cgroup, MiB | | --- | --- | --- | --- | --- | --- | --- | --- | --- | | 10 x ~9.5 MiB PNG (noise) | 10 | 94.9 | 1.54 / 1.64 | 0c7893e1043d: 5 | 129.5 | 141.0 | 11.5 | 164.8 | | | | | | b7f37f051ba1: 5 | 126.2 | 139.1 | 12.9 | 164.8 | | 10 x 40 Mpx PNG (8000x5000 RGB) | 10 | 1.1 | 1.13 / 1.39 | 0c7893e1043d: 5 | 128.9 | 134.9 | 6.0 | 113.5 | | | | | | b7f37f051ba1: 5 | 126.7 | 134.4 | 7.7 | 113.9 | | 20 mixed: large + 40 Mpx + JPEG | 20 | 133.2 | 1.64 / 2.25 | 0c7893e1043d: 10 | 125.6 | 144.1 | 18.5 | 174.8 | | | | | | b7f37f051ba1: 10 | 128.7 | 147.9 | 19.2 | 182.8 | Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 162 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB. Публичный генератор нагрузки (`tests/load.py`, closed loop, concurrency 4, 30 с, 2 реплики): 206.623 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 47.0 мс. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | | публичный `make test-failover` для каждой реплики | запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет | PASS 2 раз(а), неудачных попыток: 0, 0 | первая запись после hook через 5.453, 5.313 с (hook ждёт остановки ~4 с); потерь нет | | перезапуск всего стенда (`restart` hook: postgres, redis, s3, api, janitor, lb) | данные, файл и прежний токен живы | PASS, те же контейнеры с новым временем старта | 82.1 с до готовности; потерь нет | | `docker compose stop s3` (SeaweedFS остановлен) | загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают | upload 503 за 781 мс, download 503, остальное 200/201 | после start файлы на месте; uploading-строку убрал janitor; потерь нет | | `docker compose pause s3` (SeaweedFS завис) | то же, но через таймауты S3-клиента | upload 503 за 8703 мс (2 попытки x 5 с + откат 2 с) | после unpause файлы на месте; потерь нет | | падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) | вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку | GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено | мусора не осталось; повторный проход ничего не делает | | обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) | ничего не сохраняется | строк и объектов не прибавилось, временных файлов 0 | мгновенно | | worker остановлен, upload, рестарт rabbitmq и api с volumes, start worker | 202 queued, сообщение с вложением 201, content 409; после рестартов job в очереди; тот же job_id -> ready | worker started -> same job 6133fe0a-b568-4024-8bb7-4d7d32ed0433 ready, thumbnail downloadable; staging object deleted | потерь нет; staging удалён после COMMIT | | rabbitmq остановлен во время upload | 202 и /health/ready 200 без брокера; строка outbox ждёт; после start публикуется | rabbitmq started -> dispatcher published the pending row -> ready | потерь нет | | crash dispatcher между COMMIT задания и publish | строка outbox не отмечена -> публикуется после рестарта процесса | dispatcher killed between COMMIT and publish; restarted by policy, outbox re-published -> job 60ca1ef4-a5fb-48ad-94bd-5f14f683304d ready, attempt 1, no manual action | без ручного действия | | crash dispatcher после confirm, до отметки outbox | дубль сообщения, worker распознаёт по состоянию job | dispatcher killed after publisher confirm, before marking outbox -> message published twice; worker: ['created', 'claimed', 'ready', 'duplicate_ignored'] -> one result set | один набор вариантов | | crash worker после PUT в S3, до COMMIT и ack | повтор после истечения аренды перезаписывает те же ключи | worker killed after S3 PUT (before COMMIT and ack): redelivery saw a live lease (no-op), lease expired after 15 s, attempt 2 rewrote the same keys -> one set; events ['created', 'claimed', 'duplicate_ignored', 'lease_expired', 'claimed', 'ready'] | один набор, 4 объекта | | crash worker после COMMIT, до ack | redelivery ready-задачи -> no-op ack | worker killed after COMMIT, before ack: broker redelivered, worker acked as no-op (1:duplicate_ignored:status=ready); queue empty (0 ready, 0 unacked) | очередь пуста, дублей нет | | worker завис (не продлевает аренду) | dispatcher возвращает job, другой поток завершает; поздний результат отклонён fencing | frozen attempt 1 stopped renewing; lease expired, recovered by dispatcher, attempt 2 ready after 18 s; frozen attempt woke up -> stale_result_rejected; events ['created', 'claimed', 'lease_expired', 'claimed', 'ready', 'stale_result_rejected'] | ready не откатан | | зависание обработки изображения | процесс убит по JOB_TIMEOUT_SECONDS, временная ошибка, аренда продлевалась | imaging hang -> killed after 60 s (processing_timeout, temporary), lease renewed meanwhile (no lease_expired), attempt 2 ready after 63 s | повтор -> ready | | нехватка памяти в процессе обработки (RLIMIT_AS) | failed/resource_limit, worker жив | memory bomb in the imaging process -> failed/resource_limit after attempt 1; worker itself survived | постоянная ошибка, без повторов | | 2 временные ошибки S3 | backoff с jitter, затем ready | 2 x storage_unavailable -> retries after 1.70 s and 2.50 s (equal jitter: 1..2 s, 2..4 s), attempt 3 ready | - | | 5 временных ошибок подряд | failed/retry_exhausted, реестр failed, content 409 | 5 temporary errors -> failed/retry_exhausted (public error_code), content 409, attach 409, listed by ops.py failed (replayable) | replay оператора | | replay failed и повторный replay ready | тот же job_id -> ready; повтор отклонён | ops replay -> same job_id 3d109dba-1036-482a-a6fb-8116c7894b6d attempt 6 ready; second replay refused: "job is ready, replay is only for failed jobs" | дубля нет | | невалидное сообщение и неизвестный job_id | reject -> DLQ, dlq-replay не исполняет | schema-invalid message and unknown job_id -> reject -> DLQ (4 message(s)); dlq-replay kept them: ['unknown job', 'unknown job'] | сообщения сохранены | | 8 заданий в очереди, старт worker | WORKER_CONCURRENCY=2, prefetch 1 | 2 consumers, prefetch_count 1, manual ack; 8 queued 3000x2000 JPEG drained in 2.6 s after worker start, peak processing 2 of 8 (6 samples) | - | ## Эксперименты и отказы Docker-стенд: Windows 10, Docker Desktop (VM 16 CPU, 15.2 GiB), клиент тестов — Python 3.11 на том же хосте, 2 реплики API по 1 CPU / 512 MiB. Числа нативной песочницы (2 vCPU на всё) — в `evidence/native-sandbox/summary.md`, с этими не сравнивать. **Argon2id — выбор параметров** (`argon2_bench.py`, внутри контейнера api, медиана из 7): | m, KiB | t | p | hash, мс | verify, мс | входов/с на реплику (2 параллельно) | RAM на хеширование | | --- | --- | --- | --- | --- | --- | --- | | 19456 | 2 | 1 | 12.2 | 12.2 | 163.9 | 38 MiB | | 19456 | 3 | 1 | 18.3 | 18.5 | 108.1 | 38 MiB | | 32768 **(выбрано)** | 2 | 1 | 22.6 | 22.2 | 90.1 | 64 MiB | | 47104 | 2 | 1 | 34.2 | 34.8 | 57.5 | 92 MiB | | 65536 | 2 | 1 | 49.8 | 50.4 | 39.7 | 128 MiB | | 65536 | 3 | 1 | 75.3 | 75.2 | 26.6 | 128 MiB | Выбрано **m=32 MiB, t=2, p=1**: в 1,7 раза больше памяти, чем минимум OWASP/README (19 MiB, t=2), ~22 мс на проверку в контейнере api — незаметно для пользователя и вдвое дешевле 64 MiB (~50 мс). Бюджет реплики: не больше `ARGON2_MAX_CONCURRENCY=2` хешей одновременно (≤ 64 MiB из 512 MiB лимита памяти), ожидание слота не дольше 2 с, дальше — 503 + Retry-After. У api лимит 1 CPU, поэтому два параллельных хеша делят одно ядро: реальный потолок ≈ 1000 / 22 мс ≈ 45 проверок пароля в секунду на реплику (≈ 90/с на две; колонка «2 параллельно» — без учёта лимита CPU); всё, что выше, отсекают сначала общий лимит Redis (429), потом бюджет реплики (503), а не рост памяти или очередь. 64 MiB/t=2 удвоили бы и цену входа, и память на хеширование при том же бюджете, то есть вдвое снизили бы потолок входов. (В песочнице те же параметры стоили ~50 мс — выбор от этого не меняется.) **Находка при проверке burst (песочница):** без настройки аллокатора glibc держит 32-MiB буферы Argon2 в отдельных arena каждого потока — 200 одновременных проверок раздували RSS реплики на +548 MiB (больше лимита 512 MiB → OOM-kill под атакой). `MALLOC_MMAP_THRESHOLD_=1048576` в окружении api заставляет крупные буферы идти через mmap и возвращаться ОС сразу: прирост RSS на том же burst — +37 MiB в песочнице, +74.7 MiB в Docker (ниже). Добавлено в `compose.yaml` и в угрозу T5. **Login DoS** (`login_dos.py`): | Фаза | Легитимных запросов | p50 / p95 / p99, мс | Коды легитимных | Попыток входа атаки | Коды атаки | | --- | --- | --- | --- | --- | --- | | без атаки, 20 с | 694 | 12.3 / 34.6 / 35.5 | {'200': 347, '201': 347} | — | — | | атака: 16 потоков неверных паролей по 40 username, 20 с | 186 | 91.1 / 194.1 / 243.6 | {'200': 93, '201': 93} | 1924 (96.2/с), p95 ответа 480.5 мс | {'401': 360, '429': 1564} | Из 1924 попыток атаки хеш Argon2id посчитан только для 360 (ответ 401: по 9 на каждый из 40 username до срабатывания лимита), 1564 отсечены общим (Redis) лимитом 429 + Retry-After до хеширования, 503 busy — 0: до бюджета реплики дело не дошло, его отдельно проверяет burst ниже. Легитимные запросы обслуживались без ошибок; задержка выросла (p95 34.6 → 194.1 мс), и поэтому closed-loop клиент сделал за 20 с меньше запросов (694 → 186): атакующий клиент, стенд и легитимный клиент делят одну машину, а 16 потоков TLS-рукопожатий и Python-клиента сами занимают CPU хоста. Burst в одном процессе api (бюджет без помощи rate limit): 200 одновременных проверок пароля → одновременно считалось не больше 2 хешей (лимит 2), посчитано 75, отклонено 503 + Retry-After 125, самое долгое ожидание отказа 2.05 с (= очередь 2 с); прирост RSS 74.7 MiB при лимите 512 MiB (с MALLOC_MMAP_THRESHOLD_=1048576; без него в песочнице было +548 MiB, см. угрозу T5). **Жизненный цикл под нагрузкой** (`lifecycle.py`, фоновая нагрузка: вход + GET /users/me + POST message): | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | | Ротация пароля Redis-пользователя api через OpenBao | 0 ошибок; после — активен только новый пароль | KV v5 → v6 (предыдущие версии — от прошлых прогонов); паролей во время перехода 2, после — 1 (новый); обе реплики подхватили за 23.9 с (≤ SECRETS_REFRESH_SECONDS 30 с); нагрузка 37.6 с, 880 ответов, ошибок 0 | без рестартов и пересборки; потерь данных нет | | Ротация leaf-сертификата LB + отзыв старого (CRL) | 0 ошибок; старый leaf отвергается на новом соединении, открытые закрыты | старый leaf → connection_closed_after_handshake, новый → http_200; события API: {'tls.crl_loaded': 2, 'tls.revoked_connections_closed': 2, 'tls.client_rejected': 4}; нагрузка 23.1 с, 497 ответов, ошибок 0 | эффект отзыва ≤ CRL_RELOAD_SECONDS (5 с) после reload; потерь данных нет | | Токены OpenBao роли api: TTL 20 с / max 40 с + отзыв всех токенов | сервисы перелогиниваются сертификатом, 0 ошибок | события API за 100 с: {'secrets.refresh_failed': 2, 'secrets.login': 4}; нагрузка 101.6 с, 2393 ответов, ошибок 0 | без участия оператора; потерь данных нет | | OpenBao запечатан, одна реплика API перезапущена | работающая реплика обслуживает, перезапущенная не ready до unseal | sealed 75.6 с; перезапущенная реплика: starting (не healthy, LB её не использует); события API: {'secrets.refresh_failed': 5, 'secrets.waiting': 8, 'secrets.login': 1}; нагрузка 89.2 с, 2067 ответов, ошибок 0 | реплика ready через 5.4 с после unseal; потерь данных нет | **Отказы lab3–5 через HTTPS** (публичные тесты): `run_persistence.py` — рестарт PostgreSQL, Redis, S3, RabbitMQ, **OpenBao** (+ unseal hook'ом), телеметрии, приложения и LB с сохранением volumes; данные и прежний токен на месте. `run_failover.py` — остановка каждой реплики по очереди под записью. - persistence: PASS — the hook restarted postgres, redis, s3, rabbitmq, openbao, api, janitor, dispatcher, worker, lb, otel-gate, otel-collector, prometheus, loki, tempo, grafana (all api replicas; same containers, new start time); data, the attachment bytes and the old token survived; hook + готовность 82.1 с - failover, реплика 1: реплик до отказа 2, успешных записей 126, неудачных попыток (повторены тем же ключом) 0, первая запись после hook через 5.453 с - failover, реплика 2: реплик до отказа 2, успешных записей 125, неудачных попыток (повторены тем же ключом) 0, первая запись после hook через 5.313 с ## Ограничения и следующие шаги - **Один хост, одна копия каждого хранилища** — отказ хоста, PostgreSQL, Redis, RabbitMQ, SeaweedFS или OpenBao не выдерживается (как в lab3–6). OpenBao sealed/недоступен: работающие реплики живут на кэше, новые не стартуют — сознательный fail closed. - **Доли unseal в одном файле оператора** (учебный компромисс): restart-hook распечатывает OpenBao без человека. В эксплуатации — `bao.py init --print-shares-once`, доли у разных людей, `unseal --prompt`, отзыв root token после настройки, CA офлайн. - **CRL проверяют** API (сам, с перечитыванием), HAProxy (lb, otel-gate — при reload), OpenBao cert auth (`bao.py sync-crl`). **Не проверяют**: RabbitMQ, Redis, PostgreSQL, Prometheus/Loki/Tempo — для них отзыв = удаление пользователя/смена пароля + короткий срок leaf (30 суток). Следующий шаг — короткоживущие leaf из OpenBao PKI с автопродлением (трек 5.2). - **Loki/Tempo** различают только «наш CA / не наш»: читатель и писатель не разделены; сервис приложения может подписать телеметрию чужим `service.name` (шлюз проверяет identity, но не содержимое). - **Пароли ролей PostgreSQL**: ротация описана (новая версия KV → `docker compose run --rm migrate`), но не демонстрировалась и даёт окно до 30 с отказов новых соединений; на 4 продемонстрирована ротация пароля Redis (без окна — два пароля одновременно). - **SeaweedFS 4.52 после рестарта** отдаёт чтение раньше записи: `/cluster/healthz` = 200 через ~20 с, но мастер ещё ~15 с отвечает «master is warming up» на `/dir/assign`, и загрузки получают 503. Флага, сокращающего прогрев, нет; healthcheck S3 переведён на `/dir/assign` (готовность к записи), `test_consistency` ждёт первую успешную загрузку (в Docker — 14.7 с после того, как старый файл снова читается; в песочнице было 16 с). - **Исключения hardening**: RabbitMQ с записываемым корнем; telemetry-init — root + CAP_CHOWN на время chown (идемпотентно: chown только для volume, который ещё не принадлежит 10001). SeaweedFS после Docker-прогона работает от uid 1000 (`seaweed` образа), исключение uid 0 снято. - **Restart hook на настоящем Docker** (в песочнице не воспроизводилось): (1) `docker compose restart` восьми хранилищ ждёт самые медленные (PostgreSQL, RabbitMQ), а запечатанный OpenBao за это время проваливает 3 healthcheck, становится `unhealthy`, и `up --wait` сразу падает, хотя через секунду OpenBao уже распечатан; (2) параллельный `restart otel-gate otel-collector …` — Collector не может войти в network namespace ещё остановленного gate. Исправлено порядком в `scripts/restart.cmd`/`.sh`: OpenBao перезапускается отдельно и распечатывается сразу (внутри `start_period`), otel-gate — отдельно перед Collector; набор перезапускаемых сервисов тот же. - **Нестабильные проверки, найденные в Docker** (ожидания не менялись, исправлено ожидание готовности): Loki после старта ~15 с отвечает `/ready` → 503 «Ingester not ready» — положительная проверка mTLS оператора к Loki/Tempo в `tls_probe.py` ждёт готовности до 30 с, только если mTLS пройден (ответ 503), итог по-прежнему должен быть 200; в `test_telemetry.py` трасса считалась полной по span'ам worker, а batch API/dispatcher выгружается независимо (до 5 с) и иногда приходил в Tempo позже (2 FAIL из 4) — условие ожидания теперь требует span'ы всех процессов, проверки те же (4 из 4 PASS). `lifecycle.py token-expiry`: после `revoke-service-tokens` отзыв замечает то обращение к OpenBao, которое случится раньше, — чтение KV (`secrets.refresh_failed`) или продление токена; во втором случае API сразу входил заново, но писал общее с max TTL событие `secrets.relogin`, и тест (ждал только refresh_failed) падал при работающей функции. Теперь неудачный renew — отдельное событие `secrets.renew_failed` (WARNING, `secretstore.py`), тест принимает любой из двух путей обнаружения и по-прежнему требует повторный вход и 0 ошибок. В `upload_memory.py` счётчик загрузок по репликам сравнивал X-Instance-Id с ID контейнера (в lab7 это alias) и всегда давал 0 — сопоставление через `instance_aliases()`. - **Память SeaweedFS 4.52**: ~240 MiB в простое; в Docker-прогоне `upload_memory.py` (20 параллельных загрузок по ~10 MiB) довёл процесс до лимита 512 MiB, ядро убило его (SIGKILL, рестарт по политике), половина загрузок получила 503. Исправлено без повышения лимита: `GOMEMLIMIT=400MiB` (GC Go ориентируется на лимит) и `-s3.concurrentUploadLimitMB=128` (сверх 128 MiB тел одновременно шлюз ставит загрузки в очередь). После — все 20 загрузок 202, рестартов S3 нет. Цена — задержка загрузок при длительном потоке крупных файлов (T14). - **`localhost` на хосте Windows** резолвится сначала в `::1`, а порты опубликованы только на `127.0.0.1` (IPv6-loopback не публикуем намеренно): каждое новое TCP-соединение с `https://localhost:8443` ждёт ~2 с отказа по IPv6 (замер: localhost 2031–2051 мс, 127.0.0.1 — 0 мс). Первый Docker-прогон из-за этого давал в 40 раз меньше запросов нагрузки. Скрипты `student-tests` по умолчанию ходят на `https://127.0.0.1:<порт>` (IP есть в SAN сертификатов ingress и админ-интерфейсов, имя проверяется так же строго); `https://localhost:8443` работает, только медленнее на новых соединениях. - **OpenBao file storage** в 2.6.2 помечен deprecated (в логе: «use bao operator migrate … by v2.7.0»). Для учебного стенда на одном хосте оставлен; перед обновлением до 2.7 — `bao operator migrate` на integrated storage (raft). - **Rate limit на username** позволяет заблокировать вход конкретному пользователю на окно (60 с) — плата за защиту от подбора; лимит регистрации при недоступном Redis пропускается (защищает бюджет Argon2id). - **Docker-прогон после песочницы** (настоящие OpenBao 2.6.2, HAProxy 3.2, RabbitMQ 4.1.4, PostgreSQL 17, Redis 7.4, Loki/Tempo/Grafana с TLS): прошли все 46 шагов. Исправлено по его итогам (подробно — пункты выше): SeaweedFS 4.52 не мог писать в `/data` от root без capabilities → запуск от uid 1000; `telemetry-init` падал на повторном `up` → идемпотентный chown; у Prometheus не было tmpfs `/tmp` для `promtool test rules`; память SeaweedFS под 20 параллельными загрузками; порядок restart hook; `localhost` → `127.0.0.1` в клиентах тестов; ожидания готовности в трёх тестах; отдельное событие `secrets.renew_failed`; по скану образов — `apt-get upgrade` в `Dockerfile` (OpenSSL 3.5.1 → 3.5.7), после чего весь прогон повторён. - **Открыто по скану** (`security/scan-triage.md`): OpenSSL 3.5.4 в `rabbitmq:4.1.4-alpine` (порт только в internal-сети `data`, вход по mTLS), Go stdlib/x/net в OpenBao 2.6.2, musl/pcre2/zlib в HAProxy 3.2.25 — закрываются обновлением тегов до патч-релизов с повторным прогоном; в этой работе версии сторонних сервисов не менялись. Конфигурации OpenBao, HAProxy, RabbitMQ (EXTERNAL), PostgreSQL (ключ в /tmp/pgtls), TLS Collector → Loki/Tempo/Prometheus, Grafana → источники и внутренний gRPC Tempo заработали без изменений. ## Ответы на вопросы защиты (кратко) - **Какая часть mTLS проверяет шифрование, какая идентичность и где разрешение на действие?** Шифрование и целостность — TLS-сессия (ECDHE). Идентичность сервера — проверка цепочки до нашего CA и имени (verify-full / check_hostname / verifyhost). Идентичность клиента — его сертификат (цепочка, срок, CRL). Разрешение — отдельный шаг после рукопожатия: API — allowlist CN=lb; otel-gate — CN ∈ приложений; RabbitMQ — пользователь = CN и его permissions; OpenBao — роль cert auth = CN → policy; Prometheus — `client_allowed_sans`; PostgreSQL/Redis/S3 — по роли/ACL/ключу. Пользовательская сессия (Bearer) — ещё выше, внутри API. - **Почему доверенный CA ещё не означает, что любой его клиент может быть LB?** Один CA выпускает сертификаты всем сервисам; «подписан нашим CA» говорит только «это кто-то из наших». Если пускать любого, скомпрометированный worker стал бы балансировщиком (обход лимитов, подделка XFF). Поэтому API проверяет CN=lb — в тесте сертификаты worker, api и intruder нашего CA отвергаются. - **Где хранится первый секрет для доступа к OpenBao и кто имеет право unseal?** Первый секрет сервиса — его leaf-сертификат и ключ (`secrets/pki/`, смонтирован только в этот сервис, 30 суток, отзывается CRL). SecretID/токенов в env нет. Unseal — оператор: 3 доли, порог 2 (на стенде в `secrets/operator/openbao-init.json`, 0600, вне Git и контейнеров; в эксплуатации — у разных людей). - **Что происходит при истечении credentials, остановке OpenBao и рестарте API?** Токен OpenBao продлевается и при исчерпании max TTL заменяется новым входом по сертификату (без влияния на запросы). Истёкший leaf — отказ рукопожатия, нужен `pki.py rotate`. OpenBao остановлен/sealed — работающие процессы обслуживают запросы с секретами в памяти, обновление ротаций откладывается; рестартованная реплика не становится ready, LB её не использует; после unseal — восстанавливается сама. Рестарт API при работающем OpenBao — обычный: вход сертификатом, секреты за доли секунды.