Files
mtusi2026lab7/REPORT.md
T

326 lines
64 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 7
- Автор, группа: Бабиченко Максим, БВТ2303
- Целевая оценка; выбранный трек 5, если нужен: **4**, трек 5 не выбран
- Commit/PR: <<ссылка на MR после публикации>>
- Использованные источники, библиотеки и помощь ИИ: всё из lab6 (FastAPI, psycopg 3, pika, boto3, Pillow, OpenTelemetry SDK, RabbitMQ 4.1, SeaweedFS, PostgreSQL 17, Redis 7.4, HAProxy 3.2, OTel Collector, Prometheus, Loki, Tempo, Grafana). Новое: `cryptography` 50.0.2 (выпуск сертификатов оператором, разбор и проверка подписи CRL в API), образ `openbao/openbao:2.6.2`, SeaweedFS обновлён до 4.52 (TLS шлюза S3, права по prefix, mTLS внутреннего gRPC), Pillow 12.3.0 → 13.0.0 и security-обновления Debian в образе приложения (скан). Документация: OWASP Password Storage и File Upload Cheat Sheets, RFC 9106 (Argon2), OpenBao (cert auth, policies, KV v2, seal/unseal, production hardening), RabbitMQ TLS и `rabbitmq_auth_mechanism_ssl`, PostgreSQL `pg_hba`/SSL/SCRAM, Redis TLS и ACL, SeaweedFS `security.toml`, Prometheus web configuration (`client_allowed_sans`), Grafana/Tempo/Loki TLS, Docker security, pip-audit, Trivy. При написании кода, конфигураций и тестов использовался ИИ-ассистент (Claude); весь код я прогнал и могу объяснить и изменить на защите.
## Запуск из чистого clone
Проверяю на Windows (PowerShell, Docker Desktop). На хосте нужен Python 3.11+: тесты — только стандартная библиотека, операторские скрипты PKI — пакет `cryptography` (`requirements-ops.txt`). Перед запуском остановить стенд lab6 (`docker compose down` в его папке). Имя проекта Compose — `messenger-lab7`, volumes свои.
```powershell
git clone https://gitea.privcloud.tech/Kalibr/mtusi2026lab7.git
cd mtusi2026lab7
git checkout solution/bvt2303-babichenko
$env:PYTHONUTF8 = "1"
python -m pip install -r requirements-ops.txt # cryptography — только для scripts/pki.py
Copy-Item .env.example .env
# 1. Оператор: учебный CA и сертификаты сервисов (ключ CA остаётся в secrets/pki/ca, никуда не монтируется)
python scripts/pki.py init
# 2. Оператор: пароли/ключи стенда (серверные конфиги + файл для OpenBao), значения не печатаются
python scripts/init_secrets.py
# 3. OpenBao: старт, инициализация (3 доли, порог 2), распечатка, настройка (KV, cert auth, политики, секреты)
docker compose up -d openbao
python scripts/bao.py init
python scripts/bao.py unseal
python scripts/bao.py configure
# 4. Весь стенд
docker compose --env-file .env config --quiet
docker compose up -d --build --wait
docker compose ps -a # migrate, s3-init, telemetry-init: Exited (0); остальные running/healthy
# 5. Проверки
python tests/smoke.py --base-url https://localhost:8443 --ca-file secrets/pki/public/ca.crt # make test CA_FILE=...
python tests/security.py --base-url https://localhost:8443 --ca-file secrets/pki/public/ca.crt # make test-security
python student-tests/collect_evidence.py # все шаги lab7 + регрессия lab1–6 -> evidence/, таблицы в REPORT.md
python scripts/scan.py # pip-audit + Trivy по образам -> evidence/scan/
```
| Что | Где |
| --- | --- |
| API (единственная точка входа) | https://localhost:8443, доверять `secrets/pki/public/ca.crt` (сертификат ingress: SAN localhost, 127.0.0.1) |
| Grafana | https://localhost:3000, логин `admin`, пароль — `secrets/grafana_admin_password`. Браузеру нужен наш CA: `Import-Certificate -FilePath secrets\pki\public\ca.crt -CertStoreLocation Cert:\CurrentUser\Root` (по желанию; проверку не отключаем) |
| Prometheus / Loki / Tempo | https://localhost:9090, :3100, :3200 — только с клиентским сертификатом оператора: `curl.exe --cacert secrets/pki/public/ca.crt --cert secrets/pki/operator/tls.crt --key secrets/pki/operator/tls.key https://localhost:9090/-/ready` |
| Статистика HAProxy | https://localhost:8404/stats — тот же сертификат оператора |
| OpenBao (оператор) | https://127.0.0.1:8200, `python scripts/bao.py status` |
Отдельные проверки lab7 (make на Windows нет):
| Команда | Что проверяет |
| --- | --- |
| `python student-tests/test_tls_matrix.py` | вся trust matrix изнутри сети (контейнер `probe`): разрешённая identity проходит, без сертификата / чужой CA / чужая identity нашего CA / истёкший / отозванный — отказ; plaintext не отвечает |
| `python student-tests/test_least_privilege.py` | api/worker/dispatcher/janitor своими учётными данными: GRANT PostgreSQL, prefix S3, политики OpenBao, ACL Redis |
| `python student-tests/test_lab7_security.py` | только HTTPS, заголовки, посторонний пользователь, logout, общий rate limit, лимиты тела, Argon2id, rehash, отсутствие утечек |
| `python student-tests/lifecycle.py rotate-secret rotate-leaf token-expiry sealed` | ротация секрета и leaf, отзыв, истечение токенов, sealed OpenBao — под нагрузкой |
| `python student-tests/leak_check.py` | пароль/токен/Authorization не попадают в логи контейнеров, Loki, Tempo, метки Prometheus |
| `python student-tests/argon2_bench.py`, `python student-tests/login_dos.py` | замер Argon2id в контейнере api; бюджет защиты от login DoS |
| `python student-tests/check_hardening.py --runtime` | privileged/host/docker.sock, capabilities, no-new-privileges, read_only, не root, лимиты, порты |
| `python student-tests/run_persistence.py`, `python student-tests/run_failover.py` | публичные `test-persistence` (hook `scripts\restart.cmd`, включая рестарт и unseal OpenBao) и `test-failover` (hook `scripts\stop-one.cmd`) по HTTPS |
**После перезагрузки хоста / рестарта OpenBao** он запечатан: `python scripts/bao.py unseal`. До этого уже работающих процессов нет, новые не стартуют (ждут до 60 с и перезапускаются Docker) — после unseal стенд поднимается сам. **Остановка без потери данных:** `docker compose down` (volumes `openbaodata`, `pgdata`, `redisdata`, `s3data`, `rabbitmqdata`, `faults`, `promdata`, `lokidata`, `tempodata`, `grafanadata` остаются). **Намеренное удаление учебных данных:** `docker compose down -v`, удалить папку `secrets` (CA, ключи, доли unseal, пароли) и пройти шаги 1–4 заново.
## Архитектура и решения
```
клиент --HTTPS 127.0.0.1:8443--> lb (HAProxy) ==mTLS, клиент CN=lb==> api x2 (FastAPI)
api --TLS verify-full + SCRAM, роль messenger_api--> postgres api --TLS+mTLS + ACL user api--> redis
api --HTTPS + ключ api (staging/ write, attachments/ read)--> s3 api ==cert auth CN=api==> openbao
api/worker/dispatcher/janitor ==mTLS, CN из allowlist==> otel-gate --127.0.0.1--> otel-collector
dispatcher ==AMQPS EXTERNAL CN=dispatcher==> rabbitmq <==AMQPS EXTERNAL CN=worker== worker
otel-collector ==mTLS CN=otel-collector==> prometheus | loki | tempo <==mTLS CN=grafana== grafana
```
**Что перенесено из lab6:** весь API (lab1–5), outbox/dispatcher/worker/janitor, телеметрия (SDK, Collector, Prometheus/Loki/Tempo/Grafana, dashboard, алерты, runbooks), тесты lab1–6. **Что изменено в lab7:**
| Область | Решение | Где |
| --- | --- | --- |
| PKI | Учебный CA оператора (ECDSA P-256), leaf на каждую identity (30 суток, CN + URI SAN `spiffe://messenger.lab/<cn>`), CRL, ротация/отзыв, тестовые сертификаты (чужой CA, intruder, истёкший) | `scripts/pki.py` |
| Внешний TLS | HAProxy: только HTTPS :8443, TLS 1.2+, без tickets, HSTS, nosniff, без `Server`; `X-Forwarded-For` перезаписывается; тело > 11 MiB → 413 | `infra/haproxy.cfg` |
| LB → API | mTLS: HAProxy проверяет сертификат API (CA, CRL, имя api) и предъявляет `lb`; API (`tlsutil.py`, свой протокол uvicorn) — цепочка/срок (OpenSSL) + **allowlist CN** и CRL до чтения запроса; CRL перечитывается раз в 5 с, открытые соединения отозванных сертификатов закрываются. Health — отдельный listener 127.0.0.1:8081 | `tlsutil.py`, `main.py` |
| OpenBao | Не dev-mode: file storage в volume, TLS-listener, init/unseal оператором, KV v2 `messenger/`, **cert auth** (роль = CN, только наш CA, CRL), 6 политик по одному пути, токены 15 мин / max 1 ч. Клиент приложения: вход, renew, relogin, перечитывание KV раз в 30 с, работа на кэше при sealed | `infra/openbao/`, `scripts/bao.py`, `secretstore.py` |
| PostgreSQL | `ssl=on`, `pg_hba`: только `hostssl` + SCRAM; 4 роли приложения с GRANT по запросам (`006_roles.sql`), пароли из OpenBao на каждое соединение, migrate ставит их SCRAM-verifier'ом | `infra/postgres/pg_hba.conf`, `dbconn.py`, `migrate.py` |
| Redis | Только TLS, клиентский сертификат обязателен, ACL: `default off`, `api` — `session:*`/`ratelimit:*` и 13 команд; пароль через credential provider (ротация без рестарта) | `infra/redis.conf`, `auth.py` |
| S3 | SeaweedFS 4.52: HTTPS :8333, внутренние порты на loopback, gRPC :18333 — mTLS только CN=s3, IAM/Iceberg/Lance выключены; ключи api/worker/janitor/s3-init с правами по prefix | `infra/seaweedfs/security.toml`, `scripts/init_secrets.py` |
| RabbitMQ | Только AMQPS :5671, `verify_peer`, EXTERNAL (пользователь = CN), пользователи без паролей, distribution/epmd на loopback; плагины — только `rabbitmq_auth_mechanism_ssl` | `infra/rabbitmq.conf`, `broker.py` |
| Телеметрия | otel-gate (HAProxy) — mTLS и allowlist CN приложений перед Collector (Collector на 127.0.0.1); Collector → Tempo/Loki/Prometheus по mTLS; Prometheus `client_allowed_sans`; Loki gRPC на loopback, Tempo внутренний gRPC по TLS; Grafana по HTTPS, источники — mTLS | `infra/otel/`, `infra/prometheus/web.yml`, `infra/loki`, `infra/tempo`, `infra/grafana` |
| Пароли и вход | Argon2id m=32 MiB, t=2, p=1 (замер ниже), rehash при входе, ≤2 хеша на реплику одновременно (иначе 503 + Retry-After), общий rate limit в Redis (429 + Retry-After), JSON ≤ 64 KiB (в т.ч. chunked) | `auth.py`, `main.py` |
| Hardening | Все сервисы: cap_drop ALL, no-new-privileges, read_only + tmpfs, не root, лимиты CPU/RAM/PID, нет privileged/host/docker.sock; объяснённые исключения (RabbitMQ записываемый корень, telemetry-init CHOWN); SeaweedFS — uid 1000 образа (в Docker-прогоне исключение uid 0 снято). Наружу — только 127.0.0.1 | `compose.yaml`, `Dockerfile`, `student-tests/check_hardening.py` |
| X-Instance-Id | Случайный alias процесса (12 hex), а не ID контейнера; `stop_one.py` находит реплику по файлу alias | `settings.py`, `scripts/stop_one.py` |
**Источник истины** не менялся: PostgreSQL (данные), S3 (байты), Redis (сессии, счётчики лимитов), OpenBao (учётные данные сервисов). **Транзакционные границы** — как в lab5/6 (outbox). **Готовность (`/health/ready`)**: PostgreSQL + Redis + секреты загружены; OpenBao в readiness не входит — его недоступность не останавливает уже работающую реплику (см. «Эксперименты»).
### Соответствие `.env.example`
| Переменная skeleton | В решении |
| --- | --- |
| `APP_PORT=8080` | API слушает **8443** (только mTLS); наружу — HAProxy 127.0.0.1:8443 |
| `DATABASE_URL_FILE`, `CACHE_URL_FILE`, `BROKER_URL_FILE`, `S3_*_FILE` | не используются: адреса — `DB_HOST/DB_USER/REDIS_HOST/REDIS_USER/BROKER_URL/S3_ENDPOINT` в compose, учётные данные — из OpenBao (`messenger/<сервис>`); брокер — вход по сертификату |
| `S3_ENDPOINT=https://s3:9000` | `https://s3:8333` (SeaweedFS S3) |
| `OTEL_EXPORTER_OTLP_ENDPOINT=https://otel-collector:4318` | так и есть (alias otel-gate) + `OTEL_EXPORTER_OTLP_CERTIFICATE/CLIENT_CERTIFICATE/CLIENT_KEY` |
| `PUBLIC_BASE_URL` | `https://localhost:8443` (тесты, ingress) |
| `TLS_CA_FILE`, `TLS_CERT_FILE`, `TLS_KEY_FILE` | `/run/tls-ca/ca.crt`, `/run/tls/tls.crt`, `/run/tls/tls.key` (+ `TLS_CRL_FILE=/run/tls-ca/crl.pem`) |
| `BAO_ADDR`, `BAO_CACERT` | `BAO_ADDR=https://openbao:8200`; CA — тот же `TLS_CA_FILE`; роль — `BAO_ROLE` = CN сертификата |
| `ARGON2_MEMORY_KIB=19456`, `ARGON2_ITERATIONS=2`, `ARGON2_PARALLELISM=1` | `32768 / 2 / 1` (+ `ARGON2_MAX_CONCURRENCY=2`, `ARGON2_QUEUE_SECONDS=2`) |
| — | новые: `SECRETS_REFRESH_SECONDS`, `CRL_RELOAD_SECONDS`, `LOGIN_RATE_*`, `REGISTER_RATE_PER_CLIENT`, `MAX_JSON_BYTES` |
## Доказательства критериев
Где проверено: **Docker-стенд** на машине автора (Windows 10, Docker Desktop, 16 CPU / 15 GiB VM): стенд поднят с нуля шагами раздела «Запуск», затем `python student-tests/collect_evidence.py` — **все 46 шагов PASS** (`evidence/summary.md`), результаты в `evidence/*.txt|json`, замеры — блок ниже. Ранее решение проверялось в **нативной песочнице** без Docker (`evidence/native-sandbox/`, оставлена для сравнения): тот же стенд процессами, конфиги из `infra/`, вместо `docker` — подмена, управляющая процессами. Ошибки, которые песочница не поймала и которые исправлены по Docker-прогону, — в «Ограничениях». Отличия песочницы: PostgreSQL 16 вместо 17, Redis 7.0 вместо 7.4, RabbitMQ 4.4 вместо 4.1.4, HAProxy 2.8 вместо 3.2, **HashiCorp Vault 2.1.2 как API-совместимая замена OpenBao 2.6.2** (тот же HTTP API: sys/init, unseal, cert auth, KV v2, policies), Prometheus 2.45 (только web-config TLS), Collector — заглушка OTLP за настоящим otel-gate; Loki/Tempo/Grafana не запускались (их TLS-конфиги проверяются только в Docker).
### Уровень 3
| Критерий README | Команда/сценарий | Наблюдаемый результат (Docker) | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke по HTTPS с проверяемым CA и hostname | `make test CA_FILE=secrets/pki/public/ca.crt` | PASS: lab7 public API scenario (регистрация, вход, чат, сообщения, пагинация, идемпотентность, вложение → thumbnail, logout) | `evidence/smoke.txt` |
| Внешний TLS: недоверенный CA отвергается | `make test-security`; `test_lab7_security.py test_https_only_and_certificate_checks` | PASS: пустой trust store, чужой CA → `SSLCertVerificationError`; имя `evil.example` → Hostname mismatch; plaintext на 8443 — без ответа приложения; 8080 — не API | `security.txt`, `lab7-security.txt` |
| Предыдущие возможности через HTTPS | регрессия lab1–5: `test_api`, `test_race`, `test_idempotency`, `test_balancing`, `test_attachments`, `test_consistency`, `test_jobs`, `test_janitor_replay`, `test_failures`, `test_db`, `redis_info`, `explain`, `load` | все PASS (см. сводку) | `evidence/*.txt` |
| Argon2id: соль, параметры, ≥19 MiB/t=2/p=1, обоснование замером | `test_password_storage_argon2id`, `argon2_bench.py` | `$argon2id$v=19$m=32768,t=2,p=1$<16-байтная соль>$…`; одинаковый пароль → разные хеши; замер — «Эксперименты» | `lab7-security.txt`, `argon2-bench.json` |
| LB→API mTLS, отказ без cert / чужой CA / неверная identity; нет обхода | `test_tls_matrix.py lb-api` | lb → 200; без сертификата, чужой CA с CN=lb, истёкший lb, intruder (наш CA), worker, api → соединение закрыто; клиент с чужим CA не принимает сервер; plaintext — нет ответа; порт API не опубликован | `tls-matrix.json` |
| Остальные связи — TLS с проверкой сервера, раздельные учётные данные и минимальные права | `test_tls_matrix.py`, `test_least_privilege.py`, `contracts/trust-matrix.md` | 78 проверок matrix (12 связей, включая Loki/Tempo/Grafana и внутренний gRPC Tempo), 83 проверки прав — все PASS | `tls-matrix.json`, `least-privilege.json` |
| OpenBao не dev-mode, persistent storage, сервисная аутентификация, scoped policy, без root token в приложении | `bao.py init/unseal/configure`; `test_least_privilege.py` (openbao); `run_persistence.py` (рестарт OpenBao + unseal, данные на месте) | cert auth по CN; чужие пути, запись KV/политики, список auth, создание токена → 403; worker как роль api → 400 | `least-privilege.txt`, `tls-matrix.txt`, `persistence.txt` |
| Контейнеры: без privileged/host/docker.sock, app/worker non-root, без лишних capabilities, лимиты; наружу только TLS-ingress и локальные админ-порты; секреты не в Git/образах/телеметрии | `check_hardening.py --runtime`, `check_stack.py`, `leak_check.py`, `.gitignore`/`.dockerignore` | статически 183 PASS, 4 объяснённых исключения, 0 нарушений + `docker inspect` всех контейнеров; маркерные пароль/токен — 0 в логах и OTLP | `hardening.json`, `leak-check.json` |
| 429 + Retry-After, лимит размера, посторонний пользователь, logout/expiry, недоверенный TLS | `test_lab7_security.py`, `test_expiry.py` (lab2) | 401×9 → 429, Retry-After 60, ответы двух реплик; JSON > 64 KiB → 413 (и chunked), upload 50 MB → 413 на LB; посторонний → 404 ×6; logout → 401 | `lab7-security.txt` |
| Сертификаты — локальный документированный bootstrap | `pki.py init` → `init_secrets.py` → `bao.py init/unseal/configure` | чистый Docker-стенд по этим шагам поднят с нуля (новые secrets/, volumes) | раздел «Запуск» |
| Smoke, рестарт и отказ реплики через HTTPS без отключения проверки | `run_persistence.py`, `run_failover.py` | PASS (рестарт 16 сервисов, включая OpenBao + unseal, 82.1 с) / PASS ×2 (0 неудачных записей) | `persistence.txt`, `failover.txt` |
### Уровень 4
| Критерий README | Команда/сценарий | Наблюдаемый результат (Docker) | Файл доказательства |
| --- | --- | --- | --- |
| mTLS API/worker→broker и →Collector с разными identity; сертификат того же CA не даёт лишних прав | `test_tls_matrix.py broker collector` | broker: worker/dispatcher входят, CN=api/intruder/lb → login refused, worker publish / dispatcher basic_get / declare → 403; Collector: api/worker/dispatcher/janitor → 200, lb/grafana/operator/intruder → 403 | `tls-matrix.json` |
| Пароли/token hashes и ошибки не раскрывают credentials | `test_errors_and_storage_do_not_reveal_credentials`, `leak_check.py` | ошибки без эха пароля/username; в Redis только `session:<SHA-256>`; в логах/телеметрии — 0 маркеров | `lab7-security.txt`, `leak-check.json` |
| Rehash старого хеша при входе | `test_rehash_on_login` | m=12288,t=3 (lab2–6) → после входа m=32768,t=2,p=1, повторный вход работает | `lab7-security.txt` |
| Измеренный бюджет защиты от login DoS; rate limit общий для реплик | `login_dos.py`, `test_login_rate_limit_is_shared` | см. «Эксперименты»: атака получает 503 busy / 429, легитимные запросы — ограниченная задержка | `login-dos.json` |
| Ротация рабочего secret и leaf без пересборки, отзыв старой identity | `lifecycle.py rotate-secret rotate-leaf` | Redis-пароль: v1→v2, обе реплики подхватили, активен только новый, 0 ошибок; leaf lb: rotate → reload → revoke → старый на новом соединении отвергнут, API закрыл 2 соединения со старым leaf, 0 ошибок | `lifecycle-rotate-*.json` |
| Ограниченное поведение при expiry / sealed OpenBao; bootstrap trust и renewal описаны; нет постоянного «секрета для получения секретов» | `lifecycle.py token-expiry sealed`; `contracts/trust-matrix.md` «Bootstrap и эксплуатация» | TTL 20 с/max 40 с + отзыв: повторный вход сертификатом, 2393 ответов, 0 ошибок; sealed 75.6 с: работающая реплика без ошибок, перезапущенная — не ready, после unseal ready через 5.4 с | `lifecycle-token-expiry.json`, `lifecycle-sealed.json` |
| read_only / no-new-privileges / drop caps / tmpfs; исключения stateful объяснены | `check_hardening.py --runtime` | см. выше; исключения — в `EXCEPTIONS` скрипта и в `security/THREAT_MODEL.md` (T12) | `hardening.json` |
| Dependency/image scan с разбором применимости | pip-audit, `trivy config`, `scripts/scan.py` | pip-audit: Pillow 12.3.0 — 39 находок, применимо (worker декодирует недоверенные изображения) → 13.0.0 + `formats=(PNG, JPEG)`, повторно 0. Trivy образов (Docker): OpenSSL 3.5.1 (CRITICAL) и zlib/sqlite/libuuid в базовом `python:3.11.13-slim` — применимо (TLS каждого процесса) → `apt-get upgrade` в Dockerfile, OpenSSL 3.5.7, applicable 37 → 9 (оставшиеся без исправления и недостижимы: модули не импортируются); сторонние образы разобраны по ролям, открыто — RabbitMQ (OpenSSL 3.5.4), OpenBao (Go stdlib), HAProxy (musl/pcre2/zlib) | `security/scan-triage.md`, `evidence/scan/` |
| Модель угроз: ≥6 угроз → контроли → отрицательные тесты | `security/THREAT_MODEL.md` | 14 угроз, у каждой — тест из списка выше | — |
| Upload-worker ограничен по CPU/RAM/времени | `test_jobs.py limits` (lab5), compose: worker 2 CPU / 1536 MiB / 128 PID, `imaging.py` RLIMIT_AS/CPU + таймаут | PASS | `jobs-limits.txt` |
| TLS-аудит всей заявленной матрицы, ACL и отсутствие утечек в telemetry | `test_tls_matrix.py`, `test_lab7_security.py`, `leak_check.py` | все PASS | см. выше |
<!-- measurements:begin -->
Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-11-07, commit 20afc2c + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres, s3 (SeaweedFS) и rabbitmq по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB, dispatcher 0,25 CPU / 128 MiB, worker 2 CPU / 1536 MiB; lab6: otel-collector 0,5 CPU / 384 MiB, prometheus, loki, tempo по 1 CPU / 512 MiB, grafana 0,5 CPU / 384 MiB; lab7: openbao 0,5 CPU / 256 MiB, otel-gate 0,25 CPU / 64 MiB; у всех — лимит PID.
TLS/mTLS-аудит trust matrix изнутри сети (`student-tests/test_tls_matrix.py`, контейнер probe):
| Связь | Проверок | Пройдено |
| --- | --- | --- |
| LB -> API (mTLS, allowlist CN=lb) | 10 | 10 |
| API/worker -> RabbitMQ (mTLS + EXTERNAL, CN = broker user) | 11 | 11 |
| API/worker -> OTel Collector (mTLS via otel-gate, allowlist app CNs) | 13 | 13 |
| API/worker -> PostgreSQL (TLS verify-full, SCRAM, roles) | 4 | 4 |
| API -> Redis (TLS + client cert of our CA + ACL user) | 6 | 6 |
| API/worker -> S3 (HTTPS + per-service keys by prefix) | 6 | 6 |
| Services -> OpenBao (TLS + cert auth by CN + policy) | 7 | 7 |
| Collector/Grafana/operator -> Prometheus (mTLS + allowed SANs) | 7 | 7 |
| Collector/Grafana/operator -> Loki (mTLS, CA) | 4 | 4 |
| Collector/Grafana/operator -> Tempo (mTLS, CA) | 4 | 4 |
| Collector -> Tempo OTLP gRPC :4317 (mTLS) | 3 | 3 |
| Operator -> Grafana (HTTPS) | 3 | 3 |
Минимальные права (`test_least_privilege.py`): 83 проверок, 83 пройдено (разрешённое работает, запрещённое — отказ).
Argon2id внутри контейнера api (`argon2_bench.py`, медиана из 7):
| m, KiB | t | p | hash, мс | verify, мс | входов/с на реплику при 2 параллельных | RAM на хеширование, MiB |
| --- | --- | --- | --- | --- | --- | --- |
| 19456 | 2 | 1 | 12.2 | 12.2 | 163.9 | 38 |
| 19456 | 3 | 1 | 18.3 | 18.5 | 108.1 | 38 |
| 32768 (выбрано) | 2 | 1 | 22.6 | 22.2 | 90.1 | 64 |
| 47104 | 2 | 1 | 34.2 | 34.8 | 57.5 | 92 |
| 65536 | 2 | 1 | 49.8 | 50.4 | 39.7 | 128 |
| 65536 | 3 | 1 | 75.3 | 75.2 | 26.6 | 128 |
Login DoS (`login_dos.py`, 16 потоков неверных входов, 20 с): атака 96.2 попыток/с, коды {'401': 360, '429': 1564}; легитимный клиент p95 34.6 -> 194.1 мс, p99 35.5 -> 243.6 мс, коды {'200': 93, '201': 93}.
Ротация пароля Redis (api) через OpenBao: {"kv_version": [5, 6], "replicas": 2, "active_passwords_during_overlap": 2, "all_replicas_picked_up_after_s": 23.9, "active_password_hashes_after": 1, "new_password_hash_matches": true}; нагрузка 37.6 с, ответы {'me:200': 431, 'send:201': 431, 'login:201': 18}, ошибок 5xx/соединения 0.
Ротация leaf LB + отзыв старого через CRL: {"old_serial": "70ea18ded7f86e5a", "new_serial": "22a71730433d9d42", "probe": {"valid LB identity (CN=lb)": "http_200", "foreign CA, CN=lb": "connection_closed_after_handshake", "our CA, expired, CN=lb": "connection_closed_after_handshake", "previous (rotated, revoked) LB leaf": "connection_closed_after_handshake"}, "api_events_after_revoke": {"tls.crl_loaded": 2, "tls.revoked_connections_closed": 2, "tls.client_rejected": 4}}; нагрузка 23.1 с, ответы {'me:200': 243, 'send:201': 243, 'login:201': 11}, ошибок 5xx/соединения 0.
Истечение/отзыв токенов OpenBao: {"role_ttl": "20s / max 40s", "observed_seconds": 100, "api_events": {"secrets.refresh_failed": 2, "secrets.login": 4}}; нагрузка 101.6 с, ответы {'me:200': 1172, 'send:201': 1172, 'login:201': 49}, ошибок 5xx/соединения 0.
OpenBao sealed: {"sealed_seconds": 75.6, "restarted_replica_health_while_sealed": "starting", "replicas_answering_while_sealed": 1, "restarted_replica_ready_after_unseal_s": 5.4, "api_events": {"secrets.refresh_failed": 5, "secrets.waiting": 8, "secrets.login": 1}}; нагрузка 89.2 с, ответы {'me:200': 1012, 'send:201': 1012, 'login:201': 43}, ошибок 5xx/соединения 0.
Алерты на контролируемых инцидентах (`student-tests/incidents.py`, состояние из Prometheus /api/v1/alerts):
| Инцидент | Воздействие | Алерт | firing через, с | resolved через, с после устранения |
| --- | --- | --- | --- | --- |
| 1. worker | `docker compose stop worker` + 3 загрузки | MessengerWorkerNoConsumers | 94.0 (от stop) | 45.6 (от start) |
| 1. worker | `docker compose stop worker` + 3 загрузки | MessengerQueueLagGrowing | 124.5 (от stop) | 45.6 (от start) |
| 2. PostgreSQL | `LOCK TABLE messages IN ACCESS EXCLUSIVE MODE` на 210 с под нагрузкой 8 потоков | MessengerHighErrorRate | 122.5 (от LOCK) | 35.1 (от COMMIT блокировки) |
| 3. телеметрия | `docker compose stop tempo loki` на 150 с | TelemetryExportFailing | 85.9 (от stop) | 70.6 (от start) |
Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 3.0, queued заданий = 3.0, возраст старейшего = 115.4 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 123.0 с, последний лог worker: event=`service.stopped`; трасса загрузки содержит `publish attachments`, но не содержит `process attachments.process.v1`. После start: вложения ready через 5.4 с, backlog 0.0.
Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '400': 0.0, '409': 0.0, '404': 0.0, '503': 1.44}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 15.6, 'max': 31.5} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 184}. Error-трасса 50418f127c336af7f2e4dc0190adf7ea: server-спан 5010.0 мс, из них `INSERT` 5001.6 мс (доля 0.998, статус ERROR). Контраст «медленный обработчик» (трасса 2e774b9d5912ba768f3e9881f3c41e80, POST /users): server 47.0 мс, `argon2id hash` 32.2 мс, все спаны БД 6.9 мс. Нагрузка: до 102.1 успешных записей/с, во время блокировки {'503': 320, '201': 8}, после 102.4/с без ошибок.
| Отказ телеметрии | API во время отказа | Память | Потери телеметрии |
| --- | --- | --- | --- |
| `stop tempo loki` на 150 с (окно повторов Collector 120 с) | 8486 запросов, коды {'201': 8486}, доля успеха 1.0 | heap Collector 32.3 -> max 84.7 MiB (limit 200), контейнер max 103.7 MiB | send/enqueue failed в Collector: {'spans': 2048, 'log_records': 213}; пробные трассы дошли 13/13, потеряны отправленные на [] с |
| `stop otel-collector` на 90 с | 5298 запросов, коды {'201': 5298}, доля успеха 1.0 | api 831.6 -> max 866.4 MiB (2 реплики) | SDK api потерял спанов: {'processor_queue_full': 0, 'exporter_failed': 19456} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (5554 спанов за минуту) |
Публичный тест отказа (`make test-failover`, 15 с записи во время остановки реплики):
| Прогон | Остановлена реплика | Реплик до отказа | Успешных записей | Неудачных попыток (повторены с тем же ключом) | Первая запись после hook, с |
| --- | --- | --- | --- | --- | --- |
| 1 | 0c7893e1043d | 2 | 126 | 0 | 5.453 |
| 2 | b7f37f051ba1 | 2 | 125 | 0 | 5.313 |
Одновременные загрузки (`student-tests/upload_memory.py`, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов:
| Сценарий | Одновременно | Объём, MiB | Время, с (p50 / max) | Реплика: загрузок | RSS до, MiB | Пик RSS, MiB | Рост, MiB | Пик cgroup, MiB |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 10 x ~9.5 MiB PNG (noise) | 10 | 94.9 | 1.54 / 1.64 | 0c7893e1043d: 5 | 129.5 | 141.0 | 11.5 | 164.8 |
| | | | | b7f37f051ba1: 5 | 126.2 | 139.1 | 12.9 | 164.8 |
| 10 x 40 Mpx PNG (8000x5000 RGB) | 10 | 1.1 | 1.13 / 1.39 | 0c7893e1043d: 5 | 128.9 | 134.9 | 6.0 | 113.5 |
| | | | | b7f37f051ba1: 5 | 126.7 | 134.4 | 7.7 | 113.9 |
| 20 mixed: large + 40 Mpx + JPEG | 20 | 133.2 | 1.64 / 2.25 | 0c7893e1043d: 10 | 125.6 | 144.1 | 18.5 | 174.8 |
| | | | | b7f37f051ba1: 10 | 128.7 | 147.9 | 19.2 | 182.8 |
Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 162 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB.
Публичный генератор нагрузки (`tests/load.py`, closed loop, concurrency 4, 30 с, 2 реплики): 206.623 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 47.0 мс.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| публичный `make test-failover` для каждой реплики | запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет | PASS 2 раз(а), неудачных попыток: 0, 0 | первая запись после hook через 5.453, 5.313 с (hook ждёт остановки ~4 с); потерь нет |
| перезапуск всего стенда (`restart` hook: postgres, redis, s3, api, janitor, lb) | данные, файл и прежний токен живы | PASS, те же контейнеры с новым временем старта | 82.1 с до готовности; потерь нет |
| `docker compose stop s3` (SeaweedFS остановлен) | загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают | upload 503 за 781 мс, download 503, остальное 200/201 | после start файлы на месте; uploading-строку убрал janitor; потерь нет |
| `docker compose pause s3` (SeaweedFS завис) | то же, но через таймауты S3-клиента | upload 503 за 8703 мс (2 попытки x 5 с + откат 2 с) | после unpause файлы на месте; потерь нет |
| падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) | вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку | GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено | мусора не осталось; повторный проход ничего не делает |
| обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) | ничего не сохраняется | строк и объектов не прибавилось, временных файлов 0 | мгновенно |
| worker остановлен, upload, рестарт rabbitmq и api с volumes, start worker | 202 queued, сообщение с вложением 201, content 409; после рестартов job в очереди; тот же job_id -> ready | worker started -> same job 6133fe0a-b568-4024-8bb7-4d7d32ed0433 ready, thumbnail downloadable; staging object deleted | потерь нет; staging удалён после COMMIT |
| rabbitmq остановлен во время upload | 202 и /health/ready 200 без брокера; строка outbox ждёт; после start публикуется | rabbitmq started -> dispatcher published the pending row -> ready | потерь нет |
| crash dispatcher между COMMIT задания и publish | строка outbox не отмечена -> публикуется после рестарта процесса | dispatcher killed between COMMIT and publish; restarted by policy, outbox re-published -> job 60ca1ef4-a5fb-48ad-94bd-5f14f683304d ready, attempt 1, no manual action | без ручного действия |
| crash dispatcher после confirm, до отметки outbox | дубль сообщения, worker распознаёт по состоянию job | dispatcher killed after publisher confirm, before marking outbox -> message published twice; worker: ['created', 'claimed', 'ready', 'duplicate_ignored'] -> one result set | один набор вариантов |
| crash worker после PUT в S3, до COMMIT и ack | повтор после истечения аренды перезаписывает те же ключи | worker killed after S3 PUT (before COMMIT and ack): redelivery saw a live lease (no-op), lease expired after 15 s, attempt 2 rewrote the same keys -> one set; events ['created', 'claimed', 'duplicate_ignored', 'lease_expired', 'claimed', 'ready'] | один набор, 4 объекта |
| crash worker после COMMIT, до ack | redelivery ready-задачи -> no-op ack | worker killed after COMMIT, before ack: broker redelivered, worker acked as no-op (1:duplicate_ignored:status=ready); queue empty (0 ready, 0 unacked) | очередь пуста, дублей нет |
| worker завис (не продлевает аренду) | dispatcher возвращает job, другой поток завершает; поздний результат отклонён fencing | frozen attempt 1 stopped renewing; lease expired, recovered by dispatcher, attempt 2 ready after 18 s; frozen attempt woke up -> stale_result_rejected; events ['created', 'claimed', 'lease_expired', 'claimed', 'ready', 'stale_result_rejected'] | ready не откатан |
| зависание обработки изображения | процесс убит по JOB_TIMEOUT_SECONDS, временная ошибка, аренда продлевалась | imaging hang -> killed after 60 s (processing_timeout, temporary), lease renewed meanwhile (no lease_expired), attempt 2 ready after 63 s | повтор -> ready |
| нехватка памяти в процессе обработки (RLIMIT_AS) | failed/resource_limit, worker жив | memory bomb in the imaging process -> failed/resource_limit after attempt 1; worker itself survived | постоянная ошибка, без повторов |
| 2 временные ошибки S3 | backoff с jitter, затем ready | 2 x storage_unavailable -> retries after 1.70 s and 2.50 s (equal jitter: 1..2 s, 2..4 s), attempt 3 ready | - |
| 5 временных ошибок подряд | failed/retry_exhausted, реестр failed, content 409 | 5 temporary errors -> failed/retry_exhausted (public error_code), content 409, attach 409, listed by ops.py failed (replayable) | replay оператора |
| replay failed и повторный replay ready | тот же job_id -> ready; повтор отклонён | ops replay -> same job_id 3d109dba-1036-482a-a6fb-8116c7894b6d attempt 6 ready; second replay refused: "job is ready, replay is only for failed jobs" | дубля нет |
| невалидное сообщение и неизвестный job_id | reject -> DLQ, dlq-replay не исполняет | schema-invalid message and unknown job_id -> reject -> DLQ (4 message(s)); dlq-replay kept them: ['unknown job', 'unknown job'] | сообщения сохранены |
| 8 заданий в очереди, старт worker | WORKER_CONCURRENCY=2, prefetch 1 | 2 consumers, prefetch_count 1, manual ack; 8 queued 3000x2000 JPEG drained in 2.6 s after worker start, peak processing 2 of 8 (6 samples) | - |
<!-- measurements:end -->
## Эксперименты и отказы
Docker-стенд: Windows 10, Docker Desktop (VM 16 CPU, 15.2 GiB), клиент тестов — Python 3.11 на том же хосте, 2 реплики API по 1 CPU / 512 MiB. Числа нативной песочницы (2 vCPU на всё) — в `evidence/native-sandbox/summary.md`, с этими не сравнивать.
**Argon2id — выбор параметров** (`argon2_bench.py`, внутри контейнера api, медиана из 7):
| m, KiB | t | p | hash, мс | verify, мс | входов/с на реплику (2 параллельно) | RAM на хеширование |
| --- | --- | --- | --- | --- | --- | --- |
<!-- argon2:begin -->
| 19456 | 2 | 1 | 12.2 | 12.2 | 163.9 | 38 MiB |
| 19456 | 3 | 1 | 18.3 | 18.5 | 108.1 | 38 MiB |
| 32768 **(выбрано)** | 2 | 1 | 22.6 | 22.2 | 90.1 | 64 MiB |
| 47104 | 2 | 1 | 34.2 | 34.8 | 57.5 | 92 MiB |
| 65536 | 2 | 1 | 49.8 | 50.4 | 39.7 | 128 MiB |
| 65536 | 3 | 1 | 75.3 | 75.2 | 26.6 | 128 MiB |
<!-- argon2:end -->
Выбрано **m=32 MiB, t=2, p=1**: в 1,7 раза больше памяти, чем минимум OWASP/README (19 MiB, t=2), ~22 мс на проверку в контейнере api — незаметно для пользователя и вдвое дешевле 64 MiB (~50 мс). Бюджет реплики: не больше `ARGON2_MAX_CONCURRENCY=2` хешей одновременно (≤ 64 MiB из 512 MiB лимита памяти), ожидание слота не дольше 2 с, дальше — 503 + Retry-After. У api лимит 1 CPU, поэтому два параллельных хеша делят одно ядро: реальный потолок ≈ 1000 / 22 мс ≈ 45 проверок пароля в секунду на реплику (≈ 90/с на две; колонка «2 параллельно» — без учёта лимита CPU); всё, что выше, отсекают сначала общий лимит Redis (429), потом бюджет реплики (503), а не рост памяти или очередь. 64 MiB/t=2 удвоили бы и цену входа, и память на хеширование при том же бюджете, то есть вдвое снизили бы потолок входов. (В песочнице те же параметры стоили ~50 мс — выбор от этого не меняется.)
**Находка при проверке burst (песочница):** без настройки аллокатора glibc держит 32-MiB буферы Argon2 в отдельных arena каждого потока — 200 одновременных проверок раздували RSS реплики на +548 MiB (больше лимита 512 MiB → OOM-kill под атакой). `MALLOC_MMAP_THRESHOLD_=1048576` в окружении api заставляет крупные буферы идти через mmap и возвращаться ОС сразу: прирост RSS на том же burst — +37 MiB в песочнице, +74.7 MiB в Docker (ниже). Добавлено в `compose.yaml` и в угрозу T5.
**Login DoS** (`login_dos.py`):
<!-- dos:begin -->
| Фаза | Легитимных запросов | p50 / p95 / p99, мс | Коды легитимных | Попыток входа атаки | Коды атаки |
| --- | --- | --- | --- | --- | --- |
| без атаки, 20 с | 694 | 12.3 / 34.6 / 35.5 | {'200': 347, '201': 347} | — | — |
| атака: 16 потоков неверных паролей по 40 username, 20 с | 186 | 91.1 / 194.1 / 243.6 | {'200': 93, '201': 93} | 1924 (96.2/с), p95 ответа 480.5 мс | {'401': 360, '429': 1564} |
Из 1924 попыток атаки хеш Argon2id посчитан только для 360 (ответ 401: по 9 на каждый из 40 username до срабатывания лимита), 1564 отсечены общим (Redis) лимитом 429 + Retry-After до хеширования, 503 busy — 0: до бюджета реплики дело не дошло, его отдельно проверяет burst ниже. Легитимные запросы обслуживались без ошибок; задержка выросла (p95 34.6 → 194.1 мс), и поэтому closed-loop клиент сделал за 20 с меньше запросов (694 → 186): атакующий клиент, стенд и легитимный клиент делят одну машину, а 16 потоков TLS-рукопожатий и Python-клиента сами занимают CPU хоста.
Burst в одном процессе api (бюджет без помощи rate limit): 200 одновременных проверок пароля → одновременно считалось не больше 2 хешей (лимит 2), посчитано 75, отклонено 503 + Retry-After 125, самое долгое ожидание отказа 2.05 с (= очередь 2 с); прирост RSS 74.7 MiB при лимите 512 MiB (с MALLOC_MMAP_THRESHOLD_=1048576; без него в песочнице было +548 MiB, см. угрозу T5).
<!-- dos:end -->
**Жизненный цикл под нагрузкой** (`lifecycle.py`, фоновая нагрузка: вход + GET /users/me + POST message):
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
<!-- lifecycle:begin -->
| Ротация пароля Redis-пользователя api через OpenBao | 0 ошибок; после — активен только новый пароль | KV v5 → v6 (предыдущие версии — от прошлых прогонов); паролей во время перехода 2, после — 1 (новый); обе реплики подхватили за 23.9 с (≤ SECRETS_REFRESH_SECONDS 30 с); нагрузка 37.6 с, 880 ответов, ошибок 0 | без рестартов и пересборки; потерь данных нет |
| Ротация leaf-сертификата LB + отзыв старого (CRL) | 0 ошибок; старый leaf отвергается на новом соединении, открытые закрыты | старый leaf → connection_closed_after_handshake, новый → http_200; события API: {'tls.crl_loaded': 2, 'tls.revoked_connections_closed': 2, 'tls.client_rejected': 4}; нагрузка 23.1 с, 497 ответов, ошибок 0 | эффект отзыва ≤ CRL_RELOAD_SECONDS (5 с) после reload; потерь данных нет |
| Токены OpenBao роли api: TTL 20 с / max 40 с + отзыв всех токенов | сервисы перелогиниваются сертификатом, 0 ошибок | события API за 100 с: {'secrets.refresh_failed': 2, 'secrets.login': 4}; нагрузка 101.6 с, 2393 ответов, ошибок 0 | без участия оператора; потерь данных нет |
| OpenBao запечатан, одна реплика API перезапущена | работающая реплика обслуживает, перезапущенная не ready до unseal | sealed 75.6 с; перезапущенная реплика: starting (не healthy, LB её не использует); события API: {'secrets.refresh_failed': 5, 'secrets.waiting': 8, 'secrets.login': 1}; нагрузка 89.2 с, 2067 ответов, ошибок 0 | реплика ready через 5.4 с после unseal; потерь данных нет |
<!-- lifecycle:end -->
**Отказы lab3–5 через HTTPS** (публичные тесты): `run_persistence.py` — рестарт PostgreSQL, Redis, S3, RabbitMQ, **OpenBao** (+ unseal hook'ом), телеметрии, приложения и LB с сохранением volumes; данные и прежний токен на месте. `run_failover.py` — остановка каждой реплики по очереди под записью.
<!-- resilience:begin -->
- persistence: PASS — the hook restarted postgres, redis, s3, rabbitmq, openbao, api, janitor, dispatcher, worker, lb, otel-gate, otel-collector, prometheus, loki, tempo, grafana (all api replicas; same containers, new start time); data, the attachment bytes and the old token survived; hook + готовность 82.1 с
- failover, реплика 1: реплик до отказа 2, успешных записей 126, неудачных попыток (повторены тем же ключом) 0, первая запись после hook через 5.453 с
- failover, реплика 2: реплик до отказа 2, успешных записей 125, неудачных попыток (повторены тем же ключом) 0, первая запись после hook через 5.313 с
<!-- resilience:end -->
## Ограничения и следующие шаги
- **Один хост, одна копия каждого хранилища** — отказ хоста, PostgreSQL, Redis, RabbitMQ, SeaweedFS или OpenBao не выдерживается (как в lab3–6). OpenBao sealed/недоступен: работающие реплики живут на кэше, новые не стартуют — сознательный fail closed.
- **Доли unseal в одном файле оператора** (учебный компромисс): restart-hook распечатывает OpenBao без человека. В эксплуатации — `bao.py init --print-shares-once`, доли у разных людей, `unseal --prompt`, отзыв root token после настройки, CA офлайн.
- **CRL проверяют** API (сам, с перечитыванием), HAProxy (lb, otel-gate — при reload), OpenBao cert auth (`bao.py sync-crl`). **Не проверяют**: RabbitMQ, Redis, PostgreSQL, Prometheus/Loki/Tempo — для них отзыв = удаление пользователя/смена пароля + короткий срок leaf (30 суток). Следующий шаг — короткоживущие leaf из OpenBao PKI с автопродлением (трек 5.2).
- **Loki/Tempo** различают только «наш CA / не наш»: читатель и писатель не разделены; сервис приложения может подписать телеметрию чужим `service.name` (шлюз проверяет identity, но не содержимое).
- **Пароли ролей PostgreSQL**: ротация описана (новая версия KV → `docker compose run --rm migrate`), но не демонстрировалась и даёт окно до 30 с отказов новых соединений; на 4 продемонстрирована ротация пароля Redis (без окна — два пароля одновременно).
- **SeaweedFS 4.52 после рестарта** отдаёт чтение раньше записи: `/cluster/healthz` = 200 через ~20 с, но мастер ещё ~15 с отвечает «master is warming up» на `/dir/assign`, и загрузки получают 503. Флага, сокращающего прогрев, нет; healthcheck S3 переведён на `/dir/assign` (готовность к записи), `test_consistency` ждёт первую успешную загрузку (в Docker — 14.7 с после того, как старый файл снова читается; в песочнице было 16 с).
- **Исключения hardening**: RabbitMQ с записываемым корнем; telemetry-init — root + CAP_CHOWN на время chown (идемпотентно: chown только для volume, который ещё не принадлежит 10001). SeaweedFS после Docker-прогона работает от uid 1000 (`seaweed` образа), исключение uid 0 снято.
- **Restart hook на настоящем Docker** (в песочнице не воспроизводилось): (1) `docker compose restart` восьми хранилищ ждёт самые медленные (PostgreSQL, RabbitMQ), а запечатанный OpenBao за это время проваливает 3 healthcheck, становится `unhealthy`, и `up --wait` сразу падает, хотя через секунду OpenBao уже распечатан; (2) параллельный `restart otel-gate otel-collector …` — Collector не может войти в network namespace ещё остановленного gate. Исправлено порядком в `scripts/restart.cmd`/`.sh`: OpenBao перезапускается отдельно и распечатывается сразу (внутри `start_period`), otel-gate — отдельно перед Collector; набор перезапускаемых сервисов тот же.
- **Нестабильные проверки, найденные в Docker** (ожидания не менялись, исправлено ожидание готовности): Loki после старта ~15 с отвечает `/ready` → 503 «Ingester not ready» — положительная проверка mTLS оператора к Loki/Tempo в `tls_probe.py` ждёт готовности до 30 с, только если mTLS пройден (ответ 503), итог по-прежнему должен быть 200; в `test_telemetry.py` трасса считалась полной по span'ам worker, а batch API/dispatcher выгружается независимо (до 5 с) и иногда приходил в Tempo позже (2 FAIL из 4) — условие ожидания теперь требует span'ы всех процессов, проверки те же (4 из 4 PASS). `lifecycle.py token-expiry`: после `revoke-service-tokens` отзыв замечает то обращение к OpenBao, которое случится раньше, — чтение KV (`secrets.refresh_failed`) или продление токена; во втором случае API сразу входил заново, но писал общее с max TTL событие `secrets.relogin`, и тест (ждал только refresh_failed) падал при работающей функции. Теперь неудачный renew — отдельное событие `secrets.renew_failed` (WARNING, `secretstore.py`), тест принимает любой из двух путей обнаружения и по-прежнему требует повторный вход и 0 ошибок. В `upload_memory.py` счётчик загрузок по репликам сравнивал X-Instance-Id с ID контейнера (в lab7 это alias) и всегда давал 0 — сопоставление через `instance_aliases()`.
- **Память SeaweedFS 4.52**: ~240 MiB в простое; в Docker-прогоне `upload_memory.py` (20 параллельных загрузок по ~10 MiB) довёл процесс до лимита 512 MiB, ядро убило его (SIGKILL, рестарт по политике), половина загрузок получила 503. Исправлено без повышения лимита: `GOMEMLIMIT=400MiB` (GC Go ориентируется на лимит) и `-s3.concurrentUploadLimitMB=128` (сверх 128 MiB тел одновременно шлюз ставит загрузки в очередь). После — все 20 загрузок 202, рестартов S3 нет. Цена — задержка загрузок при длительном потоке крупных файлов (T14).
- **`localhost` на хосте Windows** резолвится сначала в `::1`, а порты опубликованы только на `127.0.0.1` (IPv6-loopback не публикуем намеренно): каждое новое TCP-соединение с `https://localhost:8443` ждёт ~2 с отказа по IPv6 (замер: localhost 2031–2051 мс, 127.0.0.1 — 0 мс). Первый Docker-прогон из-за этого давал в 40 раз меньше запросов нагрузки. Скрипты `student-tests` по умолчанию ходят на `https://127.0.0.1:<порт>` (IP есть в SAN сертификатов ingress и админ-интерфейсов, имя проверяется так же строго); `https://localhost:8443` работает, только медленнее на новых соединениях.
- **OpenBao file storage** в 2.6.2 помечен deprecated (в логе: «use bao operator migrate … by v2.7.0»). Для учебного стенда на одном хосте оставлен; перед обновлением до 2.7 — `bao operator migrate` на integrated storage (raft).
- **Rate limit на username** позволяет заблокировать вход конкретному пользователю на окно (60 с) — плата за защиту от подбора; лимит регистрации при недоступном Redis пропускается (защищает бюджет Argon2id).
- **Docker-прогон после песочницы** (настоящие OpenBao 2.6.2, HAProxy 3.2, RabbitMQ 4.1.4, PostgreSQL 17, Redis 7.4, Loki/Tempo/Grafana с TLS): прошли все 46 шагов. Исправлено по его итогам (подробно — пункты выше): SeaweedFS 4.52 не мог писать в `/data` от root без capabilities → запуск от uid 1000; `telemetry-init` падал на повторном `up` → идемпотентный chown; у Prometheus не было tmpfs `/tmp` для `promtool test rules`; память SeaweedFS под 20 параллельными загрузками; порядок restart hook; `localhost` → `127.0.0.1` в клиентах тестов; ожидания готовности в трёх тестах; отдельное событие `secrets.renew_failed`; по скану образов — `apt-get upgrade` в `Dockerfile` (OpenSSL 3.5.1 → 3.5.7), после чего весь прогон повторён.
- **Открыто по скану** (`security/scan-triage.md`): OpenSSL 3.5.4 в `rabbitmq:4.1.4-alpine` (порт только в internal-сети `data`, вход по mTLS), Go stdlib/x/net в OpenBao 2.6.2, musl/pcre2/zlib в HAProxy 3.2.25 — закрываются обновлением тегов до патч-релизов с повторным прогоном; в этой работе версии сторонних сервисов не менялись. Конфигурации OpenBao, HAProxy, RabbitMQ (EXTERNAL), PostgreSQL (ключ в /tmp/pgtls), TLS Collector → Loki/Tempo/Prometheus, Grafana → источники и внутренний gRPC Tempo заработали без изменений.
## Ответы на вопросы защиты (кратко)
- **Какая часть mTLS проверяет шифрование, какая идентичность и где разрешение на действие?** Шифрование и целостность — TLS-сессия (ECDHE). Идентичность сервера — проверка цепочки до нашего CA и имени (verify-full / check_hostname / verifyhost). Идентичность клиента — его сертификат (цепочка, срок, CRL). Разрешение — отдельный шаг после рукопожатия: API — allowlist CN=lb; otel-gate — CN ∈ приложений; RabbitMQ — пользователь = CN и его permissions; OpenBao — роль cert auth = CN → policy; Prometheus — `client_allowed_sans`; PostgreSQL/Redis/S3 — по роли/ACL/ключу. Пользовательская сессия (Bearer) — ещё выше, внутри API.
- **Почему доверенный CA ещё не означает, что любой его клиент может быть LB?** Один CA выпускает сертификаты всем сервисам; «подписан нашим CA» говорит только «это кто-то из наших». Если пускать любого, скомпрометированный worker стал бы балансировщиком (обход лимитов, подделка XFF). Поэтому API проверяет CN=lb — в тесте сертификаты worker, api и intruder нашего CA отвергаются.
- **Где хранится первый секрет для доступа к OpenBao и кто имеет право unseal?** Первый секрет сервиса — его leaf-сертификат и ключ (`secrets/pki/<identity>`, смонтирован только в этот сервис, 30 суток, отзывается CRL). SecretID/токенов в env нет. Unseal — оператор: 3 доли, порог 2 (на стенде в `secrets/operator/openbao-init.json`, 0600, вне Git и контейнеров; в эксплуатации — у разных людей).
- **Что происходит при истечении credentials, остановке OpenBao и рестарте API?** Токен OpenBao продлевается и при исчерпании max TTL заменяется новым входом по сертификату (без влияния на запросы). Истёкший leaf — отказ рукопожатия, нужен `pki.py rotate`. OpenBao остановлен/sealed — работающие процессы обслуживают запросы с секретами в памяти, обновление ротаций откладывается; рестартованная реплика не становится ready, LB её не использует; после unseal — восстанавливается сама. Рестарт API при работающем OpenBao — обычный: вход сертификатом, секреты за доли секунды.