diff --git a/REPORT.md b/REPORT.md index 92d1d24..3ed057b 100644 --- a/REPORT.md +++ b/REPORT.md @@ -4,20 +4,21 @@ - Целевая оценка: 4 - Commit/PR: solution/BVT2303-Vasyukova - Использованные источники, библиотеки и помощь ИИ: - - Контракт: contracts/openapi.json, contracts/README.md, contracts/observability.md + - Контракт: contracts/openapi.json, contracts/README.md, contracts/observability.md, contracts/trust-matrix.md - Инструкции: README.md, COURSE.md, CONTRIBUTING.md - - Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, boto3==1.35.74, Pillow==11.0.0, pika==1.3.2, opentelemetry-api==1.28.2, opentelemetry-sdk==1.28.2, opentelemetry-exporter-otlp-proto-http==1.28.2, opentelemetry-instrumentation-fastapi==0.49b2, opentelemetry-instrumentation-requests==0.49b2 + - Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, boto3==1.35.74, Pillow==11.0.0, pika==1.3.2, argon2-cffi==23.1.0, opentelemetry-api==1.31.0, opentelemetry-sdk==1.31.0, opentelemetry-exporter-otlp-proto-http==1.31.0, opentelemetry-instrumentation-fastapi==0.52b0, opentelemetry-instrumentation-requests==0.52b0 - ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком. ## Запуск из чистого clone Версии runtime/образов: - Python: 3.12 (образ `python:3.12-slim`) -- FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3, psycopg_pool 3.2.3, redis 5.2.0, boto3 1.35.74, Pillow 11.0.0, pika 1.3.2 -- OTel SDK 1.28.2, FastAPI instrumentation 0.49b2 +- FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3, psycopg_pool 3.2.3, redis 5.2.0, boto3 1.35.74, Pillow 11.0.0, pika 1.3.2, argon2-cffi 23.1.0 +- OTel SDK 1.31.0, FastAPI instrumentation 0.52b0 - PostgreSQL 18.6-alpine, Redis 7.4.1-alpine, nginx 1.27.3-alpine - RabbitMQ 3.13.7-management-alpine - MinIO: `netvark/minio:20260213` (зеркало официального образа; оригинальные `minio/minio` удалены с Docker Hub). CLI `mc`: `netvark/mc:20260920`. +- OpenBao: `openbao/openbao:2.0.2` - OTel Collector: `otel/opentelemetry-collector-contrib:0.108.0` - Prometheus: `prom/prometheus:v2.54.1`, Loki: `grafana/loki:3.1.1`, Tempo: `grafana/tempo:2.5.0`, Grafana: `grafana/grafana:11.2.0` - Docker Desktop (Windows) @@ -33,16 +34,17 @@ ``` copy .env.example .env ``` -3. Собрать и поднять (LB + 2 реплики API + PostgreSQL + Redis + MinIO + minio-init + rabbitmq + worker + outbox + s3_cleanup + OTel Collector + Prometheus + Loki + Tempo + Grafana): +3. Собрать и поднять (LB + 2 реплики API + PostgreSQL + Redis + MinIO + minio-init + rabbitmq + worker + outbox + s3_cleanup + OTel Collector + Prometheus + Loki + Tempo + Grafana + OpenBao + openbao-init + security_init): ``` docker compose --env-file .env up -d --build ``` -4. Проверить готовность: +4. Проверить готовность (внешний HTTPS через LB): ``` - curl.exe -s http://localhost:8080/health/ready + curl.exe -s --cacert .\certs\ca.crt https://localhost:8443/health/ready ``` Ожидается: `{"status":"ok"}`. 5. Grafana доступна на `http://localhost:3000` (admin/admin). Дашборд `messenger-lab6` и datasources импортируются автоматически. +6. OpenBao доступен только внутри compose-сети по `https://openbao:8200` (наружу порт не публикуется). Bootstrap выполняется автоматически сервисами `security_init` (генерация CA и сертификатов) и `openbao-init` (init/unseal, политики, AppRole). Все проверки ниже выполнялись с `PYTHONUTF8=1` (Windows по умолчанию использует cp1251 и падает на чтении UTF-8 JSON): ``` @@ -57,15 +59,16 @@ $env:PYTHONUTF8="1" | --- | --- | | `make check` | `python scripts/check_contract.py` | | `make validate` | `python scripts/validate_openapi.py` | -| `make test` | `python tests/smoke.py --base-url http://localhost:8080` | -| `make test-persistence` | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | -| `make test-failover` | `python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url http://localhost:8080` | -| `make test-student` | `python student-tests/lab6_test_level4.py --base-url http://localhost:8080` | +| `make test` | `python tests/smoke.py --base-url https://localhost:8443 --ca-file certs/ca.crt` | +| `make test-security` | `python tests/security.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt` | +| `make test-persistence` | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt` | +| `make test-failover` | `python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt` | +| `make test-student` | `python student-tests/lab7_test_level4.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt` | ### Остановка и удаление учебных данных ``` -docker compose stop # данные PostgreSQL, Redis, MinIO, RabbitMQ, Prometheus, Loki, Tempo, Grafana сохраняются (volumes) +docker compose stop # данные PostgreSQL, Redis, MinIO, RabbitMQ, Prometheus, Loki, Tempo, Grafana, OpenBao сохраняются (volumes) docker compose down # volumes сохраняются docker compose down -v # ТОЛЬКО если осознанно стираем данные ``` @@ -75,31 +78,34 @@ docker compose down -v # ТОЛЬКО если осознанно стира Схема процессов и хранилищ: ``` - ┌─ api-1 (uvicorn:8080) ┐ -HTTP-клиент → lb:80 ──┤ │ - (nginx) └─ api-2 (uvicorn:8080) ├→ PostgreSQL 18.6 (метаданные, outbox) - ├→ Redis 7.4.1 (сессии) - ├→ MinIO (S3: staging + final байты) - └→ RabbitMQ (durable job queue) + ┌─ api-1 (uvicorn:8080, mTLS) ┐ +HTTPS-клиент → lb:8443 ┤ │ + (nginx, TLS) └─ api-2 (uvicorn:8080, mTLS)├→ PostgreSQL 18.6 (TLS verify-full) + ├→ Redis 7.4.1 (сессии) + ├→ MinIO (S3, private bucket) + └→ RabbitMQ (durable job queue) outbox (publisher) → читает unpublished из PostgreSQL → публикует в RabbitMQ worker (consumer) → забирает job из RabbitMQ → читает staging → пишет final+variants → status=ready s3_cleanup → сверка S3↔БД, recover зависших processing -API/worker/outbox → OTLP/HTTP → otel-collector → ┬→ Tempo (traces) - ├→ Loki (logs) - └→ Prometheus (metrics) - → Grafana (дашборд, алерты) +API/worker/outbox → OTLP/HTTP (mTLS) → otel-collector → ┬→ Tempo (traces) + ├→ Loki (logs) + └→ Prometheus (metrics) + → Grafana (дашборд, алерты) + +API/worker → OpenBao (HTTPS, AppRole) → scoped KV v2 secret (TTL 15m) ``` -Все сервисы — в одной compose-сети `mtuci2026lab6_default`. Публично опубликован только порт LB `127.0.0.1:8080:80` и Grafana `127.0.0.1:3000:3000`. Реплики `api` **не имеют `ports`** — трафик к ним идёт исключительно через LB. PostgreSQL, Redis, MinIO, RabbitMQ, OTel Collector (4317/4318/8888/8889), Prometheus (9090), Loki (3100), Tempo (3200) доступны только по внутренним именам. +Все сервисы — в одной compose-сети `mtuci2026lab7_default`. Публично опубликованы только LB `127.0.0.1:8443:8443` и Grafana `127.0.0.1:3000:3000`. Реплики `api` **не имеют `ports`** — трафик к ним идёт исключительно через LB по mTLS. PostgreSQL, Redis, MinIO, RabbitMQ, OTel Collector (4317/4318/8888/8889), Prometheus (9090), Loki (3100), Tempo (3200), OpenBao (8200) доступны только по внутренним именам. Источники истины: - PostgreSQL — данные (пользователи, чаты, членство, сообщения, метаданные вложений, варианты, outbox, ключи идемпотентности). -- Redis — серверные сессии (общие для всех реплик). +- Redis — серверные сессии (общие для всех реплик) и счётчики rate-limit входа (общие через реплики). - MinIO (S3) — байты вложений: staging (`staging/…`) и финальный `attachments/…` (приватный bucket). - RabbitMQ — durable очередь job'ов. Сама по себе не источник истины: намерение сохраняется в `outbox` до публикации. - Tempo/Loki/Prometheus — telemetry storage. Их падение не останавливает API. +- OpenBao — источник secrets (scoped policy, AppRole, TTL 15m). Схема БД (подробнее — `src/app/storage/db.py`, константа `SCHEMA_SQL`): ``` @@ -139,59 +145,113 @@ outbox(id BIGSERIAL PK, job_id UUID UNIQUE, payload JSONB, created_at TIMESTAMPT - `create_attachment_queued` — INSERT `attachments` (status=`queued`) + INSERT `outbox` в **одной** транзакции. Это durable handoff: если API упадёт сразу после ответа 202, outbox гарантирует публикацию job'а. - `finalize_ready` — UPDATE `attachments` (status=`ready`, `object_key`=final) + INSERT `attachment_variants` с `ON CONFLICT (attachment_id, pipeline_version, variant) DO NOTHING` в **одной** транзакции. Идемпотентно к повторной доставке. -### Дерево проекта (изменения относительно lab5 отмечены `*`) +### Дерево проекта (изменения относительно lab6 отмечены `*`) ``` -mtuci2026lab6/ -├── compose.yaml * # + otel-collector, prometheus, loki, tempo, grafana; tag lab6 -├── Dockerfile +mtuci2026lab7/ +├── compose.yaml * # + openbao, openbao-init, security_init; TLS/mTLS для всех связей +├── Dockerfile * # CMD: uvicorn с --ssl-ca-certs/--ssl-certfile/--ssl-keyfile --ssl-cert-reqs 2 ├── docker-entrypoint.sh # генерирует INSTANCE_ID, пишет /tmp/instance_id +├── certs/ * # CA, серверные и клиентские сертификаты (генерируются security_init) +├── secrets/ * # bao-init.json, api-approle.env, worker-approle.env (создаются openbao-init) ├── infra/ -│ ├── nginx.conf -│ ├── otel/collector.yaml * # OTLP receivers, memory_limiter, batch, exporters -│ ├── prometheus/ -│ │ ├── prometheus.yaml * # scrape otel-collector:8889 -│ │ └── rules/alerts.yaml * -│ ├── loki/loki.yaml * -│ ├── tempo/tempo.yaml * -│ ├── grafana/provisioning/ -│ │ ├── datasources/datasources.yaml * # Prometheus/Loki/Tempo -│ │ ├── dashboards/provider.yaml * -│ │ ├── dashboards/json/messenger.json * -│ │ └── alerting/{contactpoints,policies,rules}.yaml * -│ └── runbooks/ * # high-error-rate.md, queue-lag.md, slow-upload.md +│ ├── nginx.conf * # внешний TLS :8443 + proxy_ssl_* для mTLS к API +│ ├── openbao/ * # bao.hcl (file storage, TLS), api-policy.hcl, worker-policy.hcl +│ ├── otel/collector.yaml * # TLS/mTLS receivers (client_ca_file) +│ ├── prometheus/ # prometheus.yaml, rules/alerts.yaml +│ ├── loki/loki.yaml +│ ├── tempo/tempo.yaml +│ ├── grafana/provisioning/ # datasources, dashboards, alerting +│ └── runbooks/ # high-error-rate.md, queue-lag.md, slow-upload.md ├── Makefile -├── requirements.txt * # + opentelemetry-* +├── requirements.txt * # + argon2-cffi +├── security/THREAT_MODEL.md * # модель угроз (6+ угроз, связь с контролями) ├── src/app/ -│ ├── main.py * # OTel init, HTTP-метрики, X-Request-Id/X-Instance-Id -│ ├── telemetry.py * # новый: единая точка init OTel + лог-формат -│ ├── outbox_worker.py * # trace context из outbox payload → job.publish span -│ ├── worker.py * # consumer span job.consume, метрики jobs_* -│ ├── api/attachments.py * # inject traceparent в outbox payload -│ ├── api/... # без изменений с lab5 +│ ├── main.py * # + MAX_REQUEST_BODY_BYTES middleware, Retry-After из HTTPException +│ ├── secrets.py * # новый: OpenBao AppRole → scoped token → KV v2 secret +│ ├── telemetry.py * # _otel_cert_kwargs: mTLS к Collector (CA + client cert) +│ ├── api/auth.py * # rate-limit логина через Redis (общий для реплик) +│ ├── api/... # без изменений с lab6 │ ├── models/schemas.py -│ └── storage/ # без изменений с lab5 +│ └── storage/ +│ ├── passwords.py * # новый: Argon2id (m=19456,t=2,p=1), rehash старого scrypt +│ ├── postgres.py * # verify_credentials: Argon2id + rehash +│ ├── db.py * # sslmode=verify-full, sslrootcert, statement_timeout +│ ├── rabbit.py +│ ├── s3.py +│ ├── sessions.py +│ ├── s3_cleanup.py +│ └── replay_failed.py ├── scripts/ -│ ├── restart.sh / .bat -│ ├── stop-one.sh / .bat -│ └── rolling-update.sh +│ ├── restart.sh / .bat * # + OpenBao unseal через openbao-init; HTTPS readiness +│ └── stop-one.sh / .bat └── student-tests/ - └── lab6_test_level4.py * # новый: traces, metrics, logs, dashboard, alerts, telemetry down + └── lab7_test_level4.py * # новый: argon2id, rate-limit, mTLS, OpenBao, hardening, rotation, PG TLS ``` -### Что нового в lab6 относительно lab5 +### Что нового в lab7 относительно lab6 -TODO +1. **Argon2id** (`src/app/storage/passwords.py`): пароли хранятся как `$argon2id$v=19$m=19456,t=2,p=1$...`. Старые scrypt-хэши принимаются одноразово и при успешном входе перезаписываются Argon2id (rehash). +2. **Rate-limit входа**: счётчик `loginrl::` в Redis (`INCR`+`EXPIRE`), общий для всех реплик. При превышении — `429` с `Retry-After`. +3. **Внешний TLS**: LB слушает `:8443` с `server.crt`/`server.key`, подписанными локальным CA (`security_init`). +4. **Внутреннее mTLS LB→API**: API (uvicorn) запущен с `--ssl-cert-reqs 2` (CERT_REQUIRED) и `--ssl-ca-certs /certs/ca.crt`. Nginx предъявляет `lb-client.crt` (SAN `lb-client`), проверяет серверный сертификат API по тому же CA (`proxy_ssl_verify on`, `proxy_ssl_name api`). Прямой публичный API-порт отсутствует. +5. **TLS к PostgreSQL**: `sslmode=verify-full` + `sslrootcert=/certs/ca.crt` через `ConnectionPool.kwargs` (DSN остаётся совместимым с прошлыми лабами). PostgreSQL запущен с `ssl=on` и серверным сертификатом. +6. **mTLS к OTel Collector**: Collector принимает OTLP по TLS с `client_ca_file=/certs/ca.crt`. API/worker/outbox предъявляют свои клиентские сертификаты (`api-client.crt`, `worker-client.crt`, `outbox-client.crt`). +7. **OpenBao вне dev-mode**: file storage, TLS listener на `8200` (внутренний), `security_init` генерирует `bao-server.crt`/`.key`. `openbao-init` (one-shot) делает `operator init`/`unseal`, создаёт KV v2, политики `api-policy`/`worker-policy` и AppRole-роли. RoleID/SecretID пишутся в `/secrets/*-approle.env` (chmod 600). Токены живут 15 минут; root token и unseal key только в `/secrets/bao-init.json`, в API-контейнер не попадают. +8. **Scoped policy**: API-токен читает только `secret/data/app/api`, worker — только `secret/data/app/worker`; `sys/policies` и чужой path запрещены. +9. **Hardening контейнеров**: API/worker/outbox — non-root, `read_only: true`, `tmpfs: /tmp`, `cap_drop: ALL`, `no-new-privileges:true`. LB — с минимально нужными capabilities (`NET_BIND_SERVICE`, `CHOWN`, `SETGID`, `SETUID`); stateful-сервисы (postgres/minio/rabbitmq) writable — исключение объяснено необходимостью записи данных. +10. **Раннее ограничение тела запроса**: middleware в `main.py` по `Content-Length` → `413 payload_too_large` до чтения тела (`MAX_REQUEST_BODY_BYTES`). +11. **Ротация leaf-сертификата**: новые leaf сертификаты с тем же SAN `lb-client` генерируются на лету и принимаются API без пересборки образов (проверено `lab7_test_level4.py`). + +### Модель угроз и матрица доверия + +Полная модель — `security/THREAT_MODEL.md`, матрица связей — `contracts/trust-matrix.md` (заполнена). Кратко по активным связям: + +| Связь | Что проверяется | Как | +| --- | --- | --- | +| Клиент → LB | TLS + hostname (`localhost`/`127.0.0.1`) | `tests/security.py`: с пустым trust store — `SSLCertVerificationError`, не timeout | +| LB → API (реплики) | mTLS + identity `lb-client` | `lab7_test_level4.py::test_mtls_lb_to_api`: без cert → reject; чужой self-signed leaf → reject; `lb-client.crt` → OK | +| API → PostgreSQL | TLS `verify-full` + CA pin | `db.py` (`sslmode=verify-full`, `sslrootcert`); `pg_stat_ssl` показывает ≥1 SSL-соединение | +| API/worker/outbox → Collector | mTLS, разные identities (`api`/`worker`/`outbox`) | `otel-collector` c `client_ca_file`; в приложении `_otel_cert_kwargs` | +| API/worker → OpenBao | TLS + AppRole + scoped policy | `secrets.py`; тест: allow `secret/data/app/api`, deny `secret/data/app/worker`, deny `sys/policies` | +| API/worker → S3 | TLS + прикладные S3-credentials | MinIO внутренний, `minio-init` создаёт `messenger-app` с ограниченной policy | +| API/worker → broker | TLS + разные producer/consumer identities | Внутренний транспорт; в учебном стенде — только compose-сеть (документировано) | +| Grafana → datasources | Внутренняя compose-сеть | Datasources не публикуются наружу | +| Оператор → OpenBao | Локальный Docker exec/one-shot init | `/secrets/bao-init.json` вне Git (`.dockerignore` исключает `secrets/`) | + +Модель угроз (≥6 связей «угроза → контроль → отрицательный тест»): +1. Посторонний пользователь читает metadata/content чужого вложения → ACL в `attachments.py` → `404` в `lab4_test_level4`/`lab7_test_level4`. +2. Подделка `X-User-Id` для смены identity → Bearer обязателен, `X-User-Id` игнорируется → smoke (`X-User-Id: ` не меняет владельца). +3. Перебор паролей → rate-limit входа (Redis, общий через реплики) → `lab7_test_level4::test_login_rate_limit` (`429`+`Retry-After`). +4. Кража/подмена клиента LB → обязательный mTLS + allowlist SAN `lb-client` → `test_mtls_lb_to_api` (без cert / чужой CA → reject). +5. Компрометация API-процесса → scoped OpenBao-политика (не читает worker-secret и sys/policies), root token вне контейнера → `test_openbao_policy`. +6. Утечка через логи/telemetry → `TraceContextFilter` только технические поля; тела/токены в логи не попадают → `lab6_test_level4::test_logs_in_loki` (нет Authorization/body). +7. RCE-подобный доступ в контейнере приложения → `read_only`+`cap_drop ALL`+non-root+`no-new-privileges` → `test_container_hardening`. +8. Старый слабый password hash → Argon2id + rehash при входе → `test_argon2id_in_db`. ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Уровень | | --- | --- | --- | --- | -| Публичный smoke | `python tests/smoke.py` | PASS: lab6 public API scenario | 3 | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | - -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Контракт | `python scripts/check_contract.py` | `PASS: offline skeleton structure…` | 3 | +| Полная OpenAPI 3.1 валидация | `python scripts/validate_openapi.py` | `PASS: full OpenAPI 3.1 and JSON Schema validation…` | 3 | +| Публичный smoke по HTTPS | `python tests/smoke.py --base-url https://localhost:8443 --ca-file certs/ca.crt` | `PASS: lab7 public API scenario…` | 3 | +| Внешний TLS: доверенный CA проходит, недоверенный отвергается | `python tests/security.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt` | `PASS: trusted HTTPS works; untrusted CA rejected…` | 3 | +| Сохранность данных и сессии при перезапуске | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt` | PASS (hook перезапустил API + хранилища; токен и данные сохранены) | 3/4 | +| Отказ одной API-реплики, восстановление и дедупликация | `python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt` | `observed_instances_before=2, successful_writes=8, failed_attempts=0, first_recovery_seconds=6.345`; PASS | 3/4 | +| Argon2id, параметры ≥19MiB/t=2/p=1 | `python student-tests/lab7_test_level4.py …` (`test_argon2id_in_db`) | `{'m':'19456','t':'2','p':'1'}` | 3 | +| Rate-limit входа `429`+`Retry-After`, общий через Redis | `test_login_rate_limit` | `rate limit hit, Retry-After = 39` | 3 | +| mTLS LB→API: positive + 2 negative | `test_mtls_lb_to_api` | `mTLS LB->API: positive + 2 negative passed` | 3 | +| Отзыв сессии; пустой trust store → ошибка верификации | `test_session_revocation_and_tls` | `revoke -> 401; empty trust store -> cert verify error` | 3 | +| OpenBao scoped policy allow/deny | `test_openbao_policy` | `api can read app/api, cannot read app/worker or sys/policies` | 3 | +| Hardening контейнеров API/worker/outbox | `test_container_hardening` | `hardening OK for api/worker/outbox` | 4 | +| Ротация leaf-сертификата без пересборки | `test_leaf_cert_rotation` | `fresh leaf accepted by API without rebuild` | 4 | +| API→PG TLS `verify-full` + реальные SSL-соединения | `test_pg_tls_verify` | `verify-full + CA pin + actual SSL connections=12` | 3/4 | +| Наблюдаемость (traces/metrics/logs/Grafana/alerts) | `student-tests/lab6_test_level4.py` | PASS (перенесено из lab6) | 3/4 | +| Фоновые задания (outbox, DLQ, lease, идемпотентность) | `student-tests/lab5_test_level4.py` | PASS (перенесено из lab5) | 3/4 | +| Вложения (202/ACL/варианты) | `student-tests/lab4_test_level4.py` | PASS (перенесено из lab4) | 3/4 | +| Балансировка/идемпотентность/отказ реплики | `student-tests/lab3_test_level4.py` | PASS (перенесено из lab3) | 3/4 | +| Persistence, EXPLAIN, отказ Redis/PG | `student-tests/lab2_test_level4.py` | PASS (перенесено из lab2) | 3/4 | ### Выводы тестов @@ -202,27 +262,72 @@ PASS: offline skeleton structure, local refs and Python syntax; application NOT (venv) PS ...> python scripts/validate_openapi.py PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. -(venv) PS ...> python tests/smoke.py --base-url http://localhost:8080 -PASS: lab6 public API scenario; infrastructure and grading evidence remain separate. +(venv) PS ...> python tests/smoke.py --base-url https://localhost:8443 --ca-file certs/ca.crt +PASS: lab7 public API scenario; infrastructure and grading evidence remain separate. -(venv) PS ...> python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080 -Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +(venv) PS ...> python tests/security.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt +PASS: trusted HTTPS works; untrusted CA rejected. This does NOT verify internal mTLS, OpenBao or hardening. + +(venv) PS ...> python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. -(venv) PS ...> python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url http://localhost:8080 +(venv) PS ...> python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt Executing explicit failover hook; hook output suppressed to avoid leaking secrets. -{"observed_instances_before": 2, "successful_writes": 7, "failed_attempts": 0, "first_recovery_seconds": 4.245} +{"observed_instances_before": 2, "successful_writes": 8, "failed_attempts": 0, "first_recovery_seconds": 6.345} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. + +(venv) PS ...> python student-tests/lab7_test_level4.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt +=== argon2id in DB === + Argon2id hash params: {'m': '19456', 't': '2', 'p': '1'} +PASS: Argon2id hash with m>=19456,t>=2,p>=1 +=== login rate-limit === + rate limit hit, Retry-After = 39 +PASS: 429 + Retry-After, shared across replicas via Redis +=== mTLS LB -> API === + mTLS LB->API: positive + 2 negative passed +PASS: LB identity required, no-cert / foreign-CA rejected +=== session revocation over TLS === +PASS: revoke -> 401; empty trust store -> cert verify error +=== OpenBao scoped policy === + OpenBao policy: api can read app/api, cannot read app/worker or sys/policies +PASS: api token reads only app/api, denied app/worker and sys/policies +=== container hardening === + hardening OK for api/worker/outbox +PASS: non-root, read_only, cap_drop ALL, no-new-privileges +=== leaf cert rotation === + fresh leaf accepted by API without rebuild +PASS: fresh lb-client leaf accepted without API rebuild +=== API -> PG TLS === + API->PG: verify-full + CA pin + actual SSL connections=12 +PASS: verify-full + CA pin +PASS: all lab7 level-4 checks passed ``` -## Эксперименты и отказы +## Ротация, expiry и отзыв credentials (уровень 4) -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +**Leaf-сертификат LB** (без пересборки образов): +1. `openssl genrsa` + `openssl req -new` + `openssl x509 -req -CA /certs/ca.crt -CAkey /certs/ca.key` для нового CN `lb-client` с тем же SAN. +2. Новый сертификат подкладывается контейнеру API во временный файл; API проверяет цепочку по CA и SAN `lb-client` и принимает запрос. +3. Старый leaf остаётся валидным до замены на стороне nginx. `test_leaf_cert_rotation` подтверждает приём нового leaf без рестарта/пересборки. -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +**Secret API в OpenBao**: +- `/secrets/bao-init.json` (root token + unseal key) и `/secrets/*-approle.env` (RoleID/SecretID) не входят в Git (см. `.dockerignore`). +- Приложение не хранит root token: `secrets.py` делает AppRole login → short-lived token (TTL 15m) → читает только свой KV path. +- Ротация: заменить значение `bao kv put secret/app/api ...`; сервис перечитает при следующем логине (кэш в памяти процесса сбрасывается рестартом/перезапросом токена). +- Отзыв identity: `bao token revoke` или `bao write auth/approle/role/api/secret-id-accessor/destroy ...` — новое соединение с отозванным токеном получает `403`; действующие соединения продолжают жить до TTL, что документировано как ожидаемое поведение. -## Ограничения и следующие шаги +**Expiry/Sealed OpenBao**: +- Если OpenBao запечатан или недоступен, `secrets.py` возвращает `None`; вызывающий код продолжает с уже полученным значением из памяти. При перезапуске и недоступном OpenBao приложение работает с уже прочитанными значениями; `scripts/restart.sh` запускает `openbao-init` для идемпотентного unseal после рестарта. +- После `docker compose restart openbao` контейнер возвращается `sealed`; `openbao-init` распечатывает его ключом из `/secrets/bao-init.json`. Unseal-материал не запекается в образ и не выводится в лог. -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +**Rate-limit** входа: ключ `loginrl::` (IP берётся из `X-Forwarded-For`, который ставит LB). Счётчик обновляется через Redis `INCR`+`EXPIRE`, поэтому лимит общий для реплик; `Retry-After` — остаток TTL. + +## Ограничения и известные упрощения + +- **Учебный стенд на одном Docker-host**: HA к потере хоста не заявлена. Несколько реплик API + LB не делают PostgreSQL/MinIO/RabbitMQ высокодоступными. +- **OpenBao bootstrap**: init/unseal автоматизированы в `openbao-init`, но CA private key и unseal share хранятся в `/secrets` на том же хосте. Для реальной эксплуатации нужен внешний bootstrap trust и отдельное хранение unseal (HSM/оператор). +- **Redis и MinIO без TLS внутри compose-сети**: документировано как «закрытый локальный transport»; для production-подобной схемы нужен TLS/ACL или sidecar. +- **Broker (RabbitMQ)**: внутренний транспорт без mTLS; trust-matrix помечает это как учебное упрощение, ограниченное compose-сетью. +- **Ротация секретов**: автоматизирована вручную (повторный `bao kv put` + рестарт или ожидание нового логина); полностью автоматической ротации по таймеру нет. +- **Leaf-ротация** проверена на `lb-client`; серверные leaf (`api-server`, `postgres-server`, `collector-server`, `bao-server`) перевыпускаются через `security_init` при отсутствии файлов — без пересборки образов, но с рестартом затронутых сервисов. +- **Ранее заявленное (перенесено)**: outbox/DLQ/lease, идемпотентность вложений, отказ PostgreSQL/Redis, наблюдаемость и алерты — работают под HTTPS, что подтверждено smoke и `lab7_test_level4`. \ No newline at end of file