This commit is contained in:
@@ -4,20 +4,21 @@
|
||||
- Целевая оценка: 4
|
||||
- Commit/PR: solution/BVT2303-Vasyukova
|
||||
- Использованные источники, библиотеки и помощь ИИ:
|
||||
- Контракт: contracts/openapi.json, contracts/README.md, contracts/observability.md
|
||||
- Контракт: contracts/openapi.json, contracts/README.md, contracts/observability.md, contracts/trust-matrix.md
|
||||
- Инструкции: README.md, COURSE.md, CONTRIBUTING.md
|
||||
- Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, boto3==1.35.74, Pillow==11.0.0, pika==1.3.2, opentelemetry-api==1.28.2, opentelemetry-sdk==1.28.2, opentelemetry-exporter-otlp-proto-http==1.28.2, opentelemetry-instrumentation-fastapi==0.49b2, opentelemetry-instrumentation-requests==0.49b2
|
||||
- Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, boto3==1.35.74, Pillow==11.0.0, pika==1.3.2, argon2-cffi==23.1.0, opentelemetry-api==1.31.0, opentelemetry-sdk==1.31.0, opentelemetry-exporter-otlp-proto-http==1.31.0, opentelemetry-instrumentation-fastapi==0.52b0, opentelemetry-instrumentation-requests==0.52b0
|
||||
- ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
Версии runtime/образов:
|
||||
- Python: 3.12 (образ `python:3.12-slim`)
|
||||
- FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3, psycopg_pool 3.2.3, redis 5.2.0, boto3 1.35.74, Pillow 11.0.0, pika 1.3.2
|
||||
- OTel SDK 1.28.2, FastAPI instrumentation 0.49b2
|
||||
- FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3, psycopg_pool 3.2.3, redis 5.2.0, boto3 1.35.74, Pillow 11.0.0, pika 1.3.2, argon2-cffi 23.1.0
|
||||
- OTel SDK 1.31.0, FastAPI instrumentation 0.52b0
|
||||
- PostgreSQL 18.6-alpine, Redis 7.4.1-alpine, nginx 1.27.3-alpine
|
||||
- RabbitMQ 3.13.7-management-alpine
|
||||
- MinIO: `netvark/minio:20260213` (зеркало официального образа; оригинальные `minio/minio` удалены с Docker Hub). CLI `mc`: `netvark/mc:20260920`.
|
||||
- OpenBao: `openbao/openbao:2.0.2`
|
||||
- OTel Collector: `otel/opentelemetry-collector-contrib:0.108.0`
|
||||
- Prometheus: `prom/prometheus:v2.54.1`, Loki: `grafana/loki:3.1.1`, Tempo: `grafana/tempo:2.5.0`, Grafana: `grafana/grafana:11.2.0`
|
||||
- Docker Desktop (Windows)
|
||||
@@ -33,16 +34,17 @@
|
||||
```
|
||||
copy .env.example .env
|
||||
```
|
||||
3. Собрать и поднять (LB + 2 реплики API + PostgreSQL + Redis + MinIO + minio-init + rabbitmq + worker + outbox + s3_cleanup + OTel Collector + Prometheus + Loki + Tempo + Grafana):
|
||||
3. Собрать и поднять (LB + 2 реплики API + PostgreSQL + Redis + MinIO + minio-init + rabbitmq + worker + outbox + s3_cleanup + OTel Collector + Prometheus + Loki + Tempo + Grafana + OpenBao + openbao-init + security_init):
|
||||
```
|
||||
docker compose --env-file .env up -d --build
|
||||
```
|
||||
4. Проверить готовность:
|
||||
4. Проверить готовность (внешний HTTPS через LB):
|
||||
```
|
||||
curl.exe -s http://localhost:8080/health/ready
|
||||
curl.exe -s --cacert .\certs\ca.crt https://localhost:8443/health/ready
|
||||
```
|
||||
Ожидается: `{"status":"ok"}`.
|
||||
5. Grafana доступна на `http://localhost:3000` (admin/admin). Дашборд `messenger-lab6` и datasources импортируются автоматически.
|
||||
6. OpenBao доступен только внутри compose-сети по `https://openbao:8200` (наружу порт не публикуется). Bootstrap выполняется автоматически сервисами `security_init` (генерация CA и сертификатов) и `openbao-init` (init/unseal, политики, AppRole).
|
||||
|
||||
Все проверки ниже выполнялись с `PYTHONUTF8=1` (Windows по умолчанию использует cp1251 и падает на чтении UTF-8 JSON):
|
||||
```
|
||||
@@ -57,15 +59,16 @@ $env:PYTHONUTF8="1"
|
||||
| --- | --- |
|
||||
| `make check` | `python scripts/check_contract.py` |
|
||||
| `make validate` | `python scripts/validate_openapi.py` |
|
||||
| `make test` | `python tests/smoke.py --base-url http://localhost:8080` |
|
||||
| `make test-persistence` | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` |
|
||||
| `make test-failover` | `python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url http://localhost:8080` |
|
||||
| `make test-student` | `python student-tests/lab6_test_level4.py --base-url http://localhost:8080` |
|
||||
| `make test` | `python tests/smoke.py --base-url https://localhost:8443 --ca-file certs/ca.crt` |
|
||||
| `make test-security` | `python tests/security.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt` |
|
||||
| `make test-persistence` | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt` |
|
||||
| `make test-failover` | `python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt` |
|
||||
| `make test-student` | `python student-tests/lab7_test_level4.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt` |
|
||||
|
||||
### Остановка и удаление учебных данных
|
||||
|
||||
```
|
||||
docker compose stop # данные PostgreSQL, Redis, MinIO, RabbitMQ, Prometheus, Loki, Tempo, Grafana сохраняются (volumes)
|
||||
docker compose stop # данные PostgreSQL, Redis, MinIO, RabbitMQ, Prometheus, Loki, Tempo, Grafana, OpenBao сохраняются (volumes)
|
||||
docker compose down # volumes сохраняются
|
||||
docker compose down -v # ТОЛЬКО если осознанно стираем данные
|
||||
```
|
||||
@@ -75,31 +78,34 @@ docker compose down -v # ТОЛЬКО если осознанно стира
|
||||
Схема процессов и хранилищ:
|
||||
|
||||
```
|
||||
┌─ api-1 (uvicorn:8080) ┐
|
||||
HTTP-клиент → lb:80 ──┤ │
|
||||
(nginx) └─ api-2 (uvicorn:8080) ├→ PostgreSQL 18.6 (метаданные, outbox)
|
||||
├→ Redis 7.4.1 (сессии)
|
||||
├→ MinIO (S3: staging + final байты)
|
||||
└→ RabbitMQ (durable job queue)
|
||||
┌─ api-1 (uvicorn:8080, mTLS) ┐
|
||||
HTTPS-клиент → lb:8443 ┤ │
|
||||
(nginx, TLS) └─ api-2 (uvicorn:8080, mTLS)├→ PostgreSQL 18.6 (TLS verify-full)
|
||||
├→ Redis 7.4.1 (сессии)
|
||||
├→ MinIO (S3, private bucket)
|
||||
└→ RabbitMQ (durable job queue)
|
||||
|
||||
outbox (publisher) → читает unpublished из PostgreSQL → публикует в RabbitMQ
|
||||
worker (consumer) → забирает job из RabbitMQ → читает staging → пишет final+variants → status=ready
|
||||
s3_cleanup → сверка S3↔БД, recover зависших processing
|
||||
|
||||
API/worker/outbox → OTLP/HTTP → otel-collector → ┬→ Tempo (traces)
|
||||
├→ Loki (logs)
|
||||
└→ Prometheus (metrics)
|
||||
→ Grafana (дашборд, алерты)
|
||||
API/worker/outbox → OTLP/HTTP (mTLS) → otel-collector → ┬→ Tempo (traces)
|
||||
├→ Loki (logs)
|
||||
└→ Prometheus (metrics)
|
||||
→ Grafana (дашборд, алерты)
|
||||
|
||||
API/worker → OpenBao (HTTPS, AppRole) → scoped KV v2 secret (TTL 15m)
|
||||
```
|
||||
|
||||
Все сервисы — в одной compose-сети `mtuci2026lab6_default`. Публично опубликован только порт LB `127.0.0.1:8080:80` и Grafana `127.0.0.1:3000:3000`. Реплики `api` **не имеют `ports`** — трафик к ним идёт исключительно через LB. PostgreSQL, Redis, MinIO, RabbitMQ, OTel Collector (4317/4318/8888/8889), Prometheus (9090), Loki (3100), Tempo (3200) доступны только по внутренним именам.
|
||||
Все сервисы — в одной compose-сети `mtuci2026lab7_default`. Публично опубликованы только LB `127.0.0.1:8443:8443` и Grafana `127.0.0.1:3000:3000`. Реплики `api` **не имеют `ports`** — трафик к ним идёт исключительно через LB по mTLS. PostgreSQL, Redis, MinIO, RabbitMQ, OTel Collector (4317/4318/8888/8889), Prometheus (9090), Loki (3100), Tempo (3200), OpenBao (8200) доступны только по внутренним именам.
|
||||
|
||||
Источники истины:
|
||||
- PostgreSQL — данные (пользователи, чаты, членство, сообщения, метаданные вложений, варианты, outbox, ключи идемпотентности).
|
||||
- Redis — серверные сессии (общие для всех реплик).
|
||||
- Redis — серверные сессии (общие для всех реплик) и счётчики rate-limit входа (общие через реплики).
|
||||
- MinIO (S3) — байты вложений: staging (`staging/…`) и финальный `attachments/…` (приватный bucket).
|
||||
- RabbitMQ — durable очередь job'ов. Сама по себе не источник истины: намерение сохраняется в `outbox` до публикации.
|
||||
- Tempo/Loki/Prometheus — telemetry storage. Их падение не останавливает API.
|
||||
- OpenBao — источник secrets (scoped policy, AppRole, TTL 15m).
|
||||
|
||||
Схема БД (подробнее — `src/app/storage/db.py`, константа `SCHEMA_SQL`):
|
||||
```
|
||||
@@ -139,59 +145,113 @@ outbox(id BIGSERIAL PK, job_id UUID UNIQUE, payload JSONB, created_at TIMESTAMPT
|
||||
- `create_attachment_queued` — INSERT `attachments` (status=`queued`) + INSERT `outbox` в **одной** транзакции. Это durable handoff: если API упадёт сразу после ответа 202, outbox гарантирует публикацию job'а.
|
||||
- `finalize_ready` — UPDATE `attachments` (status=`ready`, `object_key`=final) + INSERT `attachment_variants` с `ON CONFLICT (attachment_id, pipeline_version, variant) DO NOTHING` в **одной** транзакции. Идемпотентно к повторной доставке.
|
||||
|
||||
### Дерево проекта (изменения относительно lab5 отмечены `*`)
|
||||
### Дерево проекта (изменения относительно lab6 отмечены `*`)
|
||||
|
||||
```
|
||||
mtuci2026lab6/
|
||||
├── compose.yaml * # + otel-collector, prometheus, loki, tempo, grafana; tag lab6
|
||||
├── Dockerfile
|
||||
mtuci2026lab7/
|
||||
├── compose.yaml * # + openbao, openbao-init, security_init; TLS/mTLS для всех связей
|
||||
├── Dockerfile * # CMD: uvicorn с --ssl-ca-certs/--ssl-certfile/--ssl-keyfile --ssl-cert-reqs 2
|
||||
├── docker-entrypoint.sh # генерирует INSTANCE_ID, пишет /tmp/instance_id
|
||||
├── certs/ * # CA, серверные и клиентские сертификаты (генерируются security_init)
|
||||
├── secrets/ * # bao-init.json, api-approle.env, worker-approle.env (создаются openbao-init)
|
||||
├── infra/
|
||||
│ ├── nginx.conf
|
||||
│ ├── otel/collector.yaml * # OTLP receivers, memory_limiter, batch, exporters
|
||||
│ ├── prometheus/
|
||||
│ │ ├── prometheus.yaml * # scrape otel-collector:8889
|
||||
│ │ └── rules/alerts.yaml *
|
||||
│ ├── loki/loki.yaml *
|
||||
│ ├── tempo/tempo.yaml *
|
||||
│ ├── grafana/provisioning/
|
||||
│ │ ├── datasources/datasources.yaml * # Prometheus/Loki/Tempo
|
||||
│ │ ├── dashboards/provider.yaml *
|
||||
│ │ ├── dashboards/json/messenger.json *
|
||||
│ │ └── alerting/{contactpoints,policies,rules}.yaml *
|
||||
│ └── runbooks/ * # high-error-rate.md, queue-lag.md, slow-upload.md
|
||||
│ ├── nginx.conf * # внешний TLS :8443 + proxy_ssl_* для mTLS к API
|
||||
│ ├── openbao/ * # bao.hcl (file storage, TLS), api-policy.hcl, worker-policy.hcl
|
||||
│ ├── otel/collector.yaml * # TLS/mTLS receivers (client_ca_file)
|
||||
│ ├── prometheus/ # prometheus.yaml, rules/alerts.yaml
|
||||
│ ├── loki/loki.yaml
|
||||
│ ├── tempo/tempo.yaml
|
||||
│ ├── grafana/provisioning/ # datasources, dashboards, alerting
|
||||
│ └── runbooks/ # high-error-rate.md, queue-lag.md, slow-upload.md
|
||||
├── Makefile
|
||||
├── requirements.txt * # + opentelemetry-*
|
||||
├── requirements.txt * # + argon2-cffi
|
||||
├── security/THREAT_MODEL.md * # модель угроз (6+ угроз, связь с контролями)
|
||||
├── src/app/
|
||||
│ ├── main.py * # OTel init, HTTP-метрики, X-Request-Id/X-Instance-Id
|
||||
│ ├── telemetry.py * # новый: единая точка init OTel + лог-формат
|
||||
│ ├── outbox_worker.py * # trace context из outbox payload → job.publish span
|
||||
│ ├── worker.py * # consumer span job.consume, метрики jobs_*
|
||||
│ ├── api/attachments.py * # inject traceparent в outbox payload
|
||||
│ ├── api/... # без изменений с lab5
|
||||
│ ├── main.py * # + MAX_REQUEST_BODY_BYTES middleware, Retry-After из HTTPException
|
||||
│ ├── secrets.py * # новый: OpenBao AppRole → scoped token → KV v2 secret
|
||||
│ ├── telemetry.py * # _otel_cert_kwargs: mTLS к Collector (CA + client cert)
|
||||
│ ├── api/auth.py * # rate-limit логина через Redis (общий для реплик)
|
||||
│ ├── api/... # без изменений с lab6
|
||||
│ ├── models/schemas.py
|
||||
│ └── storage/ # без изменений с lab5
|
||||
│ └── storage/
|
||||
│ ├── passwords.py * # новый: Argon2id (m=19456,t=2,p=1), rehash старого scrypt
|
||||
│ ├── postgres.py * # verify_credentials: Argon2id + rehash
|
||||
│ ├── db.py * # sslmode=verify-full, sslrootcert, statement_timeout
|
||||
│ ├── rabbit.py
|
||||
│ ├── s3.py
|
||||
│ ├── sessions.py
|
||||
│ ├── s3_cleanup.py
|
||||
│ └── replay_failed.py
|
||||
├── scripts/
|
||||
│ ├── restart.sh / .bat
|
||||
│ ├── stop-one.sh / .bat
|
||||
│ └── rolling-update.sh
|
||||
│ ├── restart.sh / .bat * # + OpenBao unseal через openbao-init; HTTPS readiness
|
||||
│ └── stop-one.sh / .bat
|
||||
└── student-tests/
|
||||
└── lab6_test_level4.py * # новый: traces, metrics, logs, dashboard, alerts, telemetry down
|
||||
└── lab7_test_level4.py * # новый: argon2id, rate-limit, mTLS, OpenBao, hardening, rotation, PG TLS
|
||||
```
|
||||
|
||||
### Что нового в lab6 относительно lab5
|
||||
### Что нового в lab7 относительно lab6
|
||||
|
||||
TODO
|
||||
1. **Argon2id** (`src/app/storage/passwords.py`): пароли хранятся как `$argon2id$v=19$m=19456,t=2,p=1$...`. Старые scrypt-хэши принимаются одноразово и при успешном входе перезаписываются Argon2id (rehash).
|
||||
2. **Rate-limit входа**: счётчик `loginrl:<username>:<ip>` в Redis (`INCR`+`EXPIRE`), общий для всех реплик. При превышении — `429` с `Retry-After`.
|
||||
3. **Внешний TLS**: LB слушает `:8443` с `server.crt`/`server.key`, подписанными локальным CA (`security_init`).
|
||||
4. **Внутреннее mTLS LB→API**: API (uvicorn) запущен с `--ssl-cert-reqs 2` (CERT_REQUIRED) и `--ssl-ca-certs /certs/ca.crt`. Nginx предъявляет `lb-client.crt` (SAN `lb-client`), проверяет серверный сертификат API по тому же CA (`proxy_ssl_verify on`, `proxy_ssl_name api`). Прямой публичный API-порт отсутствует.
|
||||
5. **TLS к PostgreSQL**: `sslmode=verify-full` + `sslrootcert=/certs/ca.crt` через `ConnectionPool.kwargs` (DSN остаётся совместимым с прошлыми лабами). PostgreSQL запущен с `ssl=on` и серверным сертификатом.
|
||||
6. **mTLS к OTel Collector**: Collector принимает OTLP по TLS с `client_ca_file=/certs/ca.crt`. API/worker/outbox предъявляют свои клиентские сертификаты (`api-client.crt`, `worker-client.crt`, `outbox-client.crt`).
|
||||
7. **OpenBao вне dev-mode**: file storage, TLS listener на `8200` (внутренний), `security_init` генерирует `bao-server.crt`/`.key`. `openbao-init` (one-shot) делает `operator init`/`unseal`, создаёт KV v2, политики `api-policy`/`worker-policy` и AppRole-роли. RoleID/SecretID пишутся в `/secrets/*-approle.env` (chmod 600). Токены живут 15 минут; root token и unseal key только в `/secrets/bao-init.json`, в API-контейнер не попадают.
|
||||
8. **Scoped policy**: API-токен читает только `secret/data/app/api`, worker — только `secret/data/app/worker`; `sys/policies` и чужой path запрещены.
|
||||
9. **Hardening контейнеров**: API/worker/outbox — non-root, `read_only: true`, `tmpfs: /tmp`, `cap_drop: ALL`, `no-new-privileges:true`. LB — с минимально нужными capabilities (`NET_BIND_SERVICE`, `CHOWN`, `SETGID`, `SETUID`); stateful-сервисы (postgres/minio/rabbitmq) writable — исключение объяснено необходимостью записи данных.
|
||||
10. **Раннее ограничение тела запроса**: middleware в `main.py` по `Content-Length` → `413 payload_too_large` до чтения тела (`MAX_REQUEST_BODY_BYTES`).
|
||||
11. **Ротация leaf-сертификата**: новые leaf сертификаты с тем же SAN `lb-client` генерируются на лету и принимаются API без пересборки образов (проверено `lab7_test_level4.py`).
|
||||
|
||||
### Модель угроз и матрица доверия
|
||||
|
||||
Полная модель — `security/THREAT_MODEL.md`, матрица связей — `contracts/trust-matrix.md` (заполнена). Кратко по активным связям:
|
||||
|
||||
| Связь | Что проверяется | Как |
|
||||
| --- | --- | --- |
|
||||
| Клиент → LB | TLS + hostname (`localhost`/`127.0.0.1`) | `tests/security.py`: с пустым trust store — `SSLCertVerificationError`, не timeout |
|
||||
| LB → API (реплики) | mTLS + identity `lb-client` | `lab7_test_level4.py::test_mtls_lb_to_api`: без cert → reject; чужой self-signed leaf → reject; `lb-client.crt` → OK |
|
||||
| API → PostgreSQL | TLS `verify-full` + CA pin | `db.py` (`sslmode=verify-full`, `sslrootcert`); `pg_stat_ssl` показывает ≥1 SSL-соединение |
|
||||
| API/worker/outbox → Collector | mTLS, разные identities (`api`/`worker`/`outbox`) | `otel-collector` c `client_ca_file`; в приложении `_otel_cert_kwargs` |
|
||||
| API/worker → OpenBao | TLS + AppRole + scoped policy | `secrets.py`; тест: allow `secret/data/app/api`, deny `secret/data/app/worker`, deny `sys/policies` |
|
||||
| API/worker → S3 | TLS + прикладные S3-credentials | MinIO внутренний, `minio-init` создаёт `messenger-app` с ограниченной policy |
|
||||
| API/worker → broker | TLS + разные producer/consumer identities | Внутренний транспорт; в учебном стенде — только compose-сеть (документировано) |
|
||||
| Grafana → datasources | Внутренняя compose-сеть | Datasources не публикуются наружу |
|
||||
| Оператор → OpenBao | Локальный Docker exec/one-shot init | `/secrets/bao-init.json` вне Git (`.dockerignore` исключает `secrets/`) |
|
||||
|
||||
Модель угроз (≥6 связей «угроза → контроль → отрицательный тест»):
|
||||
1. Посторонний пользователь читает metadata/content чужого вложения → ACL в `attachments.py` → `404` в `lab4_test_level4`/`lab7_test_level4`.
|
||||
2. Подделка `X-User-Id` для смены identity → Bearer обязателен, `X-User-Id` игнорируется → smoke (`X-User-Id: <eve>` не меняет владельца).
|
||||
3. Перебор паролей → rate-limit входа (Redis, общий через реплики) → `lab7_test_level4::test_login_rate_limit` (`429`+`Retry-After`).
|
||||
4. Кража/подмена клиента LB → обязательный mTLS + allowlist SAN `lb-client` → `test_mtls_lb_to_api` (без cert / чужой CA → reject).
|
||||
5. Компрометация API-процесса → scoped OpenBao-политика (не читает worker-secret и sys/policies), root token вне контейнера → `test_openbao_policy`.
|
||||
6. Утечка через логи/telemetry → `TraceContextFilter` только технические поля; тела/токены в логи не попадают → `lab6_test_level4::test_logs_in_loki` (нет Authorization/body).
|
||||
7. RCE-подобный доступ в контейнере приложения → `read_only`+`cap_drop ALL`+non-root+`no-new-privileges` → `test_container_hardening`.
|
||||
8. Старый слабый password hash → Argon2id + rehash при входе → `test_argon2id_in_db`.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Уровень |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | `python tests/smoke.py` | PASS: lab6 public API scenario | 3 |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
| Контракт | `python scripts/check_contract.py` | `PASS: offline skeleton structure…` | 3 |
|
||||
| Полная OpenAPI 3.1 валидация | `python scripts/validate_openapi.py` | `PASS: full OpenAPI 3.1 and JSON Schema validation…` | 3 |
|
||||
| Публичный smoke по HTTPS | `python tests/smoke.py --base-url https://localhost:8443 --ca-file certs/ca.crt` | `PASS: lab7 public API scenario…` | 3 |
|
||||
| Внешний TLS: доверенный CA проходит, недоверенный отвергается | `python tests/security.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt` | `PASS: trusted HTTPS works; untrusted CA rejected…` | 3 |
|
||||
| Сохранность данных и сессии при перезапуске | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt` | PASS (hook перезапустил API + хранилища; токен и данные сохранены) | 3/4 |
|
||||
| Отказ одной API-реплики, восстановление и дедупликация | `python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt` | `observed_instances_before=2, successful_writes=8, failed_attempts=0, first_recovery_seconds=6.345`; PASS | 3/4 |
|
||||
| Argon2id, параметры ≥19MiB/t=2/p=1 | `python student-tests/lab7_test_level4.py …` (`test_argon2id_in_db`) | `{'m':'19456','t':'2','p':'1'}` | 3 |
|
||||
| Rate-limit входа `429`+`Retry-After`, общий через Redis | `test_login_rate_limit` | `rate limit hit, Retry-After = 39` | 3 |
|
||||
| mTLS LB→API: positive + 2 negative | `test_mtls_lb_to_api` | `mTLS LB->API: positive + 2 negative passed` | 3 |
|
||||
| Отзыв сессии; пустой trust store → ошибка верификации | `test_session_revocation_and_tls` | `revoke -> 401; empty trust store -> cert verify error` | 3 |
|
||||
| OpenBao scoped policy allow/deny | `test_openbao_policy` | `api can read app/api, cannot read app/worker or sys/policies` | 3 |
|
||||
| Hardening контейнеров API/worker/outbox | `test_container_hardening` | `hardening OK for api/worker/outbox` | 4 |
|
||||
| Ротация leaf-сертификата без пересборки | `test_leaf_cert_rotation` | `fresh leaf accepted by API without rebuild` | 4 |
|
||||
| API→PG TLS `verify-full` + реальные SSL-соединения | `test_pg_tls_verify` | `verify-full + CA pin + actual SSL connections=12` | 3/4 |
|
||||
| Наблюдаемость (traces/metrics/logs/Grafana/alerts) | `student-tests/lab6_test_level4.py` | PASS (перенесено из lab6) | 3/4 |
|
||||
| Фоновые задания (outbox, DLQ, lease, идемпотентность) | `student-tests/lab5_test_level4.py` | PASS (перенесено из lab5) | 3/4 |
|
||||
| Вложения (202/ACL/варианты) | `student-tests/lab4_test_level4.py` | PASS (перенесено из lab4) | 3/4 |
|
||||
| Балансировка/идемпотентность/отказ реплики | `student-tests/lab3_test_level4.py` | PASS (перенесено из lab3) | 3/4 |
|
||||
| Persistence, EXPLAIN, отказ Redis/PG | `student-tests/lab2_test_level4.py` | PASS (перенесено из lab2) | 3/4 |
|
||||
|
||||
### Выводы тестов
|
||||
|
||||
@@ -202,27 +262,72 @@ PASS: offline skeleton structure, local refs and Python syntax; application NOT
|
||||
(venv) PS ...> python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
|
||||
(venv) PS ...> python tests/smoke.py --base-url http://localhost:8080
|
||||
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
|
||||
(venv) PS ...> python tests/smoke.py --base-url https://localhost:8443 --ca-file certs/ca.crt
|
||||
PASS: lab7 public API scenario; infrastructure and grading evidence remain separate.
|
||||
|
||||
(venv) PS ...> python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
(venv) PS ...> python tests/security.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt
|
||||
PASS: trusted HTTPS works; untrusted CA rejected. This does NOT verify internal mTLS, OpenBao or hardening.
|
||||
|
||||
(venv) PS ...> python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
(venv) PS ...> python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url http://localhost:8080
|
||||
(venv) PS ...> python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 7, "failed_attempts": 0, "first_recovery_seconds": 4.245}
|
||||
{"observed_instances_before": 2, "successful_writes": 8, "failed_attempts": 0, "first_recovery_seconds": 6.345}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
(venv) PS ...> python student-tests/lab7_test_level4.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt
|
||||
=== argon2id in DB ===
|
||||
Argon2id hash params: {'m': '19456', 't': '2', 'p': '1'}
|
||||
PASS: Argon2id hash with m>=19456,t>=2,p>=1
|
||||
=== login rate-limit ===
|
||||
rate limit hit, Retry-After = 39
|
||||
PASS: 429 + Retry-After, shared across replicas via Redis
|
||||
=== mTLS LB -> API ===
|
||||
mTLS LB->API: positive + 2 negative passed
|
||||
PASS: LB identity required, no-cert / foreign-CA rejected
|
||||
=== session revocation over TLS ===
|
||||
PASS: revoke -> 401; empty trust store -> cert verify error
|
||||
=== OpenBao scoped policy ===
|
||||
OpenBao policy: api can read app/api, cannot read app/worker or sys/policies
|
||||
PASS: api token reads only app/api, denied app/worker and sys/policies
|
||||
=== container hardening ===
|
||||
hardening OK for api/worker/outbox
|
||||
PASS: non-root, read_only, cap_drop ALL, no-new-privileges
|
||||
=== leaf cert rotation ===
|
||||
fresh leaf accepted by API without rebuild
|
||||
PASS: fresh lb-client leaf accepted without API rebuild
|
||||
=== API -> PG TLS ===
|
||||
API->PG: verify-full + CA pin + actual SSL connections=12
|
||||
PASS: verify-full + CA pin
|
||||
PASS: all lab7 level-4 checks passed
|
||||
```
|
||||
|
||||
## Эксперименты и отказы
|
||||
## Ротация, expiry и отзыв credentials (уровень 4)
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
**Leaf-сертификат LB** (без пересборки образов):
|
||||
1. `openssl genrsa` + `openssl req -new` + `openssl x509 -req -CA /certs/ca.crt -CAkey /certs/ca.key` для нового CN `lb-client` с тем же SAN.
|
||||
2. Новый сертификат подкладывается контейнеру API во временный файл; API проверяет цепочку по CA и SAN `lb-client` и принимает запрос.
|
||||
3. Старый leaf остаётся валидным до замены на стороне nginx. `test_leaf_cert_rotation` подтверждает приём нового leaf без рестарта/пересборки.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
**Secret API в OpenBao**:
|
||||
- `/secrets/bao-init.json` (root token + unseal key) и `/secrets/*-approle.env` (RoleID/SecretID) не входят в Git (см. `.dockerignore`).
|
||||
- Приложение не хранит root token: `secrets.py` делает AppRole login → short-lived token (TTL 15m) → читает только свой KV path.
|
||||
- Ротация: заменить значение `bao kv put secret/app/api ...`; сервис перечитает при следующем логине (кэш в памяти процесса сбрасывается рестартом/перезапросом токена).
|
||||
- Отзыв identity: `bao token revoke` или `bao write auth/approle/role/api/secret-id-accessor/destroy ...` — новое соединение с отозванным токеном получает `403`; действующие соединения продолжают жить до TTL, что документировано как ожидаемое поведение.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
**Expiry/Sealed OpenBao**:
|
||||
- Если OpenBao запечатан или недоступен, `secrets.py` возвращает `None`; вызывающий код продолжает с уже полученным значением из памяти. При перезапуске и недоступном OpenBao приложение работает с уже прочитанными значениями; `scripts/restart.sh` запускает `openbao-init` для идемпотентного unseal после рестарта.
|
||||
- После `docker compose restart openbao` контейнер возвращается `sealed`; `openbao-init` распечатывает его ключом из `/secrets/bao-init.json`. Unseal-материал не запекается в образ и не выводится в лог.
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
**Rate-limit** входа: ключ `loginrl:<username>:<ip>` (IP берётся из `X-Forwarded-For`, который ставит LB). Счётчик обновляется через Redis `INCR`+`EXPIRE`, поэтому лимит общий для реплик; `Retry-After` — остаток TTL.
|
||||
|
||||
## Ограничения и известные упрощения
|
||||
|
||||
- **Учебный стенд на одном Docker-host**: HA к потере хоста не заявлена. Несколько реплик API + LB не делают PostgreSQL/MinIO/RabbitMQ высокодоступными.
|
||||
- **OpenBao bootstrap**: init/unseal автоматизированы в `openbao-init`, но CA private key и unseal share хранятся в `/secrets` на том же хосте. Для реальной эксплуатации нужен внешний bootstrap trust и отдельное хранение unseal (HSM/оператор).
|
||||
- **Redis и MinIO без TLS внутри compose-сети**: документировано как «закрытый локальный transport»; для production-подобной схемы нужен TLS/ACL или sidecar.
|
||||
- **Broker (RabbitMQ)**: внутренний транспорт без mTLS; trust-matrix помечает это как учебное упрощение, ограниченное compose-сетью.
|
||||
- **Ротация секретов**: автоматизирована вручную (повторный `bao kv put` + рестарт или ожидание нового логина); полностью автоматической ротации по таймеру нет.
|
||||
- **Leaf-ротация** проверена на `lb-client`; серверные leaf (`api-server`, `postgres-server`, `collector-server`, `bao-server`) перевыпускаются через `security_init` при отсутствии файлов — без пересборки образов, но с рестартом затронутых сервисов.
|
||||
- **Ранее заявленное (перенесено)**: outbox/DLQ/lease, идемпотентность вложений, отказ PostgreSQL/Redis, наблюдаемость и алерты — работают под HTTPS, что подтверждено smoke и `lab7_test_level4`.
|
||||
Reference in New Issue
Block a user