forked from mtusi2026/mtusi2026lab7
97 lines
16 KiB
Markdown
97 lines
16 KiB
Markdown
# Отчёт — лабораторная 7
|
||
|
||
**Автор:** Каменский Андрей, БПИ2301. **Целевая оценка:** 4. Исследовательский трек на 5 не заявляется. Работа выполнена на базе собственной lab6. Для подготовки кода, объяснений и проверок использовался Codex; результаты подтверждены командами и evidence, а не только генерацией конфигураций.
|
||
|
||
## Запуск из чистого проекта
|
||
|
||
Docker Desktop/Compose, Python 3.11+, OpenSSL CLI 3+. `cp .env.example .env`, создать venv и установить requirements-dev, затем `python3 scripts/lab7.py bootstrap`. API https://localhost:8443, CA `.local/trust/ca.crt`. Полные команды в README. Внешние тесты не требуют клиентского cert; внутреннее mTLS проверяется отдельным operator test job.
|
||
|
||
Bootstrap генерирует новые локальные секреты и сертификаты, собирает image, создаёт постоянные volumes, инициализирует и разблокирует non-dev OpenBao, назначает cert auth/scoped policies, миграции и DB/S3 identities. Повторный bootstrap не сбрасывает БД и существующие KV. Material CA/unseal/root не входит в Git, Docker build context и submission archive. `.env` содержит только имена проекта/образа и порты, credentials runtime читаются из OpenBao.
|
||
|
||
Безопасная остановка `docker compose down`. Полный restart с сохранением данных — `scripts/restart.sh`. Намеренное удаление только собственного учебного стенда: `docker compose down --volumes` и отдельное удаление `.local` (не выполняется тестами).
|
||
|
||
## Архитектура и решения
|
||
|
||
```mermaid
|
||
flowchart LR
|
||
C[Клиент] -->|HTTPS| LB[HAProxy]
|
||
LB -->|mTLS, identity lb| A[API x2]
|
||
A -->|TLS / scoped DB role| DB[(PostgreSQL)]
|
||
A -->|mTLS / ACL| R[(Redis sessions + rate limit)]
|
||
A -->|TLS / SigV4| S[(MinIO)]
|
||
D[Dispatcher] -->|mTLS / XADD ACL| B[(Redis Streams)]
|
||
W[Worker] -->|mTLS / consumer ACL| B
|
||
D -->|TLS| DB
|
||
W -->|TLS / scoped role| DB
|
||
W -->|TLS / prefix ACL| S
|
||
A -->|cert auth + scoped policy| O[OpenBao]
|
||
W -->|cert auth + scoped policy| O
|
||
A -->|mTLS OTLP| T[Collector]
|
||
W -->|mTLS OTLP| T
|
||
T -->|mTLS| L[Loki / Tempo]
|
||
P[Prometheus] -->|mTLS scrape| T
|
||
G[Grafana] -->|mTLS, read-only| L
|
||
G -->|mTLS, read-only| P
|
||
```
|
||
|
||
Сохранена предыдущая бизнес-логика: PostgreSQL — источник истины; queued attachment/job/outbox фиксируются транзакционно; dispatcher публикует durable envelope в Redis Stream; worker получает исходник MinIO и создаёт original/thumbnail/crop/WebP; ACK после COMMIT ready. Повторы идемпотентны, lease/retry и bounded image subprocess сохранены. Session token — случайный секрет у клиента, SHA-256 key в Redis, абсолютный TTL 3600 без sliding renewal.
|
||
|
||
TLS-прокси делят network namespace backend; plaintext listener каждого backend привязан к loopback. API TLS transport находится в том же контейнере, Uvicorn слушает 127.0.0.1:8080. Проверка из постороннего контейнера подтверждает отсутствие обхода. Для PostgreSQL asyncpg использует direct_tls к proxy, а не PostgreSQL SSLRequest upgrade. Redis-клиенты используют rediss, CA, hostname и client cert. MinIO — native TLS, SigV4 credentials разделены по функциям. Полное покрытие и пути конфигураций — contracts/trust-matrix.md.
|
||
|
||
API transport допускает SAN lb. HAProxy gateways дополнительно к доверенному CA проверяют подписанную роль CN по allowlist. Сертификаты содержат согласованные CN/SAN и serverAuth/clientAuth. CA 365 дней, leaf 2 дня, CRL 7 дней. Rotation worker обновляет cert/key и CRL, закрывает старые соединения; session tickets gateways выключены. Выпуск нового leaf не считается автоматическим отзывом старого — проверен отдельный отказ нового соединения со старым serial.
|
||
|
||
## OpenBao и lifecycle
|
||
|
||
OpenBao 2.5.0, file storage на volume, TLS listener требует client cert, dev-mode отсутствует. Cert auth проверяет CA, allowed CN и DNS SAN, назначает service policy. В приложениях нет root/unseal/постоянного BAO_TOKEN. Runtime supervisor получает service token TTL 60/max TTL 300, каждые 10 секунд renew/read, при достижении max TTL повторно аутентифицируется сертификатом.
|
||
|
||
API/worker/dispatcher/reconciler читают только собственные пути `secret/data/messenger/<role>`. В KV хранятся статические рабочие credentials; динамические DB credentials не заявляются. Supervisor держит token/secret в памяти, передаёт рабочие значения child process, при изменении credentials/cert/CRL обновляет child без пересборки image. У обычного Docker inspect приложений credentials отсутствуют. Оператор хоста остаётся доверенным и может читать память процесса.
|
||
|
||
При sealed/unavailable OpenBao разрешена работа с последним подтверждённым доступом до его deadline; затем child останавливается, API перестаёт принимать соединения/проходит в 503 через LB. После operator unseal supervisor получает доступ заново. Deadline продлевается только после успешного чтения разрешённого секрета. Статические passwords в целевой системе сами по expiry Bao token не исчезают; bounded stop — политика нашего supervisor.
|
||
|
||
Ротация DB worker: новый login с membership в ограниченной роли → KV update → применение supervisor → старый NOLOGIN и terminate existing sessions. Ротация leaf: новый key/cert → revoke old serial → CRL gateways и cert auth → reload/close old connections. Допускается ограниченный перерыв, zero-downtime не заявляется. Durable pipeline после обоих воздействий проверяется до ready.
|
||
|
||
## Пароли, лимиты и контейнеры
|
||
|
||
Argon2id: memory 65536 KiB, time 3, parallelism 4, salt 16 bytes, hash 32 bytes. Соль/параметры входят в encoded hash. После успешного входа check_needs_rehash вызывает повторный hash введённого пароля и условный UPDATE, защищённый сравнением старого значения. Хеши не возвращаются пользователю и не логируются.
|
||
|
||
Бюджет: 0.5 CPU/512 MiB на API, максимум 2 одновременно выполняемых Argon2 на процесс, 2 API. Измерены минимум 19456 KiB/t2/p1 и выбранные 65536/t3/p4, последовательные и двухпоточные проверки; raw evidence/argon-budget.json. В итоговом измерении выбранный вариант дал p50 одной проверки около 0.65 s, максимум при concurrency 2 около 1.29 s, peak RSS отдельного probe process около 205 MiB. Это проверка в ограниченном API container, не утверждение о предельном throughput/production SLO. После обновления базового runtime измерение повторяется; актуальны значения в JSON.
|
||
|
||
Login fixed-window limit в общем Redis: 120/IP/60s и 10/account/60s, одна атомарная Lua operation, TTL ключей, 429/Retry-After. Логин нормализуется и хешируется для имени Redis key; IP берётся из X-Real-IP, который доверенный LB перезаписывает. Uvicorn proxy_headers=False. Передаваемый клиентом user_id/IP header не является identity. При недоступности Redis вход не обходит limiter, а возвращает unavailable. Ограничение по user_id для уже аутентифицированных бизнес-запросов не требуется этим login-контролем.
|
||
|
||
API/worker и прочие runtime процессы non-root, read_only/cap_drop/no-new-privileges, tmpfs и CPU/RAM limits. PostgreSQL entrypoint кратковременно работает root для прав volume и смены UID, разрешены только CHOWN/DAC_OVERRIDE/FOWNER/SETGID/SETUID; сам postgres работает от postgres. Stateful данные — writable named volumes; это объяснённое исключение к read-only rootfs. Отдельный volume-init без сети использует только CHOWN для владельцев томов и завершается. Ни один runtime container не получает Docker socket/host network/privileged.
|
||
|
||
## Доказательства
|
||
|
||
| Критерий | Команда | Проверяемый результат / evidence |
|
||
| --- | --- | --- |
|
||
| Структура/OpenAPI/код | `make check validate lint PYTHON=.venv/bin/python` | Проверки структуры, полной схемы и Ruff |
|
||
| Сохранённый бизнес-контракт, HTTPS | `make test test-security` | Public smoke; trusted CA проходит, пустой trust store отклоняется |
|
||
| mTLS и разрешённая identity | `python3 tests/lab7_security.py` | Positive и missing/foreign/same-CA-wrong/expired; security-summary.json |
|
||
| Вся TLS матрица, отсутствие обхода | Та же команда | Реальные подключения ко всем указанным endpoints; закрытый plaintext; security-summary.json |
|
||
| OpenBao policy/renew/expiry/revoke | Та же команда | Свой secret разрешён, чужой/запись policy запрещены; expired/revoked token запрещён |
|
||
| Роли БД/S3/Redis/telemetry | Та же команда | Запрещённые таблицы/DDL/admin/prefix/commands/ingestion; security-summary.json |
|
||
| Rehash и общие лимиты | Та же команда | Старый Argon2 hash обновлён, две API учитывают общий account/IP; 429/Retry-After |
|
||
| Стоимость паролей | `python3 scripts/argon-budget.py` | Реальные значения времени/RSS, argon-budget.json |
|
||
| Secret/cert rotation | `python3 tests/lab7_lifecycle.py` | Старый login/cert отклонён на новом соединении, новая картинка ready; lifecycle-summary.json |
|
||
| Ротация S3 credentials | `python3 tests/lab7_s3_rotation.py` | Старый access key отключён, новый job ready; s3-rotation-summary.json |
|
||
| Sealed/unseal | Та же команда | Bounded stop, API 503, восстановление session/pipeline; lifecycle-summary.json |
|
||
| Контейнеры, leaks и telemetry | `python3 tests/lab7_audit.py` | Docker settings, отсутствие известных секретов, живые 3 сигнала, audit-summary.json |
|
||
| Restart всех хранилищ | `python3 scripts/test-persistence.py` | Старый token, сообщения и байты исходника сохранены; StartedAt before/after, persistence-summary.json |
|
||
| Отказ обеих API | `python3 scripts/test-failovers.py` | Public failover, два разных container IDs, подтверждённые сообщения без дублей; failover-summary.json |
|
||
| Dependency/image scan | `python3 scripts/scan.py` | Реальные Trivy reports и применимость в SCAN_TRIAGE.md |
|
||
| ≥6 угроз | security/THREAT_MODEL.md | Конкретные пути атаки, контроли, отрицательные тесты и остаточные ограничения |
|
||
|
||
Результат отдельного теста не означает автоматическую оценку. Итоговый перечень реально выполненных проверок и времени прогонов записан в evidence; в нём нет токенов/паролей/private keys. Public tests/contracts сверяются с исходным skeleton; trust-matrix заполнена по требованию задания.
|
||
|
||
## Наблюдаемость lab6
|
||
|
||
Сохранены имена метрик http_server_requests_total, http_server_duration_seconds, worker_jobs_total, worker_job_duration_seconds, attachment_ready_duration_seconds, queue_depth, queue_oldest_age_seconds, worker_busy, worker_capacity, db_pool_used/waiting и process CPU/RSS. HTTP labels method/route template/status_class, job labels type/outcome, без chat/user/request IDs. SDK OTel 1.31.1, service.version 1.7.0. Collector 0.123.0 с ограниченными memory/batch/export queues. Dashboard и локальные alert rules lab6 сохранены, отправка внешних уведомлений не настроена и не требуется.
|
||
|
||
Prometheus scrape, OTLP SDK → Collector → Loki/Tempo и Grafana queries защищены TLS/mTLS. TLS не заменяет фильтрацию: exporter получает только явные безопасные поля; SQL parameters/Authorization/password/secret response не записываются. Audit проверяет значения реальных тестовых credentials в container logs и выборках трёх сигналов (Loki: последние 120 секунд, максимум 200 записей), а также реальные запросы Grafana к каждому datasource.
|
||
|
||
## Ограничения и источники
|
||
|
||
Один Docker-хост, один LB, одна БД и по одному хранилищу — не HA хоста/данных. Single-node OpenBao, ручной operator unseal; shares вместе в защищённом operator directory — учебное упрощение. Нет автоматического CA rollover, разделения хранителей или production KMS. Cert-auth требует планового обслуживания short-lived leaf. Ротация закрывает соединения и может дать transient errors. Fixed-window limiter не решает распределённый DoS со многими адресами; сканирование не доказывает отсутствие неизвестных уязвимостей. Известные находки перечислены с применимостью, а не скрыты.
|
||
|
||
Первичные источники: задание LAB7_TASK.md и contracts; [OpenBao cert auth](https://openbao.org/docs/auth/cert/), [seal/unseal](https://openbao.org/docs/concepts/seal/), [policies](https://openbao.org/docs/concepts/policies/); [TLS 1.3](https://www.rfc-editor.org/rfc/rfc8446.html); [argon2-cffi rehash](https://argon2-cffi.readthedocs.io/en/stable/howto.html); [Compose service configuration](https://docs.docker.com/reference/compose-file/services/); [Trivy images](https://trivy.dev/docs/latest/target/container_image/).
|