Files
mtusi2026lab7/REPORT.md
T
2026-11-11 14:09:06 +03:00

255 lines
24 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 7
- **Автор, группа** — Максим Шептунов, БВТ2301.
- **Целевая оценка** — 4.
- **Commit/PR** — работа в локальном checkout, публикация ожидает отдельной команды.
- **Источники, библиотеки и помощь ИИ** — skeleton lab7 и собственная lab6. ИИ использован при подготовке реализации, тестов и отчёта. [OWASP Password Storage](https://cheatsheetseries.owasp.org/cheatsheets/Password_Storage_Cheat_Sheet.html) · [OpenBao cert auth](https://openbao.org/docs/auth/cert/) · [OpenBao tokens](https://openbao.org/docs/concepts/tokens/) · [HAProxy 3.0](https://www.haproxy.com/documentation/haproxy-configuration-manual/new/3-0r1/) · [OTLP exporter](https://opentelemetry.io/docs/specs/otel/protocol/exporter/).
## Запуск из чистого clone
Команды выполняются в `~/visotka/mtusi2026lab7` внутри WSL Ubuntu 22.04 с
Docker Desktop/Compose v2, Python 3.10+, Bash, OpenSSL и доступом к registries.
Нужны свободные порты 8443, 8207, 3007 и место под образы и volumes.
```bash
python3 -m venv .venv
.venv/bin/pip install -r requirements-dev.txt
make check
make validate PYTHON=.venv/bin/python
scripts/start.sh
export CA_FILE="$PWD/secrets/authority/ca.crt"
make test CA_FILE="$CA_FILE"
make test-security CA_FILE="$CA_FILE"
docker compose run --rm --no-deps -T audit
python3 student-tests/http_security.py http
python3 student-tests/telemetry_audit.py
python3 student-tests/hardening.py
```
`start.sh` создаёт локальные TLS-материалы и credentials в `secrets/`, проверяет
Compose, собирает приложение и `mc`, подготавливает владельцев volumes, запускает
хранилища. Операторский этап инициализирует и распечатывает OpenBao, создаёт cert
auth, политики и KV v2 и отзывает начальный root token. Далее `migrate` применяет
SQL, `s3-bootstrap` задаёт приватный bucket и IAM. HAProxy проверяет API readiness
по mTLS. `wait_ready.py` наблюдает два разных alias по HTTPS.
Оператор хранит ключ CA и три unseal shares с порогом 2 в защищённой папке хоста.
Файл shares создаётся с правами 0600 и не монтируется в контейнеры.
После рестарта OpenBao запустите `python3 -m scripts.bao_operator unseal`.
Обычный рестарт API использует сохранённый cert и работающий OpenBao.
Повторный `scripts/start.sh` использует существующие CA, credentials, volumes и
миграции. Срок leaf — 7 дней. Публичный CA можно передать проверяющему.
Ingress — `https://localhost:8443`. Grafana — `https://localhost:3007/d/lab7`,
логин `admin`, пароль в `secrets/bootstrap/grafana/admin`. OpenBao API оператора —
`https://localhost:8207` с клиентским сертификатом. Все три опубликованных порта
привязаны к 127.0.0.1. MinIO admin используется из одноразового контейнера через
внутренний TLS. Операторские файлы и закрытые ключи исключены из Git и build context.
Проверки с изменением состояния выполняются последовательно.
```bash
python3 student-tests/http_security.py budget
scripts/test_expiry.sh
python3 student-tests/lifecycle.py db
python3 student-tests/lifecycle.py s3
python3 student-tests/lifecycle.py leaf
python3 student-tests/lifecycle.py collector
python3 student-tests/lifecycle.py bao
make test-persistence CA_FILE="$CA_FILE" ACTION_SCRIPT=scripts/restart.sh
make test-failover CA_FILE="$CA_FILE" ACTION_SCRIPT=scripts/stop-one.sh
docker compose start api
python3 scripts/wait_ready.py
python3 student-tests/incidents.py
```
Безопасная остановка — `docker compose stop`. Команда намеренного сброса
учебных данных проекта — `docker compose down --volumes`. В ходе работы
она не выполнялась.
| Компонент | Версия |
| --- | --- |
| Python / FastAPI / Starlette / psycopg / Pillow | 3.12.10 / 0.162.4 / 1.7.0 / 3.2.9 / 12.3.0. Lock в `requirements.runtime.lock` |
| OTel Python / Collector contrib | 1.45.2 / 0.123.0 |
| PostgreSQL / Redis Streams / HAProxy | 16.9-bookworm / 7.4.3-bookworm / 3.0.11-bookworm |
| MinIO / mc | Chainguard RELEASE.2026-11-09 по SHA-256 в Compose / RELEASE.2025-04-16T18-13-26Z с проверкой SHA-256 |
| Prometheus / Loki / Tempo / Grafana | v3.2.1 / 3.4.2 / 2.7.2 / 11.6.0-ubuntu |
| OpenBao | 2.7.2, Raft с одним узлом |
В [CI](.github/workflows/contracts.yml) отдельный job `application` собирает
стенд, создаёт тестовые ключи и секреты, ждёт две API-реплики и запускает
публичный HTTPS smoke с локальным CA. После проверки контейнеры убираются
через `docker compose down`. Для job нужен изолированный Linux runner с
Docker Engine, Compose v2, Python, Bash, Make и OpenSSL. Запуск тех же
команд из чистой копии проверен локально на новом Compose-проекте.
[Лог локальной проверки CI-сценария](evidence/ci-smoke.txt).
## Архитектура и решения
Перенесены две API-реплики, REST-контракт, идемпотентность, keyset cursor,
PostgreSQL, приватный S3, durable staging и outbox, Redis Streams, dispatcher,
worker, lease/fencing, reconciler, thumbnail/crop/optimized, OTel dashboard
и alert rules. Сессии и чтение профилей идут через PostgreSQL. Необязательный
кэш профилей убран при переходе на scoped credentials. В матрицу внесены
конфигурация и доказательства. [Матрица](contracts/trust-matrix.md).
```mermaid
flowchart LR
Client -->|HTTPS| LB
LB -->|mTLS| API["API ×2"]
API -->|TLS SCRAM| DB[(PostgreSQL)]
API -->|TLS SigV4 staging| S3[(MinIO)]
DB -->|outbox через TLS| Dispatcher
Dispatcher -->|mTLS producer ACL| Redis[(Redis Streams)]
Redis -->|mTLS consumer ACL| Worker
Worker -->|TLS| DB
Worker -->|TLS originals variants| S3
Reconciler -->|TLS| S3
API -->|cert auth KV| Bao[(OpenBao Raft)]
Worker -->|cert auth KV| Bao
Dispatcher -->|cert auth KV| Bao
Reconciler -->|cert auth KV| Bao
API -->|OTLP mTLS| Collector
Worker -->|OTLP mTLS| Collector
Collector -->|mTLS| Loki
Collector -->|mTLS| Tempo
Prometheus -->|mTLS scrape| Collector
Grafana -->|mTLS query| Prometheus
Grafana -->|mTLS query| Loki
Grafana -->|mTLS query| Tempo
```
PostgreSQL — источник истины для пользователей, чатов, сессий, метаданных,
идемпотентности и состояния job. API отдаёт 202 после сохранения проверенных
bytes в staging и COMMIT метаданных/job/outbox. Dispatcher публикует с AOF и
отмечает публикацию в отдельной транзакции. Повтор после crash допустим.
Worker делает effects по устойчивым object keys, проверяет lease token перед
публикацией ready и ACK после обработки. Вложения читаются через API после
проверки membership. Исходный SHA-256 сохраняется. JPEG-варианты quality 82,
WebP quality 82 / method 4, метаданные вариантов удалены. Keyset сортирует по
`(created_at,id)`; конкурентные вставки не создают snapshot между страницами.
Пароль — Argon2id с библиотечным salt, m=19456 KiB, t=2, p=1. После успешной
проверки старый hash обновляется условным UPDATE вместе с созданием сессии.
В PostgreSQL хранится SHA-256 от случайных 32 байт bearer. Для неизвестного
username используется dummy Argon2id. DB принимает 24 попытки входа на обе
реплики за 10 секунд и отдельный аналогичный бюджет регистрации. Два KDF slots
в каждом процессе ограничивают память при всплеске. Ответ 429 содержит
Retry-After. JSON body ограничен 64 KiB, файл — 10 MiB / 40 MP. Worker получает
1 CPU / 768 MiB и обрабатывает один job одновременно. Дочерний декодер работает
с RLIMIT_AS 512 MiB и deadline 30 с.
Readiness требует PostgreSQL, S3 и свежий локальный lease credentials. Broker,
worker и telemetry не входят в синхронный путь. Liveness маршрутизируется
отдельно и не проверяет зависимости. Cert auth выдаёт app token на 30 с,
renew-self просит 30 с, абсолютный предел token — 300 с, дальше re-auth.
Процесс использует текущие credentials до ранее выданного lease, максимум
30 с от успешной проверки. Изменение KV не продлевает lease старого набора
credentials. Для применения нового набора процесс перезапускается. Ротация
leaf LB обновляет pin по serial на обеих API и перезапускает LB, закрывая
старые соединения. Broker и Collector после проверки CA сверяют точный CN,
который назначает оператор. API сверяет SAN и активный serial. Loki и Tempo
сверяют CN и SHA-256 leaf выделенного Collector exporter. Ротация этого
leaf перезапускает только telemetry proxies и backend-процессы. Политики
запроса Grafana при этом сохраняются.
Compose использует `SESSION_TTL_SECONDS` с default 3600. Host/port API,
реплики, S3, лимиты и OTLP заданы в `compose.yaml` и `src/config.py`.
`DATABASE_URL`, S3 и broker credentials читаются из KV по `BAO_ROLE`.
Файлы CA/cert/key монтируются под `/pki`, адрес OpenBao —
`https://openbao:8200`. Параметры Argon2 заданы в приложении, идемпотентность
24 ч, session store PostgreSQL. Остальные ключи `.env.example` описывают
логический интерфейс skeleton. Для запуска `.env` не требуется.
Метрики OTel экспортируются как `app_http_requests_total`,
`app_http_duration_seconds_bucket`, `jobs_processed_total`,
`job_duration_seconds_bucket`, `queue_depth`, `queue_oldest_age_seconds`,
`attachment_ready_seconds_bucket`, pool/worker/process gauges.
Маршрут — шаблон, ошибка — класс или машинный код. Числитель error ratio —
5xx бизнес-API, знаменатель — все бизнес-ответы, health исключён. W3C
traceparent из durable job связывает HTTP, producer, consumer, S3 и DB.
Сигналы читаются через provisioned Grafana и ограниченный operator probe.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Offline структура и OpenAPI | `make check`, `make validate PYTHON=.venv/bin/python` | Обе проверки PASS | [check](evidence/check.txt), [validate](evidence/validate.txt) |
| Публичный HTTPS smoke | `make test CA_FILE="$CA_FILE"` | Пользователи/ACL, история, идемпотентность, upload/thumbnail, logout PASS | [smoke](evidence/smoke.txt) |
| TLS ingress и auth | `make test-security`, `http_security.py http`, `scripts/test_expiry.sh` | CA и hostname проверены, чужой файл 404, forged header не меняет Bearer, logout/expiry 401 | [TLS](evidence/public-security.txt), [HTTP ACL](evidence/http-security.txt), [expiry](evidence/expiry.txt) |
| Обязательное mTLS LB → API | `docker compose run --rm --no-deps -T audit` | Две реплики приняли активный LB. Отсутствие cert, чужой CA и чужая identity того же CA отклонены | [TLS/ACL](evidence/trust.txt) |
| Шифрование всех связей, роли и приватный bucket | `docker compose run --rm --no-deps -T audit` | 83 проверки. DB verify-full, plaintext и SAN mismatch отвергнуты. S3 и DB deny подтверждены, plaintext backend ports закрыты в bridge | [TLS/ACL](evidence/trust.txt), [матрица](contracts/trust-matrix.md) |
| OpenBao non-dev и сервисные политики | `scripts/start.sh`, `docker compose run --rm --no-deps -T audit` | Cert login у четырёх ролей, чужой KV и запись policy 403 | [TLS/ACL](evidence/trust.txt) |
| mTLS broker и Collector | `docker compose run --rm --no-deps -T audit` | Допущены нужные роли. Отсутствие cert, чужой CA и same-CA intruder отклонены, в broker даже с верным паролем. Redis ACL разделяет команды | [TLS/ACL](evidence/trust.txt) |
| Argon2id, rehash, token hash, общий rate limit | `http_security.py http/budget`, `argon2_cost.py` в API | Старый hash заменён, bearer хранится как hash. Две реплики суммарно допустили 24 проверки на окно, Retry-After на 429 | [rehash](evidence/http-security.txt), [budget](evidence/login-budget.txt), [KDF](evidence/argon2-cost.txt) |
| Secret/leaf rotation и OpenBao lifecycle | `lifecycle.py db/s3/leaf/collector/bao` | Старые DB/S3 secrets и оба leaf отклонены на новых соединениях. Ротация без rebuild, renew/revoke и sealed grace проверены | [DB](evidence/rotation-db.txt), [S3](evidence/rotation-s3.txt), [LB](evidence/rotation-leaf.txt), [Collector](evidence/rotation-collector.txt), [Bao](evidence/openbao-lifecycle.txt) |
| Hardening и worker limits | `python3 student-tests/hardening.py` и `http_security.py http` | Read-only root, drop ALL, no-new-privileges, CPU/RAM/PID limits. Явные caps DB нужны для init/смены uid. Превышение размера даёт 413 | [inspect](evidence/hardening.txt), [HTTP](evidence/http-security.txt) |
| Сканирование с применимостью | `scripts/scan_images.sh`, `pip-audit --no-deps --disable-pip -r requirements.runtime.lock` | 12 образов, зависимости и повтор после обновлений, разобраны достижимые пути и остаточные риски | [triage](security/SCAN_TRIAGE.md), [pip-audit](evidence/pip-audit-final.json) |
| Модель угроз и telemetry audit | `python3 student-tests/telemetry_audit.py` | Связь upload→worker видна в Loki/Tempo, Prometheus и Grafana проверены, canaries не найдены | [угрозы](security/THREAT_MODEL.md), [signals](evidence/telemetry-audit.txt) |
| Сохранность и отказ каждой API | `make test-persistence` и два `make test-failover` | Сессия и данные пережили перезапуск хранилищ. Запись восстановилась через вторую реплику в каждом тесте | [persistence](evidence/persistence.txt), [до](evidence/persistence-before.txt), [после](evidence/persistence-after.txt), [failover 1](evidence/failover-1.txt), [failover 2](evidence/failover-2.txt) |
## Эксперименты и отказы
Среда — Intel Core i5-1240P, 16 видимых CPU, Docker VM 7.63 GiB, Ubuntu
22.04.5 / Docker Server 26.1.1 / Compose 2.27.0-desktop.2. API по 1 CPU и
512 MiB. В login тесте 38 последовательных синтетических запросов в одном окне
дали 24 × 401 и 14 × 429 за 1.870 с, p95 для 401 — 132.966 мс.
Всплеск 72 запросов при concurrency 12 дал 16 × 401 и 56 × 429 за 0.765 с,
p95 всех ответов — 304.521 мс. Параллельный KDF ограничен двумя слотами
на процесс, поэтому часть допущенных DB бюджетом запросов получает 429
до KDF. Замеры включают TLS, DB, ожидание CPU и накладные расходы WSL.
[Бюджет входа](evidence/login-budget.txt).
Argon2id измерен внутри cgroup API, по 50 verify после одного hash.
При одном потоке p50 19.099 мс, p95 21.590 мс и peak RSS 44.676 MiB.
При двух потоках p50 22.438 мс, p95 73.689 мс и peak RSS 63.691 MiB.
Два параллельных рабочих буфера KDF укладываются в лимит реплики, а общий
бюджет ограничивает число допущенных попыток. [Замер KDF](evidence/argon2-cost.txt).
Один замер обычной записи после smoke и сценариев отказа. Команда
`python3 tests/load.py --duration 30 --concurrency 4 --ca-file "$CA_FILE" --output evidence/load.json`.
Closed-loop concurrency 4, 30.046 с, отдельного прогрева в генераторе нет.
До замера в БД 31 пользователь, 262 сообщения, 12 вложений. После — 34,
4488 и 12 соответственно. Успешных POST 4226, ошибок 0, 140.649 RPS.
p50/p95/p99 успешных POST — 25.248 / 48.340 / 97.975 мс. Максимумы
снятых samples API — около 100% одного CPU и 282.4/276.1 MiB.
PostgreSQL — 41.69% и 46.6 MiB, Collector — 11.11% и 72.64 MiB.
Показатели CPU/RAM относятся к периодическим samples, latency зависит от
closed-loop клиента и фоновой telemetry. [Нагрузка](evidence/load.json) · [Ресурсы](evidence/load-resources.txt).
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| API: старый пароль после `ALTER ROLE` и завершения DB sessions | Старый пароль не открывает новую TLS-сессию | Старый пароль отклонён, новый работает, image ID тот же | 8.784 с до двух готовых alias. [Лог](evidence/rotation-db.txt) |
| Новый leaf LB с тем же SAN | Предыдущий leaf отклонён на каждой API | Две API отвергли прежний serial, новый допущен, image ID тот же | 5.452 с до проверки двух API. [Лог](evidence/rotation-leaf.txt) |
| Новый пароль IAM API в S3 | Старый пароль не подписывает новый запрос SigV4 | Старый ключ отклонён с 403, новый разрешён, image ID тот же | 10.136 с до двух готовых API. [Лог](evidence/rotation-s3.txt) |
| Новый exporter leaf Collector | Loki и Tempo отклоняют прежний fingerprint | Прежний leaf 403 на обоих backend, новый проходит, image IDs те же | 7.716 с до проверки. [Лог](evidence/rotation-collector.txt) |
| Seal OpenBao | Короткий lease, затем отказ работы при живом процессе | Readiness 200 → 503 через 28.454 с, liveness 200 | После unseal прежняя сессия снова работала через 9.229 с. [Лог](evidence/openbao-lifecycle.txt) |
| Перезапуск API и хранилищ | Старая сессия, история и файл сохраняются | Публичный persistence PASS. StartedAt обновился у хранилищ и обеих API, volumes совпали | [Лог](evidence/persistence.txt) |
| Отказ API по alias | Оставшаяся API пишет, неопределённый POST безопасно повторяется | Остановлены разные контейнеры. 112 и 118 успешных записей, по 3 переходных ошибки, восстановление через 2.195 и 1.693 с. Подтверждённые записи сохранены | [Первый](evidence/failover-1.txt) · [Второй](evidence/failover-2.txt) |
| Worker остановлен, upload принят | Растут depth/age, после запуска ready и alert resolved | Depth 1, oldest age 37.344 с, alert firing через 38.781 с. После старта ready за 1.582 с, alert resolved за 24.034 с | [Лог](evidence/incidents.txt) |
| DB: блокировка таблицы messages | Readiness работает, бизнес-путь показывает lock timeout | 5 HTTP 503 за 2016–2026 мс, trace содержит db.execute / LockNotAvailable. Первая запись после снятия lock — 24.260 мс | [Лог](evidence/incidents.txt) |
| Остановлен Tempo backend | App работает, telemetry очередь и RAM ограничены | 19.618 с воздействия, 16 успешных записей и ready файла. Collector 71.06 / 256 MiB, зарегистрировано 193 потерянных spans | [Лог](evidence/incidents.txt) |
Для диагностики worker проверяйте `queue_depth`, `queue_oldest_age_seconds`,
`QueueLagGrowing` и consumer trace. Для DB сравнивайте HTTP span с
`db.execute` и `error.type`. После снятия lock повторите идемпотентный POST.
При отказе telemetry используйте `otelcol_exporter_send_failed_spans_total`,
очередь и ошибки exporter.
## Ограничения и следующие шаги
Один Docker host и по одному экземпляру PostgreSQL, S3, broker, OpenBao и LB.
Отказ API выдерживается в пределах стенда. Потеря host или единственного
хранилища требует восстановления. Учебная ротация даёт короткий перерыв.
Пароли KV статичны для PostgreSQL/S3/Redis, отказ после срока lease
обеспечивается в процессах приложения. Уже активные операции заканчиваются
в рамках своих таймаутов. Изменения KV и стороннего хранилища выполняются
последовательно. Если операция прервана между шагами, оператор повторяет
`python3 -m scripts.bao_operator rotate-db` или `rotate-s3`, затем
`docker compose up -d --force-recreate --no-deps api` и `python3 scripts/wait_ready.py`.
Для production нужны раздельное хранение unseal shares,
управляемое обновление leaf и CA, обновление образов по результатам сканирования
и защита от исчерпания общего бюджета login. Остаточные находки рассмотрены
в [scan triage](security/SCAN_TRIAGE.md).