forked from mtusi2026/mtusi2026lab7
255 lines
24 KiB
Markdown
255 lines
24 KiB
Markdown
# Отчёт — лабораторная 7
|
||
|
||
- **Автор, группа** — Максим Шептунов, БВТ2301.
|
||
- **Целевая оценка** — 4.
|
||
- **Commit/PR** — работа в локальном checkout, публикация ожидает отдельной команды.
|
||
- **Источники, библиотеки и помощь ИИ** — skeleton lab7 и собственная lab6. ИИ использован при подготовке реализации, тестов и отчёта. [OWASP Password Storage](https://cheatsheetseries.owasp.org/cheatsheets/Password_Storage_Cheat_Sheet.html) · [OpenBao cert auth](https://openbao.org/docs/auth/cert/) · [OpenBao tokens](https://openbao.org/docs/concepts/tokens/) · [HAProxy 3.0](https://www.haproxy.com/documentation/haproxy-configuration-manual/new/3-0r1/) · [OTLP exporter](https://opentelemetry.io/docs/specs/otel/protocol/exporter/).
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Команды выполняются в `~/visotka/mtusi2026lab7` внутри WSL Ubuntu 22.04 с
|
||
Docker Desktop/Compose v2, Python 3.10+, Bash, OpenSSL и доступом к registries.
|
||
Нужны свободные порты 8443, 8207, 3007 и место под образы и volumes.
|
||
|
||
```bash
|
||
python3 -m venv .venv
|
||
.venv/bin/pip install -r requirements-dev.txt
|
||
make check
|
||
make validate PYTHON=.venv/bin/python
|
||
|
||
scripts/start.sh
|
||
export CA_FILE="$PWD/secrets/authority/ca.crt"
|
||
make test CA_FILE="$CA_FILE"
|
||
make test-security CA_FILE="$CA_FILE"
|
||
docker compose run --rm --no-deps -T audit
|
||
python3 student-tests/http_security.py http
|
||
python3 student-tests/telemetry_audit.py
|
||
python3 student-tests/hardening.py
|
||
```
|
||
|
||
`start.sh` создаёт локальные TLS-материалы и credentials в `secrets/`, проверяет
|
||
Compose, собирает приложение и `mc`, подготавливает владельцев volumes, запускает
|
||
хранилища. Операторский этап инициализирует и распечатывает OpenBao, создаёт cert
|
||
auth, политики и KV v2 и отзывает начальный root token. Далее `migrate` применяет
|
||
SQL, `s3-bootstrap` задаёт приватный bucket и IAM. HAProxy проверяет API readiness
|
||
по mTLS. `wait_ready.py` наблюдает два разных alias по HTTPS.
|
||
|
||
Оператор хранит ключ CA и три unseal shares с порогом 2 в защищённой папке хоста.
|
||
Файл shares создаётся с правами 0600 и не монтируется в контейнеры.
|
||
После рестарта OpenBao запустите `python3 -m scripts.bao_operator unseal`.
|
||
Обычный рестарт API использует сохранённый cert и работающий OpenBao.
|
||
Повторный `scripts/start.sh` использует существующие CA, credentials, volumes и
|
||
миграции. Срок leaf — 7 дней. Публичный CA можно передать проверяющему.
|
||
|
||
Ingress — `https://localhost:8443`. Grafana — `https://localhost:3007/d/lab7`,
|
||
логин `admin`, пароль в `secrets/bootstrap/grafana/admin`. OpenBao API оператора —
|
||
`https://localhost:8207` с клиентским сертификатом. Все три опубликованных порта
|
||
привязаны к 127.0.0.1. MinIO admin используется из одноразового контейнера через
|
||
внутренний TLS. Операторские файлы и закрытые ключи исключены из Git и build context.
|
||
|
||
Проверки с изменением состояния выполняются последовательно.
|
||
|
||
```bash
|
||
python3 student-tests/http_security.py budget
|
||
scripts/test_expiry.sh
|
||
python3 student-tests/lifecycle.py db
|
||
python3 student-tests/lifecycle.py s3
|
||
python3 student-tests/lifecycle.py leaf
|
||
python3 student-tests/lifecycle.py collector
|
||
python3 student-tests/lifecycle.py bao
|
||
make test-persistence CA_FILE="$CA_FILE" ACTION_SCRIPT=scripts/restart.sh
|
||
make test-failover CA_FILE="$CA_FILE" ACTION_SCRIPT=scripts/stop-one.sh
|
||
docker compose start api
|
||
python3 scripts/wait_ready.py
|
||
python3 student-tests/incidents.py
|
||
```
|
||
|
||
Безопасная остановка — `docker compose stop`. Команда намеренного сброса
|
||
учебных данных проекта — `docker compose down --volumes`. В ходе работы
|
||
она не выполнялась.
|
||
|
||
| Компонент | Версия |
|
||
| --- | --- |
|
||
| Python / FastAPI / Starlette / psycopg / Pillow | 3.12.10 / 0.162.4 / 1.7.0 / 3.2.9 / 12.3.0. Lock в `requirements.runtime.lock` |
|
||
| OTel Python / Collector contrib | 1.45.2 / 0.123.0 |
|
||
| PostgreSQL / Redis Streams / HAProxy | 16.9-bookworm / 7.4.3-bookworm / 3.0.11-bookworm |
|
||
| MinIO / mc | Chainguard RELEASE.2026-11-09 по SHA-256 в Compose / RELEASE.2025-04-16T18-13-26Z с проверкой SHA-256 |
|
||
| Prometheus / Loki / Tempo / Grafana | v3.2.1 / 3.4.2 / 2.7.2 / 11.6.0-ubuntu |
|
||
| OpenBao | 2.7.2, Raft с одним узлом |
|
||
|
||
В [CI](.github/workflows/contracts.yml) отдельный job `application` собирает
|
||
стенд, создаёт тестовые ключи и секреты, ждёт две API-реплики и запускает
|
||
публичный HTTPS smoke с локальным CA. После проверки контейнеры убираются
|
||
через `docker compose down`. Для job нужен изолированный Linux runner с
|
||
Docker Engine, Compose v2, Python, Bash, Make и OpenSSL. Запуск тех же
|
||
команд из чистой копии проверен локально на новом Compose-проекте.
|
||
[Лог локальной проверки CI-сценария](evidence/ci-smoke.txt).
|
||
|
||
## Архитектура и решения
|
||
|
||
Перенесены две API-реплики, REST-контракт, идемпотентность, keyset cursor,
|
||
PostgreSQL, приватный S3, durable staging и outbox, Redis Streams, dispatcher,
|
||
worker, lease/fencing, reconciler, thumbnail/crop/optimized, OTel dashboard
|
||
и alert rules. Сессии и чтение профилей идут через PostgreSQL. Необязательный
|
||
кэш профилей убран при переходе на scoped credentials. В матрицу внесены
|
||
конфигурация и доказательства. [Матрица](contracts/trust-matrix.md).
|
||
|
||
```mermaid
|
||
flowchart LR
|
||
Client -->|HTTPS| LB
|
||
LB -->|mTLS| API["API ×2"]
|
||
API -->|TLS SCRAM| DB[(PostgreSQL)]
|
||
API -->|TLS SigV4 staging| S3[(MinIO)]
|
||
DB -->|outbox через TLS| Dispatcher
|
||
Dispatcher -->|mTLS producer ACL| Redis[(Redis Streams)]
|
||
Redis -->|mTLS consumer ACL| Worker
|
||
Worker -->|TLS| DB
|
||
Worker -->|TLS originals variants| S3
|
||
Reconciler -->|TLS| S3
|
||
API -->|cert auth KV| Bao[(OpenBao Raft)]
|
||
Worker -->|cert auth KV| Bao
|
||
Dispatcher -->|cert auth KV| Bao
|
||
Reconciler -->|cert auth KV| Bao
|
||
API -->|OTLP mTLS| Collector
|
||
Worker -->|OTLP mTLS| Collector
|
||
Collector -->|mTLS| Loki
|
||
Collector -->|mTLS| Tempo
|
||
Prometheus -->|mTLS scrape| Collector
|
||
Grafana -->|mTLS query| Prometheus
|
||
Grafana -->|mTLS query| Loki
|
||
Grafana -->|mTLS query| Tempo
|
||
```
|
||
|
||
PostgreSQL — источник истины для пользователей, чатов, сессий, метаданных,
|
||
идемпотентности и состояния job. API отдаёт 202 после сохранения проверенных
|
||
bytes в staging и COMMIT метаданных/job/outbox. Dispatcher публикует с AOF и
|
||
отмечает публикацию в отдельной транзакции. Повтор после crash допустим.
|
||
Worker делает effects по устойчивым object keys, проверяет lease token перед
|
||
публикацией ready и ACK после обработки. Вложения читаются через API после
|
||
проверки membership. Исходный SHA-256 сохраняется. JPEG-варианты quality 82,
|
||
WebP quality 82 / method 4, метаданные вариантов удалены. Keyset сортирует по
|
||
`(created_at,id)`; конкурентные вставки не создают snapshot между страницами.
|
||
|
||
Пароль — Argon2id с библиотечным salt, m=19456 KiB, t=2, p=1. После успешной
|
||
проверки старый hash обновляется условным UPDATE вместе с созданием сессии.
|
||
В PostgreSQL хранится SHA-256 от случайных 32 байт bearer. Для неизвестного
|
||
username используется dummy Argon2id. DB принимает 24 попытки входа на обе
|
||
реплики за 10 секунд и отдельный аналогичный бюджет регистрации. Два KDF slots
|
||
в каждом процессе ограничивают память при всплеске. Ответ 429 содержит
|
||
Retry-After. JSON body ограничен 64 KiB, файл — 10 MiB / 40 MP. Worker получает
|
||
1 CPU / 768 MiB и обрабатывает один job одновременно. Дочерний декодер работает
|
||
с RLIMIT_AS 512 MiB и deadline 30 с.
|
||
|
||
Readiness требует PostgreSQL, S3 и свежий локальный lease credentials. Broker,
|
||
worker и telemetry не входят в синхронный путь. Liveness маршрутизируется
|
||
отдельно и не проверяет зависимости. Cert auth выдаёт app token на 30 с,
|
||
renew-self просит 30 с, абсолютный предел token — 300 с, дальше re-auth.
|
||
Процесс использует текущие credentials до ранее выданного lease, максимум
|
||
30 с от успешной проверки. Изменение KV не продлевает lease старого набора
|
||
credentials. Для применения нового набора процесс перезапускается. Ротация
|
||
leaf LB обновляет pin по serial на обеих API и перезапускает LB, закрывая
|
||
старые соединения. Broker и Collector после проверки CA сверяют точный CN,
|
||
который назначает оператор. API сверяет SAN и активный serial. Loki и Tempo
|
||
сверяют CN и SHA-256 leaf выделенного Collector exporter. Ротация этого
|
||
leaf перезапускает только telemetry proxies и backend-процессы. Политики
|
||
запроса Grafana при этом сохраняются.
|
||
|
||
Compose использует `SESSION_TTL_SECONDS` с default 3600. Host/port API,
|
||
реплики, S3, лимиты и OTLP заданы в `compose.yaml` и `src/config.py`.
|
||
`DATABASE_URL`, S3 и broker credentials читаются из KV по `BAO_ROLE`.
|
||
Файлы CA/cert/key монтируются под `/pki`, адрес OpenBao —
|
||
`https://openbao:8200`. Параметры Argon2 заданы в приложении, идемпотентность
|
||
24 ч, session store PostgreSQL. Остальные ключи `.env.example` описывают
|
||
логический интерфейс skeleton. Для запуска `.env` не требуется.
|
||
|
||
Метрики OTel экспортируются как `app_http_requests_total`,
|
||
`app_http_duration_seconds_bucket`, `jobs_processed_total`,
|
||
`job_duration_seconds_bucket`, `queue_depth`, `queue_oldest_age_seconds`,
|
||
`attachment_ready_seconds_bucket`, pool/worker/process gauges.
|
||
Маршрут — шаблон, ошибка — класс или машинный код. Числитель error ratio —
|
||
5xx бизнес-API, знаменатель — все бизнес-ответы, health исключён. W3C
|
||
traceparent из durable job связывает HTTP, producer, consumer, S3 и DB.
|
||
Сигналы читаются через provisioned Grafana и ограниченный operator probe.
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Offline структура и OpenAPI | `make check`, `make validate PYTHON=.venv/bin/python` | Обе проверки PASS | [check](evidence/check.txt), [validate](evidence/validate.txt) |
|
||
| Публичный HTTPS smoke | `make test CA_FILE="$CA_FILE"` | Пользователи/ACL, история, идемпотентность, upload/thumbnail, logout PASS | [smoke](evidence/smoke.txt) |
|
||
| TLS ingress и auth | `make test-security`, `http_security.py http`, `scripts/test_expiry.sh` | CA и hostname проверены, чужой файл 404, forged header не меняет Bearer, logout/expiry 401 | [TLS](evidence/public-security.txt), [HTTP ACL](evidence/http-security.txt), [expiry](evidence/expiry.txt) |
|
||
| Обязательное mTLS LB → API | `docker compose run --rm --no-deps -T audit` | Две реплики приняли активный LB. Отсутствие cert, чужой CA и чужая identity того же CA отклонены | [TLS/ACL](evidence/trust.txt) |
|
||
| Шифрование всех связей, роли и приватный bucket | `docker compose run --rm --no-deps -T audit` | 83 проверки. DB verify-full, plaintext и SAN mismatch отвергнуты. S3 и DB deny подтверждены, plaintext backend ports закрыты в bridge | [TLS/ACL](evidence/trust.txt), [матрица](contracts/trust-matrix.md) |
|
||
| OpenBao non-dev и сервисные политики | `scripts/start.sh`, `docker compose run --rm --no-deps -T audit` | Cert login у четырёх ролей, чужой KV и запись policy 403 | [TLS/ACL](evidence/trust.txt) |
|
||
| mTLS broker и Collector | `docker compose run --rm --no-deps -T audit` | Допущены нужные роли. Отсутствие cert, чужой CA и same-CA intruder отклонены, в broker даже с верным паролем. Redis ACL разделяет команды | [TLS/ACL](evidence/trust.txt) |
|
||
| Argon2id, rehash, token hash, общий rate limit | `http_security.py http/budget`, `argon2_cost.py` в API | Старый hash заменён, bearer хранится как hash. Две реплики суммарно допустили 24 проверки на окно, Retry-After на 429 | [rehash](evidence/http-security.txt), [budget](evidence/login-budget.txt), [KDF](evidence/argon2-cost.txt) |
|
||
| Secret/leaf rotation и OpenBao lifecycle | `lifecycle.py db/s3/leaf/collector/bao` | Старые DB/S3 secrets и оба leaf отклонены на новых соединениях. Ротация без rebuild, renew/revoke и sealed grace проверены | [DB](evidence/rotation-db.txt), [S3](evidence/rotation-s3.txt), [LB](evidence/rotation-leaf.txt), [Collector](evidence/rotation-collector.txt), [Bao](evidence/openbao-lifecycle.txt) |
|
||
| Hardening и worker limits | `python3 student-tests/hardening.py` и `http_security.py http` | Read-only root, drop ALL, no-new-privileges, CPU/RAM/PID limits. Явные caps DB нужны для init/смены uid. Превышение размера даёт 413 | [inspect](evidence/hardening.txt), [HTTP](evidence/http-security.txt) |
|
||
| Сканирование с применимостью | `scripts/scan_images.sh`, `pip-audit --no-deps --disable-pip -r requirements.runtime.lock` | 12 образов, зависимости и повтор после обновлений, разобраны достижимые пути и остаточные риски | [triage](security/SCAN_TRIAGE.md), [pip-audit](evidence/pip-audit-final.json) |
|
||
| Модель угроз и telemetry audit | `python3 student-tests/telemetry_audit.py` | Связь upload→worker видна в Loki/Tempo, Prometheus и Grafana проверены, canaries не найдены | [угрозы](security/THREAT_MODEL.md), [signals](evidence/telemetry-audit.txt) |
|
||
| Сохранность и отказ каждой API | `make test-persistence` и два `make test-failover` | Сессия и данные пережили перезапуск хранилищ. Запись восстановилась через вторую реплику в каждом тесте | [persistence](evidence/persistence.txt), [до](evidence/persistence-before.txt), [после](evidence/persistence-after.txt), [failover 1](evidence/failover-1.txt), [failover 2](evidence/failover-2.txt) |
|
||
|
||
## Эксперименты и отказы
|
||
|
||
Среда — Intel Core i5-1240P, 16 видимых CPU, Docker VM 7.63 GiB, Ubuntu
|
||
22.04.5 / Docker Server 26.1.1 / Compose 2.27.0-desktop.2. API по 1 CPU и
|
||
512 MiB. В login тесте 38 последовательных синтетических запросов в одном окне
|
||
дали 24 × 401 и 14 × 429 за 1.870 с, p95 для 401 — 132.966 мс.
|
||
Всплеск 72 запросов при concurrency 12 дал 16 × 401 и 56 × 429 за 0.765 с,
|
||
p95 всех ответов — 304.521 мс. Параллельный KDF ограничен двумя слотами
|
||
на процесс, поэтому часть допущенных DB бюджетом запросов получает 429
|
||
до KDF. Замеры включают TLS, DB, ожидание CPU и накладные расходы WSL.
|
||
[Бюджет входа](evidence/login-budget.txt).
|
||
|
||
Argon2id измерен внутри cgroup API, по 50 verify после одного hash.
|
||
При одном потоке p50 19.099 мс, p95 21.590 мс и peak RSS 44.676 MiB.
|
||
При двух потоках p50 22.438 мс, p95 73.689 мс и peak RSS 63.691 MiB.
|
||
Два параллельных рабочих буфера KDF укладываются в лимит реплики, а общий
|
||
бюджет ограничивает число допущенных попыток. [Замер KDF](evidence/argon2-cost.txt).
|
||
|
||
Один замер обычной записи после smoke и сценариев отказа. Команда
|
||
`python3 tests/load.py --duration 30 --concurrency 4 --ca-file "$CA_FILE" --output evidence/load.json`.
|
||
Closed-loop concurrency 4, 30.046 с, отдельного прогрева в генераторе нет.
|
||
До замера в БД 31 пользователь, 262 сообщения, 12 вложений. После — 34,
|
||
4488 и 12 соответственно. Успешных POST 4226, ошибок 0, 140.649 RPS.
|
||
p50/p95/p99 успешных POST — 25.248 / 48.340 / 97.975 мс. Максимумы
|
||
снятых samples API — около 100% одного CPU и 282.4/276.1 MiB.
|
||
PostgreSQL — 41.69% и 46.6 MiB, Collector — 11.11% и 72.64 MiB.
|
||
Показатели CPU/RAM относятся к периодическим samples, latency зависит от
|
||
closed-loop клиента и фоновой telemetry. [Нагрузка](evidence/load.json) · [Ресурсы](evidence/load-resources.txt).
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| API: старый пароль после `ALTER ROLE` и завершения DB sessions | Старый пароль не открывает новую TLS-сессию | Старый пароль отклонён, новый работает, image ID тот же | 8.784 с до двух готовых alias. [Лог](evidence/rotation-db.txt) |
|
||
| Новый leaf LB с тем же SAN | Предыдущий leaf отклонён на каждой API | Две API отвергли прежний serial, новый допущен, image ID тот же | 5.452 с до проверки двух API. [Лог](evidence/rotation-leaf.txt) |
|
||
| Новый пароль IAM API в S3 | Старый пароль не подписывает новый запрос SigV4 | Старый ключ отклонён с 403, новый разрешён, image ID тот же | 10.136 с до двух готовых API. [Лог](evidence/rotation-s3.txt) |
|
||
| Новый exporter leaf Collector | Loki и Tempo отклоняют прежний fingerprint | Прежний leaf 403 на обоих backend, новый проходит, image IDs те же | 7.716 с до проверки. [Лог](evidence/rotation-collector.txt) |
|
||
| Seal OpenBao | Короткий lease, затем отказ работы при живом процессе | Readiness 200 → 503 через 28.454 с, liveness 200 | После unseal прежняя сессия снова работала через 9.229 с. [Лог](evidence/openbao-lifecycle.txt) |
|
||
| Перезапуск API и хранилищ | Старая сессия, история и файл сохраняются | Публичный persistence PASS. StartedAt обновился у хранилищ и обеих API, volumes совпали | [Лог](evidence/persistence.txt) |
|
||
| Отказ API по alias | Оставшаяся API пишет, неопределённый POST безопасно повторяется | Остановлены разные контейнеры. 112 и 118 успешных записей, по 3 переходных ошибки, восстановление через 2.195 и 1.693 с. Подтверждённые записи сохранены | [Первый](evidence/failover-1.txt) · [Второй](evidence/failover-2.txt) |
|
||
| Worker остановлен, upload принят | Растут depth/age, после запуска ready и alert resolved | Depth 1, oldest age 37.344 с, alert firing через 38.781 с. После старта ready за 1.582 с, alert resolved за 24.034 с | [Лог](evidence/incidents.txt) |
|
||
| DB: блокировка таблицы messages | Readiness работает, бизнес-путь показывает lock timeout | 5 HTTP 503 за 2016–2026 мс, trace содержит db.execute / LockNotAvailable. Первая запись после снятия lock — 24.260 мс | [Лог](evidence/incidents.txt) |
|
||
| Остановлен Tempo backend | App работает, telemetry очередь и RAM ограничены | 19.618 с воздействия, 16 успешных записей и ready файла. Collector 71.06 / 256 MiB, зарегистрировано 193 потерянных spans | [Лог](evidence/incidents.txt) |
|
||
|
||
Для диагностики worker проверяйте `queue_depth`, `queue_oldest_age_seconds`,
|
||
`QueueLagGrowing` и consumer trace. Для DB сравнивайте HTTP span с
|
||
`db.execute` и `error.type`. После снятия lock повторите идемпотентный POST.
|
||
При отказе telemetry используйте `otelcol_exporter_send_failed_spans_total`,
|
||
очередь и ошибки exporter.
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
Один Docker host и по одному экземпляру PostgreSQL, S3, broker, OpenBao и LB.
|
||
Отказ API выдерживается в пределах стенда. Потеря host или единственного
|
||
хранилища требует восстановления. Учебная ротация даёт короткий перерыв.
|
||
Пароли KV статичны для PostgreSQL/S3/Redis, отказ после срока lease
|
||
обеспечивается в процессах приложения. Уже активные операции заканчиваются
|
||
в рамках своих таймаутов. Изменения KV и стороннего хранилища выполняются
|
||
последовательно. Если операция прервана между шагами, оператор повторяет
|
||
`python3 -m scripts.bao_operator rotate-db` или `rotate-s3`, затем
|
||
`docker compose up -d --force-recreate --no-deps api` и `python3 scripts/wait_ready.py`.
|
||
Для production нужны раздельное хранение unseal shares,
|
||
управляемое обновление leaf и CA, обновление образов по результатам сканирования
|
||
и защита от исчерпания общего бюджета login. Остаточные находки рассмотрены
|
||
в [scan triage](security/SCAN_TRIAGE.md).
|