24 KiB
Отчёт — лабораторная 7
- Автор, группа — Максим Шептунов, БВТ2301.
- Целевая оценка — 4.
- Commit/PR — работа в локальном checkout, публикация ожидает отдельной команды.
- Источники, библиотеки и помощь ИИ — skeleton lab7 и собственная lab6. ИИ использован при подготовке реализации, тестов и отчёта. OWASP Password Storage · OpenBao cert auth · OpenBao tokens · HAProxy 3.0 · OTLP exporter.
Запуск из чистого clone
Команды выполняются в ~/visotka/mtusi2026lab7 внутри WSL Ubuntu 22.04 с
Docker Desktop/Compose v2, Python 3.10+, Bash, OpenSSL и доступом к registries.
Нужны свободные порты 8443, 8207, 3007 и место под образы и volumes.
python3 -m venv .venv
.venv/bin/pip install -r requirements-dev.txt
make check
make validate PYTHON=.venv/bin/python
scripts/start.sh
export CA_FILE="$PWD/secrets/authority/ca.crt"
make test CA_FILE="$CA_FILE"
make test-security CA_FILE="$CA_FILE"
docker compose run --rm --no-deps -T audit
python3 student-tests/http_security.py http
python3 student-tests/telemetry_audit.py
python3 student-tests/hardening.py
start.sh создаёт локальные TLS-материалы и credentials в secrets/, проверяет
Compose, собирает приложение и mc, подготавливает владельцев volumes, запускает
хранилища. Операторский этап инициализирует и распечатывает OpenBao, создаёт cert
auth, политики и KV v2 и отзывает начальный root token. Далее migrate применяет
SQL, s3-bootstrap задаёт приватный bucket и IAM. HAProxy проверяет API readiness
по mTLS. wait_ready.py наблюдает два разных alias по HTTPS.
Оператор хранит ключ CA и три unseal shares с порогом 2 в защищённой папке хоста.
Файл shares создаётся с правами 0600 и не монтируется в контейнеры.
После рестарта OpenBao запустите python3 -m scripts.bao_operator unseal.
Обычный рестарт API использует сохранённый cert и работающий OpenBao.
Повторный scripts/start.sh использует существующие CA, credentials, volumes и
миграции. Срок leaf — 7 дней. Публичный CA можно передать проверяющему.
Ingress — https://localhost:8443. Grafana — https://localhost:3007/d/lab7,
логин admin, пароль в secrets/bootstrap/grafana/admin. OpenBao API оператора —
https://localhost:8207 с клиентским сертификатом. Все три опубликованных порта
привязаны к 127.0.0.1. MinIO admin используется из одноразового контейнера через
внутренний TLS. Операторские файлы и закрытые ключи исключены из Git и build context.
Проверки с изменением состояния выполняются последовательно.
python3 student-tests/http_security.py budget
scripts/test_expiry.sh
python3 student-tests/lifecycle.py db
python3 student-tests/lifecycle.py s3
python3 student-tests/lifecycle.py leaf
python3 student-tests/lifecycle.py collector
python3 student-tests/lifecycle.py bao
make test-persistence CA_FILE="$CA_FILE" ACTION_SCRIPT=scripts/restart.sh
make test-failover CA_FILE="$CA_FILE" ACTION_SCRIPT=scripts/stop-one.sh
docker compose start api
python3 scripts/wait_ready.py
python3 student-tests/incidents.py
Безопасная остановка — docker compose stop. Команда намеренного сброса
учебных данных проекта — docker compose down --volumes. В ходе работы
она не выполнялась.
| Компонент | Версия |
|---|---|
| Python / FastAPI / Starlette / psycopg / Pillow | 3.12.10 / 0.162.4 / 1.7.0 / 3.2.9 / 12.3.0. Lock в requirements.runtime.lock |
| OTel Python / Collector contrib | 1.45.2 / 0.123.0 |
| PostgreSQL / Redis Streams / HAProxy | 16.9-bookworm / 7.4.3-bookworm / 3.0.11-bookworm |
| MinIO / mc | Chainguard RELEASE.2026-11-09 по SHA-256 в Compose / RELEASE.2025-04-16T18-13-26Z с проверкой SHA-256 |
| Prometheus / Loki / Tempo / Grafana | v3.2.1 / 3.4.2 / 2.7.2 / 11.6.0-ubuntu |
| OpenBao | 2.7.2, Raft с одним узлом |
В CI отдельный job application собирает
стенд, создаёт тестовые ключи и секреты, ждёт две API-реплики и запускает
публичный HTTPS smoke с локальным CA. После проверки контейнеры убираются
через docker compose down. Для job нужен изолированный Linux runner с
Docker Engine, Compose v2, Python, Bash, Make и OpenSSL. Запуск тех же
команд из чистой копии проверен локально на новом Compose-проекте.
Лог локальной проверки CI-сценария.
Архитектура и решения
Перенесены две API-реплики, REST-контракт, идемпотентность, keyset cursor, PostgreSQL, приватный S3, durable staging и outbox, Redis Streams, dispatcher, worker, lease/fencing, reconciler, thumbnail/crop/optimized, OTel dashboard и alert rules. Сессии и чтение профилей идут через PostgreSQL. Необязательный кэш профилей убран при переходе на scoped credentials. В матрицу внесены конфигурация и доказательства. Матрица.
flowchart LR
Client -->|HTTPS| LB
LB -->|mTLS| API["API ×2"]
API -->|TLS SCRAM| DB[(PostgreSQL)]
API -->|TLS SigV4 staging| S3[(MinIO)]
DB -->|outbox через TLS| Dispatcher
Dispatcher -->|mTLS producer ACL| Redis[(Redis Streams)]
Redis -->|mTLS consumer ACL| Worker
Worker -->|TLS| DB
Worker -->|TLS originals variants| S3
Reconciler -->|TLS| S3
API -->|cert auth KV| Bao[(OpenBao Raft)]
Worker -->|cert auth KV| Bao
Dispatcher -->|cert auth KV| Bao
Reconciler -->|cert auth KV| Bao
API -->|OTLP mTLS| Collector
Worker -->|OTLP mTLS| Collector
Collector -->|mTLS| Loki
Collector -->|mTLS| Tempo
Prometheus -->|mTLS scrape| Collector
Grafana -->|mTLS query| Prometheus
Grafana -->|mTLS query| Loki
Grafana -->|mTLS query| Tempo
PostgreSQL — источник истины для пользователей, чатов, сессий, метаданных,
идемпотентности и состояния job. API отдаёт 202 после сохранения проверенных
bytes в staging и COMMIT метаданных/job/outbox. Dispatcher публикует с AOF и
отмечает публикацию в отдельной транзакции. Повтор после crash допустим.
Worker делает effects по устойчивым object keys, проверяет lease token перед
публикацией ready и ACK после обработки. Вложения читаются через API после
проверки membership. Исходный SHA-256 сохраняется. JPEG-варианты quality 82,
WebP quality 82 / method 4, метаданные вариантов удалены. Keyset сортирует по
(created_at,id); конкурентные вставки не создают snapshot между страницами.
Пароль — Argon2id с библиотечным salt, m=19456 KiB, t=2, p=1. После успешной проверки старый hash обновляется условным UPDATE вместе с созданием сессии. В PostgreSQL хранится SHA-256 от случайных 32 байт bearer. Для неизвестного username используется dummy Argon2id. DB принимает 24 попытки входа на обе реплики за 10 секунд и отдельный аналогичный бюджет регистрации. Два KDF slots в каждом процессе ограничивают память при всплеске. Ответ 429 содержит Retry-After. JSON body ограничен 64 KiB, файл — 10 MiB / 40 MP. Worker получает 1 CPU / 768 MiB и обрабатывает один job одновременно. Дочерний декодер работает с RLIMIT_AS 512 MiB и deadline 30 с.
Readiness требует PostgreSQL, S3 и свежий локальный lease credentials. Broker, worker и telemetry не входят в синхронный путь. Liveness маршрутизируется отдельно и не проверяет зависимости. Cert auth выдаёт app token на 30 с, renew-self просит 30 с, абсолютный предел token — 300 с, дальше re-auth. Процесс использует текущие credentials до ранее выданного lease, максимум 30 с от успешной проверки. Изменение KV не продлевает lease старого набора credentials. Для применения нового набора процесс перезапускается. Ротация leaf LB обновляет pin по serial на обеих API и перезапускает LB, закрывая старые соединения. Broker и Collector после проверки CA сверяют точный CN, который назначает оператор. API сверяет SAN и активный serial. Loki и Tempo сверяют CN и SHA-256 leaf выделенного Collector exporter. Ротация этого leaf перезапускает только telemetry proxies и backend-процессы. Политики запроса Grafana при этом сохраняются.
Compose использует SESSION_TTL_SECONDS с default 3600. Host/port API,
реплики, S3, лимиты и OTLP заданы в compose.yaml и src/config.py.
DATABASE_URL, S3 и broker credentials читаются из KV по BAO_ROLE.
Файлы CA/cert/key монтируются под /pki, адрес OpenBao —
https://openbao:8200. Параметры Argon2 заданы в приложении, идемпотентность
24 ч, session store PostgreSQL. Остальные ключи .env.example описывают
логический интерфейс skeleton. Для запуска .env не требуется.
Метрики OTel экспортируются как app_http_requests_total,
app_http_duration_seconds_bucket, jobs_processed_total,
job_duration_seconds_bucket, queue_depth, queue_oldest_age_seconds,
attachment_ready_seconds_bucket, pool/worker/process gauges.
Маршрут — шаблон, ошибка — класс или машинный код. Числитель error ratio —
5xx бизнес-API, знаменатель — все бизнес-ответы, health исключён. W3C
traceparent из durable job связывает HTTP, producer, consumer, S3 и DB.
Сигналы читаются через provisioned Grafana и ограниченный operator probe.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Offline структура и OpenAPI | make check, make validate PYTHON=.venv/bin/python |
Обе проверки PASS | check, validate |
| Публичный HTTPS smoke | make test CA_FILE="$CA_FILE" |
Пользователи/ACL, история, идемпотентность, upload/thumbnail, logout PASS | smoke |
| TLS ingress и auth | make test-security, http_security.py http, scripts/test_expiry.sh |
CA и hostname проверены, чужой файл 404, forged header не меняет Bearer, logout/expiry 401 | TLS, HTTP ACL, expiry |
| Обязательное mTLS LB → API | docker compose run --rm --no-deps -T audit |
Две реплики приняли активный LB. Отсутствие cert, чужой CA и чужая identity того же CA отклонены | TLS/ACL |
| Шифрование всех связей, роли и приватный bucket | docker compose run --rm --no-deps -T audit |
83 проверки. DB verify-full, plaintext и SAN mismatch отвергнуты. S3 и DB deny подтверждены, plaintext backend ports закрыты в bridge | TLS/ACL, матрица |
| OpenBao non-dev и сервисные политики | scripts/start.sh, docker compose run --rm --no-deps -T audit |
Cert login у четырёх ролей, чужой KV и запись policy 403 | TLS/ACL |
| mTLS broker и Collector | docker compose run --rm --no-deps -T audit |
Допущены нужные роли. Отсутствие cert, чужой CA и same-CA intruder отклонены, в broker даже с верным паролем. Redis ACL разделяет команды | TLS/ACL |
| Argon2id, rehash, token hash, общий rate limit | http_security.py http/budget, argon2_cost.py в API |
Старый hash заменён, bearer хранится как hash. Две реплики суммарно допустили 24 проверки на окно, Retry-After на 429 | rehash, budget, KDF |
| Secret/leaf rotation и OpenBao lifecycle | lifecycle.py db/s3/leaf/collector/bao |
Старые DB/S3 secrets и оба leaf отклонены на новых соединениях. Ротация без rebuild, renew/revoke и sealed grace проверены | DB, S3, LB, Collector, Bao |
| Hardening и worker limits | python3 student-tests/hardening.py и http_security.py http |
Read-only root, drop ALL, no-new-privileges, CPU/RAM/PID limits. Явные caps DB нужны для init/смены uid. Превышение размера даёт 413 | inspect, HTTP |
| Сканирование с применимостью | scripts/scan_images.sh, pip-audit --no-deps --disable-pip -r requirements.runtime.lock |
12 образов, зависимости и повтор после обновлений, разобраны достижимые пути и остаточные риски | triage, pip-audit |
| Модель угроз и telemetry audit | python3 student-tests/telemetry_audit.py |
Связь upload→worker видна в Loki/Tempo, Prometheus и Grafana проверены, canaries не найдены | угрозы, signals |
| Сохранность и отказ каждой API | make test-persistence и два make test-failover |
Сессия и данные пережили перезапуск хранилищ. Запись восстановилась через вторую реплику в каждом тесте | persistence, до, после, failover 1, failover 2 |
Эксперименты и отказы
Среда — Intel Core i5-1240P, 16 видимых CPU, Docker VM 7.63 GiB, Ubuntu 22.04.5 / Docker Server 26.1.1 / Compose 2.27.0-desktop.2. API по 1 CPU и 512 MiB. В login тесте 38 последовательных синтетических запросов в одном окне дали 24 × 401 и 14 × 429 за 1.870 с, p95 для 401 — 132.966 мс. Всплеск 72 запросов при concurrency 12 дал 16 × 401 и 56 × 429 за 0.765 с, p95 всех ответов — 304.521 мс. Параллельный KDF ограничен двумя слотами на процесс, поэтому часть допущенных DB бюджетом запросов получает 429 до KDF. Замеры включают TLS, DB, ожидание CPU и накладные расходы WSL. Бюджет входа.
Argon2id измерен внутри cgroup API, по 50 verify после одного hash. При одном потоке p50 19.099 мс, p95 21.590 мс и peak RSS 44.676 MiB. При двух потоках p50 22.438 мс, p95 73.689 мс и peak RSS 63.691 MiB. Два параллельных рабочих буфера KDF укладываются в лимит реплики, а общий бюджет ограничивает число допущенных попыток. Замер KDF.
Один замер обычной записи после smoke и сценариев отказа. Команда
python3 tests/load.py --duration 30 --concurrency 4 --ca-file "$CA_FILE" --output evidence/load.json.
Closed-loop concurrency 4, 30.046 с, отдельного прогрева в генераторе нет.
До замера в БД 31 пользователь, 262 сообщения, 12 вложений. После — 34,
4488 и 12 соответственно. Успешных POST 4226, ошибок 0, 140.649 RPS.
p50/p95/p99 успешных POST — 25.248 / 48.340 / 97.975 мс. Максимумы
снятых samples API — около 100% одного CPU и 282.4/276.1 MiB.
PostgreSQL — 41.69% и 46.6 MiB, Collector — 11.11% и 72.64 MiB.
Показатели CPU/RAM относятся к периодическим samples, latency зависит от
closed-loop клиента и фоновой telemetry. Нагрузка · Ресурсы.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
API: старый пароль после ALTER ROLE и завершения DB sessions |
Старый пароль не открывает новую TLS-сессию | Старый пароль отклонён, новый работает, image ID тот же | 8.784 с до двух готовых alias. Лог |
| Новый leaf LB с тем же SAN | Предыдущий leaf отклонён на каждой API | Две API отвергли прежний serial, новый допущен, image ID тот же | 5.452 с до проверки двух API. Лог |
| Новый пароль IAM API в S3 | Старый пароль не подписывает новый запрос SigV4 | Старый ключ отклонён с 403, новый разрешён, image ID тот же | 10.136 с до двух готовых API. Лог |
| Новый exporter leaf Collector | Loki и Tempo отклоняют прежний fingerprint | Прежний leaf 403 на обоих backend, новый проходит, image IDs те же | 7.716 с до проверки. Лог |
| Seal OpenBao | Короткий lease, затем отказ работы при живом процессе | Readiness 200 → 503 через 28.454 с, liveness 200 | После unseal прежняя сессия снова работала через 9.229 с. Лог |
| Перезапуск API и хранилищ | Старая сессия, история и файл сохраняются | Публичный persistence PASS. StartedAt обновился у хранилищ и обеих API, volumes совпали | Лог |
| Отказ API по alias | Оставшаяся API пишет, неопределённый POST безопасно повторяется | Остановлены разные контейнеры. 112 и 118 успешных записей, по 3 переходных ошибки, восстановление через 2.195 и 1.693 с. Подтверждённые записи сохранены | Первый · Второй |
| Worker остановлен, upload принят | Растут depth/age, после запуска ready и alert resolved | Depth 1, oldest age 37.344 с, alert firing через 38.781 с. После старта ready за 1.582 с, alert resolved за 24.034 с | Лог |
| DB: блокировка таблицы messages | Readiness работает, бизнес-путь показывает lock timeout | 5 HTTP 503 за 2016–2026 мс, trace содержит db.execute / LockNotAvailable. Первая запись после снятия lock — 24.260 мс | Лог |
| Остановлен Tempo backend | App работает, telemetry очередь и RAM ограничены | 19.618 с воздействия, 16 успешных записей и ready файла. Collector 71.06 / 256 MiB, зарегистрировано 193 потерянных spans | Лог |
Для диагностики worker проверяйте queue_depth, queue_oldest_age_seconds,
QueueLagGrowing и consumer trace. Для DB сравнивайте HTTP span с
db.execute и error.type. После снятия lock повторите идемпотентный POST.
При отказе telemetry используйте otelcol_exporter_send_failed_spans_total,
очередь и ошибки exporter.
Ограничения и следующие шаги
Один Docker host и по одному экземпляру PostgreSQL, S3, broker, OpenBao и LB.
Отказ API выдерживается в пределах стенда. Потеря host или единственного
хранилища требует восстановления. Учебная ротация даёт короткий перерыв.
Пароли KV статичны для PostgreSQL/S3/Redis, отказ после срока lease
обеспечивается в процессах приложения. Уже активные операции заканчиваются
в рамках своих таймаутов. Изменения KV и стороннего хранилища выполняются
последовательно. Если операция прервана между шагами, оператор повторяет
python3 -m scripts.bao_operator rotate-db или rotate-s3, затем
docker compose up -d --force-recreate --no-deps api и python3 scripts/wait_ready.py.
Для production нужны раздельное хранение unseal shares,
управляемое обновление leaf и CA, обновление образов по результатам сканирования
и защита от исчерпания общего бюджета login. Остаточные находки рассмотрены
в scan triage.