Files
mtusi2026lab7/REPORT.md
T
2026-11-11 14:09:06 +03:00

24 KiB
Raw Blame History

Отчёт — лабораторная 7

  • Автор, группа — Максим Шептунов, БВТ2301.
  • Целевая оценка — 4.
  • Commit/PR — работа в локальном checkout, публикация ожидает отдельной команды.
  • Источники, библиотеки и помощь ИИ — skeleton lab7 и собственная lab6. ИИ использован при подготовке реализации, тестов и отчёта. OWASP Password Storage · OpenBao cert auth · OpenBao tokens · HAProxy 3.0 · OTLP exporter.

Запуск из чистого clone

Команды выполняются в ~/visotka/mtusi2026lab7 внутри WSL Ubuntu 22.04 с Docker Desktop/Compose v2, Python 3.10+, Bash, OpenSSL и доступом к registries. Нужны свободные порты 8443, 8207, 3007 и место под образы и volumes.

python3 -m venv .venv
.venv/bin/pip install -r requirements-dev.txt
make check
make validate PYTHON=.venv/bin/python

scripts/start.sh
export CA_FILE="$PWD/secrets/authority/ca.crt"
make test CA_FILE="$CA_FILE"
make test-security CA_FILE="$CA_FILE"
docker compose run --rm --no-deps -T audit
python3 student-tests/http_security.py http
python3 student-tests/telemetry_audit.py
python3 student-tests/hardening.py

start.sh создаёт локальные TLS-материалы и credentials в secrets/, проверяет Compose, собирает приложение и mc, подготавливает владельцев volumes, запускает хранилища. Операторский этап инициализирует и распечатывает OpenBao, создаёт cert auth, политики и KV v2 и отзывает начальный root token. Далее migrate применяет SQL, s3-bootstrap задаёт приватный bucket и IAM. HAProxy проверяет API readiness по mTLS. wait_ready.py наблюдает два разных alias по HTTPS.

Оператор хранит ключ CA и три unseal shares с порогом 2 в защищённой папке хоста. Файл shares создаётся с правами 0600 и не монтируется в контейнеры. После рестарта OpenBao запустите python3 -m scripts.bao_operator unseal. Обычный рестарт API использует сохранённый cert и работающий OpenBao. Повторный scripts/start.sh использует существующие CA, credentials, volumes и миграции. Срок leaf — 7 дней. Публичный CA можно передать проверяющему.

Ingress — https://localhost:8443. Grafana — https://localhost:3007/d/lab7, логин admin, пароль в secrets/bootstrap/grafana/admin. OpenBao API оператора — https://localhost:8207 с клиентским сертификатом. Все три опубликованных порта привязаны к 127.0.0.1. MinIO admin используется из одноразового контейнера через внутренний TLS. Операторские файлы и закрытые ключи исключены из Git и build context.

Проверки с изменением состояния выполняются последовательно.

python3 student-tests/http_security.py budget
scripts/test_expiry.sh
python3 student-tests/lifecycle.py db
python3 student-tests/lifecycle.py s3
python3 student-tests/lifecycle.py leaf
python3 student-tests/lifecycle.py collector
python3 student-tests/lifecycle.py bao
make test-persistence CA_FILE="$CA_FILE" ACTION_SCRIPT=scripts/restart.sh
make test-failover CA_FILE="$CA_FILE" ACTION_SCRIPT=scripts/stop-one.sh
docker compose start api
python3 scripts/wait_ready.py
python3 student-tests/incidents.py

Безопасная остановка — docker compose stop. Команда намеренного сброса учебных данных проекта — docker compose down --volumes. В ходе работы она не выполнялась.

Компонент Версия
Python / FastAPI / Starlette / psycopg / Pillow 3.12.10 / 0.162.4 / 1.7.0 / 3.2.9 / 12.3.0. Lock в requirements.runtime.lock
OTel Python / Collector contrib 1.45.2 / 0.123.0
PostgreSQL / Redis Streams / HAProxy 16.9-bookworm / 7.4.3-bookworm / 3.0.11-bookworm
MinIO / mc Chainguard RELEASE.2026-11-09 по SHA-256 в Compose / RELEASE.2025-04-16T18-13-26Z с проверкой SHA-256
Prometheus / Loki / Tempo / Grafana v3.2.1 / 3.4.2 / 2.7.2 / 11.6.0-ubuntu
OpenBao 2.7.2, Raft с одним узлом

В CI отдельный job application собирает стенд, создаёт тестовые ключи и секреты, ждёт две API-реплики и запускает публичный HTTPS smoke с локальным CA. После проверки контейнеры убираются через docker compose down. Для job нужен изолированный Linux runner с Docker Engine, Compose v2, Python, Bash, Make и OpenSSL. Запуск тех же команд из чистой копии проверен локально на новом Compose-проекте. Лог локальной проверки CI-сценария.

Архитектура и решения

Перенесены две API-реплики, REST-контракт, идемпотентность, keyset cursor, PostgreSQL, приватный S3, durable staging и outbox, Redis Streams, dispatcher, worker, lease/fencing, reconciler, thumbnail/crop/optimized, OTel dashboard и alert rules. Сессии и чтение профилей идут через PostgreSQL. Необязательный кэш профилей убран при переходе на scoped credentials. В матрицу внесены конфигурация и доказательства. Матрица.

flowchart LR
    Client -->|HTTPS| LB
    LB -->|mTLS| API["API ×2"]
    API -->|TLS SCRAM| DB[(PostgreSQL)]
    API -->|TLS SigV4 staging| S3[(MinIO)]
    DB -->|outbox через TLS| Dispatcher
    Dispatcher -->|mTLS producer ACL| Redis[(Redis Streams)]
    Redis -->|mTLS consumer ACL| Worker
    Worker -->|TLS| DB
    Worker -->|TLS originals variants| S3
    Reconciler -->|TLS| S3
    API -->|cert auth KV| Bao[(OpenBao Raft)]
    Worker -->|cert auth KV| Bao
    Dispatcher -->|cert auth KV| Bao
    Reconciler -->|cert auth KV| Bao
    API -->|OTLP mTLS| Collector
    Worker -->|OTLP mTLS| Collector
    Collector -->|mTLS| Loki
    Collector -->|mTLS| Tempo
    Prometheus -->|mTLS scrape| Collector
    Grafana -->|mTLS query| Prometheus
    Grafana -->|mTLS query| Loki
    Grafana -->|mTLS query| Tempo

PostgreSQL — источник истины для пользователей, чатов, сессий, метаданных, идемпотентности и состояния job. API отдаёт 202 после сохранения проверенных bytes в staging и COMMIT метаданных/job/outbox. Dispatcher публикует с AOF и отмечает публикацию в отдельной транзакции. Повтор после crash допустим. Worker делает effects по устойчивым object keys, проверяет lease token перед публикацией ready и ACK после обработки. Вложения читаются через API после проверки membership. Исходный SHA-256 сохраняется. JPEG-варианты quality 82, WebP quality 82 / method 4, метаданные вариантов удалены. Keyset сортирует по (created_at,id); конкурентные вставки не создают snapshot между страницами.

Пароль — Argon2id с библиотечным salt, m=19456 KiB, t=2, p=1. После успешной проверки старый hash обновляется условным UPDATE вместе с созданием сессии. В PostgreSQL хранится SHA-256 от случайных 32 байт bearer. Для неизвестного username используется dummy Argon2id. DB принимает 24 попытки входа на обе реплики за 10 секунд и отдельный аналогичный бюджет регистрации. Два KDF slots в каждом процессе ограничивают память при всплеске. Ответ 429 содержит Retry-After. JSON body ограничен 64 KiB, файл — 10 MiB / 40 MP. Worker получает 1 CPU / 768 MiB и обрабатывает один job одновременно. Дочерний декодер работает с RLIMIT_AS 512 MiB и deadline 30 с.

Readiness требует PostgreSQL, S3 и свежий локальный lease credentials. Broker, worker и telemetry не входят в синхронный путь. Liveness маршрутизируется отдельно и не проверяет зависимости. Cert auth выдаёт app token на 30 с, renew-self просит 30 с, абсолютный предел token — 300 с, дальше re-auth. Процесс использует текущие credentials до ранее выданного lease, максимум 30 с от успешной проверки. Изменение KV не продлевает lease старого набора credentials. Для применения нового набора процесс перезапускается. Ротация leaf LB обновляет pin по serial на обеих API и перезапускает LB, закрывая старые соединения. Broker и Collector после проверки CA сверяют точный CN, который назначает оператор. API сверяет SAN и активный serial. Loki и Tempo сверяют CN и SHA-256 leaf выделенного Collector exporter. Ротация этого leaf перезапускает только telemetry proxies и backend-процессы. Политики запроса Grafana при этом сохраняются.

Compose использует SESSION_TTL_SECONDS с default 3600. Host/port API, реплики, S3, лимиты и OTLP заданы в compose.yaml и src/config.py. DATABASE_URL, S3 и broker credentials читаются из KV по BAO_ROLE. Файлы CA/cert/key монтируются под /pki, адрес OpenBao — https://openbao:8200. Параметры Argon2 заданы в приложении, идемпотентность 24 ч, session store PostgreSQL. Остальные ключи .env.example описывают логический интерфейс skeleton. Для запуска .env не требуется.

Метрики OTel экспортируются как app_http_requests_total, app_http_duration_seconds_bucket, jobs_processed_total, job_duration_seconds_bucket, queue_depth, queue_oldest_age_seconds, attachment_ready_seconds_bucket, pool/worker/process gauges. Маршрут — шаблон, ошибка — класс или машинный код. Числитель error ratio — 5xx бизнес-API, знаменатель — все бизнес-ответы, health исключён. W3C traceparent из durable job связывает HTTP, producer, consumer, S3 и DB. Сигналы читаются через provisioned Grafana и ограниченный operator probe.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Offline структура и OpenAPI make check, make validate PYTHON=.venv/bin/python Обе проверки PASS check, validate
Публичный HTTPS smoke make test CA_FILE="$CA_FILE" Пользователи/ACL, история, идемпотентность, upload/thumbnail, logout PASS smoke
TLS ingress и auth make test-security, http_security.py http, scripts/test_expiry.sh CA и hostname проверены, чужой файл 404, forged header не меняет Bearer, logout/expiry 401 TLS, HTTP ACL, expiry
Обязательное mTLS LB → API docker compose run --rm --no-deps -T audit Две реплики приняли активный LB. Отсутствие cert, чужой CA и чужая identity того же CA отклонены TLS/ACL
Шифрование всех связей, роли и приватный bucket docker compose run --rm --no-deps -T audit 83 проверки. DB verify-full, plaintext и SAN mismatch отвергнуты. S3 и DB deny подтверждены, plaintext backend ports закрыты в bridge TLS/ACL, матрица
OpenBao non-dev и сервисные политики scripts/start.sh, docker compose run --rm --no-deps -T audit Cert login у четырёх ролей, чужой KV и запись policy 403 TLS/ACL
mTLS broker и Collector docker compose run --rm --no-deps -T audit Допущены нужные роли. Отсутствие cert, чужой CA и same-CA intruder отклонены, в broker даже с верным паролем. Redis ACL разделяет команды TLS/ACL
Argon2id, rehash, token hash, общий rate limit http_security.py http/budget, argon2_cost.py в API Старый hash заменён, bearer хранится как hash. Две реплики суммарно допустили 24 проверки на окно, Retry-After на 429 rehash, budget, KDF
Secret/leaf rotation и OpenBao lifecycle lifecycle.py db/s3/leaf/collector/bao Старые DB/S3 secrets и оба leaf отклонены на новых соединениях. Ротация без rebuild, renew/revoke и sealed grace проверены DB, S3, LB, Collector, Bao
Hardening и worker limits python3 student-tests/hardening.py и http_security.py http Read-only root, drop ALL, no-new-privileges, CPU/RAM/PID limits. Явные caps DB нужны для init/смены uid. Превышение размера даёт 413 inspect, HTTP
Сканирование с применимостью scripts/scan_images.sh, pip-audit --no-deps --disable-pip -r requirements.runtime.lock 12 образов, зависимости и повтор после обновлений, разобраны достижимые пути и остаточные риски triage, pip-audit
Модель угроз и telemetry audit python3 student-tests/telemetry_audit.py Связь upload→worker видна в Loki/Tempo, Prometheus и Grafana проверены, canaries не найдены угрозы, signals
Сохранность и отказ каждой API make test-persistence и два make test-failover Сессия и данные пережили перезапуск хранилищ. Запись восстановилась через вторую реплику в каждом тесте persistence, до, после, failover 1, failover 2

Эксперименты и отказы

Среда — Intel Core i5-1240P, 16 видимых CPU, Docker VM 7.63 GiB, Ubuntu 22.04.5 / Docker Server 26.1.1 / Compose 2.27.0-desktop.2. API по 1 CPU и 512 MiB. В login тесте 38 последовательных синтетических запросов в одном окне дали 24 × 401 и 14 × 429 за 1.870 с, p95 для 401 — 132.966 мс. Всплеск 72 запросов при concurrency 12 дал 16 × 401 и 56 × 429 за 0.765 с, p95 всех ответов — 304.521 мс. Параллельный KDF ограничен двумя слотами на процесс, поэтому часть допущенных DB бюджетом запросов получает 429 до KDF. Замеры включают TLS, DB, ожидание CPU и накладные расходы WSL. Бюджет входа.

Argon2id измерен внутри cgroup API, по 50 verify после одного hash. При одном потоке p50 19.099 мс, p95 21.590 мс и peak RSS 44.676 MiB. При двух потоках p50 22.438 мс, p95 73.689 мс и peak RSS 63.691 MiB. Два параллельных рабочих буфера KDF укладываются в лимит реплики, а общий бюджет ограничивает число допущенных попыток. Замер KDF.

Один замер обычной записи после smoke и сценариев отказа. Команда python3 tests/load.py --duration 30 --concurrency 4 --ca-file "$CA_FILE" --output evidence/load.json. Closed-loop concurrency 4, 30.046 с, отдельного прогрева в генераторе нет. До замера в БД 31 пользователь, 262 сообщения, 12 вложений. После — 34, 4488 и 12 соответственно. Успешных POST 4226, ошибок 0, 140.649 RPS. p50/p95/p99 успешных POST — 25.248 / 48.340 / 97.975 мс. Максимумы снятых samples API — около 100% одного CPU и 282.4/276.1 MiB. PostgreSQL — 41.69% и 46.6 MiB, Collector — 11.11% и 72.64 MiB. Показатели CPU/RAM относятся к периодическим samples, latency зависит от closed-loop клиента и фоновой telemetry. Нагрузка · Ресурсы.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
API: старый пароль после ALTER ROLE и завершения DB sessions Старый пароль не открывает новую TLS-сессию Старый пароль отклонён, новый работает, image ID тот же 8.784 с до двух готовых alias. Лог
Новый leaf LB с тем же SAN Предыдущий leaf отклонён на каждой API Две API отвергли прежний serial, новый допущен, image ID тот же 5.452 с до проверки двух API. Лог
Новый пароль IAM API в S3 Старый пароль не подписывает новый запрос SigV4 Старый ключ отклонён с 403, новый разрешён, image ID тот же 10.136 с до двух готовых API. Лог
Новый exporter leaf Collector Loki и Tempo отклоняют прежний fingerprint Прежний leaf 403 на обоих backend, новый проходит, image IDs те же 7.716 с до проверки. Лог
Seal OpenBao Короткий lease, затем отказ работы при живом процессе Readiness 200 → 503 через 28.454 с, liveness 200 После unseal прежняя сессия снова работала через 9.229 с. Лог
Перезапуск API и хранилищ Старая сессия, история и файл сохраняются Публичный persistence PASS. StartedAt обновился у хранилищ и обеих API, volumes совпали Лог
Отказ API по alias Оставшаяся API пишет, неопределённый POST безопасно повторяется Остановлены разные контейнеры. 112 и 118 успешных записей, по 3 переходных ошибки, восстановление через 2.195 и 1.693 с. Подтверждённые записи сохранены Первый · Второй
Worker остановлен, upload принят Растут depth/age, после запуска ready и alert resolved Depth 1, oldest age 37.344 с, alert firing через 38.781 с. После старта ready за 1.582 с, alert resolved за 24.034 с Лог
DB: блокировка таблицы messages Readiness работает, бизнес-путь показывает lock timeout 5 HTTP 503 за 2016–2026 мс, trace содержит db.execute / LockNotAvailable. Первая запись после снятия lock — 24.260 мс Лог
Остановлен Tempo backend App работает, telemetry очередь и RAM ограничены 19.618 с воздействия, 16 успешных записей и ready файла. Collector 71.06 / 256 MiB, зарегистрировано 193 потерянных spans Лог

Для диагностики worker проверяйте queue_depth, queue_oldest_age_seconds, QueueLagGrowing и consumer trace. Для DB сравнивайте HTTP span с db.execute и error.type. После снятия lock повторите идемпотентный POST. При отказе telemetry используйте otelcol_exporter_send_failed_spans_total, очередь и ошибки exporter.

Ограничения и следующие шаги

Один Docker host и по одному экземпляру PostgreSQL, S3, broker, OpenBao и LB. Отказ API выдерживается в пределах стенда. Потеря host или единственного хранилища требует восстановления. Учебная ротация даёт короткий перерыв. Пароли KV статичны для PostgreSQL/S3/Redis, отказ после срока lease обеспечивается в процессах приложения. Уже активные операции заканчиваются в рамках своих таймаутов. Изменения KV и стороннего хранилища выполняются последовательно. Если операция прервана между шагами, оператор повторяет python3 -m scripts.bao_operator rotate-db или rotate-s3, затем docker compose up -d --force-recreate --no-deps api и python3 scripts/wait_ready.py. Для production нужны раздельное хранение unseal shares, управляемое обновление leaf и CA, обновление образов по результатам сканирования и защита от исчерпания общего бюджета login. Остаточные находки рассмотрены в scan triage.