Files
mtusi2026lab7/REPORT.md
mayorovasonya 7353ab97a6 Лаб7: mTLS, Argon2id, OpenBao и исследование отзыва worker
Майорова Софья, БВТ2301, на 5. Трек1. HTTPS/TLS/ACL,18 API tests,13 pipeline groups,3 compromise runs,clean clone,persistence. Original tests/API contract preserved; residual CVE triage in REPORT/security.
2026-11-20 14:48:26 +03:00

29 KiB
Raw Permalink Blame History

Лабораторная 7: безопасность, mTLS и OpenBao

Автор: Майорова Софья, БВТ2301. Целевая оценка: 5, трек1 — компрометация worker. Дата локальных проверок:20.11.2026. Ветка: solution/BVT2301-Mayorova; основание — оригинальный lab7 skeleton20afc2c790d3e72f6b7666376c9834c1ced1a405. Публикация: публичная ветка решения; МР направляется в upstream main с заголовком «ЛР 7 — БВТ2301 — Майорова — на 5». Tested commit записан в clean-clone.json; окончательный commit виден в истории ветки. Hosted CI отдельно не заявляется прошедшим.

Что реализовано

Собственный Python-мессенджер из lab6 сохранён: пользователи/сессии, чаты, cursor history, идемпотентная отправка сообщений, приватные вложения с фоновым versioned pipeline, PG outbox, повторные доставки/retry/replay/fencing/cleanup, метрики/логи/traces и dashboard. Публичное API lab7 и tests/ не изменены. Заполнены предусмотренные заданием trust-matrix и threat model. README/COURSE/CONTRIBUTING новой работы сохранены.

В lab7 добавлены проверяемый внешний HTTPS, обязательный native mTLS LB→обе API, TLS/mTLS всех межконтейнерных связей, отдельные identities/ACL, Argon2id, общий login limiter, persistent non-dev OpenBao, bounded secret cache, отзыв/ротация, hardening и отрицательные тесты. Исследование выполняет probe в настоящем worker и восстанавливает те же задания после отзыва.

Чистый clone: операторская инструкция

Требуются Git, Python3.9+ на host, OpenSSL CLI и Docker Engine/Compose v2. Проверено на macOS/Colima, Linux aarch64 VM4CPU/4GiB; рядом работала собственная lab6. Это не выделенный benchmark host. Все runtime images закреплены digest в compose.yaml/Dockerfile. Фактически проверены Python3.12.16, HAProxy3.0.31, PostgreSQL17.12, Redis7.4.12, SeaweedFS4.51, OpenBao2.4.4, Collector0.132.0, Prometheus3.5.0, Loki3.5.3, Tempo2.8.2, Grafana12.1.1; зависимости Python frozen в requirements.txt (OTel1.45.2, Argon2-cffi25.1.0). Полный scan — security/SCAN_TRIAGE.md.

git clone --branch solution/BVT2301-Mayorova https://gitea.privcloud.tech/mayorovasonya/mtusi2026lab7.git lab7
cd lab7

# Только на этом Mac при использовании уже настроенного профиля:
colima start --profile mtusi-labs
export DOCKER_CONTEXT=colima-mtusi-labs

python3 scripts/start.py
export BASE_URL=https://localhost:18443
export CA_FILE="$PWD/pki/lb/ca.crt"
curl --cacert "$CA_FILE" "$BASE_URL/health/ready"
make check test test-security test-student BASE_URL="$BASE_URL" CA_FILE="$CA_FILE"
make test-internal-security
docker compose --profile tools run --rm --no-deps audit /app/student-tests/auth_and_signals.py

start.py — явное действие доверенного host-оператора: создаёт свежие CA/leaf/secrets, собирает приложение, запускает stores/Bao, делает init/unseal, policies/KV, bootstrap bucket, SQL migrations, две API/worker/dispatcher/LB и ждёт verified HTTPS readiness. На повторном старте сохраняет keys/данные и не переинициализирует Bao. Первый start может занять минуты (скачивание images). Сам docker compose up не заменяет operator initialization.

Адреса только на loopback host: API https://localhost:18443, Grafana https://localhost:13407, Bao https://localhost:18207. CA публичный pki/lb/ca.crt; private keys не распространять. TLS verification не отключать. Для браузера отдельно требуется осознанное доверие локальному CA пользователем; скрипты не меняют системный trust store. Пароль Grafana operator находится в ignored local operator/settings.json; в чат/скриншоты/Git не переносить.

.env.example содержит только nonsecret настройки: APP_PORT/GRAFANA_PORT/BAO_PORT — host mappings, SESSION_TTL_SECONDS — user session expiry3600s, TRACE_SAMPLE_RATIO — parent-based25% traces. Внутренний APP_PORT8080 задаётся compose отдельно. Все DSN/пароли/ключи создаёт bootstrap и кладёт в scoped Bao KV; приложение получает их оттуда, а не из .env. TLS files монтируются по ролям. Прочие настройки зафиксированы compose/infra.

Дополнительные воспроизводимые проверки (меняют только текущий compose project):

# 13 детерминированных pipeline групп требуют остановленных обычных consumers:
docker compose stop worker dispatcher
docker compose --profile tools run --rm --no-deps audit /app/student-tests/pipeline_checks.py
docker compose up -d --no-deps worker dispatcher

# Три повтора исследования с настоящим отзывом worker:
make research BASE_URL="$BASE_URL" CA_FILE="$CA_FILE"

# Fail-closed при sealed/TTL и восстановление нового job:
python3 student-tests/sealed_bao.py

# Полный restart с сохранением business data и старой telemetry:
python3 student-tests/persistence_tls.py

# Реальный stop ровно выбранного публичным тестом API:
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL="$BASE_URL" CA_FILE="$CA_FILE"
docker compose up -d --no-deps api

python3 student-tests/hardening.py
python3 student-tests/grafana_tls.py
python3 student-tests/scan_images.py

Для независимого повторения чистого развёртывания: python3 student-tests/clean_clone.py (нужны свободные18444/13408/18208; создаёт и удаляет только свой уникальный disposable project). Проверенный commit 7d7bd69d8af959bda540b1bc203c9d62e56c3566, длительность 72.354s; после него изменены только операторская уборка временного clone, сохранение denylist при renewal и документация/evidence. API/worker runtime в чистом clone соответствует итоговому решению.

Сначала auth_and_signals.py создаёт actual trace для persistence_tls; если запускаете вручную, сохраните его JSON stdout в evidence/auth-signals.json (Compose progress идёт в stderr). Тестовые пользователи/сообщения/файлы синтетические. Исследование отзывает старый leaf/password worker и оставляет новый рабочий набор.

Безопасная остановка: docker compose stop; возобновление с явным unseal: python3 scripts/start.py. docker compose down удаляет контейнеры/сеть, сохраняет volumes. Только для намеренного полного удаления учебных данных собственного текущего проекта: docker compose down -v --remove-orphans; после этого для новой установки нужны также новые local generated secrets/PKI. Эта команда не используется recovery/persistence hook.

Потоки и границы доверия

flowchart LR
    Client -->|HTTPS CA+SAN| LB
    LB -->|mTLS exact URI lb| API[API x2]
    API -->|TLS separate role| PG[(PostgreSQL)]
    API -->|mTLS prefix ACL| S3[(S3 gateway)]
    API -->|mTLS optional cache| Redis[(Redis profiles)]
    PG --> Outbox[durable outbox]
    Dispatcher -->|TLS outbox| PG
    Dispatcher -->|mTLS producer ACL| Broker[(Redis Streams)]
    Broker --> Worker
    Worker -->|TLS column grants| PG
    Worker -->|mTLS staging read/results create| S3
    API --> Bao[OpenBao cert-auth / own KV]
    Worker --> Bao
    Dispatcher --> Bao
    API --> Collector[OTel mTLS]
    Worker --> Collector
    Dispatcher --> Collector
    Collector -->|mTLS| Backends[Tempo/Loki]
    Prometheus -->|mTLS scrape| Collector
    Grafana -->|mTLS| Backends
    Grafana -->|mTLS| Prometheus

PG — источник истины для users/chats/members/messages, SHA256 session hashes, attachment/job states, outbox/idempotency и failure registry. S3 — bytes staging/results; Redis Streams — durable at-least-once delivery, профильный cache необязателен. PG COMMIT принятого job предшествует publish; worker claim/lease/version защищают UPDATE состояния, результаты создаются условным immutable PUT. Повторная доставка не создаёт второй бизнес-эффект. Сессии и история не в Redis.

Полная trust matrix содержит endpoints, identities, TLS и права. HAProxy проверяет CA и CN role allowlist+serial denylist; native API дополнительно exact URI SAN spiffe://mtusi.lab/lb. CA trust сам по себе не даёт права роли. Test wrong-lb использует trusted cert с разрешённым CNlb, но неправильным URI, и отклоняется API. API→broker отсутствует по архитектуре: API пишет PG outbox, broker имеет только dispatcher/worker. Сертификат API на broker явно отвергается.

Где продукт без native TLS, proxy и raw process разделяют только собственный network namespace; raw ports bound127.0.0.1. Это проверено из другого контейнера и по реальным listening sockets, включая S3 HTTP/admin/gRPC. Это честно ограниченный локальный hop, не plaintext в общей backend сети.

Пароли, сессии и login budget

Argon2id: memory32768KiB, t2, p1, random salt16bytes, hash32bytes. Encoded string содержит параметры/salt. Успешный вход со старым собственным scrypt или прежними Argon параметрами выполняет rehash. Bearer — случайные256bit; PG хранит только SHA256 token_hash+expiry. Logout удаляет сессию; проверка всегда в PG, даже при profile cache hit. Общий для двух API atomic PG fixed-window limiter:20 login/s, отдельные20 registration/s;429 с Retry-After1. По2 KDF slots/API; при нехватке bounded wait0.5s→503. Максимум KDF RAM64MiB на API при container limit256MiB.

KDF benchmark:10 повторов hash+verify на каждую memory19/32/64MiB в audit container0.5CPU (API имеет1CPU). Actual timings и 100 параллельных bad logins на обе реплики — auth-signals.json. Это измерение KDF, не прогноз максимального API RPS. Выбраны32MiB как запас выше минимального профиля задания при bounded concurrency;64MiB при2 slots оставляли бы меньше RAM под Python/pool/TLS. Rate limit fixed-window допускает boundary burst до40/s; полной защиты от распределённого DoS/TLS/DB saturation не заявляем.

OpenBao bootstrap и lifecycle

Non-dev persistent file backend. Operator init3shares/threshold2, затем explicit unseal. Материалы CA/root/shares — только host operator0700/0600, не mounted в apps и даже audit container. Все shares у одного учебного оператора, split custody/HSM нет. Generated service leaf на1сутки — первый bootstrap credential; CA30суток. Exact leaf cert-auth закреплён в Bao; policies только read собственного secret/data/api|worker|dispatcher. Запрещены чужой KV, policy read/write и secret write. Token TTL/maxTTL20s, приложение при использовании re-auth каждые5s; bounded cache≤20s. Root token и бессрочный общий bootstrap token приложению не нужны.

KV passwords/keys статические: TTL Bao token не равен автоматическому expiry украденного PG/S3 password. Для инцидента оператор отдельно меняет пароли/ключи, отзывает tokens+serial, убивает старые PG sessions и old proxy connections. scripts/rotate_worker.py делает именно это без rebuild. Proxy graceful reload имеет hard-stop≤5s; negative old-leaf проверки идут на новых соединениях через6s. Другим ролям renewal leaf требует operator issuance/update pins/reload в окне обслуживания. Автоматический CA rollover/весь трек2 не заявлены.

Реальное sealed испытание: bounded cache заканчивается, business endpoint503; после unseal прежний Bearer действует, worker/dispatcher остаются теми же живыми контейнерами и новый job становится ready. Старый service token после20s даёт403, повторный cert-auth работает. Raw auth values не сохраняются. Сохраняется HMAC audit OpenBao в volume; log_raw=false.

Hardening и права worker

Apps/worker/dispatcher UID10001, readonly rootfs, cap_drop ALL, no-new-privileges, tmpfs128MiB, no privileged/host network/Docker socket. Worker1CPU/768MiB, renderer20s/40MP, upload≤10MiB. API×2 по1CPU/256MiB. PG нуждается в entrypoint root caps CHOWN/SETUID/SETGID/DAC_OVERRIDE/FOWNER и writable state, затем работает postgres user. One-shot volume-init имеет CHOWN и network none. Это явные исключения; не выдаются worker. Operator-only audit profile user0 с DAC_OVERRIDE читает выделенные credential fixtures для тестов; не является production worker и не монтирует CAprivate/root/unseal. Другие stateful данные — named volumes. Фактические limits/mounts/ports/listeners и wrong-hostname reject: hardening.json.

Worker может читать attachment/job metadata и staging/results; создавать новые immutable result keys; изменять только разрешённые state/lease/retry columns и писать job_events. Не может читать users/sessions/messages, менять chat_id/source_key, создавать persistent/temporary DDL, делать broker CONFIG/чужие keys, LIST/DELETE bucket или PUTstaging. Он всё равно может испортить разрешённые состояния/свою очередь и прочитать все processing files; tenant isolation и защита от произвольного RCE в PG/kernel не заявлены. Эти границы отражены в threat model.

Доказательства критериев

Критерий Реальная команда/наблюдение Evidence
Предыдущий business API через HTTPS, CA/SAN make check/test/test-security;18 собственных API/image tests PASS final-api-tests.txt
Все прежние durable pipeline свойства stop worker/dispatcher; audit pipeline_checks.py;13 групп, реальные exit77 до/после side effects/commit pipeline-regression.json
LB→каждая API обязательный mTLS+identity tls_audit.py: оба DNS IP, no cert/foreign CA/trusted outsider/wrong URI/expired deny tls-audit.json
Полная матрица TLS/mTLS, raw bypass denied 14 role/endpoint путей,15 plaintext ports недоступны из чужого namespace; PG verify-full tls-audit.json, матрица
Broker/Collector отдельные identities valid outsider denied, API broker denied; реальный publisher→consumer trace tls-audit.json, auth-signals.json
Argon2id, session hashes, expiry/logout, rehash DB stored hashes, реальная expiry401; legacy/params rehash;9+image/business scenarios auth-signals.json,18tests
Общий limiter и KDF budget 100 запросов,2 instance IDs,429Retry-After1;3 memory profiles×10 auth-signals.json
Bao non-dev/scoped auth/persistent/operator trust own KV allowed, чужой KV/policy/write denied; explicit unseal same store tls-audit.json,tls-persistence.json
Secret/leaf rotate+revoke без rebuild старый реально валидный token403 до TTL, old cert/password/key denied; image IDs неизменны worker-compromise-runs.json
Expiry/sealed fail-closed ≤20s cache,503,тот же user Bearer, живые processes/new ready job,expired token403 sealed-and-expiry.json
Least privilege/negative ACL/upload actual non-root worker probe; PG/Redis/S3 deny;10MiB/40MP/20s limits worker-compromise-runs.json,auth-signals.json
Hardening/no secret leaks inspect effective settings, real sockets, telemetry canaries и repo actual-value scan hardening.json,runtime-surface.json
Scan + применимость все11 unique images, реальные fixes, residual risks без blanket ignore SCAN_TRIAGE.md,image-scans.json
HTTPS restart с business и telemetry persistence PG/Redis/S3/Bao/всеtelemetry/Grafana реально restart; старые session/files/trace/logs/fixed metric сохранены persistence.txt,tls-persistence.json,restart snapshots
Отказ последовательно обеих физических API unchanged public failover + exact TARGET_INSTANCE_ID hook, exit0 stopped, вторая живая failover-1.txt,failover-other.txt,stopped-instances.jsonl
Минимум lab6 observability 21 panel dashboard,3 mTLS datasource,2 scrape up,20-span real job trace + logs grafana-tls.json,auth-signals.json,RUNBOOK
Трек1 на5,3 повтора реальные worker права → отзыв/смена leaf+3secrets → те же6 jobs ready/bytes и все подтверждённые сообщения worker-compromise-runs.json
Чистый clone с новыми volumes/CA/secrets независимый compose project/ports, запуск и повтор API/TLS/persistence PASS: clean-clone.json,вывод

Hosted CI не подменяется локальными evidence: GitHub-compatible application workflow добавлен; запуск/approval в Gitea до публикации не подтверждён.

Исследование на5: компрометация worker

Гипотеза: service-specific least privilege уменьшает scope украденных worker credentials, а явный отзыв/ротация прекращает старый доступ без потери уже принятых durable jobs.

Методика student-tests/research.py:3 независимых синтетических fixture runs на том же стенде; каждый создаёт новых users/chat/6PNG jobs и новый revoked/current key set. Это не3 разных VM и не статистически мощный performance benchmark. Сначала broad baseline — явно помеченная operator-controlled модель lab6-style shared credentials, а не атака живой lab6: видны counts users/sessions/messages, bucket-wide write/delete временного fixture и brokerCONFIG. Значения hashes/contents не выводятся. Затем probe выполняется через docker exec в настоящем worker UID/mounts, подтверждает own KV, отсутствие operator files и границы DB/broker. Worker останавливается; API принимает6 вложений в durable state. Один HTTP writer отправляет сообщение и ждёт100ms после ответа (closed loop, nominal ceiling10/s). Оператор отзывает старый Bao cert role/tokens+serial, ротирует PG/Redis/S3 secret и leaf; жёстко завершает old connections и запускает worker тем же образом. Старые credentials отдельно проверяются fresh connections; все те же6IDs ready, исходные bytes и confirmed messages находятся в истории. CPU/RAM — отдельные docker stats snapshots до/после, не пики; record содержит caps/units. Latency percentiles относятся только к успешным message requests, не к job-ready и не к времени отзыва. Результаты финальных3 повторов и измерения приведены ниже в автоматически подставленной таблице.

Повтор Сообщения / ошибки Успешные RPS p50 / p95 / p99, ms Revoke token, ms Ротация, s Jobs ready
1 100 / 0 8.332 13.07 / 24.29 / 54.43 130 3.107 6/6
2 101 / 0 8.317 13.33 / 25.91 / 51.25 150 2.828 6/6
3 100 / 0 8.383 12.39 / 25.63 / 38.78 195 2.786 6/6

Все 301 подтверждённое сообщение найдено, все 18 принятых вложений стали ready с исходными bytes, old token/cert/PG password/Redis password/S3 key отвергнуты; образ worker не менялся. Нулевая наблюдаемая потеря в этих3 коротких прогонах не доказывает устойчивость при произвольной нагрузке.

Docker stats before: CPU 0.08–5.81% одного ядра по отдельным процессам; memory по каждому контейнеру и точные units — в JSON. Это отдельные snapshots, не max CPU/RAM за эксперимент.

Docker stats after: CPU 0.60–3.41% одного ядра по отдельным процессам; memory по каждому контейнеру и точные units — в JSON. Это отдельные snapshots, не max CPU/RAM за эксперимент.

KDF hash+verify median,19/32/64MiB: 28.54ms / 111.36ms / 275.98ms. 100 параллельных bad logins: 30×401, 70×429, обе API; Retry-After=1. Sealed: первый503 через19.362s, прежний Bearer снова200 через25.489s от seal, после явного unseal.

PG/S3/Broker остаются доступны и durable; отзыв учётных данных не удаляет jobs. Относительно baseline worker больше не читает accounts/sessions/messages и не управляет чужими keyspaces/входными файлами. Он по-прежнему может портить разрешённый processing scope: malicious-worker result correctness отдельно не доказана.

Реальные отказы и границы измерения

  • Полный restart: scopes/actual container IDs/start times до/после в restart-before/after; proxy namespace anchors сохранялись, raw бизнес/telemetry processes и Bao перезапущены. Bao unseal — operator action, без сброса store.
  • Отказ API:6 успешных публичных сценариев; round-robin initial prefix часто выбирал одну и ту же физическую реплику. Дополнительный обычный GET сменил фазу, после чего неизменённый public test остановил вторую. TARGET_INSTANCE_ID не подменялся. Выбранные2 physical IDs/alias записаны hook; confirmed data/sessions сохранились. В отдельных контрольных сценариях112/110 writes, по1 transient failure, первое восстановление2.682/2.331s.
  • Чистый first-start выявил гонку S3: head_bucket отвечал раньше готовности data volumes. Bootstrap исправлен на authenticated PUT→GET→DELETE уникального временного объекта; затем чистый start проверен заново.
  • Один cold bootstrap непосредственно после полного restart превысил2s timeout публичного клиента ещё до failover hook. Прогретые неизменённые сценарии прошли. Поэтому гарантии «все cold requests≤2s» нет.
  • Sealed Bao обнаружил и помог исправить exit dispatcher из queue observer: APIError теперь обрабатывается как временная недоступность. Повтор проверяет не только200API, но те же живые worker/dispatcher и новый ready job.
  • При outage Collector bounded SDK queues могут потерять telemetry; бизнес commit от них не зависит. Хранение history24h/limits и SLO определения — RUNBOOK. Системный availability за пределами API (LB/network) не полностью покрывается API request metric.

Ограничения и источники

Стенд single-host: LB/PG/S3/broker/Bao/telemetry — SPOF; нет HA/database PITR/auto-unseal/HSM/independent key custodians. Leaf renewal и CA rollout для всех ролей не автоматизированы. Трек2 не заявляется. Auth TTL не динамическая DB lease. Отзыв проверяет новые соединения; persistent connections ограничены5s, уже начатый renderer20s. IP/tenant quotas и malware scanning нет. Полный scope RCE в image/DB/kernel исключён из эксперимента и остаётся риском. Scan сохранил известные Critical/High findings в сторонних образах; изоляция не объявляется исправлением. До production нужны совместимые обновления/миграция Bao, исправленная PG/libxml, quotas, backups/restore и повторный security review.

Реализация продолжает только собственные lab1–6. Использован Codex для написания кода/конфигураций/проверок и оформления; результаты не выдуманы, evidence получены реальными командами. Чужие студенческие решения не использовались. Первичные источники: задание, контракт, OWASP Password Storage, Argon2-cffi API/rehash, OpenBao cert-auth, OpenBao policies, HAProxy3.0 configuration, Docker security.