Files
mtusi2026lab7/REPORT.md
T

26 KiB
Raw Blame History

Отчёт — лабораторная 7

  • Автор, группа: Вейнмайер Андрей Андреевич, БВТ2303
  • Целевая оценка: 5 — уровни 3 и 4 полностью + трек 1 «Компрометация worker»
  • Commit/PR: ветка solution/bvt2303-weinmaier в Weinmaier_Andrew/mtusi2026lab7; доказательства — прогон https://github.com/CharaWein/2026_lab3/actions/runs/43267046991 (commit a414221, все части success), файлы в evidence/
  • Источники: README и материалы курса (OWASP Password Storage, OWASP File Upload, документация OpenBao: cert auth, policies, production hardening; Docker security), документация RabbitMQ (TLS, access control), PostgreSQL (pg_hba, sslmode), MinIO (policies), Redis (ACL, TLS). Библиотеки: pgx v5, go-redis v9, minio-go v7, amqp091-go, golang.org/x/crypto/argon2, OpenTelemetry Go SDK.
  • Помощь ИИ: ИИ-ассистент использовался при реализации и отладке; все результаты ниже — реальные прогоны, ссылки на них приведены.

Запуск из чистого clone

Версии: Docker 28 / Compose v2.38 (так в прогоне), Go 1.26.11 (только для go test), Python 3.9+, openssl в PATH. Образы закреплены по версиям в compose.yaml (postgres 16.4, redis 7.4.1, MinIO 2025-04-22, RabbitMQ 4.0.9, HAProxy 3.0.5, OpenBao 2.1.0, OTel Collector 0.116.1, Prometheus 3.1.0, Loki 3.3.2, Tempo 2.6.1, Grafana 11.4.0).

sh scripts/init-secrets.sh          # пароли и ключи оператора в secrets/ (вне Git, 600), значения не печатаются
sh scripts/pki.sh init              # CA стенда, CA телеметрии, leaf-сертификаты сервисов (ECDSA P-256)
docker compose build && docker compose --profile test build probe
python3 scripts/bootstrap.py all    # OpenBao: init (3 доли, порог 2) + unseal + политики + cert-роли + KV;
                                    # роли БД, пользователи MinIO/RabbitMQ, ACL Redis; миграции; запуск стенда
make test BASE_URL=https://localhost:8443 CA_FILE=secrets/pki/ca.crt

make up выполняет те же шаги. Действия оператора:

  • после любого рестарта OpenBao он запечатан — python3 scripts/bootstrap.py unseal (берёт 2 доли из secrets/operator/bao-init.json; в эксплуатации доли хранятся у разных людей);
  • scripts/restart.sh — перезапуск всех процессов и хранилищ с unseal;
  • ротации: bootstrap.py rotate-db|rotate-s3 <svc>, scripts/pki.sh rotate <имя> [CN], bootstrap.py worker-identity gN, bootstrap.py revoke-tokens <svc>.

Остановка без потери данных: docker compose stop (volumes сохраняются). Намеренное удаление учебных данных: docker compose down -v и удаление каталога secrets/ (CA, доли unseal, пароли) — после этого стенд создаётся заново.

Все проверки этой работы: sh scripts/collect-evidence.sh all (части base, security, pipeline, track1).

Архитектура и решения

клиент ──HTTPS 8443 (127.0.0.1)──► HAProxy lb ──mTLS (identity lb)──► api ×2 ──TLS──► PostgreSQL / Redis / MinIO
                                                                         │              ▲
                                                outbox (PostgreSQL) ─► relay ──AMQPS+mTLS──► RabbitMQ ──► worker
   все сервисы ──cert auth (тот же сертификат)──► OpenBao (секреты своего пути KV)         (CN relay-g1 / worker-g1)
   api/worker/relay ──OTLP/HTTPS + mTLS (CA телеметрии)──► Collector ──mTLS──► Tempo / Loki ◄─HTTPS+mTLS── Grafana, Prometheus

Сети: front (lb), back (приложения и хранилища), telemetry. Наружу опубликованы только 127.0.0.1:8443 (TLS ingress), 127.0.0.1:3000 (Grafana, HTTPS) и 127.0.0.1:8200 (OpenBao для оператора).

Что перенесено из lab6 без изменения смысла: контракт API, outbox → RabbitMQ → worker, идемпотентность, пайплайн вложений, наблюдаемость (трассы сквозь очередь, SLO, дашборд). Что изменено:

  • PKI (scripts/pki.sh): корневой CA стенда, отдельный CA клиентов телеметрии, leaf на 30 дней с identity CN=<роль> + URI:spiffe://messenger/<роль>; ключи CA только у оператора.
  • mTLS LB→API — двойная проверка: HAProxy проверяет сервер (verifyhost api), API требует клиентский сертификат, проверяет цепочку и allowlist identity (spiffe://messenger/lb) и список отозванных serial (internal/tlsutil). Сертификаты перечитываются при изменении файла — ротация без рестарта.
  • TLS ко всем хранилищам: PostgreSQL sslmode=verify-full + pg_hba только hostssl … scram-sha-256; Redis только TLS-порт (port 0), ACL с отдельным пользователем; MinIO по HTTPS; RabbitMQ только AMQPS 5671 с обязательным клиентским сертификатом и SASL EXTERNAL (пользователь = CN, паролей нет); Collector и бэкенды телеметрии — mTLS. Полная таблица связей — contracts/trust-matrix.md.
  • OpenBao не в dev-mode: file storage на volume, TLS, Shamir 3/2, audit log. Сервис входит своим клиентским сертификатом (auth/cert, роль = сервис), policy даёт read только на secret/data/messenger/<сервис>, токен 15 мин / максимум 1 ч. Секреты обновляются каждые 30 s, при отказе OpenBao процесс работает на кэше.
  • Least privilege: роли БД app_api, app_worker, app_relay, app_reconciler (migrations/0007_service_roles.up.sql), пользователи MinIO с правами на префиксы, раздельные пользователи RabbitMQ; топологию очередей создаёт оператор (infra/rabbitmq/definitions.json), у приложений нет права configure.
  • Пароли: Argon2id m=19 MiB, t=2, p=1 (минимум OWASP), rehash старых hash при входе, не более 2 одновременных вычислений на реплику; лимит входа в Redis (общий для реплик); сессионный токен хранится как SHA-256; тело JSON ≤ 64 KiB.
  • Hardening контейнеров: non-root, cap_drop: ALL, no-new-privileges, read_only + tmpfs, лимиты CPU/RAM/pids, без docker.sock и host network.

Переменные из .env.example (BAO_ADDR, BAO_ROLE, SECRETS_REFRESH, ARGON2_*, LOGIN_RATE_PER_USER/IP и переменные lab6) подставляются в compose.yaml (якорь x-app-env). Значения, которые не должны меняться через .env, заданы в compose.yaml напрямую (API_ALLOWED_CLIENTS, REVOKED_SERIALS_FILE, пути к сертификатам); CLAIM_RETRY_DELAY имеет значение по умолчанию в коде (3 s). Секретов в переменных нет — только пути к файлам и адрес OpenBao.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke через HTTPS make test, tests/security.py PASS: API-сценарий lab7; доверенный HTTPS работает, недоверенный CA отклонён evidence/base/smoke.txt, test_security.txt
Внешний TLS: CA, hostname, версия security_ops.py tls-external TLS 1.3 с CA стенда; чужое имя → hostname mismatch; чужой trust store → unable to get local issuer; TLS 1.1 → отказ; порты 8080, 8404, 9090, 5432, 6379, 9000, 5672, 4318 на хосте закрыты evidence/security/tls-external.json
mTLS LB→API security_ops.py mtls без сертификата → certificate required; сертификат чужого CA → отказ; доверенный CA с identity attacker или worker → bad certificate; identity lb → 200; plaintext HTTP на 8443 → 400 evidence/security/mtls.json (lb_to_api)
TLS к DB, S3, broker, Collector, бэкендам, OpenBao security_ops.py mtls (servers) TLS с проверкой сервера у всех; plaintext не обслуживается (Redis не отвечает на PING без TLS, AMQP 5672 закрыт); бэкенды телеметрии без клиентского сертификата отказывают; PostgreSQL sslmode=disable → отказ pg_hba evidence/security/mtls.json (servers)
OpenBao не в dev-mode, scoped policy, нет root в app security_ops.py openbao каждый сервис читает только свой путь: чужие пути, list, запись, запись policy, создание токена, seal → 403; сертификат worker под ролью api → login 400; в контейнерах нет токена в env, только сертификаты evidence/security/openbao.json
Hardening security_ops.py hardening api/worker/relay/reconciler: UID 1001, read-only, cap_drop ALL, no-new-privileges, лимиты (api 256 MiB/0.5 CPU/256 pids, worker 768 MiB); нигде нет privileged, docker.sock, host network evidence/security/hardening.json
Argon2id, ACL, logout, лимиты security_ops.py acl hash argon2id m=19456,t=2,p=1; посторонний → 404 на метаданные, контент и прикрепление чужого файла; подделка X-User-Id → 404/401; после logout → 401; JSON 65 KiB → 413; лимит: 10 × 401, затем 429 с Retry-After: 58, обслужили 2 реплики (счётчик общий) evidence/security/acl.json
Отказ реплики, перезапуск, rolling update через HTTPS make test-failover, test-persistence, rolling update подтверждённые данные и сессии сохранены; rolling update под нагрузкой: 11 673 запроса, 0 ошибок, 129.7 RPS, p99 90 ms evidence/base/failover_*.txt, persistence.txt, rolling_update_load.json
4: mTLS broker и Collector, разные identities security_ops.py mtls RabbitMQ: чужой CA → отказ; доверенный CA с CN attacker/lb → 403 (нет такого пользователя). worker: только consume своей очереди; publish, DLQ, declare, delete → отказ. relay: только publish. Collector: сертификаты основного CA (lb, worker) → certificate required; принимает только CA телеметрии evidence/security/mtls.json (broker, collector)
4: rehash, бюджет login DoS, общий rate limit security_ops.py acl, argon2 rehash m=65536,t=1,p=4 → m=19456,t=2,p=1; hash 71.9 ms (p50, 1 ядро); всплеск 120 параллельных входов: 59 × 401, 61 × 429 за 2.92 s, память API (пик) 197 / 131 MiB при лимите 256 MiB evidence/security/argon2.json
4: ротация secret и leaf без пересборки, отзыв identity security_ops.py rotation пароль роли БД app_api: старый → отказ, API → 200; ключ S3 worker: загрузка → ready; leaf api: serial 1909…0123 → 8c64…9308 без рестарта; leaf lb: старый отвергнут (bad certificate), новый → 200; под нагрузкой 34 548 запросов, 6 ошибок (0.017 %), p99 39.5 ms; образы не пересобирались evidence/security/rotation.json
4: expiry и sealed OpenBao security_ops.py lifecycle токен api с TTL 20 s / максимум 45 s: 8 входов за 100 s, 0 сбоев обновления, 200/200 запросов OK; OpenBao запечатан 33 s: 8 667 запросов, 0 ошибок; загрузка во время sealed → ready; рестарт worker во время sealed — не стартует без секретов, задание ждёт в queued, после unseal ready через 0.5 s evidence/security/lifecycle.json
4: scan с разбором применимости govulncheck, Trivy Go-код: 0 достижимых уязвимостей; образ приложения: 0 HIGH/CRITICAL; сторонние образы — разбор и порядок обновления evidence/scan/TRIAGE.md, govulncheck.txt, trivy_summary.txt
4: модель угроз ≥ 6 угроз с тестами — 10 угроз (T1–T10): путь, инвариант, контроль, отрицательный тест, остаточный риск security/THREAT_MODEL.md
4: worker ограничен по CPU/RAM/времени compose, pipeline_ops.py 1 CPU / 768 MiB / 128 pids, JOB_TIMEOUT, бюджет пикселей; пайплайн lab5/6 работает поверх TLS: demo, crash-effect (восстановление на 2-й попытке за 15.7 s), transient (3 попытки → ready), failed-replay evidence/pipeline/*.json
4: нет утечек в телеметрии security_ops.py leaks пароль, токен, текст сообщения, Basic-заголовок: 0 совпадений в Loki, в 20 трассах Tempo и в stdout evidence/security/leaks.json
5, трек 1: компрометация worker student-tests/compromise.py см. раздел ниже evidence/track1/track1/compromise.json

Трек 1. Компрометация worker

Гипотеза. Если у worker только права, нужные для обработки вложений, то кража его identity (сертификат, ключ и всё, что он через них получает) не даёт доступа к паролям, сообщениям и чужим файлам. Если identity и секреты отзываются без рестарта, обработка восстанавливается без потери принятых заданий.

Методика (student-tests/compromise.py, изолированный стенд CI):

  1. До least privilege (модель lab6) — временные учётки с правами worker из lab6: владелец БД, общий ключ S3 на весь bucket, администратор RabbitMQ; проверяются тем же зондом secprobe (в образ приложения он не входит).
  2. После — зонд с украденным сертификатом worker: вход в OpenBao → его секреты → матрица операций.
  3. Реакция под нагрузкой: всё время идут загрузки (одна каждые 2 s), выполняются шаги отзыва и ротации.
  4. Проверка: украденное больше не работает, все принятые задания (202) дошли до ready.

Матрица последствий (allowed / denied, из comparison в compromise.json):

Операция До (lab6) После (lab7)
БД: чтение users.password_hash, messages, chat_members allowed denied
БД: вставка сообщения, смена attachments.owner_id, удаление вложений allowed denied
БД: TRUNCATE jobs, CREATE TABLE, CREATE ROLE allowed denied
БД: чтение jobs, смена jobs.state / attachments.status, вставка вариантов allowed allowed (нужно для работы)
S3: list bucket / всех bucket allowed denied
S3: put s/, a/; get/delete o/, v/, a/ allowed denied
S3: get и delete s/, put v/ и o/ allowed allowed (нужно для работы)
RabbitMQ: publish задания, чтение DLQ, создание очереди allowed denied
RabbitMQ: consume attachment.process allowed allowed (нужно для работы)
API в обход LB с сертификатом worker allowed (HTTP :8080) denied (bad certificate)
OpenBao: чужие пути, list, запись, policy, seal — (секреты файлами) denied (403)

Реакция (response_steps, время от начала):

t, s Шаг Длительность, s
0.0 новая identity: сертификат CN worker-g2 (файл перезаписан на месте) 0.1
0.1 OpenBao: cert-роль worker → только CN worker-g2; RabbitMQ: создан worker-g2, worker-g1 удалён, его соединения закрыты 17.1
17.2 отзыв всех токенов OpenBao, выданных worker 3.7
20.9 ротация пароля роли app_worker и разрыв её соединений 1.3
22.2 ротация secret key S3 svc-worker 5.2

Результат:

  • после реакции украденный сертификат: вход в OpenBao → 400, RabbitMQ → 403, API → bad certificate; старый пароль БД → password authentication failed; старый ключ S3 → SignatureDoesNotMatch на все 15 операций;
  • обработка восстановилась без рестарта worker (worker_restarts: 0): первая загрузка после реакции дошла до ready через 0.5 s; в логах worker — secrets.login (вход с новым сертификатом) и secrets.version;
  • задания не потеряны: принято 27 (из них 21 во время реакции), ошибок загрузки 0, итог — 27 ready.

Что пришлось исправить, чтобы реакция проходила под нагрузкой (найдено прогонами, каждый с ссылкой в истории CI):

  1. Клиент OpenBao переиспользовал keep-alive TLS-соединение со старым сертификатом — вход шёл с отозванной identity. Теперь перед cert login простаивающие соединения закрываются.
  2. Ключ S3 меняется в MinIO раньше, чем worker читает новую версию секрета (окно до 30 s), — задания сжигали попытки и уходили в failed. Теперь при InvalidAccessKeyId/SignatureDoesNotMatch worker сразу перечитывает секрет и повторяет операцию (internal/platform, тест internal/storage/autherr_test.go); при ошибке БД 28P01 — аналогично.
  3. При неудачном claim сообщение возвращалось в очередь раз в секунду, и quorum-очередь (x-delivery-limit=10) уводила его в DLQ за ~10 s — задание оставалось queued без сообщения. Теперь перед requeue пауза CLAIM_RETRY_DELAY (3 s).

Ограничения трека. Worker по природе читает исходные изображения (s/) и пишет варианты: до ротации атакующий может подменить результат обработки. Право read на очередь в RabbitMQ разрешает и queue.purge — его нельзя отнять, не сломав consume (в зонде purge не выполняется, чтобы не разрушать очередь; риск описан в модели угроз, T3). Сертификат телеметрии worker (CA телеметрии) в процедуре не перевыпускался: украденный, он по-прежнему позволяет отправлять в Collector поддельную телеметрию (otlp: ingest allowed после реакции) — следующий шаг процедуры.

Эксперименты и отказы

Стенд CI: GitHub runner, 2 vCPU, 7.9 GiB RAM, Docker 28.0.4. Нагрузка — closed-loop POST сообщений без автоматических повторов; percentiles только по успешным запросам; у closed-loop есть coordinated omission.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Ротация пароля БД api, ключа S3 worker, leaf api и lb под нагрузкой (3 потока, 138 s) без рестарта и пересборки, единичные ошибки 34 548 запросов, 6 ошибок (0.017 %), 249.5 RPS, p50/p95/p99 10.1/23.1/39.5 ms API → 200 с первой попытки после ротации; потерь нет
OpenBao запечатан (2 потока, 35 s) работающие процессы живут на кэше, новые не стартуют 8 667 запросов, 0 ошибок, p99 24.9 ms; рестарт worker во время sealed — ждёт; задание в queued ready через 0.5 s после unseal; потерь нет
Короткий TTL токена (20 s, максимум 45 s) renew, затем повторный вход без сбоев 8 входов за 100 s, 0 сбоев обновления, 200/200 OK —
Всплеск 120 параллельных входов с одного IP лимит до Argon2id, память ограничена 59 × 401, 61 × 429 за 2.92 s; пик памяти API 197 MiB (лимит 256) —
Компрометация worker (трек 1) отзыв без рестарта, без потери заданий см. трек 1 обработка через 0.5 s после реакции; 27/27 ready
Остановка API-реплики, рестарт хранилищ (lab3–6 через HTTPS) данные и сессии сохранены PASS см. evidence/base
Падение worker после побочного эффекта (lab5) повтор после истечения lease восстановление на попытке 2 за 15.7 s потерь нет

Бюджет Argon2id (evidence/security/argon2.json, 1 ядро): m=19 MiB t=2 — 71.9 ms (13.9 hash/s); m=46 MiB t=1 — 82.8 ms; m=19 MiB t=3 — 83.2 ms; m=64 MiB t=1 p=4 (параметры lab2–6) — 109.4 ms; m=64 MiB t=3 — 273.6 ms. Выбран минимум OWASP: он даёт ~14 входов/с на ядро, а 2 слота на реплику ограничивают память Argon2id до 76 MiB на стенд (2 реплики × 2 × 19 MiB) и пропускную способность до ~56 hash/s; лимиты 10/мин на username и 60/мин на IP отсекают перебор до вычисления hash.

Ограничения и следующие шаги

  • Redis без mTLS: TLS с проверкой сервера + ACL-пользователь с паролем из OpenBao; клиентский сертификат сервер не требует (отражено в trust matrix).
  • Сторонние образы с известными HIGH/CRITICAL (OpenSSL 3.3.2 и др.) не обновлены — разбор и порядок обновления в evidence/scan/TRIAGE.md; первым — HAProxy как единственный внешний TLS endpoint.
  • PostgreSQL, Redis, RabbitMQ и OpenBao работают от root образа с минимальным набором capabilities (CHOWN, DAC_OVERRIDE, FOWNER, SETUID/SETGID) — их entrypoint меняет владельца volume и сбрасывает привилегии; read_only для них не включён.
  • Потерянное сообщение RabbitMQ (purge скомпрометированным worker, превышение delivery-limit) не переиздаётся автоматически: задание остаётся queued в PostgreSQL, срабатывает алерт возраста старейшей работы, восстановление ручное.
  • Доли unseal в учебном стенде лежат у одного оператора в secrets/operator; в эксплуатации — у разных людей.
  • Сертификат телеметрии worker не входит в процедуру отзыва (см. трек 1).
  • Измерения сделаны на одном runner CI, по одному прогону сценария; это подтверждение поведения, а не статистика производительности.