26 KiB
Отчёт — лабораторная 7
- Автор, группа: Вейнмайер Андрей Андреевич, БВТ2303
- Целевая оценка: 5 — уровни 3 и 4 полностью + трек 1 «Компрометация worker»
- Commit/PR: ветка
solution/bvt2303-weinmaierвWeinmaier_Andrew/mtusi2026lab7; доказательства — прогон https://github.com/CharaWein/2026_lab3/actions/runs/43267046991 (commita414221, все частиsuccess), файлы вevidence/ - Источники: README и материалы курса (OWASP Password Storage, OWASP File Upload, документация OpenBao: cert auth,
policies, production hardening; Docker security), документация RabbitMQ (TLS, access control), PostgreSQL (
pg_hba,sslmode), MinIO (policies), Redis (ACL, TLS). Библиотеки: pgx v5, go-redis v9, minio-go v7, amqp091-go, golang.org/x/crypto/argon2, OpenTelemetry Go SDK. - Помощь ИИ: ИИ-ассистент использовался при реализации и отладке; все результаты ниже — реальные прогоны, ссылки на них приведены.
Запуск из чистого clone
Версии: Docker 28 / Compose v2.38 (так в прогоне), Go 1.26.11 (только для go test), Python 3.9+, openssl в PATH.
Образы закреплены по версиям в compose.yaml (postgres 16.4, redis 7.4.1, MinIO 2025-04-22, RabbitMQ 4.0.9,
HAProxy 3.0.5, OpenBao 2.1.0, OTel Collector 0.116.1, Prometheus 3.1.0, Loki 3.3.2, Tempo 2.6.1, Grafana 11.4.0).
sh scripts/init-secrets.sh # пароли и ключи оператора в secrets/ (вне Git, 600), значения не печатаются
sh scripts/pki.sh init # CA стенда, CA телеметрии, leaf-сертификаты сервисов (ECDSA P-256)
docker compose build && docker compose --profile test build probe
python3 scripts/bootstrap.py all # OpenBao: init (3 доли, порог 2) + unseal + политики + cert-роли + KV;
# роли БД, пользователи MinIO/RabbitMQ, ACL Redis; миграции; запуск стенда
make test BASE_URL=https://localhost:8443 CA_FILE=secrets/pki/ca.crt
make up выполняет те же шаги. Действия оператора:
- после любого рестарта OpenBao он запечатан —
python3 scripts/bootstrap.py unseal(берёт 2 доли изsecrets/operator/bao-init.json; в эксплуатации доли хранятся у разных людей); scripts/restart.sh— перезапуск всех процессов и хранилищ с unseal;- ротации:
bootstrap.py rotate-db|rotate-s3 <svc>,scripts/pki.sh rotate <имя> [CN],bootstrap.py worker-identity gN,bootstrap.py revoke-tokens <svc>.
Остановка без потери данных: docker compose stop (volumes сохраняются). Намеренное удаление учебных данных:
docker compose down -v и удаление каталога secrets/ (CA, доли unseal, пароли) — после этого стенд создаётся заново.
Все проверки этой работы: sh scripts/collect-evidence.sh all (части base, security, pipeline, track1).
Архитектура и решения
клиент ──HTTPS 8443 (127.0.0.1)──► HAProxy lb ──mTLS (identity lb)──► api ×2 ──TLS──► PostgreSQL / Redis / MinIO
│ ▲
outbox (PostgreSQL) ─► relay ──AMQPS+mTLS──► RabbitMQ ──► worker
все сервисы ──cert auth (тот же сертификат)──► OpenBao (секреты своего пути KV) (CN relay-g1 / worker-g1)
api/worker/relay ──OTLP/HTTPS + mTLS (CA телеметрии)──► Collector ──mTLS──► Tempo / Loki ◄─HTTPS+mTLS── Grafana, Prometheus
Сети: front (lb), back (приложения и хранилища), telemetry. Наружу опубликованы только 127.0.0.1:8443 (TLS ingress),
127.0.0.1:3000 (Grafana, HTTPS) и 127.0.0.1:8200 (OpenBao для оператора).
Что перенесено из lab6 без изменения смысла: контракт API, outbox → RabbitMQ → worker, идемпотентность, пайплайн вложений, наблюдаемость (трассы сквозь очередь, SLO, дашборд). Что изменено:
- PKI (
scripts/pki.sh): корневой CA стенда, отдельный CA клиентов телеметрии, leaf на 30 дней с identityCN=<роль>+URI:spiffe://messenger/<роль>; ключи CA только у оператора. - mTLS LB→API — двойная проверка: HAProxy проверяет сервер (
verifyhost api), API требует клиентский сертификат, проверяет цепочку и allowlist identity (spiffe://messenger/lb) и список отозванных serial (internal/tlsutil). Сертификаты перечитываются при изменении файла — ротация без рестарта. - TLS ко всем хранилищам: PostgreSQL
sslmode=verify-full+pg_hbaтолькоhostssl … scram-sha-256; Redis только TLS-порт (port 0), ACL с отдельным пользователем; MinIO по HTTPS; RabbitMQ только AMQPS 5671 с обязательным клиентским сертификатом и SASL EXTERNAL (пользователь = CN, паролей нет); Collector и бэкенды телеметрии — mTLS. Полная таблица связей —contracts/trust-matrix.md. - OpenBao не в dev-mode: file storage на volume, TLS, Shamir 3/2, audit log. Сервис входит своим клиентским
сертификатом (auth/cert, роль = сервис), policy даёт
readтолько наsecret/data/messenger/<сервис>, токен 15 мин / максимум 1 ч. Секреты обновляются каждые 30 s, при отказе OpenBao процесс работает на кэше. - Least privilege: роли БД
app_api,app_worker,app_relay,app_reconciler(migrations/0007_service_roles.up.sql), пользователи MinIO с правами на префиксы, раздельные пользователи RabbitMQ; топологию очередей создаёт оператор (infra/rabbitmq/definitions.json), у приложений нет права configure. - Пароли: Argon2id m=19 MiB, t=2, p=1 (минимум OWASP), rehash старых hash при входе, не более 2 одновременных вычислений на реплику; лимит входа в Redis (общий для реплик); сессионный токен хранится как SHA-256; тело JSON ≤ 64 KiB.
- Hardening контейнеров: non-root,
cap_drop: ALL,no-new-privileges,read_only+ tmpfs, лимиты CPU/RAM/pids, без docker.sock и host network.
Переменные из .env.example (BAO_ADDR, BAO_ROLE, SECRETS_REFRESH, ARGON2_*, LOGIN_RATE_PER_USER/IP и
переменные lab6) подставляются в compose.yaml (якорь x-app-env). Значения, которые не должны меняться через .env,
заданы в compose.yaml напрямую (API_ALLOWED_CLIENTS, REVOKED_SERIALS_FILE, пути к сертификатам);
CLAIM_RETRY_DELAY имеет значение по умолчанию в коде (3 s). Секретов в переменных нет — только пути к файлам и адрес OpenBao.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke через HTTPS | make test, tests/security.py |
PASS: API-сценарий lab7; доверенный HTTPS работает, недоверенный CA отклонён | evidence/base/smoke.txt, test_security.txt |
| Внешний TLS: CA, hostname, версия | security_ops.py tls-external |
TLS 1.3 с CA стенда; чужое имя → hostname mismatch; чужой trust store → unable to get local issuer; TLS 1.1 → отказ; порты 8080, 8404, 9090, 5432, 6379, 9000, 5672, 4318 на хосте закрыты | evidence/security/tls-external.json |
| mTLS LB→API | security_ops.py mtls |
без сертификата → certificate required; сертификат чужого CA → отказ; доверенный CA с identity attacker или worker → bad certificate; identity lb → 200; plaintext HTTP на 8443 → 400 |
evidence/security/mtls.json (lb_to_api) |
| TLS к DB, S3, broker, Collector, бэкендам, OpenBao | security_ops.py mtls (servers) |
TLS с проверкой сервера у всех; plaintext не обслуживается (Redis не отвечает на PING без TLS, AMQP 5672 закрыт); бэкенды телеметрии без клиентского сертификата отказывают; PostgreSQL sslmode=disable → отказ pg_hba |
evidence/security/mtls.json (servers) |
| OpenBao не в dev-mode, scoped policy, нет root в app | security_ops.py openbao |
каждый сервис читает только свой путь: чужие пути, list, запись, запись policy, создание токена, seal → 403; сертификат worker под ролью api → login 400; в контейнерах нет токена в env, только сертификаты | evidence/security/openbao.json |
| Hardening | security_ops.py hardening |
api/worker/relay/reconciler: UID 1001, read-only, cap_drop ALL, no-new-privileges, лимиты (api 256 MiB/0.5 CPU/256 pids, worker 768 MiB); нигде нет privileged, docker.sock, host network |
evidence/security/hardening.json |
| Argon2id, ACL, logout, лимиты | security_ops.py acl |
hash argon2id m=19456,t=2,p=1; посторонний → 404 на метаданные, контент и прикрепление чужого файла; подделка X-User-Id → 404/401; после logout → 401; JSON 65 KiB → 413; лимит: 10 × 401, затем 429 с Retry-After: 58, обслужили 2 реплики (счётчик общий) |
evidence/security/acl.json |
| Отказ реплики, перезапуск, rolling update через HTTPS | make test-failover, test-persistence, rolling update |
подтверждённые данные и сессии сохранены; rolling update под нагрузкой: 11 673 запроса, 0 ошибок, 129.7 RPS, p99 90 ms | evidence/base/failover_*.txt, persistence.txt, rolling_update_load.json |
| 4: mTLS broker и Collector, разные identities | security_ops.py mtls |
RabbitMQ: чужой CA → отказ; доверенный CA с CN attacker/lb → 403 (нет такого пользователя). worker: только consume своей очереди; publish, DLQ, declare, delete → отказ. relay: только publish. Collector: сертификаты основного CA (lb, worker) → certificate required; принимает только CA телеметрии |
evidence/security/mtls.json (broker, collector) |
| 4: rehash, бюджет login DoS, общий rate limit | security_ops.py acl, argon2 |
rehash m=65536,t=1,p=4 → m=19456,t=2,p=1; hash 71.9 ms (p50, 1 ядро); всплеск 120 параллельных входов: 59 × 401, 61 × 429 за 2.92 s, память API (пик) 197 / 131 MiB при лимите 256 MiB |
evidence/security/argon2.json |
| 4: ротация secret и leaf без пересборки, отзыв identity | security_ops.py rotation |
пароль роли БД app_api: старый → отказ, API → 200; ключ S3 worker: загрузка → ready; leaf api: serial 1909…0123 → 8c64…9308 без рестарта; leaf lb: старый отвергнут (bad certificate), новый → 200; под нагрузкой 34 548 запросов, 6 ошибок (0.017 %), p99 39.5 ms; образы не пересобирались |
evidence/security/rotation.json |
| 4: expiry и sealed OpenBao | security_ops.py lifecycle |
токен api с TTL 20 s / максимум 45 s: 8 входов за 100 s, 0 сбоев обновления, 200/200 запросов OK; OpenBao запечатан 33 s: 8 667 запросов, 0 ошибок; загрузка во время sealed → ready; рестарт worker во время sealed — не стартует без секретов, задание ждёт в queued, после unseal ready через 0.5 s |
evidence/security/lifecycle.json |
| 4: scan с разбором применимости | govulncheck, Trivy | Go-код: 0 достижимых уязвимостей; образ приложения: 0 HIGH/CRITICAL; сторонние образы — разбор и порядок обновления | evidence/scan/TRIAGE.md, govulncheck.txt, trivy_summary.txt |
| 4: модель угроз ≥ 6 угроз с тестами | — | 10 угроз (T1–T10): путь, инвариант, контроль, отрицательный тест, остаточный риск | security/THREAT_MODEL.md |
| 4: worker ограничен по CPU/RAM/времени | compose, pipeline_ops.py |
1 CPU / 768 MiB / 128 pids, JOB_TIMEOUT, бюджет пикселей; пайплайн lab5/6 работает поверх TLS: demo, crash-effect (восстановление на 2-й попытке за 15.7 s), transient (3 попытки → ready), failed-replay |
evidence/pipeline/*.json |
| 4: нет утечек в телеметрии | security_ops.py leaks |
пароль, токен, текст сообщения, Basic-заголовок: 0 совпадений в Loki, в 20 трассах Tempo и в stdout | evidence/security/leaks.json |
| 5, трек 1: компрометация worker | student-tests/compromise.py |
см. раздел ниже | evidence/track1/track1/compromise.json |
Трек 1. Компрометация worker
Гипотеза. Если у worker только права, нужные для обработки вложений, то кража его identity (сертификат, ключ и всё, что он через них получает) не даёт доступа к паролям, сообщениям и чужим файлам. Если identity и секреты отзываются без рестарта, обработка восстанавливается без потери принятых заданий.
Методика (student-tests/compromise.py, изолированный стенд CI):
- До least privilege (модель lab6) — временные учётки с правами worker из lab6: владелец БД, общий ключ S3 на весь bucket,
администратор RabbitMQ; проверяются тем же зондом
secprobe(в образ приложения он не входит). - После — зонд с украденным сертификатом worker: вход в OpenBao → его секреты → матрица операций.
- Реакция под нагрузкой: всё время идут загрузки (одна каждые 2 s), выполняются шаги отзыва и ротации.
- Проверка: украденное больше не работает, все принятые задания (202) дошли до ready.
Матрица последствий (allowed / denied, из comparison в compromise.json):
| Операция | До (lab6) | После (lab7) |
|---|---|---|
БД: чтение users.password_hash, messages, chat_members |
allowed | denied |
БД: вставка сообщения, смена attachments.owner_id, удаление вложений |
allowed | denied |
БД: TRUNCATE jobs, CREATE TABLE, CREATE ROLE |
allowed | denied |
БД: чтение jobs, смена jobs.state / attachments.status, вставка вариантов |
allowed | allowed (нужно для работы) |
| S3: list bucket / всех bucket | allowed | denied |
S3: put s/, a/; get/delete o/, v/, a/ |
allowed | denied |
S3: get и delete s/, put v/ и o/ |
allowed | allowed (нужно для работы) |
| RabbitMQ: publish задания, чтение DLQ, создание очереди | allowed | denied |
RabbitMQ: consume attachment.process |
allowed | allowed (нужно для работы) |
| API в обход LB с сертификатом worker | allowed (HTTP :8080) | denied (bad certificate) |
| OpenBao: чужие пути, list, запись, policy, seal | — (секреты файлами) | denied (403) |
Реакция (response_steps, время от начала):
| t, s | Шаг | Длительность, s |
|---|---|---|
| 0.0 | новая identity: сертификат CN worker-g2 (файл перезаписан на месте) |
0.1 |
| 0.1 | OpenBao: cert-роль worker → только CN worker-g2; RabbitMQ: создан worker-g2, worker-g1 удалён, его соединения закрыты |
17.1 |
| 17.2 | отзыв всех токенов OpenBao, выданных worker | 3.7 |
| 20.9 | ротация пароля роли app_worker и разрыв её соединений |
1.3 |
| 22.2 | ротация secret key S3 svc-worker |
5.2 |
Результат:
- после реакции украденный сертификат: вход в OpenBao → 400, RabbitMQ → 403, API →
bad certificate; старый пароль БД →password authentication failed; старый ключ S3 →SignatureDoesNotMatchна все 15 операций; - обработка восстановилась без рестарта worker (
worker_restarts: 0): первая загрузка после реакции дошла до ready через 0.5 s; в логах worker —secrets.login(вход с новым сертификатом) иsecrets.version; - задания не потеряны: принято 27 (из них 21 во время реакции), ошибок загрузки 0, итог — 27 ready.
Что пришлось исправить, чтобы реакция проходила под нагрузкой (найдено прогонами, каждый с ссылкой в истории CI):
- Клиент OpenBao переиспользовал keep-alive TLS-соединение со старым сертификатом — вход шёл с отозванной identity. Теперь перед cert login простаивающие соединения закрываются.
- Ключ S3 меняется в MinIO раньше, чем worker читает новую версию секрета (окно до 30 s), — задания сжигали попытки
и уходили в failed. Теперь при
InvalidAccessKeyId/SignatureDoesNotMatchworker сразу перечитывает секрет и повторяет операцию (internal/platform, тестinternal/storage/autherr_test.go); при ошибке БД 28P01 — аналогично. - При неудачном claim сообщение возвращалось в очередь раз в секунду, и quorum-очередь (
x-delivery-limit=10) уводила его в DLQ за ~10 s — задание оставалосьqueuedбез сообщения. Теперь перед requeue паузаCLAIM_RETRY_DELAY(3 s).
Ограничения трека. Worker по природе читает исходные изображения (s/) и пишет варианты: до ротации атакующий может
подменить результат обработки. Право read на очередь в RabbitMQ разрешает и queue.purge — его нельзя отнять, не сломав
consume (в зонде purge не выполняется, чтобы не разрушать очередь; риск описан в модели угроз, T3). Сертификат телеметрии
worker (CA телеметрии) в процедуре не перевыпускался: украденный, он по-прежнему позволяет отправлять в Collector
поддельную телеметрию (otlp: ingest allowed после реакции) — следующий шаг процедуры.
Эксперименты и отказы
Стенд CI: GitHub runner, 2 vCPU, 7.9 GiB RAM, Docker 28.0.4. Нагрузка — closed-loop POST сообщений без автоматических повторов; percentiles только по успешным запросам; у closed-loop есть coordinated omission.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Ротация пароля БД api, ключа S3 worker, leaf api и lb под нагрузкой (3 потока, 138 s) | без рестарта и пересборки, единичные ошибки | 34 548 запросов, 6 ошибок (0.017 %), 249.5 RPS, p50/p95/p99 10.1/23.1/39.5 ms | API → 200 с первой попытки после ротации; потерь нет |
| OpenBao запечатан (2 потока, 35 s) | работающие процессы живут на кэше, новые не стартуют | 8 667 запросов, 0 ошибок, p99 24.9 ms; рестарт worker во время sealed — ждёт; задание в queued |
ready через 0.5 s после unseal; потерь нет |
| Короткий TTL токена (20 s, максимум 45 s) | renew, затем повторный вход без сбоев | 8 входов за 100 s, 0 сбоев обновления, 200/200 OK | — |
| Всплеск 120 параллельных входов с одного IP | лимит до Argon2id, память ограничена | 59 × 401, 61 × 429 за 2.92 s; пик памяти API 197 MiB (лимит 256) | — |
| Компрометация worker (трек 1) | отзыв без рестарта, без потери заданий | см. трек 1 | обработка через 0.5 s после реакции; 27/27 ready |
| Остановка API-реплики, рестарт хранилищ (lab3–6 через HTTPS) | данные и сессии сохранены | PASS | см. evidence/base |
| Падение worker после побочного эффекта (lab5) | повтор после истечения lease | восстановление на попытке 2 за 15.7 s | потерь нет |
Бюджет Argon2id (evidence/security/argon2.json, 1 ядро): m=19 MiB t=2 — 71.9 ms (13.9 hash/s); m=46 MiB t=1 — 82.8 ms;
m=19 MiB t=3 — 83.2 ms; m=64 MiB t=1 p=4 (параметры lab2–6) — 109.4 ms; m=64 MiB t=3 — 273.6 ms. Выбран минимум
OWASP: он даёт ~14 входов/с на ядро, а 2 слота на реплику ограничивают память Argon2id до 76 MiB на стенд
(2 реплики × 2 × 19 MiB) и пропускную способность до ~56 hash/s; лимиты 10/мин на username и 60/мин на IP отсекают
перебор до вычисления hash.
Ограничения и следующие шаги
- Redis без mTLS: TLS с проверкой сервера + ACL-пользователь с паролем из OpenBao; клиентский сертификат сервер не требует (отражено в trust matrix).
- Сторонние образы с известными HIGH/CRITICAL (OpenSSL 3.3.2 и др.) не обновлены — разбор и порядок обновления в
evidence/scan/TRIAGE.md; первым — HAProxy как единственный внешний TLS endpoint. - PostgreSQL, Redis, RabbitMQ и OpenBao работают от root образа с минимальным набором capabilities (CHOWN, DAC_OVERRIDE,
FOWNER, SETUID/SETGID) — их entrypoint меняет владельца volume и сбрасывает привилегии;
read_onlyдля них не включён. - Потерянное сообщение RabbitMQ (purge скомпрометированным worker, превышение delivery-limit) не переиздаётся
автоматически: задание остаётся
queuedв PostgreSQL, срабатывает алерт возраста старейшей работы, восстановление ручное. - Доли unseal в учебном стенде лежат у одного оператора в
secrets/operator; в эксплуатации — у разных людей. - Сертификат телеметрии worker не входит в процедуру отзыва (см. трек 1).
- Измерения сделаны на одном runner CI, по одному прогону сценария; это подтверждение поведения, а не статистика производительности.