Files
dizi a8edaf058d
CI / verify (pull_request) Successful in 14m53s
chore: finalize lab7 security verification
2026-11-06 22:00:42 +03:00

23 KiB
Raw Permalink Blame History

Отчёт — лабораторная работа № 7

Автор: Пластинин Денис, БВТ2303

Целевая оценка: 5

Выбранный трек: 1 — компрометация worker

Цель работы

Цель работы — провести границы доверия в ранее реализованном мессенджере, включить проверяемое TLS/mTLS взаимодействие, разделить права сервисов и вынести runtime secrets в OpenBao. За основу взята лабораторная работа № 6: сохранены API, обработка вложений через Redis Streams, PostgreSQL, MinIO и стек наблюдаемости.

Внешний клиент подключается только к Nginx по HTTPS. Nginx обращается к двум API-репликам по mTLS, причём API принимает только сертификат с разрешённым URI SAN балансировщика. Внутренние зависимости используют TLS, отдельные service identities и минимальные ACL. Наличие сертификата, подписанного доверенным CA, само по себе не даёт доступ: identity дополнительно сопоставляется с разрешённой ролью.

Запуск из чистого clone

Требуются Docker с Compose v2, make, Python 3 и curl. Все используемые образы закреплены по версиям в compose.yaml. Локальные ключи и operator material создаются в игнорируемой директории .runtime.

cp lab7.env.example .env
./scripts/bootstrap-local.sh .env

Скрипт создаёт локальную PKI, запускает OpenBao с Raft storage, при первом запуске выполняет init/unseal, создаёт policies и AppRole, затем поднимает стенд с двумя API-репликами. Повторный запуск использует сохранённое состояние OpenBao и выполняет только необходимый bootstrap.

Основные интерфейсы:

  • API и Swagger через HTTPS: https://localhost:8443 и http://localhost:8081;
  • Grafana: https://localhost:3000;
  • Prometheus: http://localhost:9090;
  • OpenBao operator endpoint: https://localhost:8200.

Публичный CA создаётся в .runtime/security/public-ca/ca.crt. Проверка API:

make test BASE_URL=https://localhost:8443 CA_FILE="$PWD/.runtime/security/public-ca/ca.crt"
make test-security BASE_URL=https://localhost:8443 CA_FILE="$PWD/.runtime/security/public-ca/ca.crt"

Безопасная остановка сохраняет volumes:

docker compose --env-file .env stop

Намеренное удаление учебного стенда и его данных:

docker compose --env-file .env down --volumes --remove-orphans
rm -rf .runtime

Root token и unseal key находятся только в .runtime/openbao/operator/init.json с правами 0600. Их хранит оператор; приложения и CI runtime их не получают. В production этот файл должен находиться во внешнем защищённом хранилище, а unseal shares должны быть разделены между операторами.

Архитектура

flowchart LR
    C[Client] -->|HTTPS + Bearer| N[Nginx]
    N -->|mTLS| A1[API 1]
    N -->|mTLS| A2[API 2]
    A1 & A2 -->|TLS + api role| P[(PostgreSQL)]
    A1 & A2 -->|mTLS + ACL| V[(Valkey)]
    A1 & A2 -->|HTTPS + staging policy| S[(MinIO)]
    D[Dispatcher] -->|mTLS producer| R[(Redis Streams)]
    R -->|mTLS consumer| W[Worker]
    W -->|HTTPS + attachment policy| S
    A1 & A2 & D & W -->|mTLS| O[OTel gateway]
    BA[OpenBao Agents] -->|TLS + AppRole| B[(OpenBao Raft)]
    BA -->|secret file 0600| A1 & A2 & W

PostgreSQL остаётся источником истины для пользователей, чатов, сообщений, metadata вложений, outbox и состояния заданий. MinIO хранит содержимое вложений. Redis Streams переносит задания с гарантией at-least-once, а Valkey хранит session token hashes и общие счётчики login rate limit. Дедупликация и переходы состояний выполняются транзакционно в PostgreSQL.

OpenBao работает в non-dev режиме на persistent Raft storage. API и worker имеют разные AppRole и KV policies. Agent аутентифицируется короткоживущим SecretID, обновляет renewable token и рендерит JSON secret в защищённый Docker volume; приложение получает путь через MESSENGER_SECRETS_FILE. Token Agent хранится в tmpfs, root token не используется приложением. SecretID действует один час и позволяет повторную аутентификацию после рестарта; затем оператор выдаёт новый.

PostgreSQL использует verify-full и отдельные роли API, dispatcher, worker, reconciler, exporter и migrator. Valkey и Redis Streams защищены native TLS, ACL и Envoy gateway, который проверяет точный URI SAN клиента. MinIO использует HTTPS и отдельные scoped users. OTel ingest и metrics endpoints требуют mTLS с allowlist identities. Полная схема связей приведена в contracts/trust-matrix.md.

Контейнеры приложения запускаются non-root, с read_only, no-new-privileges, cap_drop: ALL, отдельным tmpfs и лимитами CPU/RAM. Stateful компоненты сохраняют данные в named volumes; их исключения из read_only ограничены каталогами данных.

Пароли, сессии и защита login

Пароли хешируются Argon2id с индивидуальной солью и сохранёнными параметрами. При успешном входе NeedsRehash сравнивает параметры хеша с текущей политикой; устаревший хеш обновляется compare-and-swap запросом, поэтому параллельный login не перезаписывает более новый пароль.

Параметры m=65536 KiB, t=3, p=2 измерены в Linux-контейнере с лимитом 2 CPU и 512 MiB. Пять операций дали около 60,0 мс на hash и 64,8 мс на verify при примерно 64 MiB памяти на операцию. Частотный лимит ограничивает login, а общий semaphore внутри Hasher допускает не более двух Hash/Verify на API-реплику, включая регистрацию и rehash. Поэтому одновременно занятая Argon2 память ограничена примерно 128 MiB на реплику; лишние операции сразу получают 429 Retry-After: 1. Лимит задаётся server.password.max_concurrent_operations. Raw summary сохранён в evidence/lab7-argon2-budget.json.

cmd/loginburst создаёт одновременные волны по 20 регистраций и login-запросов через Nginx, проверяет ответы 429 с положительным Retry-After, отсутствие 5xx и readiness после нагрузки. CI дополнительно проверяет, что API containers не перезапускались. X-Instance-Id — случайный alias на время жизни процесса; hostname и IP в него не входят.

Session token является случайным opaque bearer token. В Valkey сохраняется только его SHA-256 hash с TTL; logout удаляет запись. Login limiter общий для API-реплик: Lua script атомарно увеличивает счётчики по нормализованному login и адресу источника, выставляет TTL и возвращает время до повторной попытки. При превышении лимита API отвечает 429 и положительным Retry-After.

Доказательства критериев

Критерий Команда/сценарий Наблюдаемый результат Доказательство
Контракт и OpenAPI make check, make validate структура и OpenAPI 3.1 проходят проверку CI verify
Unit и integration go test ./..., PostgreSQL/Valkey integration tests тесты проходят по TLS connections CI и test output
Публичный API через HTTPS make test ... CA_FILE=... полный smoke проходит через Nginx public smoke output
Недоверенный внешний TLS make test-security правильный CA проходит, пустой/чужой CA отклонён security test output
LB→API mTLS make test-tls-matrix 13 положительных и отрицательных cases проходят TLS matrix output
DB/S3/broker/OTel least privilege infra/security/test-dependency-matrix.sh разрешённые операции проходят, cross-role операции отклонены dependency matrix output
OpenBao scoped policy scripts/openbao-test-policy.sh own read 200, cross/write/policy 403, token renew 200 policy test output
OpenBao expiry/revoke/seal make test-openbao-lifecycle revoked/expired token 403, sealed login 503, Agent восстановил аутентификацию после unseal lifecycle test output
Ротация leaf и отзыв identity make test-leaf-rotation новая LB identity проходит, прежняя same-CA identity и expired leaf отклонены на новых connections rotation test output
Общий login limiter make test-login-rate-limit ... запросы через обе replicas завершаются 429 с Retry-After rate-limit test output
Rehash Argon2id go test ./internal/password ./internal/postgres ./internal/messenger/httpapi проверены NeedsRehash и конкурентное CAS update unit/integration tests
Argon2/login DoS budget go test ./internal/password -run '^$' -bench 'BenchmarkArgon2id(Hash|Verify)$' -benchtime=5x -benchmem hash 60,0 мс, verify 64,8 мс, около 64 MiB/op при 2 CPU evidence/lab7-argon2-budget.json
Dependency/image/security scan make scan-security secrets не найдены; исправляемые high/critical Go CVE обновлены evidence/lab7-security-scan.json
Компрометация worker make test-worker-compromise старый broker credential отклонён, после rotation queued attachment обработан без потери evidence/lab7-worker-compromise.json

Эксперимент: компрометация worker

Гипотеза

Если worker credential будет скомпрометирован, злоумышленник получит только consumer operations своего stream, ограниченные таблицы PostgreSQL и два MinIO prefix. После смены broker password и worker secret старая identity перестанет работать, а уже поставленное задание сохранится и завершится после восстановления worker.

Методика

Стенд запускался в контейнерах с лимитом worker 2 CPU / 1 GiB. Скрипт scripts/lab7-worker-compromise.sh останавливает worker, создаёт реальное задание загрузки через API, меняет Redis ACL password, не обновляя secret работающего worker, и проверяет отказ старой identity. Затем он записывает новый secret в OpenBao, пересоздаёт OpenBao Agent и worker и проверяет созданное вложение через API. В trap всегда восстанавливается исходный учебный secret.

Отдельная dependency matrix моделирует возможности скомпрометированного worker: ему разрешены чтение/изменение attachment job state, consumer/ack операции stream и работа с staging//attachments/; запрещены таблица users, unrelated Redis streams и произвольный S3 prefix.

Изменение blast radius относительно lab6

Ресурс До разделения прав в lab6 После least privilege в lab7
PostgreSQL API, dispatcher, worker и reconciler получали общий DATABASE_URL; worker мог использовать права основной роли на пользователей, чаты и сообщения messenger_worker читает/обновляет только attachments/jobs/variants, создаёт audit/outbox; чтение users запрещено
MinIO один S3_ACCESS_KEY имел Get/Put/Delete на весь bucket worker видит только staging/* и attachments/*; private/* и управление users/policies запрещены
Redis Streams dispatcher и worker использовали общий BROKER_URL dispatcher может только XADD в attachment-jobs; worker может consumer/ack/recovery команды только для job/DLQ streams
TLS identity внутренние зависимости принимали сетевое соединение без service URI проверки gateway сопоставляет worker certificate с spiffe://mtusi/lab7/worker; same-CA чужая identity отклоняется
Secrets все static credentials находились в общем .env процесса worker получает отдельный JSON через scoped OpenBao AppRole; API policy не читает worker path

Таким образом, до разделения кража worker environment давала общий доступ к данным приложения и всему bucket. После разделения она ограничена обработкой вложений. Ротация в эксперименте меняет broker, PostgreSQL и MinIO credentials внутри worker secret; старые credentials не открывают новое соединение даже при наличии прежнего leaf certificate.

Результат

Воздействие Ожидание Наблюдение Потеря данных
Старый broker password после ротации authentication error worker получил WRONGPASS/invalid username-password нет
Cross-role DB/S3/stream operations ACL denial все отрицательные cases dependency matrix отклонены нет
Обновление worker secret в OpenBao Agent рендерит новый secret, worker становится healthy от начала сценария до проверки вложения — 21 секунда; возврат исходных паролей измеряется отдельно нет
Проверка задания, созданного до отзыва вложение обработано после восстановления API verification прошла queued attachment сохранён

Эксперимент доказывает ограничение blast radius и восстановление задания, но не моделирует кражу root-доступа к Docker host. Сценарий разрывает broker connections перезапуском gateway и завершает PostgreSQL sessions роли worker через pg_terminate_backend; затем проверяет новые подключения со старыми паролями и отказ старому S3 key. Для production потребуются внешний KMS/HSM для CA, response-wrapped SecretID, автоматизированный revoke и несколько независимых повторов с измерением времени восстановления.

Scan triage

scripts/scan-security.sh запускает Trivy filesystem scan и image scan всех образов работающего Compose-стенда. Raw JSON сохраняется в игнорируемом evidence/runtime/security-scan и CI artifact, компактная сводка — в evidence/lab7-security-scan.json. Найденные у приложения CVE устранены обновлением OpenTelemetry, gRPC, x/net, klauspost/compress, Go toolchain и Nginx. Весь стенд не объявляется свободным от CVE: сканирование сторонних образов находит отдельные уязвимые компоненты. Secrets в repository/images не найдены.

Finding / класс Применимость и решение
CVE-2026-81871, CVE-2026-81872, CVE-2026-81870 в OTLP Затрагивают используемые приложением exporters/log SDK. Обновлены до OTLP 1.45.0 / log 0.21.0; отключение TLS verification не используется
CVE-2026-33322, CVE-2026-33419 в MinIO Требуют OIDC/LDAP auth, которые в стенде не настроены; используется локальная scoped access-key auth. Образ не опубликован наружу. Обновление MinIO остаётся задачей перед production
CVE-2026-77405, CVE-2026-77408, CVE-2026-77411 в AMQP library сторонних images AMQP receivers/exporters и MinIO AMQP notifications не настроены; брокер стенда — Redis Streams. Пакет присутствует в бинарнике, но этот путь не используется конфигурацией
CVE-2026-31789 в OpenSSL Advisory относится к 32-bit обработке X.509; измеренный стенд linux/arm64. Не экстраполируем это исключение на остальные CVE OpenSSL
CVE-2026-111497 (Brotli), CVE-2026-48930 (Node.js) в UI images Grafana/Swagger доступны только на loopback; приложение Go не использует эти пакеты. Достижимость уязвимых UI-путей не доказана; фиксированные upstream images нужны перед внешней публикацией
CVE-2025-68121 и остальные stdlib/OS findings сторонних images Собственный API пересобран patched Go. Для сторонних бинарников пересборка не выполнялась; это остаточный риск, который не снимается одной сетевой изоляцией. Ограничиваем доступ и ресурсы, сохраняем raw findings для обновления images
UNKNOWN, например CVE-2026-39824 в Windows API Severity не определена источником. Windows-only путь не выполняется в Linux; остальные UNKNOWN требуют отдельной проверки, а не считаются автоматически безопасными

Данный scan triage подтверждает применимость конкретных ограничений учебного стенда. Он не заменяет обновление сторонних образов и не является разрешением на production deployment.

Замечания к отсутствию HEALTHCHECK внутри отдельных toolbox/bootstrap images не дают обхода runtime health: Compose задаёт healthchecks долговечным сервисам, а bootstrap containers одноразовые и должны завершиться с кодом 0. Это остаётся осознанным ограничением, а не исключением проверки приложения.

Ограничения

  • PKI локальная и не содержит CRL/OCSP. Отзыв leaf выполняется удалением доверия/сменой allowlist и пересозданием соединений.
  • PostgreSQL, Valkey, Redis, MinIO и OpenBao запущены по одному экземпляру; работа проверяет безопасность границ, а не HA этих хранилищ.
  • Operator init/unseal ручной. Это допустимо для учебного стенда, но production требует auto-unseal через KMS/HSM и раздельного хранения shares.
  • Static S3/DB/broker credentials выдаются через OpenBao KV и ротируются оператором. Dynamic database credentials были бы следующим улучшением.
  • Rate limiter хранится в Valkey и при его отказе блокирует login; уже выданные сессии также зависят от Valkey.

Источники

OpenAI Codex использовался для подготовки и ревью реализации; результаты проверены тестами, CI-сценариями и воспроизводимыми отрицательными экспериментами.