23 KiB
Отчёт — лабораторная работа № 7
Автор: Пластинин Денис, БВТ2303
Целевая оценка: 5
Выбранный трек: 1 — компрометация worker
Цель работы
Цель работы — провести границы доверия в ранее реализованном мессенджере, включить проверяемое TLS/mTLS взаимодействие, разделить права сервисов и вынести runtime secrets в OpenBao. За основу взята лабораторная работа № 6: сохранены API, обработка вложений через Redis Streams, PostgreSQL, MinIO и стек наблюдаемости.
Внешний клиент подключается только к Nginx по HTTPS. Nginx обращается к двум API-репликам по mTLS, причём API принимает только сертификат с разрешённым URI SAN балансировщика. Внутренние зависимости используют TLS, отдельные service identities и минимальные ACL. Наличие сертификата, подписанного доверенным CA, само по себе не даёт доступ: identity дополнительно сопоставляется с разрешённой ролью.
Запуск из чистого clone
Требуются Docker с Compose v2, make, Python 3 и curl. Все используемые образы закреплены по версиям в compose.yaml. Локальные ключи и operator material создаются в игнорируемой директории .runtime.
cp lab7.env.example .env
./scripts/bootstrap-local.sh .env
Скрипт создаёт локальную PKI, запускает OpenBao с Raft storage, при первом запуске выполняет init/unseal, создаёт policies и AppRole, затем поднимает стенд с двумя API-репликами. Повторный запуск использует сохранённое состояние OpenBao и выполняет только необходимый bootstrap.
Основные интерфейсы:
- API и Swagger через HTTPS:
https://localhost:8443иhttp://localhost:8081; - Grafana:
https://localhost:3000; - Prometheus:
http://localhost:9090; - OpenBao operator endpoint:
https://localhost:8200.
Публичный CA создаётся в .runtime/security/public-ca/ca.crt. Проверка API:
make test BASE_URL=https://localhost:8443 CA_FILE="$PWD/.runtime/security/public-ca/ca.crt"
make test-security BASE_URL=https://localhost:8443 CA_FILE="$PWD/.runtime/security/public-ca/ca.crt"
Безопасная остановка сохраняет volumes:
docker compose --env-file .env stop
Намеренное удаление учебного стенда и его данных:
docker compose --env-file .env down --volumes --remove-orphans
rm -rf .runtime
Root token и unseal key находятся только в .runtime/openbao/operator/init.json с правами 0600. Их хранит оператор; приложения и CI runtime их не получают. В production этот файл должен находиться во внешнем защищённом хранилище, а unseal shares должны быть разделены между операторами.
Архитектура
flowchart LR
C[Client] -->|HTTPS + Bearer| N[Nginx]
N -->|mTLS| A1[API 1]
N -->|mTLS| A2[API 2]
A1 & A2 -->|TLS + api role| P[(PostgreSQL)]
A1 & A2 -->|mTLS + ACL| V[(Valkey)]
A1 & A2 -->|HTTPS + staging policy| S[(MinIO)]
D[Dispatcher] -->|mTLS producer| R[(Redis Streams)]
R -->|mTLS consumer| W[Worker]
W -->|HTTPS + attachment policy| S
A1 & A2 & D & W -->|mTLS| O[OTel gateway]
BA[OpenBao Agents] -->|TLS + AppRole| B[(OpenBao Raft)]
BA -->|secret file 0600| A1 & A2 & W
PostgreSQL остаётся источником истины для пользователей, чатов, сообщений, metadata вложений, outbox и состояния заданий. MinIO хранит содержимое вложений. Redis Streams переносит задания с гарантией at-least-once, а Valkey хранит session token hashes и общие счётчики login rate limit. Дедупликация и переходы состояний выполняются транзакционно в PostgreSQL.
OpenBao работает в non-dev режиме на persistent Raft storage. API и worker имеют разные AppRole и KV policies. Agent аутентифицируется короткоживущим SecretID, обновляет renewable token и рендерит JSON secret в защищённый Docker volume; приложение получает путь через MESSENGER_SECRETS_FILE. Token Agent хранится в tmpfs, root token не используется приложением. SecretID действует один час и позволяет повторную аутентификацию после рестарта; затем оператор выдаёт новый.
PostgreSQL использует verify-full и отдельные роли API, dispatcher, worker, reconciler, exporter и migrator. Valkey и Redis Streams защищены native TLS, ACL и Envoy gateway, который проверяет точный URI SAN клиента. MinIO использует HTTPS и отдельные scoped users. OTel ingest и metrics endpoints требуют mTLS с allowlist identities. Полная схема связей приведена в contracts/trust-matrix.md.
Контейнеры приложения запускаются non-root, с read_only, no-new-privileges, cap_drop: ALL, отдельным tmpfs и лимитами CPU/RAM. Stateful компоненты сохраняют данные в named volumes; их исключения из read_only ограничены каталогами данных.
Пароли, сессии и защита login
Пароли хешируются Argon2id с индивидуальной солью и сохранёнными параметрами. При успешном входе NeedsRehash сравнивает параметры хеша с текущей политикой; устаревший хеш обновляется compare-and-swap запросом, поэтому параллельный login не перезаписывает более новый пароль.
Параметры m=65536 KiB, t=3, p=2 измерены в Linux-контейнере с лимитом 2 CPU и 512 MiB. Пять операций дали около 60,0 мс на hash и 64,8 мс на verify при примерно 64 MiB памяти на операцию. Частотный лимит ограничивает login, а общий semaphore внутри Hasher допускает не более двух Hash/Verify на API-реплику, включая регистрацию и rehash. Поэтому одновременно занятая Argon2 память ограничена примерно 128 MiB на реплику; лишние операции сразу получают 429 Retry-After: 1. Лимит задаётся server.password.max_concurrent_operations. Raw summary сохранён в evidence/lab7-argon2-budget.json.
cmd/loginburst создаёт одновременные волны по 20 регистраций и login-запросов через Nginx, проверяет ответы 429 с положительным Retry-After, отсутствие 5xx и readiness после нагрузки. CI дополнительно проверяет, что API containers не перезапускались. X-Instance-Id — случайный alias на время жизни процесса; hostname и IP в него не входят.
Session token является случайным opaque bearer token. В Valkey сохраняется только его SHA-256 hash с TTL; logout удаляет запись. Login limiter общий для API-реплик: Lua script атомарно увеличивает счётчики по нормализованному login и адресу источника, выставляет TTL и возвращает время до повторной попытки. При превышении лимита API отвечает 429 и положительным Retry-After.
Доказательства критериев
| Критерий | Команда/сценарий | Наблюдаемый результат | Доказательство |
|---|---|---|---|
| Контракт и OpenAPI | make check, make validate |
структура и OpenAPI 3.1 проходят проверку | CI verify |
| Unit и integration | go test ./..., PostgreSQL/Valkey integration tests |
тесты проходят по TLS connections | CI и test output |
| Публичный API через HTTPS | make test ... CA_FILE=... |
полный smoke проходит через Nginx | public smoke output |
| Недоверенный внешний TLS | make test-security |
правильный CA проходит, пустой/чужой CA отклонён | security test output |
| LB→API mTLS | make test-tls-matrix |
13 положительных и отрицательных cases проходят | TLS matrix output |
| DB/S3/broker/OTel least privilege | infra/security/test-dependency-matrix.sh |
разрешённые операции проходят, cross-role операции отклонены | dependency matrix output |
| OpenBao scoped policy | scripts/openbao-test-policy.sh |
own read 200, cross/write/policy 403, token renew 200 |
policy test output |
| OpenBao expiry/revoke/seal | make test-openbao-lifecycle |
revoked/expired token 403, sealed login 503, Agent восстановил аутентификацию после unseal |
lifecycle test output |
| Ротация leaf и отзыв identity | make test-leaf-rotation |
новая LB identity проходит, прежняя same-CA identity и expired leaf отклонены на новых connections | rotation test output |
| Общий login limiter | make test-login-rate-limit ... |
запросы через обе replicas завершаются 429 с Retry-After |
rate-limit test output |
| Rehash Argon2id | go test ./internal/password ./internal/postgres ./internal/messenger/httpapi |
проверены NeedsRehash и конкурентное CAS update |
unit/integration tests |
| Argon2/login DoS budget | go test ./internal/password -run '^$' -bench 'BenchmarkArgon2id(Hash|Verify)$' -benchtime=5x -benchmem |
hash 60,0 мс, verify 64,8 мс, около 64 MiB/op при 2 CPU | evidence/lab7-argon2-budget.json |
| Dependency/image/security scan | make scan-security |
secrets не найдены; исправляемые high/critical Go CVE обновлены | evidence/lab7-security-scan.json |
| Компрометация worker | make test-worker-compromise |
старый broker credential отклонён, после rotation queued attachment обработан без потери | evidence/lab7-worker-compromise.json |
Эксперимент: компрометация worker
Гипотеза
Если worker credential будет скомпрометирован, злоумышленник получит только consumer operations своего stream, ограниченные таблицы PostgreSQL и два MinIO prefix. После смены broker password и worker secret старая identity перестанет работать, а уже поставленное задание сохранится и завершится после восстановления worker.
Методика
Стенд запускался в контейнерах с лимитом worker 2 CPU / 1 GiB. Скрипт scripts/lab7-worker-compromise.sh останавливает worker, создаёт реальное задание загрузки через API, меняет Redis ACL password, не обновляя secret работающего worker, и проверяет отказ старой identity. Затем он записывает новый secret в OpenBao, пересоздаёт OpenBao Agent и worker и проверяет созданное вложение через API. В trap всегда восстанавливается исходный учебный secret.
Отдельная dependency matrix моделирует возможности скомпрометированного worker: ему разрешены чтение/изменение attachment job state, consumer/ack операции stream и работа с staging//attachments/; запрещены таблица users, unrelated Redis streams и произвольный S3 prefix.
Изменение blast radius относительно lab6
| Ресурс | До разделения прав в lab6 | После least privilege в lab7 |
|---|---|---|
| PostgreSQL | API, dispatcher, worker и reconciler получали общий DATABASE_URL; worker мог использовать права основной роли на пользователей, чаты и сообщения |
messenger_worker читает/обновляет только attachments/jobs/variants, создаёт audit/outbox; чтение users запрещено |
| MinIO | один S3_ACCESS_KEY имел Get/Put/Delete на весь bucket |
worker видит только staging/* и attachments/*; private/* и управление users/policies запрещены |
| Redis Streams | dispatcher и worker использовали общий BROKER_URL |
dispatcher может только XADD в attachment-jobs; worker может consumer/ack/recovery команды только для job/DLQ streams |
| TLS identity | внутренние зависимости принимали сетевое соединение без service URI проверки | gateway сопоставляет worker certificate с spiffe://mtusi/lab7/worker; same-CA чужая identity отклоняется |
| Secrets | все static credentials находились в общем .env процесса |
worker получает отдельный JSON через scoped OpenBao AppRole; API policy не читает worker path |
Таким образом, до разделения кража worker environment давала общий доступ к данным приложения и всему bucket. После разделения она ограничена обработкой вложений. Ротация в эксперименте меняет broker, PostgreSQL и MinIO credentials внутри worker secret; старые credentials не открывают новое соединение даже при наличии прежнего leaf certificate.
Результат
| Воздействие | Ожидание | Наблюдение | Потеря данных |
|---|---|---|---|
| Старый broker password после ротации | authentication error | worker получил WRONGPASS/invalid username-password |
нет |
| Cross-role DB/S3/stream operations | ACL denial | все отрицательные cases dependency matrix отклонены | нет |
| Обновление worker secret в OpenBao | Agent рендерит новый secret, worker становится healthy | от начала сценария до проверки вложения — 21 секунда; возврат исходных паролей измеряется отдельно | нет |
| Проверка задания, созданного до отзыва | вложение обработано после восстановления | API verification прошла | queued attachment сохранён |
Эксперимент доказывает ограничение blast radius и восстановление задания, но не моделирует кражу root-доступа к Docker host. Сценарий разрывает broker connections перезапуском gateway и завершает PostgreSQL sessions роли worker через pg_terminate_backend; затем проверяет новые подключения со старыми паролями и отказ старому S3 key. Для production потребуются внешний KMS/HSM для CA, response-wrapped SecretID, автоматизированный revoke и несколько независимых повторов с измерением времени восстановления.
Scan triage
scripts/scan-security.sh запускает Trivy filesystem scan и image scan всех образов работающего Compose-стенда. Raw JSON сохраняется в игнорируемом evidence/runtime/security-scan и CI artifact, компактная сводка — в evidence/lab7-security-scan.json. Найденные у приложения CVE устранены обновлением OpenTelemetry, gRPC, x/net, klauspost/compress, Go toolchain и Nginx. Весь стенд не объявляется свободным от CVE: сканирование сторонних образов находит отдельные уязвимые компоненты. Secrets в repository/images не найдены.
| Finding / класс | Применимость и решение |
|---|---|
CVE-2026-81871, CVE-2026-81872, CVE-2026-81870 в OTLP |
Затрагивают используемые приложением exporters/log SDK. Обновлены до OTLP 1.45.0 / log 0.21.0; отключение TLS verification не используется |
CVE-2026-33322, CVE-2026-33419 в MinIO |
Требуют OIDC/LDAP auth, которые в стенде не настроены; используется локальная scoped access-key auth. Образ не опубликован наружу. Обновление MinIO остаётся задачей перед production |
CVE-2026-77405, CVE-2026-77408, CVE-2026-77411 в AMQP library сторонних images |
AMQP receivers/exporters и MinIO AMQP notifications не настроены; брокер стенда — Redis Streams. Пакет присутствует в бинарнике, но этот путь не используется конфигурацией |
CVE-2026-31789 в OpenSSL |
Advisory относится к 32-bit обработке X.509; измеренный стенд linux/arm64. Не экстраполируем это исключение на остальные CVE OpenSSL |
CVE-2026-111497 (Brotli), CVE-2026-48930 (Node.js) в UI images |
Grafana/Swagger доступны только на loopback; приложение Go не использует эти пакеты. Достижимость уязвимых UI-путей не доказана; фиксированные upstream images нужны перед внешней публикацией |
CVE-2025-68121 и остальные stdlib/OS findings сторонних images |
Собственный API пересобран patched Go. Для сторонних бинарников пересборка не выполнялась; это остаточный риск, который не снимается одной сетевой изоляцией. Ограничиваем доступ и ресурсы, сохраняем raw findings для обновления images |
UNKNOWN, например CVE-2026-39824 в Windows API |
Severity не определена источником. Windows-only путь не выполняется в Linux; остальные UNKNOWN требуют отдельной проверки, а не считаются автоматически безопасными |
Данный scan triage подтверждает применимость конкретных ограничений учебного стенда. Он не заменяет обновление сторонних образов и не является разрешением на production deployment.
Замечания к отсутствию HEALTHCHECK внутри отдельных toolbox/bootstrap images не дают обхода runtime health: Compose задаёт healthchecks долговечным сервисам, а bootstrap containers одноразовые и должны завершиться с кодом 0. Это остаётся осознанным ограничением, а не исключением проверки приложения.
Ограничения
- PKI локальная и не содержит CRL/OCSP. Отзыв leaf выполняется удалением доверия/сменой allowlist и пересозданием соединений.
- PostgreSQL, Valkey, Redis, MinIO и OpenBao запущены по одному экземпляру; работа проверяет безопасность границ, а не HA этих хранилищ.
- Operator init/unseal ручной. Это допустимо для учебного стенда, но production требует auto-unseal через KMS/HSM и раздельного хранения shares.
- Static S3/DB/broker credentials выдаются через OpenBao KV и ротируются оператором. Dynamic database credentials были бы следующим улучшением.
- Rate limiter хранится в Valkey и при его отказе блокирует login; уже выданные сессии также зависят от Valkey.
Источники
- OWASP Password Storage Cheat Sheet
- OWASP File Upload Cheat Sheet
- OpenBao AppRole
- OpenBao policies
- OpenBao production hardening
- PostgreSQL SSL support
- Redis TLS
- Redis ACL
- MinIO policy based access control
- OpenTelemetry Collector security
- Docker Engine security
- Trivy filesystem scanning
OpenAI Codex использовался для подготовки и ревью реализации; результаты проверены тестами, CI-сценариями и воспроизводимыми отрицательными экспериментами.