forked from mtusi2026/mtusi2026lab7
187 lines
23 KiB
Markdown
187 lines
23 KiB
Markdown
# Отчёт — лабораторная работа № 7
|
||
|
||
**Автор:** Пластинин Денис, БВТ2303
|
||
|
||
**Целевая оценка:** 5
|
||
|
||
**Выбранный трек:** 1 — компрометация worker
|
||
|
||
## Цель работы
|
||
|
||
Цель работы — провести границы доверия в ранее реализованном мессенджере, включить проверяемое TLS/mTLS взаимодействие, разделить права сервисов и вынести runtime secrets в OpenBao. За основу взята лабораторная работа № 6: сохранены API, обработка вложений через Redis Streams, PostgreSQL, MinIO и стек наблюдаемости.
|
||
|
||
Внешний клиент подключается только к Nginx по HTTPS. Nginx обращается к двум API-репликам по mTLS, причём API принимает только сертификат с разрешённым URI SAN балансировщика. Внутренние зависимости используют TLS, отдельные service identities и минимальные ACL. Наличие сертификата, подписанного доверенным CA, само по себе не даёт доступ: identity дополнительно сопоставляется с разрешённой ролью.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Требуются Docker с Compose v2, `make`, Python 3 и `curl`. Все используемые образы закреплены по версиям в `compose.yaml`. Локальные ключи и operator material создаются в игнорируемой директории `.runtime`.
|
||
|
||
```sh
|
||
cp lab7.env.example .env
|
||
./scripts/bootstrap-local.sh .env
|
||
```
|
||
|
||
Скрипт создаёт локальную PKI, запускает OpenBao с Raft storage, при первом запуске выполняет `init`/`unseal`, создаёт policies и AppRole, затем поднимает стенд с двумя API-репликами. Повторный запуск использует сохранённое состояние OpenBao и выполняет только необходимый bootstrap.
|
||
|
||
Основные интерфейсы:
|
||
|
||
- API и Swagger через HTTPS: `https://localhost:8443` и `http://localhost:8081`;
|
||
- Grafana: `https://localhost:3000`;
|
||
- Prometheus: `http://localhost:9090`;
|
||
- OpenBao operator endpoint: `https://localhost:8200`.
|
||
|
||
Публичный CA создаётся в `.runtime/security/public-ca/ca.crt`. Проверка API:
|
||
|
||
```sh
|
||
make test BASE_URL=https://localhost:8443 CA_FILE="$PWD/.runtime/security/public-ca/ca.crt"
|
||
make test-security BASE_URL=https://localhost:8443 CA_FILE="$PWD/.runtime/security/public-ca/ca.crt"
|
||
```
|
||
|
||
Безопасная остановка сохраняет volumes:
|
||
|
||
```sh
|
||
docker compose --env-file .env stop
|
||
```
|
||
|
||
Намеренное удаление учебного стенда и его данных:
|
||
|
||
```sh
|
||
docker compose --env-file .env down --volumes --remove-orphans
|
||
rm -rf .runtime
|
||
```
|
||
|
||
Root token и unseal key находятся только в `.runtime/openbao/operator/init.json` с правами `0600`. Их хранит оператор; приложения и CI runtime их не получают. В production этот файл должен находиться во внешнем защищённом хранилище, а unseal shares должны быть разделены между операторами.
|
||
|
||
## Архитектура
|
||
|
||
```mermaid
|
||
flowchart LR
|
||
C[Client] -->|HTTPS + Bearer| N[Nginx]
|
||
N -->|mTLS| A1[API 1]
|
||
N -->|mTLS| A2[API 2]
|
||
A1 & A2 -->|TLS + api role| P[(PostgreSQL)]
|
||
A1 & A2 -->|mTLS + ACL| V[(Valkey)]
|
||
A1 & A2 -->|HTTPS + staging policy| S[(MinIO)]
|
||
D[Dispatcher] -->|mTLS producer| R[(Redis Streams)]
|
||
R -->|mTLS consumer| W[Worker]
|
||
W -->|HTTPS + attachment policy| S
|
||
A1 & A2 & D & W -->|mTLS| O[OTel gateway]
|
||
BA[OpenBao Agents] -->|TLS + AppRole| B[(OpenBao Raft)]
|
||
BA -->|secret file 0600| A1 & A2 & W
|
||
```
|
||
|
||
PostgreSQL остаётся источником истины для пользователей, чатов, сообщений, metadata вложений, outbox и состояния заданий. MinIO хранит содержимое вложений. Redis Streams переносит задания с гарантией at-least-once, а Valkey хранит session token hashes и общие счётчики login rate limit. Дедупликация и переходы состояний выполняются транзакционно в PostgreSQL.
|
||
|
||
OpenBao работает в non-dev режиме на persistent Raft storage. API и worker имеют разные AppRole и KV policies. Agent аутентифицируется короткоживущим SecretID, обновляет renewable token и рендерит JSON secret в защищённый Docker volume; приложение получает путь через `MESSENGER_SECRETS_FILE`. Token Agent хранится в tmpfs, root token не используется приложением. SecretID действует один час и позволяет повторную аутентификацию после рестарта; затем оператор выдаёт новый.
|
||
|
||
PostgreSQL использует `verify-full` и отдельные роли API, dispatcher, worker, reconciler, exporter и migrator. Valkey и Redis Streams защищены native TLS, ACL и Envoy gateway, который проверяет точный URI SAN клиента. MinIO использует HTTPS и отдельные scoped users. OTel ingest и metrics endpoints требуют mTLS с allowlist identities. Полная схема связей приведена в `contracts/trust-matrix.md`.
|
||
|
||
Контейнеры приложения запускаются non-root, с `read_only`, `no-new-privileges`, `cap_drop: ALL`, отдельным `tmpfs` и лимитами CPU/RAM. Stateful компоненты сохраняют данные в named volumes; их исключения из `read_only` ограничены каталогами данных.
|
||
|
||
## Пароли, сессии и защита login
|
||
|
||
Пароли хешируются Argon2id с индивидуальной солью и сохранёнными параметрами. При успешном входе `NeedsRehash` сравнивает параметры хеша с текущей политикой; устаревший хеш обновляется compare-and-swap запросом, поэтому параллельный login не перезаписывает более новый пароль.
|
||
|
||
Параметры `m=65536 KiB`, `t=3`, `p=2` измерены в Linux-контейнере с лимитом 2 CPU и 512 MiB. Пять операций дали около 60,0 мс на hash и 64,8 мс на verify при примерно 64 MiB памяти на операцию. Частотный лимит ограничивает login, а общий semaphore внутри Hasher допускает не более двух `Hash`/`Verify` на API-реплику, включая регистрацию и rehash. Поэтому одновременно занятая Argon2 память ограничена примерно 128 MiB на реплику; лишние операции сразу получают `429 Retry-After: 1`. Лимит задаётся `server.password.max_concurrent_operations`. Raw summary сохранён в `evidence/lab7-argon2-budget.json`.
|
||
|
||
`cmd/loginburst` создаёт одновременные волны по 20 регистраций и login-запросов через Nginx, проверяет ответы `429` с положительным `Retry-After`, отсутствие `5xx` и readiness после нагрузки. CI дополнительно проверяет, что API containers не перезапускались. `X-Instance-Id` — случайный alias на время жизни процесса; hostname и IP в него не входят.
|
||
|
||
Session token является случайным opaque bearer token. В Valkey сохраняется только его SHA-256 hash с TTL; logout удаляет запись. Login limiter общий для API-реплик: Lua script атомарно увеличивает счётчики по нормализованному login и адресу источника, выставляет TTL и возвращает время до повторной попытки. При превышении лимита API отвечает `429` и положительным `Retry-After`.
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий | Команда/сценарий | Наблюдаемый результат | Доказательство |
|
||
| --- | --- | --- | --- |
|
||
| Контракт и OpenAPI | `make check`, `make validate` | структура и OpenAPI 3.1 проходят проверку | CI `verify` |
|
||
| Unit и integration | `go test ./...`, PostgreSQL/Valkey integration tests | тесты проходят по TLS connections | CI и test output |
|
||
| Публичный API через HTTPS | `make test ... CA_FILE=...` | полный smoke проходит через Nginx | public smoke output |
|
||
| Недоверенный внешний TLS | `make test-security` | правильный CA проходит, пустой/чужой CA отклонён | security test output |
|
||
| LB→API mTLS | `make test-tls-matrix` | 13 положительных и отрицательных cases проходят | TLS matrix output |
|
||
| DB/S3/broker/OTel least privilege | `infra/security/test-dependency-matrix.sh` | разрешённые операции проходят, cross-role операции отклонены | dependency matrix output |
|
||
| OpenBao scoped policy | `scripts/openbao-test-policy.sh` | own read `200`, cross/write/policy `403`, token renew `200` | policy test output |
|
||
| OpenBao expiry/revoke/seal | `make test-openbao-lifecycle` | revoked/expired token `403`, sealed login `503`, Agent восстановил аутентификацию после unseal | lifecycle test output |
|
||
| Ротация leaf и отзыв identity | `make test-leaf-rotation` | новая LB identity проходит, прежняя same-CA identity и expired leaf отклонены на новых connections | rotation test output |
|
||
| Общий login limiter | `make test-login-rate-limit ...` | запросы через обе replicas завершаются `429` с `Retry-After` | rate-limit test output |
|
||
| Rehash Argon2id | `go test ./internal/password ./internal/postgres ./internal/messenger/httpapi` | проверены `NeedsRehash` и конкурентное CAS update | unit/integration tests |
|
||
| Argon2/login DoS budget | `go test ./internal/password -run '^$' -bench 'BenchmarkArgon2id(Hash\|Verify)$' -benchtime=5x -benchmem` | hash 60,0 мс, verify 64,8 мс, около 64 MiB/op при 2 CPU | `evidence/lab7-argon2-budget.json` |
|
||
| Dependency/image/security scan | `make scan-security` | secrets не найдены; исправляемые high/critical Go CVE обновлены | `evidence/lab7-security-scan.json` |
|
||
| Компрометация worker | `make test-worker-compromise` | старый broker credential отклонён, после rotation queued attachment обработан без потери | `evidence/lab7-worker-compromise.json` |
|
||
|
||
## Эксперимент: компрометация worker
|
||
|
||
### Гипотеза
|
||
|
||
Если worker credential будет скомпрометирован, злоумышленник получит только consumer operations своего stream, ограниченные таблицы PostgreSQL и два MinIO prefix. После смены broker password и worker secret старая identity перестанет работать, а уже поставленное задание сохранится и завершится после восстановления worker.
|
||
|
||
### Методика
|
||
|
||
Стенд запускался в контейнерах с лимитом worker `2 CPU / 1 GiB`. Скрипт `scripts/lab7-worker-compromise.sh` останавливает worker, создаёт реальное задание загрузки через API, меняет Redis ACL password, не обновляя secret работающего worker, и проверяет отказ старой identity. Затем он записывает новый secret в OpenBao, пересоздаёт OpenBao Agent и worker и проверяет созданное вложение через API. В `trap` всегда восстанавливается исходный учебный secret.
|
||
|
||
Отдельная dependency matrix моделирует возможности скомпрометированного worker: ему разрешены чтение/изменение attachment job state, consumer/ack операции stream и работа с `staging/`/`attachments/`; запрещены таблица `users`, unrelated Redis streams и произвольный S3 prefix.
|
||
|
||
### Изменение blast radius относительно lab6
|
||
|
||
| Ресурс | До разделения прав в lab6 | После least privilege в lab7 |
|
||
| --- | --- | --- |
|
||
| PostgreSQL | API, dispatcher, worker и reconciler получали общий `DATABASE_URL`; worker мог использовать права основной роли на пользователей, чаты и сообщения | `messenger_worker` читает/обновляет только attachments/jobs/variants, создаёт audit/outbox; чтение `users` запрещено |
|
||
| MinIO | один `S3_ACCESS_KEY` имел `Get/Put/Delete` на весь bucket | worker видит только `staging/*` и `attachments/*`; `private/*` и управление users/policies запрещены |
|
||
| Redis Streams | dispatcher и worker использовали общий `BROKER_URL` | dispatcher может только `XADD` в `attachment-jobs`; worker может consumer/ack/recovery команды только для job/DLQ streams |
|
||
| TLS identity | внутренние зависимости принимали сетевое соединение без service URI проверки | gateway сопоставляет worker certificate с `spiffe://mtusi/lab7/worker`; same-CA чужая identity отклоняется |
|
||
| Secrets | все static credentials находились в общем `.env` процесса | worker получает отдельный JSON через scoped OpenBao AppRole; API policy не читает worker path |
|
||
|
||
Таким образом, до разделения кража worker environment давала общий доступ к данным приложения и всему bucket. После разделения она ограничена обработкой вложений. Ротация в эксперименте меняет broker, PostgreSQL и MinIO credentials внутри worker secret; старые credentials не открывают новое соединение даже при наличии прежнего leaf certificate.
|
||
|
||
### Результат
|
||
|
||
| Воздействие | Ожидание | Наблюдение | Потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| Старый broker password после ротации | authentication error | worker получил `WRONGPASS/invalid username-password` | нет |
|
||
| Cross-role DB/S3/stream operations | ACL denial | все отрицательные cases dependency matrix отклонены | нет |
|
||
| Обновление worker secret в OpenBao | Agent рендерит новый secret, worker становится healthy | от начала сценария до проверки вложения — 21 секунда; возврат исходных паролей измеряется отдельно | нет |
|
||
| Проверка задания, созданного до отзыва | вложение обработано после восстановления | API verification прошла | queued attachment сохранён |
|
||
|
||
Эксперимент доказывает ограничение blast radius и восстановление задания, но не моделирует кражу root-доступа к Docker host. Сценарий разрывает broker connections перезапуском gateway и завершает PostgreSQL sessions роли worker через `pg_terminate_backend`; затем проверяет новые подключения со старыми паролями и отказ старому S3 key. Для production потребуются внешний KMS/HSM для CA, response-wrapped SecretID, автоматизированный revoke и несколько независимых повторов с измерением времени восстановления.
|
||
|
||
## Scan triage
|
||
|
||
`scripts/scan-security.sh` запускает Trivy filesystem scan и image scan всех образов работающего Compose-стенда. Raw JSON сохраняется в игнорируемом `evidence/runtime/security-scan` и CI artifact, компактная сводка — в `evidence/lab7-security-scan.json`. Найденные у приложения CVE устранены обновлением OpenTelemetry, gRPC, `x/net`, `klauspost/compress`, Go toolchain и Nginx. Весь стенд не объявляется свободным от CVE: сканирование сторонних образов находит отдельные уязвимые компоненты. Secrets в repository/images не найдены.
|
||
|
||
| Finding / класс | Применимость и решение |
|
||
| --- | --- |
|
||
| `CVE-2026-81871`, `CVE-2026-81872`, `CVE-2026-81870` в OTLP | Затрагивают используемые приложением exporters/log SDK. Обновлены до OTLP `1.45.0` / log `0.21.0`; отключение TLS verification не используется |
|
||
| `CVE-2026-33322`, `CVE-2026-33419` в MinIO | Требуют OIDC/LDAP auth, которые в стенде не настроены; используется локальная scoped access-key auth. Образ не опубликован наружу. Обновление MinIO остаётся задачей перед production |
|
||
| `CVE-2026-77405`, `CVE-2026-77408`, `CVE-2026-77411` в AMQP library сторонних images | AMQP receivers/exporters и MinIO AMQP notifications не настроены; брокер стенда — Redis Streams. Пакет присутствует в бинарнике, но этот путь не используется конфигурацией |
|
||
| `CVE-2026-31789` в OpenSSL | Advisory относится к 32-bit обработке X.509; измеренный стенд `linux/arm64`. Не экстраполируем это исключение на остальные CVE OpenSSL |
|
||
| `CVE-2026-111497` (Brotli), `CVE-2026-48930` (Node.js) в UI images | Grafana/Swagger доступны только на loopback; приложение Go не использует эти пакеты. Достижимость уязвимых UI-путей не доказана; фиксированные upstream images нужны перед внешней публикацией |
|
||
| `CVE-2025-68121` и остальные stdlib/OS findings сторонних images | Собственный API пересобран patched Go. Для сторонних бинарников пересборка не выполнялась; это остаточный риск, который не снимается одной сетевой изоляцией. Ограничиваем доступ и ресурсы, сохраняем raw findings для обновления images |
|
||
| `UNKNOWN`, например `CVE-2026-39824` в Windows API | Severity не определена источником. Windows-only путь не выполняется в Linux; остальные UNKNOWN требуют отдельной проверки, а не считаются автоматически безопасными |
|
||
|
||
Данный scan triage подтверждает применимость конкретных ограничений учебного стенда. Он не заменяет обновление сторонних образов и не является разрешением на production deployment.
|
||
|
||
Замечания к отсутствию `HEALTHCHECK` внутри отдельных toolbox/bootstrap images не дают обхода runtime health: Compose задаёт healthchecks долговечным сервисам, а bootstrap containers одноразовые и должны завершиться с кодом 0. Это остаётся осознанным ограничением, а не исключением проверки приложения.
|
||
|
||
## Ограничения
|
||
|
||
- PKI локальная и не содержит CRL/OCSP. Отзыв leaf выполняется удалением доверия/сменой allowlist и пересозданием соединений.
|
||
- PostgreSQL, Valkey, Redis, MinIO и OpenBao запущены по одному экземпляру; работа проверяет безопасность границ, а не HA этих хранилищ.
|
||
- Operator init/unseal ручной. Это допустимо для учебного стенда, но production требует auto-unseal через KMS/HSM и раздельного хранения shares.
|
||
- Static S3/DB/broker credentials выдаются через OpenBao KV и ротируются оператором. Dynamic database credentials были бы следующим улучшением.
|
||
- Rate limiter хранится в Valkey и при его отказе блокирует login; уже выданные сессии также зависят от Valkey.
|
||
|
||
## Источники
|
||
|
||
- [OWASP Password Storage Cheat Sheet](https://cheatsheetseries.owasp.org/cheatsheets/Password_Storage_Cheat_Sheet.html)
|
||
- [OWASP File Upload Cheat Sheet](https://cheatsheetseries.owasp.org/cheatsheets/File_Upload_Cheat_Sheet.html)
|
||
- [OpenBao AppRole](https://openbao.org/docs/auth/approle/)
|
||
- [OpenBao policies](https://openbao.org/docs/concepts/policies/)
|
||
- [OpenBao production hardening](https://openbao.org/docs/internals/security/)
|
||
- [PostgreSQL SSL support](https://www.postgresql.org/docs/current/libpq-ssl.html)
|
||
- [Redis TLS](https://redis.io/docs/latest/operate/oss_and_stack/management/security/encryption/)
|
||
- [Redis ACL](https://redis.io/docs/latest/operate/oss_and_stack/management/security/acl/)
|
||
- [MinIO policy based access control](https://min.io/docs/minio/linux/administration/identity-access-management/policy-based-access-control.html)
|
||
- [OpenTelemetry Collector security](https://opentelemetry.io/docs/security/config-best-practices/)
|
||
- [Docker Engine security](https://docs.docker.com/engine/security/)
|
||
- [Trivy filesystem scanning](https://trivy.dev/latest/docs/target/filesystem/)
|
||
|
||
OpenAI Codex использовался для подготовки и ревью реализации; результаты проверены тестами, CI-сценариями и воспроизводимыми отрицательными экспериментами.
|