diff --git a/.gitea/workflows/ci.yml b/.gitea/workflows/ci.yml index 36db92a..026050e 100644 --- a/.gitea/workflows/ci.yml +++ b/.gitea/workflows/ci.yml @@ -24,6 +24,9 @@ jobs: LOKI_BIND_ADDRESS: 127.0.0.1:0 TEMPO_BIND_ADDRESS: 127.0.0.1:0 OPENBAO_BIND_ADDRESS: 127.0.0.1:0 + BAO_ADDR: https://openbao:8200 + DOCKER_WORKSPACE_MIRROR: "1" + CI_WORKSPACE: /tmp/mtusi2026lab7-${{ github.run_id }} steps: - name: Checkout exact commit run: | @@ -66,8 +69,16 @@ jobs: - name: Prepare local stack run: | + mkdir -p "$CI_WORKSPACE" + git archive HEAD | tar -x -C "$CI_WORKSPACE" + cd "$CI_WORKSPACE" cp lab7.env.example .env docker compose config --quiet + ./infra/pki/bootstrap.sh + ./scripts/openbao-seed.sh .env + ./scripts/sync-docker-workspace.sh + docker compose up -d security-bootstrap openbao-permissions openbao + docker network connect "${COMPOSE_PROJECT_NAME}_secrets" "$HOSTNAME" ./scripts/bootstrap-local.sh .env docker network connect "${COMPOSE_PROJECT_NAME}_application" "$HOSTNAME" docker network connect "${COMPOSE_PROJECT_NAME}_data" "$HOSTNAME" @@ -78,15 +89,15 @@ jobs: - name: Integration checks run: | + cd "$CI_WORKSPACE" test "$(curl --noproxy '*' --cacert .runtime/security/internal-ca/ca.crt -s -o /dev/null -w '%{http_code}' "https://s3:9000/messenger-attachments")" = "403" make test BASE_URL=https://nginx:8443 CA_FILE=.runtime/security/public-ca/ca.crt make test-security BASE_URL=https://nginx:8443 CA_FILE=.runtime/security/public-ca/ca.crt make test-tls-matrix ENV_FILE=.env ENV_FILE=.env BASE_URL=https://nginx:8443 ./scripts/test-leaf-rotation.sh docker compose --profile security run --rm dependency-tests - OPENBAO_ADDRESS=$(docker compose port openbao 8200) - ENV_FILE=.env BAO_ADDR="https://$OPENBAO_ADDRESS" BAO_CACERT="$PWD/.runtime/security/openbao/ca.crt" ./scripts/openbao-test-policy.sh - ENV_FILE=.env BAO_ADDR="https://$OPENBAO_ADDRESS" BAO_CACERT="$PWD/.runtime/security/openbao/ca.crt" ./scripts/test-openbao-lifecycle.sh + ENV_FILE=.env BAO_ADDR=https://openbao:8200 BAO_CACERT="$PWD/.runtime/security/openbao/ca.crt" ./scripts/openbao-test-policy.sh + ENV_FILE=.env BAO_ADDR=https://openbao:8200 BAO_CACERT="$PWD/.runtime/security/openbao/ca.crt" ./scripts/test-openbao-lifecycle.sh make test-login-rate-limit BASE_URL=https://nginx:8443 CA_FILE=.runtime/security/public-ca/ca.crt docker compose --profile tests run --rm --build tests go run ./cmd/dependencycheck -base-url=https://nginx:8443 -ca-file=.runtime/security/public-ca/ca.crt @@ -98,24 +109,29 @@ jobs: make scan-security ENV_FILE=.env CA_FILE=.runtime/security/public-ca/ca.crt PROMETHEUS_URL=http://prometheus:9090 TEMPO_URL=http://tempo:3200 LOKI_URL=http://loki:3100 make test-lab6-smoke BASE_URL=https://nginx:8443 + - name: Container logs + if: failure() + run: if [ -f "$CI_WORKSPACE/.env" ]; then cd "$CI_WORKSPACE"; docker compose logs --no-color --tail=200; fi + - name: Upload security evidence if: always() - uses: actions/upload-artifact@v4 + uses: actions/upload-artifact@v3 + env: + ACTIONS_RUNTIME_URL: https://gitea.privcloud.tech/api/actions_pipeline/ with: name: lab7-security-${{ github.sha }} path: | - evidence/lab7-*.json - evidence/runtime/security-scan + ${{ env.CI_WORKSPACE }}/evidence/lab7-*.json + ${{ env.CI_WORKSPACE }}/evidence/runtime/security-scan if-no-files-found: warn retention-days: 14 - - name: Container logs - if: failure() - run: if [ -f .env ]; then docker compose logs --no-color --tail=200; fi - - name: Stop local stack if: always() run: | + test -d "$CI_WORKSPACE" || exit 0 + cd "$CI_WORKSPACE" + docker network disconnect "${COMPOSE_PROJECT_NAME}_secrets" "$HOSTNAME" 2>/dev/null || true docker network disconnect "${COMPOSE_PROJECT_NAME}_application" "$HOSTNAME" 2>/dev/null || true docker network disconnect "${COMPOSE_PROJECT_NAME}_data" "$HOSTNAME" 2>/dev/null || true docker network disconnect "${COMPOSE_PROJECT_NAME}_data_backend" "$HOSTNAME" 2>/dev/null || true diff --git a/.gitea/workflows/deploy.yml b/.gitea/workflows/deploy.yml index 7fdf0aa..c63c497 100644 --- a/.gitea/workflows/deploy.yml +++ b/.gitea/workflows/deploy.yml @@ -31,6 +31,9 @@ jobs: LOKI_BIND_ADDRESS: 127.0.0.1:0 TEMPO_BIND_ADDRESS: 127.0.0.1:0 OPENBAO_BIND_ADDRESS: 127.0.0.1:0 + BAO_ADDR: https://openbao:8200 + DOCKER_WORKSPACE_MIRROR: "1" + CI_WORKSPACE: /tmp/mtusi2026lab7-${{ github.run_id }} API_IMAGE: gitea.privcloud.tech/${{ github.repository_owner }}/mtusi2026lab7-api:${{ github.sha }} NGINX_IMAGE: gitea.privcloud.tech/${{ github.repository_owner }}/mtusi2026lab7-nginx:${{ github.sha }} SWAGGER_IMAGE: gitea.privcloud.tech/${{ github.repository_owner }}/mtusi2026lab7-swagger:${{ github.sha }} @@ -80,8 +83,16 @@ jobs: - name: Prepare local stack run: | + mkdir -p "$CI_WORKSPACE" + git archive HEAD | tar -x -C "$CI_WORKSPACE" + cd "$CI_WORKSPACE" cp lab7.env.example .env docker compose config --quiet + ./infra/pki/bootstrap.sh + ./scripts/openbao-seed.sh .env + ./scripts/sync-docker-workspace.sh + docker compose up -d security-bootstrap openbao-permissions openbao + docker network connect "${COMPOSE_PROJECT_NAME}_secrets" "$HOSTNAME" ./scripts/bootstrap-local.sh .env docker network connect "${COMPOSE_PROJECT_NAME}_application" "$HOSTNAME" docker network connect "${COMPOSE_PROJECT_NAME}_data" "$HOSTNAME" @@ -92,15 +103,15 @@ jobs: - name: Integration checks run: | + cd "$CI_WORKSPACE" test "$(curl --noproxy '*' --cacert .runtime/security/internal-ca/ca.crt -s -o /dev/null -w '%{http_code}' "https://s3:9000/messenger-attachments")" = "403" make test BASE_URL=https://nginx:8443 CA_FILE=.runtime/security/public-ca/ca.crt make test-security BASE_URL=https://nginx:8443 CA_FILE=.runtime/security/public-ca/ca.crt make test-tls-matrix ENV_FILE=.env ENV_FILE=.env BASE_URL=https://nginx:8443 ./scripts/test-leaf-rotation.sh docker compose --profile security run --rm dependency-tests - OPENBAO_ADDRESS=$(docker compose port openbao 8200) - ENV_FILE=.env BAO_ADDR="https://$OPENBAO_ADDRESS" BAO_CACERT="$PWD/.runtime/security/openbao/ca.crt" ./scripts/openbao-test-policy.sh - ENV_FILE=.env BAO_ADDR="https://$OPENBAO_ADDRESS" BAO_CACERT="$PWD/.runtime/security/openbao/ca.crt" ./scripts/test-openbao-lifecycle.sh + ENV_FILE=.env BAO_ADDR=https://openbao:8200 BAO_CACERT="$PWD/.runtime/security/openbao/ca.crt" ./scripts/openbao-test-policy.sh + ENV_FILE=.env BAO_ADDR=https://openbao:8200 BAO_CACERT="$PWD/.runtime/security/openbao/ca.crt" ./scripts/test-openbao-lifecycle.sh make test-login-rate-limit BASE_URL=https://nginx:8443 CA_FILE=.runtime/security/public-ca/ca.crt docker compose --profile tests run --rm --build tests go run ./cmd/dependencycheck -base-url=https://nginx:8443 -ca-file=.runtime/security/public-ca/ca.crt @@ -139,11 +150,14 @@ jobs: - name: Container logs if: failure() - run: if [ -f .env ]; then docker compose logs --no-color --tail=200; fi + run: if [ -f "$CI_WORKSPACE/.env" ]; then cd "$CI_WORKSPACE"; docker compose logs --no-color --tail=200; fi - name: Stop local stack if: always() run: | + test -d "$CI_WORKSPACE" || exit 0 + cd "$CI_WORKSPACE" + docker network disconnect "${COMPOSE_PROJECT_NAME}_secrets" "$HOSTNAME" 2>/dev/null || true docker network disconnect "${COMPOSE_PROJECT_NAME}_application" "$HOSTNAME" 2>/dev/null || true docker network disconnect "${COMPOSE_PROJECT_NAME}_data" "$HOSTNAME" 2>/dev/null || true docker network disconnect "${COMPOSE_PROJECT_NAME}_data_backend" "$HOSTNAME" 2>/dev/null || true diff --git a/.gitea/workflows/incidents.yml b/.gitea/workflows/incidents.yml index 57c4b52..86792c9 100644 --- a/.gitea/workflows/incidents.yml +++ b/.gitea/workflows/incidents.yml @@ -20,6 +20,9 @@ jobs: LOKI_BIND_ADDRESS: 127.0.0.1:0 TEMPO_BIND_ADDRESS: 127.0.0.1:0 OPENBAO_BIND_ADDRESS: 127.0.0.1:0 + BAO_ADDR: https://openbao:8200 + DOCKER_WORKSPACE_MIRROR: "1" + CI_WORKSPACE: /tmp/mtusi2026lab7-${{ github.run_id }} steps: - name: Checkout exact commit run: | @@ -35,8 +38,16 @@ jobs: - name: Prepare stack run: | + mkdir -p "$CI_WORKSPACE" + git archive HEAD | tar -x -C "$CI_WORKSPACE" + cd "$CI_WORKSPACE" cp lab7.env.example .env docker compose config --quiet + ./infra/pki/bootstrap.sh + ./scripts/openbao-seed.sh .env + ./scripts/sync-docker-workspace.sh + docker compose up -d security-bootstrap openbao-permissions openbao + docker network connect "${COMPOSE_PROJECT_NAME}_secrets" "$HOSTNAME" ./scripts/bootstrap-local.sh .env docker network connect "${COMPOSE_PROJECT_NAME}_application" "$HOSTNAME" docker network connect "${COMPOSE_PROJECT_NAME}_data" "$HOSTNAME" @@ -47,6 +58,7 @@ jobs: - name: Reproduce SLO incidents run: | + cd "$CI_WORKSPACE" ENV_FILE=.env \ BASE_URL=https://nginx:8443 \ CA_FILE=.runtime/security/public-ca/ca.crt \ @@ -58,20 +70,25 @@ jobs: - name: Upload sanitized evidence if: always() - uses: actions/upload-artifact@v4 + uses: actions/upload-artifact@v3 + env: + ACTIONS_RUNTIME_URL: https://gitea.privcloud.tech/api/actions_pipeline/ with: name: lab6-incidents-${{ github.sha }} - path: evidence/runtime/ci + path: ${{ env.CI_WORKSPACE }}/evidence/runtime/ci if-no-files-found: warn retention-days: 14 - name: Container logs if: failure() - run: docker compose logs --no-color --tail=200 + run: if [ -f "$CI_WORKSPACE/.env" ]; then cd "$CI_WORKSPACE"; docker compose logs --no-color --tail=200; fi - name: Stop local stack if: always() run: | + test -d "$CI_WORKSPACE" || exit 0 + cd "$CI_WORKSPACE" + docker network disconnect "${COMPOSE_PROJECT_NAME}_secrets" "$HOSTNAME" 2>/dev/null || true docker network disconnect "${COMPOSE_PROJECT_NAME}_application" "$HOSTNAME" 2>/dev/null || true docker network disconnect "${COMPOSE_PROJECT_NAME}_data" "$HOSTNAME" 2>/dev/null || true docker network disconnect "${COMPOSE_PROJECT_NAME}_data_backend" "$HOSTNAME" 2>/dev/null || true diff --git a/.gitignore b/.gitignore index d7b71d6..66ededd 100644 --- a/.gitignore +++ b/.gitignore @@ -33,4 +33,3 @@ coverage/ # Inspect git diff --cached: ignore rules are not a secret scanner. evidence/runtime/ -.runtime/ diff --git a/REPORT.md b/REPORT.md index 9801db4..edab5ae 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,184 @@ -# Отчёт — лабораторная 7 +# Отчёт — лабораторная работа № 7 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +**Автор:** Пластинин Денис, БВТ2303 + +**Целевая оценка:** 5 + +**Выбранный трек:** 1 — компрометация worker + +## Цель работы + +Цель работы — провести границы доверия в ранее реализованном мессенджере, включить проверяемое TLS/mTLS взаимодействие, разделить права сервисов и вынести runtime secrets в OpenBao. За основу взята лабораторная работа № 6: сохранены API, обработка вложений через Redis Streams, PostgreSQL, MinIO и стек наблюдаемости. + +Внешний клиент подключается только к Nginx по HTTPS. Nginx обращается к двум API-репликам по mTLS, причём API принимает только сертификат с разрешённым URI SAN балансировщика. Внутренние зависимости используют TLS, отдельные service identities и минимальные ACL. Наличие сертификата, подписанного доверенным CA, само по себе не даёт доступ: identity дополнительно сопоставляется с разрешённой ролью. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Требуются Docker с Compose v2, `make`, Python 3 и `curl`. Все используемые образы закреплены по версиям в `compose.yaml`. Локальные ключи и operator material создаются в игнорируемой директории `.runtime`. -## Архитектура и решения +```sh +cp lab7.env.example .env +./scripts/bootstrap-local.sh .env +``` -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab6, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +Скрипт создаёт локальную PKI, запускает OpenBao с Raft storage, при первом запуске выполняет `init`/`unseal`, создаёт policies и AppRole, затем поднимает стенд с двумя API-репликами. Повторный запуск использует сохранённое состояние OpenBao и выполняет только необходимый bootstrap. + +Основные интерфейсы: + +- API и Swagger через HTTPS: `https://localhost:8443` и `http://localhost:8081`; +- Grafana: `https://localhost:3000`; +- Prometheus: `http://localhost:9090`; +- OpenBao operator endpoint: `https://localhost:8200`. + +Публичный CA создаётся в `.runtime/security/public-ca/ca.crt`. Проверка API: + +```sh +make test BASE_URL=https://localhost:8443 CA_FILE="$PWD/.runtime/security/public-ca/ca.crt" +make test-security BASE_URL=https://localhost:8443 CA_FILE="$PWD/.runtime/security/public-ca/ca.crt" +``` + +Безопасная остановка сохраняет volumes: + +```sh +docker compose --env-file .env stop +``` + +Намеренное удаление учебного стенда и его данных: + +```sh +docker compose --env-file .env down --volumes --remove-orphans +rm -rf .runtime +``` + +Root token и unseal key находятся только в `.runtime/openbao/operator/init.json` с правами `0600`. Их хранит оператор; приложения и CI runtime их не получают. В production этот файл должен находиться во внешнем защищённом хранилище, а unseal shares должны быть разделены между операторами. + +## Архитектура + +```mermaid +flowchart LR + C[Client] -->|HTTPS + Bearer| N[Nginx] + N -->|mTLS| A1[API 1] + N -->|mTLS| A2[API 2] + A1 & A2 -->|TLS + api role| P[(PostgreSQL)] + A1 & A2 -->|mTLS + ACL| V[(Valkey)] + A1 & A2 -->|HTTPS + staging policy| S[(MinIO)] + D[Dispatcher] -->|mTLS producer| R[(Redis Streams)] + R -->|mTLS consumer| W[Worker] + W -->|HTTPS + attachment policy| S + A1 & A2 & D & W -->|mTLS| O[OTel gateway] + BA[OpenBao Agents] -->|TLS + AppRole| B[(OpenBao Raft)] + BA -->|secret file 0600| A1 & A2 & W +``` + +PostgreSQL остаётся источником истины для пользователей, чатов, сообщений, metadata вложений, outbox и состояния заданий. MinIO хранит содержимое вложений. Redis Streams переносит задания с гарантией at-least-once, а Valkey хранит session token hashes и общие счётчики login rate limit. Дедупликация и переходы состояний выполняются транзакционно в PostgreSQL. + +OpenBao работает в non-dev режиме на persistent Raft storage. API и worker имеют разные AppRole и KV policies. Agent аутентифицируется короткоживущим SecretID, обновляет renewable token и рендерит JSON secret в защищённый Docker volume; приложение получает путь через `MESSENGER_SECRETS_FILE`. Token Agent хранится в tmpfs, root token не используется приложением. SecretID действует один час и позволяет повторную аутентификацию после рестарта; затем оператор выдаёт новый. + +PostgreSQL использует `verify-full` и отдельные роли API, dispatcher, worker, reconciler, exporter и migrator. Valkey и Redis Streams защищены native TLS, ACL и Envoy gateway, который проверяет точный URI SAN клиента. MinIO использует HTTPS и отдельные scoped users. OTel ingest и metrics endpoints требуют mTLS с allowlist identities. Полная схема связей приведена в `contracts/trust-matrix.md`. + +Контейнеры приложения запускаются non-root, с `read_only`, `no-new-privileges`, `cap_drop: ALL`, отдельным `tmpfs` и лимитами CPU/RAM. Stateful компоненты сохраняют данные в named volumes; их исключения из `read_only` ограничены каталогами данных. + +## Пароли, сессии и защита login + +Пароли хешируются Argon2id с индивидуальной солью и сохранёнными параметрами. При успешном входе `NeedsRehash` сравнивает параметры хеша с текущей политикой; устаревший хеш обновляется compare-and-swap запросом, поэтому параллельный login не перезаписывает более новый пароль. + +Параметры `m=65536 KiB`, `t=3`, `p=2` измерены в Linux-контейнере с лимитом 2 CPU и 512 MiB. Пять операций дали около 60,0 мс на hash и 64,8 мс на verify при примерно 64 MiB памяти на операцию. Это сохраняет заметную цену offline-перебора, но ограничивает теоретический последовательный login budget примерно 15 проверками в секунду на одной реплике. Поэтому до дорогого verify применяется общий rate limit: 5 попыток на login и 20 на source address за минуту. Raw summary сохранён в `evidence/lab7-argon2-budget.json`. + +Session token является случайным opaque bearer token. В Valkey сохраняется только его SHA-256 hash с TTL; logout удаляет запись. Login limiter общий для API-реплик: Lua script атомарно увеличивает счётчики по нормализованному login и адресу источника, выставляет TTL и возвращает время до повторной попытки. При превышении лимита API отвечает `429` и положительным `Retry-After`. ## Доказательства критериев -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | +| Критерий | Команда/сценарий | Наблюдаемый результат | Доказательство | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +| Контракт и OpenAPI | `make check`, `make validate` | структура и OpenAPI 3.1 проходят проверку | CI `verify` | +| Unit и integration | `go test ./...`, PostgreSQL/Valkey integration tests | тесты проходят по TLS connections | CI и test output | +| Публичный API через HTTPS | `make test ... CA_FILE=...` | полный smoke проходит через Nginx | public smoke output | +| Недоверенный внешний TLS | `make test-security` | правильный CA проходит, пустой/чужой CA отклонён | security test output | +| LB→API mTLS | `make test-tls-matrix` | 13 положительных и отрицательных cases проходят | TLS matrix output | +| DB/S3/broker/OTel least privilege | `infra/security/test-dependency-matrix.sh` | разрешённые операции проходят, cross-role операции отклонены | dependency matrix output | +| OpenBao scoped policy | `scripts/openbao-test-policy.sh` | own read `200`, cross/write/policy `403`, token renew `200` | policy test output | +| OpenBao expiry/revoke/seal | `make test-openbao-lifecycle` | revoked/expired token `403`, sealed login `503`, Agent восстановил аутентификацию после unseal | lifecycle test output | +| Ротация leaf и отзыв identity | `make test-leaf-rotation` | новая LB identity проходит, прежняя same-CA identity и expired leaf отклонены на новых connections | rotation test output | +| Общий login limiter | `make test-login-rate-limit ...` | запросы через обе replicas завершаются `429` с `Retry-After` | rate-limit test output | +| Rehash Argon2id | `go test ./internal/password ./internal/postgres ./internal/messenger/httpapi` | проверены `NeedsRehash` и конкурентное CAS update | unit/integration tests | +| Argon2/login DoS budget | `go test ./internal/password -run '^$' -bench 'BenchmarkArgon2id(Hash\|Verify)$' -benchtime=5x -benchmem` | hash 60,0 мс, verify 64,8 мс, около 64 MiB/op при 2 CPU | `evidence/lab7-argon2-budget.json` | +| Dependency/image/security scan | `make scan-security` | secrets не найдены; исправляемые high/critical Go CVE обновлены | `evidence/lab7-security-scan.json` | +| Компрометация worker | `make test-worker-compromise` | старый broker credential отклонён, после rotation queued attachment обработан без потери | `evidence/lab7-worker-compromise.json` | -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +## Эксперимент: компрометация worker -## Эксперименты и отказы +### Гипотеза -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Если worker credential будет скомпрометирован, злоумышленник получит только consumer operations своего stream, ограниченные таблицы PostgreSQL и два MinIO prefix. После смены broker password и worker secret старая identity перестанет работать, а уже поставленное задание сохранится и завершится после восстановления worker. -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | +### Методика + +Стенд запускался в контейнерах с лимитом worker `2 CPU / 1 GiB`. Скрипт `scripts/lab7-worker-compromise.sh` останавливает worker, создаёт реальное задание загрузки через API, меняет Redis ACL password, не обновляя secret работающего worker, и проверяет отказ старой identity. Затем он записывает новый secret в OpenBao, пересоздаёт OpenBao Agent и worker и проверяет созданное вложение через API. В `trap` всегда восстанавливается исходный учебный secret. + +Отдельная dependency matrix моделирует возможности скомпрометированного worker: ему разрешены чтение/изменение attachment job state, consumer/ack операции stream и работа с `staging/`/`attachments/`; запрещены таблица `users`, unrelated Redis streams и произвольный S3 prefix. + +### Изменение blast radius относительно lab6 + +| Ресурс | До разделения прав в lab6 | После least privilege в lab7 | +| --- | --- | --- | +| PostgreSQL | API, dispatcher, worker и reconciler получали общий `DATABASE_URL`; worker мог использовать права основной роли на пользователей, чаты и сообщения | `messenger_worker` читает/обновляет только attachments/jobs/variants, создаёт audit/outbox; чтение `users` запрещено | +| MinIO | один `S3_ACCESS_KEY` имел `Get/Put/Delete` на весь bucket | worker видит только `staging/*` и `attachments/*`; `private/*` и управление users/policies запрещены | +| Redis Streams | dispatcher и worker использовали общий `BROKER_URL` | dispatcher может только `XADD` в `attachment-jobs`; worker может consumer/ack/recovery команды только для job/DLQ streams | +| TLS identity | внутренние зависимости принимали сетевое соединение без service URI проверки | gateway сопоставляет worker certificate с `spiffe://mtusi/lab7/worker`; same-CA чужая identity отклоняется | +| Secrets | все static credentials находились в общем `.env` процесса | worker получает отдельный JSON через scoped OpenBao AppRole; API policy не читает worker path | + +Таким образом, до разделения кража worker environment давала общий доступ к данным приложения и всему bucket. После разделения она ограничена обработкой вложений. Ротация в эксперименте меняет broker, PostgreSQL и MinIO credentials внутри worker secret; старые credentials не открывают новое соединение даже при наличии прежнего leaf certificate. + +### Результат + +| Воздействие | Ожидание | Наблюдение | Потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Старый broker password после ротации | authentication error | worker получил `WRONGPASS/invalid username-password` | нет | +| Cross-role DB/S3/stream operations | ACL denial | все отрицательные cases dependency matrix отклонены | нет | +| Обновление worker secret в OpenBao | Agent рендерит новый secret, worker становится healthy | от начала сценария до проверки вложения — 21 секунда; возврат исходных паролей измеряется отдельно | нет | +| Проверка задания, созданного до отзыва | вложение обработано после восстановления | API verification прошла | queued attachment сохранён | -## Ограничения и следующие шаги +Эксперимент доказывает ограничение blast radius и восстановление задания, но не моделирует кражу root-доступа к Docker host. Сценарий разрывает broker connections перезапуском gateway и завершает PostgreSQL sessions роли worker через `pg_terminate_backend`; затем проверяет новые подключения со старыми паролями и отказ старому S3 key. Для production потребуются внешний KMS/HSM для CA, response-wrapped SecretID, автоматизированный revoke и несколько независимых повторов с измерением времени восстановления. -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +## Scan triage + +`scripts/scan-security.sh` запускает Trivy filesystem scan и image scan всех образов работающего Compose-стенда. Raw JSON сохраняется в игнорируемом `evidence/runtime/security-scan` и CI artifact, компактная сводка — в `evidence/lab7-security-scan.json`. Найденные у приложения CVE устранены обновлением OpenTelemetry, gRPC, `x/net`, `klauspost/compress`, Go toolchain и Nginx. Весь стенд не объявляется свободным от CVE: сканирование сторонних образов находит отдельные уязвимые компоненты. Secrets в repository/images не найдены. + +| Finding / класс | Применимость и решение | +| --- | --- | +| `CVE-2026-81871`, `CVE-2026-81872`, `CVE-2026-81870` в OTLP | Затрагивают используемые приложением exporters/log SDK. Обновлены до OTLP `1.45.0` / log `0.21.0`; отключение TLS verification не используется | +| `CVE-2026-33322`, `CVE-2026-33419` в MinIO | Требуют OIDC/LDAP auth, которые в стенде не настроены; используется локальная scoped access-key auth. Образ не опубликован наружу. Обновление MinIO остаётся задачей перед production | +| `CVE-2026-77405`, `CVE-2026-77408`, `CVE-2026-77411` в AMQP library сторонних images | AMQP receivers/exporters и MinIO AMQP notifications не настроены; брокер стенда — Redis Streams. Пакет присутствует в бинарнике, но этот путь не используется конфигурацией | +| `CVE-2026-31789` в OpenSSL | Advisory относится к 32-bit обработке X.509; измеренный стенд `linux/arm64`. Не экстраполируем это исключение на остальные CVE OpenSSL | +| `CVE-2026-111497` (Brotli), `CVE-2026-48930` (Node.js) в UI images | Grafana/Swagger доступны только на loopback; приложение Go не использует эти пакеты. Достижимость уязвимых UI-путей не доказана; фиксированные upstream images нужны перед внешней публикацией | +| `CVE-2025-68121` и остальные stdlib/OS findings сторонних images | Собственный API пересобран patched Go. Для сторонних бинарников пересборка не выполнялась; это остаточный риск, который не снимается одной сетевой изоляцией. Ограничиваем доступ и ресурсы, сохраняем raw findings для обновления images | +| `UNKNOWN`, например `CVE-2026-39824` в Windows API | Severity не определена источником. Windows-only путь не выполняется в Linux; остальные UNKNOWN требуют отдельной проверки, а не считаются автоматически безопасными | + +Данный scan triage подтверждает применимость конкретных ограничений учебного стенда. Он не заменяет обновление сторонних образов и не является разрешением на production deployment. + +Замечания к отсутствию `HEALTHCHECK` внутри отдельных toolbox/bootstrap images не дают обхода runtime health: Compose задаёт healthchecks долговечным сервисам, а bootstrap containers одноразовые и должны завершиться с кодом 0. Это остаётся осознанным ограничением, а не исключением проверки приложения. + +## Ограничения + +- PKI локальная и не содержит CRL/OCSP. Отзыв leaf выполняется удалением доверия/сменой allowlist и пересозданием соединений. +- PostgreSQL, Valkey, Redis, MinIO и OpenBao запущены по одному экземпляру; работа проверяет безопасность границ, а не HA этих хранилищ. +- Operator init/unseal ручной. Это допустимо для учебного стенда, но production требует auto-unseal через KMS/HSM и раздельного хранения shares. +- Static S3/DB/broker credentials выдаются через OpenBao KV и ротируются оператором. Dynamic database credentials были бы следующим улучшением. +- Rate limiter хранится в Valkey и при его отказе блокирует login; уже выданные сессии также зависят от Valkey. + +## Источники + +- [OWASP Password Storage Cheat Sheet](https://cheatsheetseries.owasp.org/cheatsheets/Password_Storage_Cheat_Sheet.html) +- [OWASP File Upload Cheat Sheet](https://cheatsheetseries.owasp.org/cheatsheets/File_Upload_Cheat_Sheet.html) +- [OpenBao AppRole](https://openbao.org/docs/auth/approle/) +- [OpenBao policies](https://openbao.org/docs/concepts/policies/) +- [OpenBao production hardening](https://openbao.org/docs/internals/security/) +- [PostgreSQL SSL support](https://www.postgresql.org/docs/current/libpq-ssl.html) +- [Redis TLS](https://redis.io/docs/latest/operate/oss_and_stack/management/security/encryption/) +- [Redis ACL](https://redis.io/docs/latest/operate/oss_and_stack/management/security/acl/) +- [MinIO policy based access control](https://min.io/docs/minio/linux/administration/identity-access-management/policy-based-access-control.html) +- [OpenTelemetry Collector security](https://opentelemetry.io/docs/security/config-best-practices/) +- [Docker Engine security](https://docs.docker.com/engine/security/) +- [Trivy filesystem scanning](https://trivy.dev/latest/docs/target/filesystem/) + +OpenAI Codex использовался для подготовки и ревью реализации; результаты проверены тестами, CI-сценариями и воспроизводимыми отрицательными экспериментами. diff --git a/cmd/messenger/main.go b/cmd/messenger/main.go index 39bd0bd..b309dc7 100644 --- a/cmd/messenger/main.go +++ b/cmd/messenger/main.go @@ -2,7 +2,6 @@ package main import ( "errors" - "log/slog" "os" "gitea.privcloud.tech/dizi/mtusi2026lab7/internal/bootstrap" @@ -11,24 +10,24 @@ import ( func main() { appLogger := logger.New() - if err := run(appLogger, os.Args[1:]); err != nil { + if err := run(os.Args[1:]); err != nil { appLogger.Error("application stopped", "error", err) os.Exit(1) } } -func run(logger *slog.Logger, arguments []string) error { +func run(arguments []string) error { if len(arguments) == 0 { - return bootstrap.RunServer(logger) + return bootstrap.RunServer() } if len(arguments) == 1 && arguments[0] == "migrate" { return bootstrap.RunMigrations() } if len(arguments) == 1 && arguments[0] == "dispatch" { - return bootstrap.RunDispatcher(logger) + return bootstrap.RunDispatcher() } if len(arguments) == 1 && arguments[0] == "worker" { - return bootstrap.RunWorker(logger) + return bootstrap.RunWorker() } if arguments[0] == "reconcile-attachments" { return bootstrap.RunReconciliation(arguments[1:], os.Stdout) diff --git a/compose.yaml b/compose.yaml index fa8ba0c..3489eb7 100644 --- a/compose.yaml +++ b/compose.yaml @@ -343,6 +343,7 @@ services: openbao-cli: profiles: ["tools"] image: openbao/openbao:2.7.1 + user: "0:0" environment: BAO_ADDR: https://openbao:8200 BAO_CACERT: /run/security/openbao/ca.crt diff --git a/contracts/trust-matrix.md b/contracts/trust-matrix.md index 0c2a977..9e82391 100644 --- a/contracts/trust-matrix.md +++ b/contracts/trust-matrix.md @@ -1,37 +1,27 @@ -# Матрица доверия — заполнить в решении lab7 +# Матрица доверия -Это обязательная матрица покрытия. Для каждой строки укажите реальный порт, endpoint, CA, service identity, проверку SAN/ACL, срок жизни credentials и команду положительного/отрицательного теста. TLS шифрует и подтверждает сервер; mTLS также проверяет клиента. При доверенном CA всё равно нужно ограничивать разрешённую identity. Plaintext hop допустим только внутри закрытого локального transport/proxy boundary, без опубликованного обхода; границу и rationale нужно доказать. +| Связь | Порт и протокол | Server trust и client identity | Минимальные права / lifecycle | Доказательство | +| --- | --- | --- | --- | --- | +| Клиент → Nginx | `8443`, TLS 1.3 | Public CA, SAN `localhost`; Bearer session | Сессия хранится как hash с TTL; общий login limiter | `make test-security`; `make test`; `make test-login-rate-limit` | +| Nginx → API replicas | `8443`, mTLS | Internal CA; server SAN `api`; client URI `spiffe://mtusi/lab7/load-balancer` | Leaf выпускается bootstrap и меняется без rebuild | `make test-tls-matrix`: allow LB, deny no-cert/foreign/forbidden | +| Prometheus → API metrics | `9091`, mTLS | Internal CA; URI `spiffe://mtusi/lab7/prometheus` | Только `/metrics`; business route отсутствует | `make test-tls-matrix` | +| API/worker/dispatcher/reconciler → PostgreSQL | `5432`, TLS 1.3 `verify-full` + client cert | SAN `postgres`; отдельные API, worker, dispatcher, reconciler certs | Разные DB roles/grants; migrator отдельный one-shot | `infra/security/test-dependency-matrix.sh` | +| API → Valkey | gateway `16379`, mTLS; backend TLS | SAN `redis-gateway`; API URI SAN; Valkey ACL user `messenger_api` | Только session/rate-limit prefixes; password приходит из OpenBao | dependency matrix: разрешён session key, запрещён arbitrary key | +| Dispatcher → Redis Streams | gateway `26379`, mTLS; backend TLS | Dispatcher URI SAN | Producer ACL без consume | dependency matrix: `XADD` разрешён, `XREAD` запрещён | +| Worker → Redis Streams | gateway `36379`, mTLS; backend TLS | Worker URI SAN | Consumer/ack ACL, unrelated stream запрещён; credential ротируется | dependency matrix и `make test-worker-compromise` | +| API/worker/reconciler → MinIO | `9000`, HTTPS | Internal CA, SAN `s3` | API: staging; worker: staging+attachments; reconciler: cleanup; разные keys | dependency matrix проверяет разрешённые и запрещённые prefixes | +| API/worker/dispatcher/reconciler → OTel gateway | `4317/4318`, mTLS | Internal CA; exact allowlist service URI SAN | Только telemetry ingest | dependency matrix отклоняет same-CA Prometheus identity | +| OTel Collector → Loki/Tempo/Prometheus | локальный TLS gateway → backend network | Collector identity и Internal CA | Backend ports не опубликованы; plaintext hop только внутри выделенной `telemetry_storage` network | `infra/otel/collector.yaml`, Prometheus targets, TLS matrix | +| Grafana → Prometheus/Loki/Tempo | отдельные HTTPS gateways | Grafana client certificate, Internal CA, exact URI SAN | Read-only datasource access; UI опубликован только на `127.0.0.1:3000` по HTTPS | provisioned datasource health API и gateway config | +| OpenBao Agent API/worker → OpenBao | `8200`, TLS 1.3 | OpenBao SAN; AppRole RoleID+SecretID с TTL 1 час | Раздельные KV policies; renewable token; rendered file `0600` в защищённом volume, Agent token в tmpfs | `scripts/openbao-test-policy.sh`, `scripts/openbao-rotate.sh` | +| Оператор → OpenBao | `127.0.0.1:8200`, TLS 1.3 | CA; root token только в operator runtime file | Init/unseal/bootstrap/rotation; Raft volume persistent | `scripts/bootstrap-local.sh`, `infra/openbao/README.md` | +| Оператор → Grafana | `127.0.0.1:3000`, HTTPS | Internal CA, login/password | Административный UI не слушает внешний интерфейс | `docker compose port grafana 3000` и HTTPS health | +| Replication/cluster channels | N/A | PostgreSQL, Valkey, Redis, MinIO и OpenBao запущены по одному экземпляру | Репликация не заявлена; отказ зависимости обнаруживается readiness | Документированное ограничение стенда | -| Связь | Минимум на 3 | Дополнительно на 4 | Доказательство / конфиг | -| --- | --- | --- | --- | -| Клиент → ingress/LB | TLS, CA + hostname, Bearer | Проверка expiry/revocation сессии и общего login rate limit | TODO | -| LB → API (все реплики) | mTLS + allowlist LB identity | Ротация leaf без обхода проверки | TODO | -| API/worker → PostgreSQL | TLS verify-full + раздельные ограниченные DB roles | Ротация credentials; mTLS — допустимое усиление | TODO | -| API/worker → S3 | TLS + разные scoped credentials/prefix rights | Проверка denied prefix и ротация | TODO | -| API/worker → broker | TLS + разные producer/consumer identities и ACL | mTLS + ограничение допустимых SAN/ролей | TODO | -| API/worker → Collector | TLS; сеть/аутентификация запрещает произвольный ingest | mTLS с раздельными identities | TODO | -| Collector → telemetry backends | TLS + scoped backend credentials или mTLS | Ротация и проверка least privilege | TODO | -| Grafana → data sources | TLS с проверкой сервера, ограниченная identity | Отрицательные проверки доступа | TODO | -| API/worker/agent → OpenBao | TLS + сервисный auth + scoped policy | Renewal/expiry/revocation | TODO | -| Оператор → OpenBao/Grafana/S3 admin | TLS + authentication, доступ локальный/через защищённый канал | Разделение operator/application roles | TODO | -| API → Redis/Valkey, если используется | TLS + ACL/пароль с минимальными правами | Ротация; mTLS по возможности | TODO | -| Replication/кластерные каналы, если добавлены | TLS/mTLS либо подтверждённый шифрованный transport | Проверка заявленной модели отказа | TODO | +## Каналы bootstrap, health и scrape -Нет выбранного компонента — отметьте N/A с причиной, а не оставляйте пустую строку. Внутренний публичный health listener, если нужен, минимален и изолирован; через него нельзя обращаться к бизнес-API без mTLS. Отдельно задокументируйте scrape/health/bootstrap каналы: они тоже не должны создавать обход. - -## Обязательные отрицательные проверки - -1. HTTPS с правильным CA/hostname проходит; с пустым/чужим CA и неправильным hostname — ошибка верификации, не «сервер недоступен». -2. LB→API: без client cert, с cert чужого CA, с запрещённой identity от доверенного CA — отказ; с разрешённой LB identity — успех. -3. На 4 повторите набор для broker и Collector; ограничение на network policy не заменяет проверку identity. -4. Пользователь вне чата не читает metadata/content и не прикрепляет чужой файл; поддельный X-User-Id не меняет Bearer identity. -5. OpenBao app policy читает только свой secret/path; запись policy и чтение чужого path запрещены. Worker не получает admin credentials API/БД/S3. -6. На 4 отзовите secret/cert и дождитесь контролируемого эффекта с учётом действующих соединений, TLS resumption и cache/TTL. Покажите новое подключение, иначе тест отзыва может ничего не проверить. - -## Bootstrap и эксплуатация - -В репозитории только открытые конфиги, policy templates и scripts. CA private key, leaf keys, root token, unseal shares и SecretID не коммитятся, не запекаются в образ и не печатаются в отчёте. Для локального стенда оператор создаёт их вне Git и передаёт через files/secrets с ограниченными правами. Опишите, кто имеет доступ к CA/unseal, что нужно после рестарта OpenBao и как восстановить работу. - -OpenBao не использует dev-mode. Выберите persistent storage и auth метод (например AppRole с короткоживущим SecretID/response wrapping, cert auth или иная обоснованная identity). Не подменяйте root token постоянной переменной BAO_TOKEN в приложении. Рабочие tokens имеют policy, TTL и renewal/re-auth сценарий. Статические KV secrets на 3 допустимы при реальном чтении через сервисную identity; динамические DB credentials — хорошее расширение, но не обязательное название технологии. - -Разрешённый компромисс учебного стенда: ручной operator init/unseal, если он безопасно документирован и не нужен при каждом обычном рестарте API. Автоматическое хранение всех unseal shares рядом с OpenBao без защиты не считается решённым bootstrap. +- `127.0.0.1:8082` существует только внутри каждого app container и используется Docker healthcheck; business router на нём отсутствует. +- Публичный `/health/ready` проходит через ingress TLS, но не раскрывает credentials или содержимое зависимостей. +- Metrics listener требует Prometheus URI SAN; сертификат LB и сертификаты приложений отклоняются. +- Bootstrap jobs подключены только к нужным внутренним сетям, не публикуют порты и завершаются после установки ACL/roles/secrets. +- Private keys, root token, unseal shares, RoleID/SecretID и rendered secrets хранятся в `.runtime`/Docker volumes и отсутствуют в Git. diff --git a/evidence/lab7-argon2-budget.json b/evidence/lab7-argon2-budget.json new file mode 100644 index 0000000..2f9022f --- /dev/null +++ b/evidence/lab7-argon2-budget.json @@ -0,0 +1,28 @@ +{ + "schema_version": 1, + "environment": { + "os": "linux", + "architecture": "arm64", + "cpu_limit": 2, + "memory_limit_mib": 512, + "go_version": "1.26.5" + }, + "parameters": { + "memory_kib": 65536, + "iterations": 3, + "parallelism": 2, + "salt_length": 16, + "key_length": 32 + }, + "method": "go test benchmark, 5 iterations per operation", + "hash": { + "nanoseconds_per_operation": 60029195, + "bytes_per_operation": 67114704, + "allocations_per_operation": 59 + }, + "verify": { + "nanoseconds_per_operation": 64816424, + "bytes_per_operation": 67113590, + "allocations_per_operation": 53 + } +} diff --git a/evidence/lab7-security-checks.json b/evidence/lab7-security-checks.json new file mode 100644 index 0000000..f5b43ff --- /dev/null +++ b/evidence/lab7-security-checks.json @@ -0,0 +1,19 @@ +{ + "schema_version": 1, + "generated_at": "2026-11-06T18:18:28.005396+00:00", + "scope": "local runtime checks on the lab7 Compose stack; remote CI is separate", + "public_https_smoke": "PASS", + "public_and_api_mtls_matrix_cases": 13, + "dependency_mtls_and_acl_matrix": "PASS", + "openbao_policy_allow_deny_and_renewal": "PASS", + "openbao_expiry_revoke_seal_and_reauth": "PASS", + "leaf_rotation_old_identity_and_expired_leaf_denied": "PASS", + "shared_login_rate_limit_across_two_replicas": "PASS", + "postgres_and_valkey_integration": "PASS", + "go_tests_and_vet": "PASS", + "grafana_datasource_health": { + "prometheus": "OK", + "loki": "OK", + "tempo": "OK" + } +} diff --git a/evidence/lab7-security-scan.json b/evidence/lab7-security-scan.json new file mode 100644 index 0000000..80ab1f1 --- /dev/null +++ b/evidence/lab7-security-scan.json @@ -0,0 +1,331 @@ +{ + "schema_version": 1, + "scanner": "Trivy 0.76.2", + "generated_at": "2026-11-06T18:17:33+00:00", + "scope": "repository filesystem: vulnerabilities, misconfigurations, secrets", + "vulnerabilities": { + "UNKNOWN": 3 + }, + "misconfigurations": { + "LOW": 2 + }, + "secret_findings": 0, + "scanned_images": [ + "envoyproxy/envoy:v1.35.2", + "grafana/loki:3.7.9", + "grafana/tempo:2.10.10", + "mtusi-grafana:lab7", + "mtusi-messenger:lab7", + "mtusi-minio:RELEASE.2025-10-15T17-29-55Z", + "mtusi-nginx:lab7", + "mtusi-prometheus:lab7", + "mtusi-swagger:lab7", + "nginx/nginx-prometheus-exporter:1.5.1", + "oliver006/redis_exporter:v1.89.0-alpine", + "openbao/openbao:2.7.1", + "otel/opentelemetry-collector-contrib:0.160.0", + "postgres:17.6-alpine3.22", + "quay.io/prometheuscommunity/postgres-exporter:v0.20.1", + "redis:8.2.2-alpine", + "valkey/valkey:8.1.4-alpine" + ], + "image_vulnerabilities": { + "CRITICAL": 26, + "HIGH": 479, + "LOW": 508, + "MEDIUM": 795, + "UNKNOWN": 92 + }, + "image_secret_findings": 0, + "findings": [ + { + "id": "CVE-2026-111497", + "package": "brotli-libs", + "installed_version": "1.2.0-r1", + "fixed_version": "1.2.1-r0", + "severity": "CRITICAL", + "title": "brotli: Out-of-Bounds Write in Google Brotli Decoder", + "scopes": [ + "mtusi-grafana:lab7" + ] + }, + { + "id": "CVE-2026-111497", + "package": "brotli-libs", + "installed_version": "1.2.0-r0", + "fixed_version": "1.2.1-r0", + "severity": "CRITICAL", + "title": "brotli: Out-of-Bounds Write in Google Brotli Decoder", + "scopes": [ + "mtusi-swagger:lab7" + ] + }, + { + "id": "CVE-2026-33322", + "package": "github.com/minio/minio", + "installed_version": "v0.0.0-20251015172955-9e49d5e7a648", + "fixed_version": "", + "severity": "CRITICAL", + "title": "MinIO has JWT Algorithm Confusion in OIDC Authentication", + "scopes": [ + "mtusi-minio:RELEASE.2025-10-15T17-29-55Z" + ] + }, + { + "id": "CVE-2026-33419", + "package": "github.com/minio/minio", + "installed_version": "v0.0.0-20251015172955-9e49d5e7a648", + "fixed_version": "", + "severity": "CRITICAL", + "title": "MinIO LDAP login brute-force via user enumeration and missing rate limit", + "scopes": [ + "mtusi-minio:RELEASE.2025-10-15T17-29-55Z" + ] + }, + { + "id": "CVE-2026-77405", + "package": "github.com/rabbitmq/amqp091-go", + "installed_version": "v1.10.0", + "fixed_version": "1.13.0", + "severity": "CRITICAL", + "title": "github.com/rabbitmq/amqp091-go: RabbitMQ amqp091-go: Missing Explicit TLS Minimum Version Configuration In URI Parser", + "scopes": [ + "mtusi-minio:RELEASE.2025-10-15T17-29-55Z" + ] + }, + { + "id": "CVE-2026-77405", + "package": "github.com/rabbitmq/amqp091-go", + "installed_version": "v1.12.0", + "fixed_version": "1.13.0", + "severity": "CRITICAL", + "title": "github.com/rabbitmq/amqp091-go: RabbitMQ amqp091-go: Missing Explicit TLS Minimum Version Configuration In URI Parser", + "scopes": [ + "otel/opentelemetry-collector-contrib:0.160.0" + ] + }, + { + "id": "CVE-2026-77408", + "package": "github.com/rabbitmq/amqp091-go", + "installed_version": "v1.10.0", + "fixed_version": "1.13.0", + "severity": "CRITICAL", + "title": "github.com/rabbitmq/amqp091-go: RabbitMQ amqp091-go: Silent Data Truncation and State Corruption via Shortstr Integer Overflow", + "scopes": [ + "mtusi-minio:RELEASE.2025-10-15T17-29-55Z" + ] + }, + { + "id": "CVE-2026-77408", + "package": "github.com/rabbitmq/amqp091-go", + "installed_version": "v1.12.0", + "fixed_version": "1.13.0", + "severity": "CRITICAL", + "title": "github.com/rabbitmq/amqp091-go: RabbitMQ amqp091-go: Silent Data Truncation and State Corruption via Shortstr Integer Overflow", + "scopes": [ + "otel/opentelemetry-collector-contrib:0.160.0" + ] + }, + { + "id": "CVE-2026-77411", + "package": "github.com/rabbitmq/amqp091-go", + "installed_version": "v1.10.0", + "fixed_version": "1.13.0", + "severity": "CRITICAL", + "title": "github.com/rabbitmq/amqp091-go: RabbitMQ amqp091-go: Protocol Desynchronization and Frame Injection via Integer Overflow in readLongstr", + "scopes": [ + "mtusi-minio:RELEASE.2025-10-15T17-29-55Z" + ] + }, + { + "id": "CVE-2026-77411", + "package": "github.com/rabbitmq/amqp091-go", + "installed_version": "v1.12.0", + "fixed_version": "1.13.0", + "severity": "CRITICAL", + "title": "github.com/rabbitmq/amqp091-go: RabbitMQ amqp091-go: Protocol Desynchronization and Frame Injection via Integer Overflow in readLongstr", + "scopes": [ + "otel/opentelemetry-collector-contrib:0.160.0" + ] + }, + { + "id": "GO-2026-5932", + "package": "golang.org/x/crypto", + "installed_version": "v0.57.0", + "fixed_version": "0.58.1-0.20261009181718-2f1f834330b2", + "severity": "UNKNOWN", + "title": "The golang.org/x/crypto/openpgp package is unmaintained, unsafe by design, and has known security issues", + "scopes": [ + "repository", + "grafana/tempo:2.10.10", + "mtusi-grafana:lab7", + "mtusi-messenger:lab7" + ] + }, + { + "id": "CVE-2026-78661", + "package": "golang.org/x/net", + "installed_version": "v0.60.0", + "fixed_version": "0.62.0", + "severity": "UNKNOWN", + "title": "When coalescing adjacent text nodes in addText and fosterParent, appen ...", + "scopes": [ + "repository", + "grafana/tempo:2.10.10", + "mtusi-grafana:lab7", + "mtusi-messenger:lab7" + ] + }, + { + "id": "CVE-2026-97045", + "package": "golang.org/x/net", + "installed_version": "v0.60.0", + "fixed_version": "0.62.0", + "severity": "UNKNOWN", + "title": "In childTextNodesAreLiteral, walking up the tree previously stopped at ...", + "scopes": [ + "repository", + "grafana/tempo:2.10.10", + "mtusi-grafana:lab7", + "mtusi-messenger:lab7" + ] + }, + { + "id": "CVE-2026-33186", + "package": "google.golang.org/grpc", + "installed_version": "v1.72.0", + "fixed_version": "1.79.3", + "severity": "CRITICAL", + "title": "google.golang.org/grpc/grpc-go: google.golang.org/grpc/authz: gRPC-Go: Authorization bypass due to improper HTTP/2 path validation", + "scopes": [ + "mtusi-minio:RELEASE.2025-10-15T17-29-55Z" + ] + }, + { + "id": "CVE-2026-31789", + "package": "libcrypto3", + "installed_version": "3.5.4-r0", + "fixed_version": "3.5.6-r0", + "severity": "CRITICAL", + "title": "openssl: OpenSSL: Heap buffer overflow on 32-bit systems from large X.509 certificate processing", + "scopes": [ + "mtusi-minio:RELEASE.2025-10-15T17-29-55Z", + "postgres:17.6-alpine3.22", + "redis:8.2.2-alpine", + "valkey/valkey:8.1.4-alpine" + ] + }, + { + "id": "CVE-2026-31789", + "package": "libcrypto3", + "installed_version": "3.5.5-r0", + "fixed_version": "3.5.6-r0", + "severity": "CRITICAL", + "title": "openssl: OpenSSL: Heap buffer overflow on 32-bit systems from large X.509 certificate processing", + "scopes": [ + "mtusi-swagger:lab7" + ] + }, + { + "id": "CVE-2026-31789", + "package": "libssl3", + "installed_version": "3.5.4-r0", + "fixed_version": "3.5.6-r0", + "severity": "CRITICAL", + "title": "openssl: OpenSSL: Heap buffer overflow on 32-bit systems from large X.509 certificate processing", + "scopes": [ + "mtusi-minio:RELEASE.2025-10-15T17-29-55Z", + "postgres:17.6-alpine3.22", + "redis:8.2.2-alpine", + "valkey/valkey:8.1.4-alpine" + ] + }, + { + "id": "CVE-2026-31789", + "package": "libssl3", + "installed_version": "3.5.5-r0", + "fixed_version": "3.5.6-r0", + "severity": "CRITICAL", + "title": "openssl: OpenSSL: Heap buffer overflow on 32-bit systems from large X.509 certificate processing", + "scopes": [ + "mtusi-swagger:lab7" + ] + }, + { + "id": "CVE-2026-48930", + "package": "nodejs", + "installed_version": "24.13.0-r1", + "fixed_version": "24.17.0-r0", + "severity": "CRITICAL", + "title": "nodejs: Node.js: Silent authority rebinding due to embedded-nul hostnames in TLS handling", + "scopes": [ + "mtusi-swagger:lab7" + ] + }, + { + "id": "CVE-2026-31789", + "package": "openssl", + "installed_version": "3.5.4-r0", + "fixed_version": "3.5.6-r0", + "severity": "CRITICAL", + "title": "openssl: OpenSSL: Heap buffer overflow on 32-bit systems from large X.509 certificate processing", + "scopes": [ + "valkey/valkey:8.1.4-alpine" + ] + }, + { + "id": "CVE-2025-68121", + "package": "stdlib", + "installed_version": "v1.24.8", + "fixed_version": "1.24.13, 1.25.7, 1.26.0-rc.3", + "severity": "CRITICAL", + "title": "crypto/tls: crypto/tls: Incorrect certificate validation during TLS session resumption", + "scopes": [ + "mtusi-minio:RELEASE.2025-10-15T17-29-55Z" + ] + }, + { + "id": "CVE-2025-68121", + "package": "stdlib", + "installed_version": "v1.25.3", + "fixed_version": "1.24.13, 1.25.7, 1.26.0-rc.3", + "severity": "CRITICAL", + "title": "crypto/tls: crypto/tls: Incorrect certificate validation during TLS session resumption", + "scopes": [ + "nginx/nginx-prometheus-exporter:1.5.1" + ] + }, + { + "id": "CVE-2025-68121", + "package": "stdlib", + "installed_version": "v1.24.6", + "fixed_version": "1.24.13, 1.25.7, 1.26.0-rc.3", + "severity": "CRITICAL", + "title": "crypto/tls: crypto/tls: Incorrect certificate validation during TLS session resumption", + "scopes": [ + "postgres:17.6-alpine3.22" + ] + } + ], + "findings_scope": "all repository findings and critical image findings; full findings in raw reports", + "raw_report": "evidence/runtime/security-scan/trivy-fs.json", + "image_raw_reports": [ + "evidence/runtime/security-scan/trivy-image-1.json", + "evidence/runtime/security-scan/trivy-image-2.json", + "evidence/runtime/security-scan/trivy-image-3.json", + "evidence/runtime/security-scan/trivy-image-4.json", + "evidence/runtime/security-scan/trivy-image-5.json", + "evidence/runtime/security-scan/trivy-image-6.json", + "evidence/runtime/security-scan/trivy-image-7.json", + "evidence/runtime/security-scan/trivy-image-8.json", + "evidence/runtime/security-scan/trivy-image-9.json", + "evidence/runtime/security-scan/trivy-image-10.json", + "evidence/runtime/security-scan/trivy-image-11.json", + "evidence/runtime/security-scan/trivy-image-12.json", + "evidence/runtime/security-scan/trivy-image-13.json", + "evidence/runtime/security-scan/trivy-image-14.json", + "evidence/runtime/security-scan/trivy-image-15.json", + "evidence/runtime/security-scan/trivy-image-16.json", + "evidence/runtime/security-scan/trivy-image-17.json" + ] +} diff --git a/evidence/lab7-worker-compromise.json b/evidence/lab7-worker-compromise.json new file mode 100644 index 0000000..83d3f96 --- /dev/null +++ b/evidence/lab7-worker-compromise.json @@ -0,0 +1,12 @@ +{ + "schema_version": 1, + "scenario": "worker credential compromise and rotation", + "generated_at": "2026-11-06T18:08:45+00:00", + "recovery_seconds": 21, + "old_credential_rejected": true, + "old_database_credential_rejected": true, + "old_s3_credential_rejected": true, + "openbao_secret_rotated": true, + "queued_attachment_preserved": true, + "result": "PASS" +} diff --git a/infra/openbao/README.md b/infra/openbao/README.md index 2b75368..37037f6 100644 --- a/infra/openbao/README.md +++ b/infra/openbao/README.md @@ -22,8 +22,8 @@ scripts/openbao-init.sh scripts/openbao-unseal.sh chmod 0600 .runtime/openbao/seed/api.json .runtime/openbao/seed/worker.json scripts/openbao-bootstrap.sh \ - .runtime/openbao/seed/api.json \ - .runtime/openbao/seed/worker.json + "$PWD/.runtime/openbao/seed/api.json" \ + "$PWD/.runtime/openbao/seed/worker.json" scripts/openbao-test-policy.sh ``` @@ -37,7 +37,7 @@ Seed-файлы — непустые JSON-объекты с фактически ```sh chmod 0600 .runtime/openbao/seed/api-next.json -scripts/openbao-rotate.sh api .runtime/openbao/seed/api-next.json +scripts/openbao-rotate.sh api "$PWD/.runtime/openbao/seed/api-next.json" ``` Ротация создаёт новую версию KV v2 и новый короткоживущий `SecretID`; предыдущий accessor отзывается. Agent перечитывает статический secret не позднее пяти минут. Уже выданный token может жить до своего TTL, поэтому при компрометации дополнительно отзывают его accessor или отключают роль и перезапускают Agent с новой идентичностью. diff --git a/infra/openbao/agent/api-secrets.ctmpl b/infra/openbao/agent/api-secrets.ctmpl index 3e8892b..6e7ab45 100644 --- a/infra/openbao/agent/api-secrets.ctmpl +++ b/infra/openbao/agent/api-secrets.ctmpl @@ -1,4 +1,3 @@ {{- with secret "secret/data/messenger/api" -}} {{ .Data.data | toJSON }} {{- end -}} - diff --git a/infra/openbao/agent/api.hcl b/infra/openbao/agent/api.hcl index 964d993..5f7bf0b 100644 --- a/infra/openbao/agent/api.hcl +++ b/infra/openbao/agent/api.hcl @@ -41,4 +41,3 @@ template { perms = "0600" backup = false } - diff --git a/infra/openbao/agent/worker-secrets.ctmpl b/infra/openbao/agent/worker-secrets.ctmpl index 9e2f36e..211b79d 100644 --- a/infra/openbao/agent/worker-secrets.ctmpl +++ b/infra/openbao/agent/worker-secrets.ctmpl @@ -1,4 +1,3 @@ {{- with secret "secret/data/messenger/worker" -}} {{ .Data.data | toJSON }} {{- end -}} - diff --git a/infra/openbao/agent/worker.hcl b/infra/openbao/agent/worker.hcl index 66567de..762e83c 100644 --- a/infra/openbao/agent/worker.hcl +++ b/infra/openbao/agent/worker.hcl @@ -41,4 +41,3 @@ template { perms = "0600" backup = false } - diff --git a/infra/openbao/config.hcl b/infra/openbao/config.hcl index 939484f..38e734a 100644 --- a/infra/openbao/config.hcl +++ b/infra/openbao/config.hcl @@ -17,4 +17,3 @@ listener "tcp" { } log_level = "info" - diff --git a/infra/openbao/policies/messenger-api.hcl b/infra/openbao/policies/messenger-api.hcl index aaebd73..4b4edb6 100644 --- a/infra/openbao/policies/messenger-api.hcl +++ b/infra/openbao/policies/messenger-api.hcl @@ -29,4 +29,3 @@ path "auth/token/revoke-self" { path "sys/policies/*" { capabilities = ["deny"] } - diff --git a/infra/openbao/policies/messenger-worker.hcl b/infra/openbao/policies/messenger-worker.hcl index 8357e16..4eba2a5 100644 --- a/infra/openbao/policies/messenger-worker.hcl +++ b/infra/openbao/policies/messenger-worker.hcl @@ -29,4 +29,3 @@ path "auth/token/revoke-self" { path "sys/policies/*" { capabilities = ["deny"] } - diff --git a/internal/bootstrap/pipeline.go b/internal/bootstrap/pipeline.go index e25b114..031c87d 100644 --- a/internal/bootstrap/pipeline.go +++ b/internal/bootstrap/pipeline.go @@ -28,7 +28,7 @@ import ( "gitea.privcloud.tech/dizi/mtusi2026lab7/internal/telemetry" ) -func RunDispatcher(logger *slog.Logger) error { +func RunDispatcher() error { settings, err := config.LoadDispatcher() if err != nil { return err @@ -87,7 +87,7 @@ func RunDispatcher(logger *slog.Logger) error { ) } -func RunWorker(logger *slog.Logger) error { +func RunWorker() error { settings, err := config.LoadWorker() if err != nil { return err diff --git a/internal/bootstrap/server.go b/internal/bootstrap/server.go index d464a5b..6d04653 100644 --- a/internal/bootstrap/server.go +++ b/internal/bootstrap/server.go @@ -5,7 +5,6 @@ import ( "crypto/tls" "errors" "fmt" - "log/slog" "net" "net/http" "os" @@ -30,7 +29,7 @@ type serverResult struct { err error } -func RunServer(logger *slog.Logger) error { +func RunServer() error { settings, err := config.LoadServer() if err != nil { return err diff --git a/internal/config/loader.go b/internal/config/loader.go index 5084cd1..00e6ea0 100644 --- a/internal/config/loader.go +++ b/internal/config/loader.go @@ -74,7 +74,7 @@ func loadSecretFile(values *viper.Viper, path string) error { if err != nil { return fmt.Errorf("open messenger secrets: %w", err) } - defer file.Close() + defer func() { _ = file.Close() }() decoder := json.NewDecoder(io.LimitReader(file, 64<<10)) var secrets map[string]string if err := decoder.Decode(&secrets); err != nil { diff --git a/internal/messenger/httpapi/attachments.go b/internal/messenger/httpapi/attachments.go index 84b6a79..09c9236 100644 --- a/internal/messenger/httpapi/attachments.go +++ b/internal/messenger/httpapi/attachments.go @@ -6,7 +6,6 @@ import ( "mime" "net/http" "net/url" - "regexp" "strconv" "strings" "time" @@ -153,22 +152,6 @@ func attachmentVariant(query url.Values) (string, bool) { } } -var traceparentPattern = regexp.MustCompile(`^00-[0-9a-f]{32}-[0-9a-f]{16}-[0-9a-f]{2}$`) - -func traceparent(value string) string { - if traceparentPattern.MatchString(value) { - return value - } - return "" -} - -func tracestate(value string) string { - if len(value) <= 512 { - return value - } - return "" -} - func attachmentIDFromRequest(r *http.Request) (string, *apiError) { parts := strings.Split(strings.Trim(r.URL.Path, "/"), "/") attachmentID, valid := canonicalID(parts[3]) diff --git a/internal/postgres/attachments.go b/internal/postgres/attachments.go index 2a5d759..6b1beb6 100644 --- a/internal/postgres/attachments.go +++ b/internal/postgres/attachments.go @@ -263,21 +263,6 @@ func scanAttachmentWithReferenceAndObjectKey( return err } -func scanAttachmentWithReference(row rowScanner, attachment *model.Attachment) error { - var stagingKey *string - err := row.Scan( - &attachment.ID, &attachment.ChatID, &attachment.OwnerID, &attachment.Filename, - &attachment.ContentType, &attachment.SizeBytes, &attachment.SHA256, &attachment.ObjectKey, - &attachment.Status, &attachment.CreatedAt, &attachment.UpdatedAt, &attachment.ReadyAt, - &attachment.PipelineVersion, &attachment.ErrorCode, &stagingKey, - &attachment.Referenced, - ) - if stagingKey != nil { - attachment.StagingKey = *stagingKey - } - return err -} - func (s *Store) AttachmentReferenced(ctx context.Context, attachmentID string) (bool, error) { const query = `SELECT EXISTS (SELECT 1 FROM message_attachments WHERE attachment_id = $1)` var referenced bool diff --git a/internal/security/mtlsproxy/proxy.go b/internal/security/mtlsproxy/proxy.go index ff88d71..29e435f 100644 --- a/internal/security/mtlsproxy/proxy.go +++ b/internal/security/mtlsproxy/proxy.go @@ -40,7 +40,7 @@ func Run(ctx context.Context, config Config) error { if err != nil { return fmt.Errorf("listen: %w", err) } - defer listener.Close() + defer func() { _ = listener.Close() }() go func() { <-ctx.Done() _ = listener.Close() @@ -66,7 +66,7 @@ func Run(ctx context.Context, config Config) error { func serve(ctx context.Context, connection net.Conn, config Config, tlsConfiguration *tls.Config) { client := tls.Server(connection, tlsConfiguration) - defer client.Close() + defer func() { _ = client.Close() }() handshakeCtx, cancel := context.WithTimeout(ctx, config.DialTimeout) defer cancel() if err := client.HandshakeContext(handshakeCtx); err != nil { @@ -76,7 +76,7 @@ func serve(ctx context.Context, connection net.Conn, config Config, tlsConfigura if err != nil { return } - defer target.Close() + defer func() { _ = target.Close() }() result := make(chan struct{}, 2) copyConnection := func(destination, source net.Conn) { diff --git a/internal/security/tlsconfig/server_test.go b/internal/security/tlsconfig/server_test.go index 3183b4f..55c9a1b 100644 --- a/internal/security/tlsconfig/server_test.go +++ b/internal/security/tlsconfig/server_test.go @@ -73,7 +73,7 @@ func handshake(serverConfig, clientConfig *tls.Config) (error, error) { if err != nil { return err, err } - defer listener.Close() + defer func() { _ = listener.Close() }() serverResult := make(chan error, 1) go func() { connection, acceptErr := listener.Accept() diff --git a/scripts/bao-docker.sh b/scripts/bao-docker.sh index 303b988..ed51bc4 100755 --- a/scripts/bao-docker.sh +++ b/scripts/bao-docker.sh @@ -6,5 +6,7 @@ script_dir=$(CDPATH= cd -- "$(dirname -- "$0")" && pwd) repo_dir=$(CDPATH= cd -- "$script_dir/.." && pwd) env_file=${ENV_FILE:-$repo_dir/lab7.env.example} +"$script_dir/sync-docker-workspace.sh" + exec docker compose --project-directory "$repo_dir" --env-file "$env_file" run --rm --no-deps -T \ -v "$repo_dir:$repo_dir:ro" openbao-cli "$@" diff --git a/scripts/bootstrap-local.sh b/scripts/bootstrap-local.sh index 07c6233..fa35970 100755 --- a/scripts/bootstrap-local.sh +++ b/scripts/bootstrap-local.sh @@ -20,14 +20,17 @@ if [ ! -f "$repo_dir/.runtime/security/openbao/tls.crt" ]; then fi "$script_dir/openbao-seed.sh" "$env_file" +"$script_dir/sync-docker-workspace.sh" compose up -d security-bootstrap openbao-permissions openbao -openbao_address=$(compose port openbao 8200) -BAO_ADDR="https://$openbao_address" +if [ -z "${BAO_ADDR:-}" ]; then + openbao_address=$(compose port openbao 8200) + BAO_ADDR="https://$openbao_address" +fi BAO_CACERT="$repo_dir/.runtime/security/openbao/ca.crt" export BAO_ADDR BAO_CACERT ENV_FILE="$env_file" remaining=60 -until curl --silent --show-error --cacert "$BAO_CACERT" \ +until curl --silent --show-error --connect-timeout 2 --max-time 3 --cacert "$BAO_CACERT" \ --output /dev/null "$BAO_ADDR/v1/sys/health"; do remaining=$((remaining - 1)) [ "$remaining" -gt 0 ] || { @@ -40,7 +43,7 @@ done ENV_FILE="$env_file" "$script_dir/openbao-init.sh" ENV_FILE="$env_file" "$script_dir/openbao-unseal.sh" remaining=60 -until curl --fail --silent --show-error --cacert "$BAO_CACERT" \ +until curl --fail --silent --show-error --connect-timeout 2 --max-time 3 --cacert "$BAO_CACERT" \ --output /dev/null "$BAO_ADDR/v1/sys/health"; do remaining=$((remaining - 1)) [ "$remaining" -gt 0 ] || { diff --git a/scripts/lab7-worker-compromise.sh b/scripts/lab7-worker-compromise.sh index f9d9294..5239a8c 100755 --- a/scripts/lab7-worker-compromise.sh +++ b/scripts/lab7-worker-compromise.sh @@ -56,8 +56,10 @@ mkdir -p "$runtime_dir" chmod 0700 "$repo_dir/.runtime/evidence" "$runtime_dir" trap restore EXIT HUP INT TERM -openbao_address=$(compose port openbao 8200) -BAO_ADDR="https://$openbao_address" +if [ -z "${BAO_ADDR:-}" ]; then + openbao_address=$(compose port openbao 8200) + BAO_ADDR="https://$openbao_address" +fi BAO_CACERT="$repo_dir/.runtime/security/openbao/ca.crt" export BAO_ADDR BAO_CACERT diff --git a/scripts/openbao-bootstrap.sh b/scripts/openbao-bootstrap.sh index dc67ac5..e27e458 100755 --- a/scripts/openbao-bootstrap.sh +++ b/scripts/openbao-bootstrap.sh @@ -90,4 +90,3 @@ done "$script_dir/openbao-issue-approle.sh" worker "$openbao_runtime_dir/approle/worker" echo "OpenBao policies, AppRoles and KV v2 secrets configured" - diff --git a/scripts/openbao-common.sh b/scripts/openbao-common.sh index 9497ce6..385486a 100755 --- a/scripts/openbao-common.sh +++ b/scripts/openbao-common.sh @@ -30,7 +30,9 @@ require_file() { require_private_file() { require_file "$1" - permissions=$(stat -f '%Lp' "$1" 2>/dev/null || stat -c '%a' "$1") + if ! permissions=$(stat -c '%a' "$1" 2>/dev/null); then + permissions=$(stat -f '%Lp' "$1") + fi case "$permissions" in 600|400) ;; *) fail "file must have permissions 0600 or 0400: $1" ;; @@ -88,4 +90,3 @@ require_unsealed() { [ "$initialized" = "true" ] || fail "OpenBao is not initialized" [ "$sealed" = "false" ] || fail "OpenBao is sealed" } - diff --git a/scripts/openbao-init.sh b/scripts/openbao-init.sh index 9e36a33..7725646 100755 --- a/scripts/openbao-init.sh +++ b/scripts/openbao-init.sh @@ -43,4 +43,3 @@ mv "$init_file" "$openbao_operator_file" echo "OpenBao initialized; operator material saved to .runtime/openbao/operator/init.json" echo "Keep this file offline and run scripts/openbao-unseal.sh" - diff --git a/scripts/openbao-issue-approle.sh b/scripts/openbao-issue-approle.sh index 4506ab9..82a340b 100755 --- a/scripts/openbao-issue-approle.sh +++ b/scripts/openbao-issue-approle.sh @@ -79,9 +79,9 @@ if [ -n "$old_accessor" ]; then fi if [ "$output_dir" = "$openbao_runtime_dir/approle/$service" ]; then + "$script_dir/sync-docker-workspace.sh" docker compose --project-directory "$repo_dir" --env-file "${ENV_FILE:-$repo_dir/lab7.env.example}" \ run --rm --no-deps -e SERVICE="$service" openbao-identity-install fi echo "issued short-lived AppRole credentials for $service in ${output_dir#"$repo_dir/"}" - diff --git a/scripts/openbao-rotate.sh b/scripts/openbao-rotate.sh index 7460197..3ab0485 100755 --- a/scripts/openbao-rotate.sh +++ b/scripts/openbao-rotate.sh @@ -39,4 +39,3 @@ PY "$script_dir/openbao-issue-approle.sh" "$service" "$openbao_runtime_dir/approle/$service" echo "$service secret rotated; OpenBao Agent will render the new KV version" - diff --git a/scripts/openbao-test-policy.sh b/scripts/openbao-test-policy.sh index 7134e5c..f6301e6 100755 --- a/scripts/openbao-test-policy.sh +++ b/scripts/openbao-test-policy.sh @@ -137,4 +137,3 @@ expect_status worker GET sys/policies/acl 403 expect_status worker POST auth/token/renew-self 200 '{}' echo "OpenBao AppRole allow/deny and renewal checks passed" - diff --git a/scripts/openbao-unseal.sh b/scripts/openbao-unseal.sh index ae8586d..5bc6c8a 100755 --- a/scripts/openbao-unseal.sh +++ b/scripts/openbao-unseal.sh @@ -48,4 +48,3 @@ openbao_status "$status_file" [ "$(json_field "$status_file" sealed)" = "false" ] || fail "OpenBao remains sealed" echo "OpenBao unsealed" - diff --git a/scripts/scan-security.sh b/scripts/scan-security.sh index ffd40ad..f6c8fce 100755 --- a/scripts/scan-security.sh +++ b/scripts/scan-security.sh @@ -17,6 +17,7 @@ if [ -z "$image_list" ]; then fi mkdir -p "$runtime_dir" "$cache_dir" +"$script_dir/sync-docker-workspace.sh" docker run --rm \ -v "$repo_dir:/src:ro" \ @@ -50,6 +51,8 @@ for image in $image_list; do image_reports="$image_reports $image=$report" done +"$script_dir/sync-docker-workspace.sh" --pull-scan + python3 - "$raw_file" "$summary_file" $image_reports <<'PY' import datetime import json diff --git a/scripts/sync-docker-workspace.sh b/scripts/sync-docker-workspace.sh new file mode 100755 index 0000000..4c89b20 --- /dev/null +++ b/scripts/sync-docker-workspace.sh @@ -0,0 +1,38 @@ +#!/bin/sh + +set -eu + +[ "${DOCKER_WORKSPACE_MIRROR:-0}" = "1" ] || exit 0 + +script_dir=$(CDPATH= cd -- "$(dirname -- "$0")" && pwd) +repo_dir=$(CDPATH= cd -- "$script_dir/.." && pwd) +mode=${1:-sync} + +case "$mode" in + sync|--pull-scan) ;; + *) echo "usage: $0 [--pull-scan]" >&2; exit 2 ;; +esac + +[ -f "$repo_dir/compose.yaml" ] || { + echo "repository checkout is incomplete" >&2 + exit 1 +} + +container=$(docker create --network none \ + -v "$repo_dir:/workspace" \ + alpine:3.24.2 /bin/true) + +cleanup() { + docker rm -f "$container" >/dev/null 2>&1 || true +} + +trap cleanup EXIT HUP INT TERM + +if [ "$mode" = "--pull-scan" ]; then + destination=$repo_dir/evidence/runtime/security-scan + mkdir -p "$destination" + docker cp "$container:/workspace/evidence/runtime/security-scan/." "$destination" + exit 0 +fi + +docker cp "$repo_dir/." "$container:/workspace" diff --git a/scripts/test-leaf-rotation.sh b/scripts/test-leaf-rotation.sh index c68e779..729e70a 100755 --- a/scripts/test-leaf-rotation.sh +++ b/scripts/test-leaf-rotation.sh @@ -25,6 +25,7 @@ compose_rotated() { } install_security_material() { + "$script_dir/sync-docker-workspace.sh" compose run --rm --no-deps security-bootstrap >/dev/null } diff --git a/security/THREAT_MODEL.md b/security/THREAT_MODEL.md index 31da287..54eec22 100644 --- a/security/THREAT_MODEL.md +++ b/security/THREAT_MODEL.md @@ -1,19 +1,50 @@ -# Модель угроз — заполнить +# Модель угроз ## Активы и акторы -TODO: пользовательские credentials/сессии, сообщения/вложения, service identities, CA/secrets, telemetry. Акторы: участник чата, посторонний пользователь, внешний клиент, скомпрометированный сервис, оператор. Опишите доступ атакующего и границы учебного стенда. +Защищаются пароли и сессии пользователей, сообщения и вложения, задания обработки, сервисные учётные данные, ключи PKI, секреты OpenBao и telemetry. В модели участвуют пользователь чата, посторонний пользователь, внешний клиент, скомпрометированный сервис и оператор стенда. + +Внешний клиент видит только HTTPS ingress. Сервисные сети, PostgreSQL, Valkey, Redis Streams, MinIO, OpenBao и telemetry не публикуются наружу. Оператор владеет CA private keys, root token и unseal material; приложения их не получают. Границы и identities перечислены в [матрице доверия](../contracts/trust-matrix.md). ## Границы доверия -TODO: схема и ссылка на заполненную contracts/trust-matrix.md; публичные/внутренние интерфейсы, процессы, секреты и их выдача. +```mermaid +flowchart LR + C[Клиент] -->|TLS + Bearer| N[Nginx] + N -->|mTLS: load-balancer| A[API x2] + A -->|TLS + отдельная роль| P[(PostgreSQL)] + A -->|mTLS + ACL| V[(Valkey)] + A -->|HTTPS + scoped key| S[(MinIO)] + D[Dispatcher] -->|mTLS + producer ACL| R[(Redis Streams)] + W[Worker] -->|mTLS + consumer ACL| R + W -->|HTTPS + scoped key| S + A -->|mTLS| O[OTel gateway] + W -->|mTLS| O + BA[OpenBao Agent] -->|TLS + AppRole| B[(OpenBao Raft)] + BA -->|0600 file| A +``` | Угроза и конкретный путь | Нарушаемый инвариант | Контроль | Отрицательный тест | Остаточное ограничение | | --- | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | TODO | - -На 4 минимум 6 конкретных угроз. Не заменяйте сценарии словами «SQL injection», «безопасный Docker», «mTLS включён» без пути и проверки. +| Клиент подменяет ingress или подключается к нему с чужим CA/hostname | Клиент общается с ожидаемым сервером | TLS 1.3, проверка публичного CA и SAN `localhost` | `make test-security` отклоняет пустой/чужой CA и неверный hostname | Локальный CA учебный; его private key хранит оператор | +| Процесс в сети обращается прямо к API, выдавая себя за LB | Бизнес API доступен только ingress | API требует client certificate и URI SAN `spiffe://mtusi/lab7/load-balancer` | `make test-tls-matrix`: нет cert, чужой CA и same-CA forbidden identity отклоняются | Нет полноценной service mesh revocation; leaf меняется оператором | +| Postgres role одного сервиса читает таблицы другого | Компрометация worker/dispatcher не раскрывает пользователей и сообщения | Раздельные роли, `pg_hba`, grants по таблицам, TLS `verify-full`, сопоставление role и client certificate | dependency matrix: worker не читает `users`, dispatcher не читает `attachments`, API с worker cert не входит | Миграционная роль привилегированна и запускается только одноразовым job | +| API или worker выходит за разрешённый S3 prefix | Временные и готовые объекты доступны только владельцу этапа | Разные MinIO users/policies и HTTPS | dependency matrix запрещает API писать `attachments/` и worker писать `private/` | MinIO root credentials нужны bootstrap job и не монтируются в приложения | +| Producer читает очередь или worker пишет произвольный stream | Разделены отправка и обработка заданий | Redis ACL, разные users и mTLS identities | dependency matrix запрещает dispatcher `XREAD`, worker — `XADD` в unrelated stream | Redis Streams даёт at-least-once; дедупликация остаётся в PostgreSQL | +| Чужой same-CA сервис отправляет telemetry | Только известные сервисы создают traces/logs/metrics | OTel Envoy проверяет URI SAN API/worker/dispatcher/reconciler | dependency matrix отклоняет Prometheus identity | Collector доступен через gateway; локальный hop gateway→collector изолирован сетью | +| Украденный password hash перебирается offline | Пароль остаётся дорогим для перебора | Argon2id с salt и параметрами; rehash после успешного login | unit tests проверяют формат, verify и `NeedsRehash` | Слабый пароль всё ещё можно подобрать; параметры требуют периодического пересмотра | +| Login DoS или подбор пароля идёт через разные API replicas | Лимит един для всего ingress | Атомарный Lua limiter в Valkey по login и source address, `429 Retry-After` | `make test-login-rate-limit` распределяет запросы между двумя replicas | При недоступности Valkey login закрывается ошибкой зависимости | +| Пользователь подделывает `X-User-Id` или читает чужое вложение | Identity берётся только из Bearer session; ACL чата обязательна | Hash session token в Valkey, membership checks в PostgreSQL | публичный smoke/security и унаследованные ACL tests | Отзыв сессии зависит от доступности Valkey | +| API получает worker secret или меняет политики OpenBao | Сервис видит только свой KV path | Отдельные AppRole, policies, renewable token и Agent template | `scripts/openbao-test-policy.sh`: own read 200, cross/write/policy 403, renew 200 | Initial SecretID записывает оператор в файл `0600`; в production нужен response wrapping | +| Компрометированный worker продолжает работать после отзыва | Отозванная identity больше не обрабатывает задания | Ротация Redis credential и worker KV secret, перезапуск Agent/worker | `make test-worker-compromise`: старый credential отвергнут, новая задача сохранена и обработана после ротации | Уже открытое соединение живёт до разрыва; сценарий принудительно перезапускает broker gateway | +| Секрет или private key попадает в Git/image/log | Credentials не покидают runtime storage | `.runtime` игнорируется, secrets как files, read-only mounts, scan secret detector | `make scan-security`, `secret_findings=0` | Локальный Docker volume и host filesystem защищает оператор | ## Lifecycle и инциденты -TODO: bootstrap, expiry/renewal, revoke/rotation, компрометация identity, sealed OpenBao и восстановление. Указать владельца CA/unseal и способ защиты bootstrap credentials. Сопоставить scan findings с реальной применимостью и исправлением/остаточным риском. +`infra/pki/bootstrap.sh` создаёт три CA и leaf certificates в `.runtime/security` с правами `0700/0600`; `security-bootstrap` переносит только нужные материалы в отдельные volumes. OpenBao работает в non-dev режиме на persistent Raft storage. Первый `init` сохраняет operator material в игнорируемом каталоге с правами `0600`; оператор выполняет `unseal`, bootstrap policies и выдачу AppRole. Root token не передаётся приложениям. + +OpenBao Agent аутентифицируется через отдельный AppRole, обновляет renewable token и рендерит JSON secret в защищённый Docker volume. Короткоживущий SecretID допускает повторный вход в пределах часа; затем оператор выдаёт новый. Ротация выполняется `scripts/openbao-rotate.sh`, после чего Agent перечитывает KV и приложение перезапускается без пересборки образа. При sealed OpenBao уже запущенный процесс продолжает работать с последним отрендеренным secret до его перезапуска; новый Agent не получит token, и расширенный healthcheck не признает его healthy по одному старому файлу. + +При компрометации worker оператор меняет broker password, обновляет `secret/messenger/worker`, отзывает старый AppRole SecretID/токен и пересоздаёт worker. Задание остаётся в Redis Stream/PostgreSQL и после восстановления обрабатывается повторно безопасно. + +Trivy проверяет зависимости, Docker/Compose misconfiguration и secrets. Исправляемые CRITICAL/HIGH зависимости обновляются до fixed versions. Замечания к одноразовым bootstrap/test containers оцениваются отдельно: они не публикуют портов, не входят в runtime приложения и запускаются только оператором; где возможно, для них также используется non-root user.