Compare commits
1
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
36a56b3fe3 |
@@ -18,3 +18,5 @@ __pycache__
|
||||
node_modules
|
||||
evidence
|
||||
.DS_Store
|
||||
|
||||
.local/
|
||||
|
||||
+3
-40
@@ -1,41 +1,4 @@
|
||||
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
|
||||
# These are logical interface suggestions; map actual framework names in REPORT.md.
|
||||
APP_HOST=0.0.0.0
|
||||
APP_PORT=8080
|
||||
APP_ENV=lab
|
||||
SESSION_TTL_SECONDS=3600
|
||||
# Choose credentials locally. File paths contain no secret values.
|
||||
DATABASE_URL_FILE=/run/secrets/database_url
|
||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
||||
SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
COMPOSE_PROJECT_NAME=mtusi2026lab77
|
||||
APP_PORT=8443
|
||||
API_REPLICAS=2
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=https://s3:9000
|
||||
S3_REGION=us-east-1
|
||||
S3_BUCKET=messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
BROKER_URL_FILE=/run/secrets/broker_url
|
||||
WORKER_CONCURRENCY=2
|
||||
JOB_MAX_ATTEMPTS=5
|
||||
JOB_TIMEOUT_SECONDS=60
|
||||
STAGING_RETENTION_SECONDS=86400
|
||||
OTEL_SERVICE_NAME=messenger-api
|
||||
# Worker must set a distinct service.name.
|
||||
OTEL_EXPORTER_OTLP_ENDPOINT=https://otel-collector:4318
|
||||
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf
|
||||
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab
|
||||
# TLS and OpenBao: actual paths/ports depend on your implemented trust matrix.
|
||||
PUBLIC_BASE_URL=https://localhost:8443
|
||||
TLS_CA_FILE=/run/secrets/ca.crt
|
||||
TLS_CERT_FILE=/run/secrets/service.crt
|
||||
TLS_KEY_FILE=/run/secrets/service.key
|
||||
BAO_ADDR=https://openbao:8200
|
||||
BAO_CACERT=/run/secrets/bao-ca.crt
|
||||
# No root token here. Bootstrap operator -> short-lived service auth -> scoped token.
|
||||
ARGON2_MEMORY_KIB=19456
|
||||
ARGON2_ITERATIONS=2
|
||||
ARGON2_PARALLELISM=1
|
||||
APP_IMAGE=mtusi-messenger:lab7
|
||||
|
||||
@@ -0,0 +1,4 @@
|
||||
# Matplotlib SVG paths contain generated trailing separators.
|
||||
evidence/**/*.svg -whitespace
|
||||
# Preserve generated measurements byte-for-byte for evidence checksums.
|
||||
evidence/**/*.csv -text -whitespace
|
||||
@@ -1,18 +1,14 @@
|
||||
## Лабораторная 7
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор: Каменский Андрей, БПИ2301. Целевая оценка: 4. Трек 5 не заявлен.
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
На базе lab6 добавлены HTTPS/mTLS с проверкой service identities, scoped certificate auth и KV OpenBao, renewal/rotation/revoke, общий Redis login limit и password rehash. Ужесточены контейнеры, сохранены image pipeline/outbox и telemetry.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Запуск: `python3 scripts/lab7.py bootstrap`; проверки: README и REPORT.md. Реальные результаты: evidence/acceptance-summary.json, security-summary.json, lifecycle-summary.json, persistence-summary.json, failover-summary.json, audit-summary.json. Разбор оставшихся image findings: SCAN_TRIAGE.md.
|
||||
|
||||
Ограничения: single host/storage, ручной unseal, плановое обновление leaf, без автоматического CA rollover. Известные уязвимости сторонних images разобраны и не скрываются. Использовался Codex; результаты проверены запуском стенда.
|
||||
|
||||
- [x] Бизнес-контракт и публичные тесты сохранены.
|
||||
- [x] Секреты генерируются локально и исключены из Git/images.
|
||||
- [x] Матрица доверия и модель угроз заполнены.
|
||||
- [x] Команды и доказательства перечислены в REPORT.md.
|
||||
|
||||
@@ -30,3 +30,7 @@ coverage/
|
||||
.vscode/
|
||||
# Keep small, sanitized evidence summaries in evidence/ under version control.
|
||||
# Inspect git diff --cached: ignore rules are not a secret scanner.
|
||||
|
||||
.ruff_cache/
|
||||
|
||||
.local/
|
||||
|
||||
+29
@@ -0,0 +1,29 @@
|
||||
FROM python:3.13.13-slim-bookworm
|
||||
|
||||
ENV PYTHONDONTWRITEBYTECODE=1 \
|
||||
PYTHONUNBUFFERED=1
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
COPY requirements.txt .
|
||||
RUN pip install --no-cache-dir -r requirements.txt \
|
||||
&& python -m pip uninstall --yes pip \
|
||||
&& addgroup --system --gid 10001 app \
|
||||
&& adduser --system --uid 10001 --ingroup app app
|
||||
|
||||
RUN apt-get update -qq \
|
||||
&& apt-get upgrade -y -qq --no-install-recommends \
|
||||
&& rm -rf /var/lib/apt/lists/*
|
||||
|
||||
COPY --chown=app:app src ./src
|
||||
COPY --chown=app:app migrations ./migrations
|
||||
COPY --chown=app:app infra/s3 ./infra/s3
|
||||
COPY --chown=app:app alembic.ini ./alembic.ini
|
||||
|
||||
USER app
|
||||
EXPOSE 8080
|
||||
|
||||
HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 \
|
||||
CMD python -c "import urllib.request; from src.core.settings import settings; urllib.request.urlopen(f'http://127.0.0.1:{settings.app_port}/health/ready', timeout=settings.healthcheck_timeout_seconds)"
|
||||
|
||||
CMD ["python", "-m", "src"]
|
||||
@@ -1,8 +0,0 @@
|
||||
# Teaching outline, not a runnable Dockerfile. Implement your own Dockerfile.
|
||||
# 1. Choose a runtime/toolchain version and pin the base image tag/digest.
|
||||
# 2. Copy dependency manifests first; install from the language lockfile.
|
||||
# 3. Copy source and build. For compiled languages use a separate runtime stage.
|
||||
# 4. Run the HTTP process as PID 1; listen on 0.0.0.0:8080.
|
||||
# 5. Add non-root, signals and healthcheck according to the current rubric.
|
||||
# 6. Pass runtime config/secrets at startup, never COPY .env or secret files.
|
||||
# This file deliberately has no FROM/CMD: selecting/implementing them is the task.
|
||||
+112
@@ -0,0 +1,112 @@
|
||||
# Лабораторная 7. Безопасность, mTLS и OpenBao
|
||||
|
||||
Защитить работающий мессенджер на границах доверия и показать защиту отрицательными проверками: чужой доступ, неверный сертификат, недостаточные права и отзыв credentials.
|
||||
|
||||
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
|
||||
|
||||
[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md)
|
||||
|
||||
## Откуда начинаем
|
||||
|
||||
Перенесите минимум lab6. Бизнес-API сохраняется, внешний endpoint теперь HTTPS. Новые секреты и ключи создаются для стенда, не поставляются в skeleton.
|
||||
|
||||
**Архитектура:** Клиент — TLS → LB — mTLS → API; API/worker — TLS (+ клиентские cert где требуется матрицей) → зависимости; OpenBao выдаёт scoped credentials. Grafana/OTel остаются внутри доверенной сети.
|
||||
|
||||
## Что сделать
|
||||
|
||||
1. Составьте модель угроз и contracts/trust-matrix.md: активы, акторы, границы, протокол/идентичность каждой связи и проверяемые отказы.
|
||||
2. Переведите password storage на Argon2id, настройте сессии/лимиты и проведите негативные тесты ACL/вложений.
|
||||
3. Сделайте внешний TLS и обязательное внутреннее mTLS LB→API. Для остальных связей следуйте матрице: шифрование и отдельные identities; на 4 расширяется mTLS.
|
||||
4. Добавьте OpenBao вне dev-mode: постоянное хранение, документированный init/unseal, политики и аутентификация сервисов с ограниченным TTL. Root token и unseal keys остаются у оператора.
|
||||
5. Уберите избыточные privileges/ports, задайте лимиты, проверьте certificates/secrets lifecycle. Повторите smoke, перезапуск и отказ реплики через HTTPS без отключения проверки сертификата.
|
||||
|
||||
## Оценка «3»: работающий минимум
|
||||
|
||||
- Все предыдущие обязательные возможности работают через HTTPS с проверяемым CA и hostname/SAN. Argon2id хранит salt и параметры; базовая конфигурация не ниже 19 MiB, t=2, p=1, итоговые параметры обоснованы измерением на своём стенде.
|
||||
- LB→каждая API-реплика использует обязательное mTLS: без client certificate, с чужим CA или неверной identity соединение отклоняется; прямого обхода публичным API-портом нет. Сервер проверяет не только цепочку CA, но и разрешённую identity (SAN/роль).
|
||||
- Остальные сетевые связи с DB, S3, broker, Collector, telemetry backends и OpenBao шифруются TLS с проверкой сервера; где продукт не поддерживает native TLS, используется проверенный TLS proxy/sidecar и закрытый локальный hop. Раздельные учётные данные и минимальные права фиксируются в матрице.
|
||||
- OpenBao — часть общего стенда, работает не в dev-mode с persistent storage. API/worker получают secrets через сервисную аутентификацию и scoped policy; приложение не использует root token, unseal keys или безграничный общий токен.
|
||||
- Контейнеры без privileged/host network/Docker socket; app и worker — non-root, без лишних capabilities, с resource limits. Наружу доступны только нужный TLS ingress и локальные административные интерфейсы. Secret values/ключи не попадают в Git, образы или telemetry.
|
||||
- Есть ограничение частоты входа с 429/Retry-After, ограничение размера запросов, тесты доступа постороннего, logout/expiry и проверка недоверенного TLS. Публичный smoke по HTTPS проходит; сертификаты создаются локально через документированный bootstrap.
|
||||
|
||||
## Оценка «4»: уровень стажёра/джуна
|
||||
|
||||
Весь уровень 3 **и все** пункты ниже:
|
||||
|
||||
- mTLS дополнительно защищает API/worker→broker и API/worker→OTel Collector, с разными service identities. Доказано, что чужой, но подписанный тем же CA сертификат не даёт лишние права. Для нестандартного broker допускается sidecar с эквивалентной проверкой.
|
||||
- Пароли/сессионные token hashes и ошибки не раскрывают credentials; есть rehash старого password hash при успешном входе и измеренный бюджет защиты от дорогостоящего login DoS. Rate limit общий для реплик.
|
||||
- Показаны ротация одного рабочего secret и одного leaf certificate без пересборки образов, отзыв старой identity и ограниченное поведение при expiry/sealed OpenBao. Описаны bootstrap trust и renewal, в приложение не встроен постоянный секрет «для получения секретов».
|
||||
- Добавлены read_only/no-new-privileges/drop capabilities и отдельные tmpfs там, где это совместимо; исключения для stateful сервисов объяснены. Есть dependency/image scan с разбором применимости, а не только скриншот количества CVE.
|
||||
- Модель угроз связывает минимум 6 конкретных угроз с контролями и воспроизводимыми отрицательными тестами. Upload-worker ограничен по CPU/RAM/времени; TLS-аудит проверяет всю заявленную матрицу, ACL и отсутствие утечек в telemetry.
|
||||
|
||||
## Оценка «5»: исследование и доказанный результат
|
||||
|
||||
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
|
||||
|
||||
**Трек 1. Компрометация worker.** На изолированном стенде смоделируйте получение прав worker: покажите, какие bucket-prefix, queue и DB-операции доступны, а какие запрещены. Отзовите identity, ротируйте связанный secret, восстановите обработку и докажите сохранность задач. Сопоставьте последствия до/после least privilege.
|
||||
|
||||
**Трек 2. Жизненный цикл PKI/secrets.** Автоматизируйте выдачу короткоживущих cert/credentials, renewal и безопасный rollover CA/leaf. Проведите тест истечения/отзыва под нагрузкой, измерьте ошибки и восстановление; покажите отсутствие fallback на plaintext/проверку сертификата off. Обоснуйте хранение CA, bootstrap и аудит.
|
||||
|
||||
## Как начать и проверить
|
||||
|
||||
```sh
|
||||
# Работает прямо в skeleton, Python 3.9+; приложение не запускается:
|
||||
make check
|
||||
|
||||
# После реализации запустите свой сервер/стенд по REPORT.md.
|
||||
# По умолчанию тест использует https://localhost:8443.
|
||||
make test
|
||||
```
|
||||
|
||||
`.env.example`, `compose.example.yaml` и `contracts/infrastructure.json` описывают настройки и роли компонентов. **compose.example.yaml — список ролей с пустым services, не запускаемый стенд.** Реализуйте свой `compose.yaml`/`stack.yaml`, закрепите версии образов, заполните локальный `.env` и опишите bootstrap/миграции. Все зависимости поднимаются из этого репозитория; ссылка «у меня БД уже установлена» не заменяет воспроизводимость.
|
||||
|
||||
```sh
|
||||
# Compose-вариант после реализации:
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
# Дождитесь /health/ready; затем make test.
|
||||
# Для Swarm укажите эквивалентные build/push/deploy-команды в REPORT.md.
|
||||
```
|
||||
|
||||
Для HTTPS передайте публичный CA: `make test CA_FILE=/absolute/path/to/ca.crt`. CA certificate можно распространять; private keys создаются локально. `make test-security` проверяет только внешний TLS trust; внутренние отрицательные тесты реализуйте по [trust matrix](contracts/trust-matrix.md).
|
||||
|
||||
|
||||
Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически):
|
||||
|
||||
```sh
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements-dev.txt
|
||||
make validate PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте.
|
||||
|
||||
## Сценарий защиты
|
||||
|
||||
1. Развернуть стенд по инструкции оператора, локально создать secrets/CA; выполнить make test BASE_URL=https://localhost:8443 CA_FILE=<путь-к-CA>.
|
||||
2. Запустить make test-security: внешний endpoint обязан отклонять недоверенный CA; затем авторизованный HTTPS smoke и тесты ACL/logout.
|
||||
3. Скрипт студента доказывает внутреннее mTLS: нет сертификата / чужой CA / неверная identity при доверенном CA → отказ; правильная identity → успех. TLS proxy без проверки client identity не засчитывается.
|
||||
4. Показать OpenBao policy allow/deny, отсутствие root credential в app, перезапуск с сохранением данных и последовательный отказ API-реплик.
|
||||
5. Для 4: ротация/expiry и вся расширенная матрица; для 5: повторяемый сценарий компрометации или PKI lifecycle.
|
||||
|
||||
## Что должно быть в PR
|
||||
|
||||
Threat model, заполненная trust matrix, TLS/mTLS конфигурации, OpenBao policies и bootstrap/rotation scripts без secrets, scan triage и отрицательные тесты.
|
||||
|
||||
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
|
||||
|
||||
## Вопросы на защите
|
||||
|
||||
- Какая часть mTLS проверяет шифрование, какая идентичность и где разрешение на действие?
|
||||
- Почему доверенный CA ещё не означает, что любой его клиент может быть LB?
|
||||
- Где хранится первый секрет для доступа к OpenBao и кто имеет право unseal?
|
||||
- Что происходит при истечении credentials, остановке OpenBao и рестарте API?
|
||||
|
||||
## Первичные материалы
|
||||
|
||||
- [OWASP Password Storage](https://cheatsheetseries.owasp.org/cheatsheets/Password_Storage_Cheat_Sheet.html)
|
||||
- [OWASP File Upload](https://cheatsheetseries.owasp.org/cheatsheets/File_Upload_Cheat_Sheet.html)
|
||||
- [OpenBao AppRole](https://openbao.org/docs/auth/approle/)
|
||||
- [OpenBao policies](https://openbao.org/docs/concepts/policies/)
|
||||
- [OpenBao production hardening](https://openbao.org/docs/internals/security/)
|
||||
- [Docker security](https://docs.docker.com/engine/security/)
|
||||
@@ -1,33 +1,50 @@
|
||||
PYTHON ?= python3
|
||||
BASE_URL ?= https://localhost:8443
|
||||
CA_FILE ?=
|
||||
CA_FILE ?= $(CURDIR)/.local/trust/ca.crt
|
||||
ACTION_SCRIPT ?=
|
||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
|
||||
.PHONY: help check validate test load test-persistence test-failover test-security
|
||||
|
||||
.PHONY: help bootstrap up down check validate lint format test test-security test-lab7 test-lifecycle test-audit test-attachments test-api-regressions test-persistence test-failover test-both-failovers verify-lab7 scan
|
||||
help:
|
||||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||||
|
||||
@echo "bootstrap; check validate lint; test test-security; test-lab7; test-lifecycle; test-audit; test-both-failovers; scan"
|
||||
bootstrap:
|
||||
$(PYTHON) scripts/lab7.py bootstrap
|
||||
up: bootstrap
|
||||
down:
|
||||
docker compose down
|
||||
check:
|
||||
$(PYTHON) scripts/check_contract.py
|
||||
|
||||
validate:
|
||||
$(PYTHON) scripts/validate_openapi.py
|
||||
|
||||
lint:
|
||||
$(PYTHON) -m ruff check src
|
||||
$(PYTHON) -m ruff format --check src
|
||||
format:
|
||||
$(PYTHON) -m ruff check --fix src
|
||||
$(PYTHON) -m ruff format src
|
||||
test:
|
||||
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
load:
|
||||
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
test-persistence:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
test-failover:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
test-security:
|
||||
$(PYTHON) tests/security.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
test-lab7:
|
||||
$(PYTHON) tests/lab7_security.py
|
||||
test-lifecycle:
|
||||
$(PYTHON) tests/lab7_lifecycle.py
|
||||
test-audit:
|
||||
$(PYTHON) tests/lab7_audit.py
|
||||
test-attachments:
|
||||
$(PYTHON) tests/attachments.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
test-api-regressions:
|
||||
$(PYTHON) tests/api_regressions.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
test-persistence:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT=scripts/restart.sh"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
test-failover:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT=scripts/stop-one.sh"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
test-both-failovers:
|
||||
$(PYTHON) scripts/test-failovers.py
|
||||
verify-lab7:
|
||||
$(PYTHON) scripts/verify-lab7.py
|
||||
scan:
|
||||
$(PYTHON) scripts/scan.py
|
||||
|
||||
@@ -1,112 +1,60 @@
|
||||
# Лабораторная 7. Безопасность, mTLS и OpenBao
|
||||
# Лабораторная 7 — безопасность, mTLS и OpenBao
|
||||
|
||||
Защитить работающий мессенджер на границах доверия и показать защиту отрицательными проверками: чужой доступ, неверный сертификат, недостаточные права и отзыв credentials.
|
||||
**Каменский Андрей, БПИ2301. Целевая оценка: 4.**
|
||||
|
||||
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
|
||||
Работающий мессенджер из lab6: две FastAPI-реплики, HAProxy, PostgreSQL, Redis sessions, Redis Streams, outbox dispatcher, image worker, private MinIO, reconciler и OpenTelemetry/Grafana. Добавлены HTTPS, взаимная проверка service identities, scoped credentials через persistent non-dev OpenBao, ротация/отзыв, общий rate limit и rehash.
|
||||
|
||||
[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md)
|
||||
## Быстрый запуск
|
||||
|
||||
## Откуда начинаем
|
||||
|
||||
Перенесите минимум lab6. Бизнес-API сохраняется, внешний endpoint теперь HTTPS. Новые секреты и ключи создаются для стенда, не поставляются в skeleton.
|
||||
|
||||
**Архитектура:** Клиент — TLS → LB — mTLS → API; API/worker — TLS (+ клиентские cert где требуется матрицей) → зависимости; OpenBao выдаёт scoped credentials. Grafana/OTel остаются внутри доверенной сети.
|
||||
|
||||
## Что сделать
|
||||
|
||||
1. Составьте модель угроз и contracts/trust-matrix.md: активы, акторы, границы, протокол/идентичность каждой связи и проверяемые отказы.
|
||||
2. Переведите password storage на Argon2id, настройте сессии/лимиты и проведите негативные тесты ACL/вложений.
|
||||
3. Сделайте внешний TLS и обязательное внутреннее mTLS LB→API. Для остальных связей следуйте матрице: шифрование и отдельные identities; на 4 расширяется mTLS.
|
||||
4. Добавьте OpenBao вне dev-mode: постоянное хранение, документированный init/unseal, политики и аутентификация сервисов с ограниченным TTL. Root token и unseal keys остаются у оператора.
|
||||
5. Уберите избыточные privileges/ports, задайте лимиты, проверьте certificates/secrets lifecycle. Повторите smoke, перезапуск и отказ реплики через HTTPS без отключения проверки сертификата.
|
||||
|
||||
## Оценка «3»: работающий минимум
|
||||
|
||||
- Все предыдущие обязательные возможности работают через HTTPS с проверяемым CA и hostname/SAN. Argon2id хранит salt и параметры; базовая конфигурация не ниже 19 MiB, t=2, p=1, итоговые параметры обоснованы измерением на своём стенде.
|
||||
- LB→каждая API-реплика использует обязательное mTLS: без client certificate, с чужим CA или неверной identity соединение отклоняется; прямого обхода публичным API-портом нет. Сервер проверяет не только цепочку CA, но и разрешённую identity (SAN/роль).
|
||||
- Остальные сетевые связи с DB, S3, broker, Collector, telemetry backends и OpenBao шифруются TLS с проверкой сервера; где продукт не поддерживает native TLS, используется проверенный TLS proxy/sidecar и закрытый локальный hop. Раздельные учётные данные и минимальные права фиксируются в матрице.
|
||||
- OpenBao — часть общего стенда, работает не в dev-mode с persistent storage. API/worker получают secrets через сервисную аутентификацию и scoped policy; приложение не использует root token, unseal keys или безграничный общий токен.
|
||||
- Контейнеры без privileged/host network/Docker socket; app и worker — non-root, без лишних capabilities, с resource limits. Наружу доступны только нужный TLS ingress и локальные административные интерфейсы. Secret values/ключи не попадают в Git, образы или telemetry.
|
||||
- Есть ограничение частоты входа с 429/Retry-After, ограничение размера запросов, тесты доступа постороннего, logout/expiry и проверка недоверенного TLS. Публичный smoke по HTTPS проходит; сертификаты создаются локально через документированный bootstrap.
|
||||
|
||||
## Оценка «4»: уровень стажёра/джуна
|
||||
|
||||
Весь уровень 3 **и все** пункты ниже:
|
||||
|
||||
- mTLS дополнительно защищает API/worker→broker и API/worker→OTel Collector, с разными service identities. Доказано, что чужой, но подписанный тем же CA сертификат не даёт лишние права. Для нестандартного broker допускается sidecar с эквивалентной проверкой.
|
||||
- Пароли/сессионные token hashes и ошибки не раскрывают credentials; есть rehash старого password hash при успешном входе и измеренный бюджет защиты от дорогостоящего login DoS. Rate limit общий для реплик.
|
||||
- Показаны ротация одного рабочего secret и одного leaf certificate без пересборки образов, отзыв старой identity и ограниченное поведение при expiry/sealed OpenBao. Описаны bootstrap trust и renewal, в приложение не встроен постоянный секрет «для получения секретов».
|
||||
- Добавлены read_only/no-new-privileges/drop capabilities и отдельные tmpfs там, где это совместимо; исключения для stateful сервисов объяснены. Есть dependency/image scan с разбором применимости, а не только скриншот количества CVE.
|
||||
- Модель угроз связывает минимум 6 конкретных угроз с контролями и воспроизводимыми отрицательными тестами. Upload-worker ограничен по CPU/RAM/времени; TLS-аудит проверяет всю заявленную матрицу, ACL и отсутствие утечек в telemetry.
|
||||
|
||||
## Оценка «5»: исследование и доказанный результат
|
||||
|
||||
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
|
||||
|
||||
**Трек 1. Компрометация worker.** На изолированном стенде смоделируйте получение прав worker: покажите, какие bucket-prefix, queue и DB-операции доступны, а какие запрещены. Отзовите identity, ротируйте связанный secret, восстановите обработку и докажите сохранность задач. Сопоставьте последствия до/после least privilege.
|
||||
|
||||
**Трек 2. Жизненный цикл PKI/secrets.** Автоматизируйте выдачу короткоживущих cert/credentials, renewal и безопасный rollover CA/leaf. Проведите тест истечения/отзыва под нагрузкой, измерьте ошибки и восстановление; покажите отсутствие fallback на plaintext/проверку сертификата off. Обоснуйте хранение CA, bootstrap и аудит.
|
||||
|
||||
## Как начать и проверить
|
||||
|
||||
```sh
|
||||
# Работает прямо в skeleton, Python 3.9+; приложение не запускается:
|
||||
make check
|
||||
|
||||
# После реализации запустите свой сервер/стенд по REPORT.md.
|
||||
# По умолчанию тест использует https://localhost:8443.
|
||||
make test
|
||||
```
|
||||
|
||||
`.env.example`, `compose.example.yaml` и `contracts/infrastructure.json` описывают настройки и роли компонентов. **compose.example.yaml — список ролей с пустым services, не запускаемый стенд.** Реализуйте свой `compose.yaml`/`stack.yaml`, закрепите версии образов, заполните локальный `.env` и опишите bootstrap/миграции. Все зависимости поднимаются из этого репозитория; ссылка «у меня БД уже установлена» не заменяет воспроизводимость.
|
||||
|
||||
```sh
|
||||
# Compose-вариант после реализации:
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
# Дождитесь /health/ready; затем make test.
|
||||
# Для Swarm укажите эквивалентные build/push/deploy-команды в REPORT.md.
|
||||
```
|
||||
|
||||
Для HTTPS передайте публичный CA: `make test CA_FILE=/absolute/path/to/ca.crt`. CA certificate можно распространять; private keys создаются локально. `make test-security` проверяет только внешний TLS trust; внутренние отрицательные тесты реализуйте по [trust matrix](contracts/trust-matrix.md).
|
||||
|
||||
|
||||
Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически):
|
||||
Нужны Docker Desktop с Compose, Python 3.11+ и OpenSSL CLI 3+. Адреса стенда привязаны к localhost. Bootstrap собирает приложение; существующий закреплённый MinIO image используется, а если его нет — Compose соберёт его из pinned source commit (Go-сборка занимает время).
|
||||
|
||||
```sh
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements-dev.txt
|
||||
make validate PYTHON=.venv/bin/python
|
||||
cp .env.example .env
|
||||
python3 scripts/lab7.py bootstrap
|
||||
make check validate lint PYTHON=.venv/bin/python
|
||||
make test test-security
|
||||
python3 tests/lab7_security.py
|
||||
```
|
||||
|
||||
Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте.
|
||||
Compose-проект этого репозитория: `mtusi2026lab77`; его volumes отделены от предыдущего стенда. Если порт 8443 занят старым стендом, перед bootstrap остановите тот стенд через его `docker compose down` без удаления volumes.
|
||||
|
||||
## Сценарий защиты
|
||||
API: **https://localhost:8443**. Публичный CA: `.local/trust/ca.crt`. Проверка сертификата обязательна, `--insecure` не используется.
|
||||
|
||||
1. Развернуть стенд по инструкции оператора, локально создать secrets/CA; выполнить make test BASE_URL=https://localhost:8443 CA_FILE=<путь-к-CA>.
|
||||
2. Запустить make test-security: внешний endpoint обязан отклонять недоверенный CA; затем авторизованный HTTPS smoke и тесты ACL/logout.
|
||||
3. Скрипт студента доказывает внутреннее mTLS: нет сертификата / чужой CA / неверная identity при доверенном CA → отказ; правильная identity → успех. TLS proxy без проверки client identity не засчитывается.
|
||||
4. Показать OpenBao policy allow/deny, отсутствие root credential в app, перезапуск с сохранением данных и последовательный отказ API-реплик.
|
||||
5. Для 4: ротация/expiry и вся расширенная матрица; для 5: повторяемый сценарий компрометации или PKI lifecycle.
|
||||
Grafana: https://localhost:13000, пользователь admin. Пароль оператор читает локально в `.local/operator/grafana.env`; его нельзя вставлять в отчёт/логи. Dashboard `messenger-lab6` сохранён из предыдущей работы. Grafana требует входа и имеет read-only mTLS identities к datasource. OpenBao operator endpoint https://localhost:18200 требует operator certificate; скрипты используют его автоматически.
|
||||
|
||||
## Что должно быть в PR
|
||||
`.local` создаётся с mode 0700 и не включается в Git/образы/архив сдачи. Не копировать её при переносе проекта: новый стенд должен создавать новые ключи и секреты. Root/unseal material находится только у оператора и не монтируется в runtime приложения и сервер OpenBao.
|
||||
|
||||
Threat model, заполненная trust matrix, TLS/mTLS конфигурации, OpenBao policies и bootstrap/rotation scripts без secrets, scan triage и отрицательные тесты.
|
||||
## Проверки
|
||||
|
||||
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
|
||||
```sh
|
||||
python3 tests/lab7_s3_rotation.py # S3 credentials: новый доступ и отзыв старого
|
||||
python3 tests/lab7_lifecycle.py # реальные смены доступа, sealed/unseal; около 2 минут
|
||||
python3 scripts/argon-budget.py # измерение двух параметров Argon2 в API container
|
||||
python3 tests/lab7_audit.py # контейнеры, telemetry, публичные файлы
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
python3 scripts/test-failovers.py # public test и адресный отказ обеих реплик
|
||||
python3 scripts/scan.py # сканирование всех разных runtime images, без Docker socket
|
||||
```
|
||||
|
||||
## Вопросы на защите
|
||||
Публичные `tests/` и контракты задания сохранены. Собственные проверки — дополнительные `lab7_*.py`; матрица доверия заполнена по заданию. Evidence содержит только безопасные summaries/scan reports.
|
||||
|
||||
- Какая часть mTLS проверяет шифрование, какая идентичность и где разрешение на действие?
|
||||
- Почему доверенный CA ещё не означает, что любой его клиент может быть LB?
|
||||
- Где хранится первый секрет для доступа к OpenBao и кто имеет право unseal?
|
||||
- Что происходит при истечении credentials, остановке OpenBao и рестарте API?
|
||||
## Эксплуатация
|
||||
|
||||
## Первичные материалы
|
||||
```sh
|
||||
# Остановить без удаления данных:
|
||||
docker compose down
|
||||
# После запуска запечатанного OpenBao:
|
||||
docker compose up -d openbao
|
||||
python3 scripts/lab7.py unseal
|
||||
# Повторный bootstrap также сохраняет существующие данные и KV:
|
||||
python3 scripts/lab7.py bootstrap
|
||||
# Смена рабочего секрета и сертификата без пересборки:
|
||||
python3 scripts/lab7.py rotate-secret
|
||||
python3 scripts/lab7.py rotate-cert --role worker
|
||||
```
|
||||
|
||||
- [OWASP Password Storage](https://cheatsheetseries.owasp.org/cheatsheets/Password_Storage_Cheat_Sheet.html)
|
||||
- [OWASP File Upload](https://cheatsheetseries.owasp.org/cheatsheets/File_Upload_Cheat_Sheet.html)
|
||||
- [OpenBao AppRole](https://openbao.org/docs/auth/approle/)
|
||||
- [OpenBao policies](https://openbao.org/docs/concepts/policies/)
|
||||
- [OpenBao production hardening](https://openbao.org/docs/internals/security/)
|
||||
- [Docker security](https://docs.docker.com/engine/security/)
|
||||
Leaf-сертификаты действуют 2 дня, CRL 7 дней. Это учебные короткие сроки: перед истечением нужно выполнить документированное обновление identities, автоматический CA rollover на 5 не заявлен. Если стенд долго не использовался и leaf уже истекли, см. восстановление в RUNBOOK.md.
|
||||
|
||||
Подробности: [отчёт](REPORT.md), [матрица](contracts/trust-matrix.md), [модель угроз](security/THREAT_MODEL.md), [эксплуатация](RUNBOOK.md), [разбор сканирования](SCAN_TRIAGE.md), [исходное задание](LAB7_TASK.md).
|
||||
|
||||
@@ -1,37 +1,96 @@
|
||||
# Отчёт — лабораторная 7
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
**Автор:** Каменский Андрей, БПИ2301. **Целевая оценка:** 4. Исследовательский трек на 5 не заявляется. Работа выполнена на базе собственной lab6. Для подготовки кода, объяснений и проверок использовался Codex; результаты подтверждены командами и evidence, а не только генерацией конфигураций.
|
||||
|
||||
## Запуск из чистого clone
|
||||
## Запуск из чистого проекта
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Docker Desktop/Compose, Python 3.11+, OpenSSL CLI 3+. `cp .env.example .env`, создать venv и установить requirements-dev, затем `python3 scripts/lab7.py bootstrap`. API https://localhost:8443, CA `.local/trust/ca.crt`. Полные команды в README. Внешние тесты не требуют клиентского cert; внутреннее mTLS проверяется отдельным operator test job.
|
||||
|
||||
Bootstrap генерирует новые локальные секреты и сертификаты, собирает image, создаёт постоянные volumes, инициализирует и разблокирует non-dev OpenBao, назначает cert auth/scoped policies, миграции и DB/S3 identities. Повторный bootstrap не сбрасывает БД и существующие KV. Material CA/unseal/root не входит в Git, Docker build context и submission archive. `.env` содержит только имена проекта/образа и порты, credentials runtime читаются из OpenBao.
|
||||
|
||||
Безопасная остановка `docker compose down`. Полный restart с сохранением данных — `scripts/restart.sh`. Намеренное удаление только собственного учебного стенда: `docker compose down --volumes` и отдельное удаление `.local` (не выполняется тестами).
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab6, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
```mermaid
|
||||
flowchart LR
|
||||
C[Клиент] -->|HTTPS| LB[HAProxy]
|
||||
LB -->|mTLS, identity lb| A[API x2]
|
||||
A -->|TLS / scoped DB role| DB[(PostgreSQL)]
|
||||
A -->|mTLS / ACL| R[(Redis sessions + rate limit)]
|
||||
A -->|TLS / SigV4| S[(MinIO)]
|
||||
D[Dispatcher] -->|mTLS / XADD ACL| B[(Redis Streams)]
|
||||
W[Worker] -->|mTLS / consumer ACL| B
|
||||
D -->|TLS| DB
|
||||
W -->|TLS / scoped role| DB
|
||||
W -->|TLS / prefix ACL| S
|
||||
A -->|cert auth + scoped policy| O[OpenBao]
|
||||
W -->|cert auth + scoped policy| O
|
||||
A -->|mTLS OTLP| T[Collector]
|
||||
W -->|mTLS OTLP| T
|
||||
T -->|mTLS| L[Loki / Tempo]
|
||||
P[Prometheus] -->|mTLS scrape| T
|
||||
G[Grafana] -->|mTLS, read-only| L
|
||||
G -->|mTLS, read-only| P
|
||||
```
|
||||
|
||||
## Доказательства критериев
|
||||
Сохранена предыдущая бизнес-логика: PostgreSQL — источник истины; queued attachment/job/outbox фиксируются транзакционно; dispatcher публикует durable envelope в Redis Stream; worker получает исходник MinIO и создаёт original/thumbnail/crop/WebP; ACK после COMMIT ready. Повторы идемпотентны, lease/retry и bounded image subprocess сохранены. Session token — случайный секрет у клиента, SHA-256 key в Redis, абсолютный TTL 3600 без sliding renewal.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
TLS-прокси делят network namespace backend; plaintext listener каждого backend привязан к loopback. API TLS transport находится в том же контейнере, Uvicorn слушает 127.0.0.1:8080. Проверка из постороннего контейнера подтверждает отсутствие обхода. Для PostgreSQL asyncpg использует direct_tls к proxy, а не PostgreSQL SSLRequest upgrade. Redis-клиенты используют rediss, CA, hostname и client cert. MinIO — native TLS, SigV4 credentials разделены по функциям. Полное покрытие и пути конфигураций — contracts/trust-matrix.md.
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
API transport допускает SAN lb. HAProxy gateways дополнительно к доверенному CA проверяют подписанную роль CN по allowlist. Сертификаты содержат согласованные CN/SAN и serverAuth/clientAuth. CA 365 дней, leaf 2 дня, CRL 7 дней. Rotation worker обновляет cert/key и CRL, закрывает старые соединения; session tickets gateways выключены. Выпуск нового leaf не считается автоматическим отзывом старого — проверен отдельный отказ нового соединения со старым serial.
|
||||
|
||||
## Эксперименты и отказы
|
||||
## OpenBao и lifecycle
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
OpenBao 2.5.0, file storage на volume, TLS listener требует client cert, dev-mode отсутствует. Cert auth проверяет CA, allowed CN и DNS SAN, назначает service policy. В приложениях нет root/unseal/постоянного BAO_TOKEN. Runtime supervisor получает service token TTL 60/max TTL 300, каждые 10 секунд renew/read, при достижении max TTL повторно аутентифицируется сертификатом.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
API/worker/dispatcher/reconciler читают только собственные пути `secret/data/messenger/<role>`. В KV хранятся статические рабочие credentials; динамические DB credentials не заявляются. Supervisor держит token/secret в памяти, передаёт рабочие значения child process, при изменении credentials/cert/CRL обновляет child без пересборки image. У обычного Docker inspect приложений credentials отсутствуют. Оператор хоста остаётся доверенным и может читать память процесса.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
При sealed/unavailable OpenBao разрешена работа с последним подтверждённым доступом до его deadline; затем child останавливается, API перестаёт принимать соединения/проходит в 503 через LB. После operator unseal supervisor получает доступ заново. Deadline продлевается только после успешного чтения разрешённого секрета. Статические passwords в целевой системе сами по expiry Bao token не исчезают; bounded stop — политика нашего supervisor.
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Ротация DB worker: новый login с membership в ограниченной роли → KV update → применение supervisor → старый NOLOGIN и terminate existing sessions. Ротация leaf: новый key/cert → revoke old serial → CRL gateways и cert auth → reload/close old connections. Допускается ограниченный перерыв, zero-downtime не заявляется. Durable pipeline после обоих воздействий проверяется до ready.
|
||||
|
||||
## Пароли, лимиты и контейнеры
|
||||
|
||||
Argon2id: memory 65536 KiB, time 3, parallelism 4, salt 16 bytes, hash 32 bytes. Соль/параметры входят в encoded hash. После успешного входа check_needs_rehash вызывает повторный hash введённого пароля и условный UPDATE, защищённый сравнением старого значения. Хеши не возвращаются пользователю и не логируются.
|
||||
|
||||
Бюджет: 0.5 CPU/512 MiB на API, максимум 2 одновременно выполняемых Argon2 на процесс, 2 API. Измерены минимум 19456 KiB/t2/p1 и выбранные 65536/t3/p4, последовательные и двухпоточные проверки; raw evidence/argon-budget.json. В итоговом измерении выбранный вариант дал p50 одной проверки около 0.65 s, максимум при concurrency 2 около 1.29 s, peak RSS отдельного probe process около 205 MiB. Это проверка в ограниченном API container, не утверждение о предельном throughput/production SLO. После обновления базового runtime измерение повторяется; актуальны значения в JSON.
|
||||
|
||||
Login fixed-window limit в общем Redis: 120/IP/60s и 10/account/60s, одна атомарная Lua operation, TTL ключей, 429/Retry-After. Логин нормализуется и хешируется для имени Redis key; IP берётся из X-Real-IP, который доверенный LB перезаписывает. Uvicorn proxy_headers=False. Передаваемый клиентом user_id/IP header не является identity. При недоступности Redis вход не обходит limiter, а возвращает unavailable. Ограничение по user_id для уже аутентифицированных бизнес-запросов не требуется этим login-контролем.
|
||||
|
||||
API/worker и прочие runtime процессы non-root, read_only/cap_drop/no-new-privileges, tmpfs и CPU/RAM limits. PostgreSQL entrypoint кратковременно работает root для прав volume и смены UID, разрешены только CHOWN/DAC_OVERRIDE/FOWNER/SETGID/SETUID; сам postgres работает от postgres. Stateful данные — writable named volumes; это объяснённое исключение к read-only rootfs. Отдельный volume-init без сети использует только CHOWN для владельцев томов и завершается. Ни один runtime container не получает Docker socket/host network/privileged.
|
||||
|
||||
## Доказательства
|
||||
|
||||
| Критерий | Команда | Проверяемый результат / evidence |
|
||||
| --- | --- | --- |
|
||||
| Структура/OpenAPI/код | `make check validate lint PYTHON=.venv/bin/python` | Проверки структуры, полной схемы и Ruff |
|
||||
| Сохранённый бизнес-контракт, HTTPS | `make test test-security` | Public smoke; trusted CA проходит, пустой trust store отклоняется |
|
||||
| mTLS и разрешённая identity | `python3 tests/lab7_security.py` | Positive и missing/foreign/same-CA-wrong/expired; security-summary.json |
|
||||
| Вся TLS матрица, отсутствие обхода | Та же команда | Реальные подключения ко всем указанным endpoints; закрытый plaintext; security-summary.json |
|
||||
| OpenBao policy/renew/expiry/revoke | Та же команда | Свой secret разрешён, чужой/запись policy запрещены; expired/revoked token запрещён |
|
||||
| Роли БД/S3/Redis/telemetry | Та же команда | Запрещённые таблицы/DDL/admin/prefix/commands/ingestion; security-summary.json |
|
||||
| Rehash и общие лимиты | Та же команда | Старый Argon2 hash обновлён, две API учитывают общий account/IP; 429/Retry-After |
|
||||
| Стоимость паролей | `python3 scripts/argon-budget.py` | Реальные значения времени/RSS, argon-budget.json |
|
||||
| Secret/cert rotation | `python3 tests/lab7_lifecycle.py` | Старый login/cert отклонён на новом соединении, новая картинка ready; lifecycle-summary.json |
|
||||
| Ротация S3 credentials | `python3 tests/lab7_s3_rotation.py` | Старый access key отключён, новый job ready; s3-rotation-summary.json |
|
||||
| Sealed/unseal | Та же команда | Bounded stop, API 503, восстановление session/pipeline; lifecycle-summary.json |
|
||||
| Контейнеры, leaks и telemetry | `python3 tests/lab7_audit.py` | Docker settings, отсутствие известных секретов, живые 3 сигнала, audit-summary.json |
|
||||
| Restart всех хранилищ | `python3 scripts/test-persistence.py` | Старый token, сообщения и байты исходника сохранены; StartedAt before/after, persistence-summary.json |
|
||||
| Отказ обеих API | `python3 scripts/test-failovers.py` | Public failover, два разных container IDs, подтверждённые сообщения без дублей; failover-summary.json |
|
||||
| Dependency/image scan | `python3 scripts/scan.py` | Реальные Trivy reports и применимость в SCAN_TRIAGE.md |
|
||||
| ≥6 угроз | security/THREAT_MODEL.md | Конкретные пути атаки, контроли, отрицательные тесты и остаточные ограничения |
|
||||
|
||||
Результат отдельного теста не означает автоматическую оценку. Итоговый перечень реально выполненных проверок и времени прогонов записан в evidence; в нём нет токенов/паролей/private keys. Public tests/contracts сверяются с исходным skeleton; trust-matrix заполнена по требованию задания.
|
||||
|
||||
## Наблюдаемость lab6
|
||||
|
||||
Сохранены имена метрик http_server_requests_total, http_server_duration_seconds, worker_jobs_total, worker_job_duration_seconds, attachment_ready_duration_seconds, queue_depth, queue_oldest_age_seconds, worker_busy, worker_capacity, db_pool_used/waiting и process CPU/RSS. HTTP labels method/route template/status_class, job labels type/outcome, без chat/user/request IDs. SDK OTel 1.31.1, service.version 1.7.0. Collector 0.123.0 с ограниченными memory/batch/export queues. Dashboard и локальные alert rules lab6 сохранены, отправка внешних уведомлений не настроена и не требуется.
|
||||
|
||||
Prometheus scrape, OTLP SDK → Collector → Loki/Tempo и Grafana queries защищены TLS/mTLS. TLS не заменяет фильтрацию: exporter получает только явные безопасные поля; SQL parameters/Authorization/password/secret response не записываются. Audit проверяет значения реальных тестовых credentials в container logs и выборках трёх сигналов (Loki: последние 120 секунд, максимум 200 записей), а также реальные запросы Grafana к каждому datasource.
|
||||
|
||||
## Ограничения и источники
|
||||
|
||||
Один Docker-хост, один LB, одна БД и по одному хранилищу — не HA хоста/данных. Single-node OpenBao, ручной operator unseal; shares вместе в защищённом operator directory — учебное упрощение. Нет автоматического CA rollover, разделения хранителей или production KMS. Cert-auth требует планового обслуживания short-lived leaf. Ротация закрывает соединения и может дать transient errors. Fixed-window limiter не решает распределённый DoS со многими адресами; сканирование не доказывает отсутствие неизвестных уязвимостей. Известные находки перечислены с применимостью, а не скрыты.
|
||||
|
||||
Первичные источники: задание LAB7_TASK.md и contracts; [OpenBao cert auth](https://openbao.org/docs/auth/cert/), [seal/unseal](https://openbao.org/docs/concepts/seal/), [policies](https://openbao.org/docs/concepts/policies/); [TLS 1.3](https://www.rfc-editor.org/rfc/rfc8446.html); [argon2-cffi rehash](https://argon2-cffi.readthedocs.io/en/stable/howto.html); [Compose service configuration](https://docs.docker.com/reference/compose-file/services/); [Trivy images](https://trivy.dev/docs/latest/target/container_image/).
|
||||
|
||||
+51
@@ -0,0 +1,51 @@
|
||||
# Эксплуатация lab7
|
||||
|
||||
Каменский Андрей, БПИ2301.
|
||||
|
||||
## Кто имеет доступ
|
||||
|
||||
Оператор Docker-хоста — доверенная сторона. `.local/operator` (0700), CA key и `bao-init.json` (0600) не монтируются в приложения. Для учебного стенда operator shares хранятся вместе в защищённом каталоге; реальное разделение хранителей не заявляется. Нужна резервная копия operator material отдельно от серверных volumes с защитой доступа. Потеря unseal material означает невозможность штатно расшифровать хранилище.
|
||||
|
||||
Приложение получает только собственный read-only identity directory и общий публичный trust directory. Secret values загружаются через certificate auth OpenBao и передаются дочернему процессу через его окружение в памяти; в Docker Config.Env их нет. Администратор хоста всё равно может читать память/окружение процесса — от него защита не заявляется.
|
||||
|
||||
## Запуск и restart
|
||||
|
||||
`python3 scripts/lab7.py bootstrap` создаёт локальные материалы, запускает persistent file-storage OpenBao, выполняет явный operator init/unseal и конфигурацию, миграции, DB grants, S3 policies, сервисы и LB. Обычный restart API/worker не требует действий оператора при разблокированном OpenBao.
|
||||
|
||||
После restart OpenBao: `python3 scripts/lab7.py unseal`. Это отдельная operator-команда, OpenBao container не получает unseal shares. При sealed/unavailable секреты не выдаются; supervisor использует последний подтверждённый доступ до deadline и останавливает дочерний процесс, затем повторяет получение каждые 10 секунд. После unseal восстанавливается автоматически. API readiness через LB становится 503 при отсутствии работающих реплик, plaintext fallback не предусмотрен.
|
||||
|
||||
`./scripts/restart.sh` перезапускает API и все постоянные хранилища, включая OpenBao и telemetry, выполняет operator unseal и сохраняет volumes. Этот hook используется публичным persistence test. TLS sidecars разделяют network namespace backend: при **recreate**, а не restart backend, следует также recreate его `*-tls` companion через Compose.
|
||||
|
||||
## Ротация
|
||||
|
||||
`python3 scripts/lab7.py rotate-secret`: новая DB login-role с membership в ограниченной роли worker → новая версия KV → supervisor обновляет child → старый login NOLOGIN и terminate sessions. Проверка — новое подключение со старым URL обязано получить auth denial, новая обработка обязана закончиться ready. Старый DB URL остаётся только в защищённом operator файле для отрицательного теста; его не включают в evidence.
|
||||
|
||||
`python3 scripts/lab7.py rotate-s3`: создаёт новую scoped MinIO identity worker, обновляет KV, после применения отключает старый access key. Operator bootstrap сохраняет актуальную identity и не включает старую повторно. Проверка: `python3 tests/lab7_s3_rotation.py` — старый доступ запрещён, новая картинка доходит до ready.
|
||||
|
||||
`python3 scripts/lab7.py rotate-cert --role worker`: новый key/leaf → отзыв старого serial → CRL в gateways/cert auth → закрытие старых gateway connections. Supervisor замечает cert/CRL fingerprint и обновляет дочерний процесс. Образы не пересобираются. В стенде не заявляется нулевой перерыв при ротации: закрытие соединений может вызвать ограниченные ошибки и retries, pipeline использует durable jobs/outbox. TLS session tickets на gateways выключены; тест проверяет новое соединение.
|
||||
|
||||
Основной сценарий выборочной ротации — worker leaf. Для планового обновления всего набора leaf с прежним CA, в том числе после истечения срока:
|
||||
|
||||
```sh
|
||||
python3 scripts/lab7.py renew-identities
|
||||
```
|
||||
|
||||
Оператор останавливает приложения/TLS endpoints, локально подписывает новые leaf, отзывает старые serials, обновляет Grafana provisioning, запускает OpenBao и выполняет unseal, обновляет CRL cert auth и возвращает приложения. Volumes и CA сохраняются. Это явное обслуживание с перерывом, а не автоматический rollover CA. После него выполнить smoke/security/audit. При потере operator material или истечении CA этот сценарий не заменяет восстановление PKI.
|
||||
|
||||
## Отказ API-реплики
|
||||
|
||||
```sh
|
||||
python3 scripts/test-failovers.py
|
||||
```
|
||||
|
||||
Скрипт запускает неизменённый публичный failover test, восстанавливает API, затем отдельной проверкой последовательно останавливает каждый из двух явно выбранных контейнеров под записью. Это гарантирует покрытие обеих реплик независимо от того, какую реплику выбрал публичный сценарий. Hook сопоставляет X-Instance-Id контейнеру через локальный health внутри API и оставляет выбранный контейнер остановленным. Evidence содержит реальные container IDs/StartedAt и результаты, без Config.Env.
|
||||
|
||||
## Диагностика
|
||||
|
||||
Сначала `docker compose ps`, затем безопасные events `secrets.applied`, `secrets.unavailable`, `application.exited`. Не выводить полный env, token, body ответа OpenBao или пароль в командную строку.
|
||||
|
||||
Prometheus https://localhost:19090, Loki https://localhost:13100, Tempo https://localhost:13200 — operator mTLS, GET-only. Grafana https://localhost:13000 — login. Внутри bridge-сети без соответствующего cert query/ingest закрыты. Admin MinIO доступен operator job через TLS, отдельный console port наружу не публикуется.
|
||||
|
||||
## Удаление учебного стенда
|
||||
|
||||
Обычная остановка: `docker compose down` — данные сохраняются. Только для намеренного полного сброса собственных синтетических данных: `docker compose down --volumes`, затем отдельно удалить `.local`. Эта разрушительная команда не входит в restart/test hooks.
|
||||
@@ -0,0 +1,56 @@
|
||||
# Разбор сканирования образов и зависимостей
|
||||
|
||||
Каменский Андрей, БПИ2301. Сканер `aquasec/trivy:0.69.3`, фактическая база и image metadata сохранены в JSON reports. Команда: `python3 scripts/scan.py`. Сканируются все 11 разных runtime images; app report включает Python dependencies, distro packages и версии. Scanner получает архив образа, cache и output directory; Docker socket и `.local` с credentials ему не передаются. Наличие `FixedVersion` означает доступность исправления у поставщика, а не установленное исправление.
|
||||
|
||||
## Реальные результаты
|
||||
|
||||
| Образ | Находок | Critical | High | Raw report |
|
||||
| --- | ---: | ---: | ---: | --- |
|
||||
| mtusi-messenger:lab7 | 271 | 2 | 43 | scan-app.json |
|
||||
| mtusi-minio:RELEASE.2025-10-15T17-29-55Z | 238 | 9 | 91 | scan-minio.json |
|
||||
| postgres:16.6-bookworm | 941 | 24 | 250 | scan-postgres.json |
|
||||
| redis:7.4.2-bookworm | 500 | 11 | 120 | scan-redis.json |
|
||||
| haproxy:3.0.12-alpine | 107 | 3 | 26 | scan-gateway.json |
|
||||
| openbao/openbao:2.5.0 | 212 | 9 | 84 | scan-openbao.json |
|
||||
| otel/opentelemetry-collector-contrib:0.123.0 | 176 | 7 | 73 | scan-collector.json |
|
||||
| prom/prometheus:v3.2.1 | 260 | 4 | 110 | scan-prometheus.json |
|
||||
| grafana/loki:3.4.2 | 134 | 2 | 58 | scan-loki.json |
|
||||
| grafana/tempo:2.7.2 | 245 | 4 | 85 | scan-tempo.json |
|
||||
| grafana/grafana:11.6.0 | 458 | 10 | 153 | scan-grafana.json |
|
||||
|
||||
Количество строк не равно количеству достижимых атак: одинаковый CVE может повторяться в нескольких Go binaries/packages. Не объявляем образ безопасным по одному количеству находок. Ниже — применимость к реально включённым путям, принятые исправления и оставшиеся риски.
|
||||
|
||||
## Исправление приложения
|
||||
|
||||
Базовый Python обновлён с 3.13.0 до закреплённого 3.13.13-slim-bookworm. Затем добавлено обновление distro packages при сборке, без включения package manager cache. Реальные reports до/после **OS update одного и того же Python 3.13.13 image**: `scan-app-before-os-update.json` и `scan-app.json`. Число находок уменьшилось с 356 до 271, Critical с 7 до 2. Исправлены доступные обновления GnuTLS/Perl и другие системные пакеты. Это не сравнение до/после смены версии Python: такой baseline не сохранялся.
|
||||
|
||||
Остаточные Critical в app:
|
||||
|
||||
- **CVE-2023-45853, zlib/MiniZip.** Debian отмечает для bookworm, что уязвимый contrib/minizip из src:zlib не собирается в затронутые binary packages. Это vendor triage, а не предположение по наличию слова zlib. Наш API не использует pyminizip. Источник: [Debian security tracker](https://security-tracker.debian.org/tracker/CVE-2023-45853). Запись сканера сохранена, не скрыта ignore-файлом.
|
||||
- **CVE-2025-7458, SQLite integer overflow.** Приложение использует PostgreSQL; пользовательские данные не направляются в SQLite и нет endpoint произвольного SQL. Это вывод по архитектуре, не доказательство отсутствия уязвимого кода в image. Пакет остаётся, исправление в отчёте сканера не указано; риск требует пересмотра при добавлении SQLite-функций.
|
||||
|
||||
## Разбор остальных образов
|
||||
|
||||
| Группа находок | Фактическое использование | Решение / остаточное ограничение |
|
||||
| --- | --- | --- |
|
||||
| PostgreSQL/Redis distro libraries: GnuTLS, Perl, XML и другие | Приложения обращаются через TLS gateways и ограниченные роли. Backend слушает loopback; XML/Perl features не используются нашим SQL-кодом | Закреплённые версии предыдущей лабы сохранены. Это **не исправление** обнаруженных дефектов. Перед эксплуатацией требуется обновить minor images и повторить весь набор тестов; потенциально достижимые backend bugs считаются остаточным риском |
|
||||
| Redis image `gosu` Go stdlib: html/template, net/netip, crypto/tls | gosu — локальный инструмент смены UID, Redis runtime запускается сразу non-root; HTTP/TLS/template server в gosu не запускается | Конкретные сетевые сценарии из CVE не задействованы по назначению инструмента; формальный call-graph анализ не выполнялся. Уязвимый binary остаётся в image |
|
||||
| OpenBao CVE-2026-33757/33758: OIDC direct callback | Включены token/cert auth, UI off; JWT/OIDC direct callback роли не создаются | Условия этих сценариев конфигурацией не включены; при включении OIDC обязателен пересмотр и upgrade |
|
||||
| OpenBao CVE-2026-63132: recovery mode token timing | Сервер работает в обычном server mode, recovery mode не запускается | Путь recovery mode не используется; не считаем это исправлением самого binary. Включать recovery endpoint в этой версии без пересмотра нельзя |
|
||||
| OpenBao/Collector/Grafana pgx CVE-2026-33815/33816 | OpenBao использует file storage и KV, dynamic PostgreSQL engine не включён; Collector использует OTLP/Prometheus, не PostgreSQL exporter; Grafana storage SQLite, PostgreSQL datasource отсутствует | PostgreSQL driver paths этих компонентов не задействованы. Наш app PostgreSQL driver — asyncpg, не pgx. При добавлении соответствующей интеграции нужен upgrade |
|
||||
| MinIO OIDC/LDAP Critical, CVE-2026-33322/33419 | OIDC/LDAP не настроены, browser off; API использует SigV4 identities и prefix policies | Эти auth paths не включены. Native TLS/SigV4 и обработка объектов остаются активной поверхностью, остальные находки не объявляются автоматически неприменимыми |
|
||||
| AMQP driver CVE-2026-77405/77408/77411 в MinIO/Collector | Broker Redis Streams; AMQP notification targets/exporters отсутствуют | Указанные AMQP protocol paths не используются |
|
||||
| gRPC authz CVE-2026-33186 в telemetry binaries | Экспорт/приём OTLP только HTTP; gRPC listeners серверов привязаны к loopback, внешнее право входа проверяют TLS gateways | Уязвимый gRPC authz не используется как механизм внешней авторизации. Это конфигурационное ограничение, не обновление библиотеки |
|
||||
| Go TLS session resumption CVE-2025-68121 | Gateways используют OpenSSL, TLS tickets отключены; статический CA в стенде. Grafana/Collector/Prometheus — Go TLS clients с настроенным CA | Нельзя объявить всю группу неприменимой: Go clients остаются. CA rollover не реализован; leaf revoke закрывает gateway connections и проверяется новым подключением. Перед production нужны обновления Go-based images |
|
||||
| OpenSSL CVE-2026-31789 с условием 32-bit | Измеренный стенд linux/arm64, 64-bit | Условие 32-bit из advisory не соответствует измеренной архитектуре; перенос на другую архитектуру требует повторной оценки |
|
||||
| HAProxy image socat CVE-2026-56123 | Runtime запускает HAProxy, socat не вызывается сервисом или hooks | Конкретный socat parser path не используется; binary остаётся в стороннем image |
|
||||
| Grafana kin-openapi/brotli и прочие web dependencies | Grafana включена: authenticated HTTPS на 127.0.0.1, anonymous off, datasource identity read-only | Полная недостижимость не доказана. Сохранённые находки — остаточный риск UI. Для эксплуатации нужен upgrade Grafana и повторная проверка dashboard/datasources |
|
||||
|
||||
## Приоритеты
|
||||
|
||||
1. Исправлен app runtime и доступные distro packages, затем повторены бизнес/security тесты.
|
||||
2. Для оставшихся сторонних images явно отделены отключённые integrations, архитектурные условия и потенциально достижимые пути.
|
||||
3. mTLS/ACL ограничивают доступ к компонентам, но не исправляют ошибки кода. Скомпрометированный разрешённый сервис остаётся возможным источником атаки на доступный endpoint.
|
||||
4. Обновление закреплённых backends и UI — следующая эксплуатационная работа; этот учебный стенд не заявляется как production-ready или «без CVE».
|
||||
|
||||
Raw reports и конкретные package versions сохранены для воспроизведения. Автоматических suppressions, скрывающих Critical, нет. Изменение базы сканера может менять результаты при том же image; image ID и OS metadata находятся в report.
|
||||
@@ -0,0 +1,3 @@
|
||||
[alembic]
|
||||
script_location = %(here)s/migrations
|
||||
prepend_sys_path = .
|
||||
@@ -1,18 +0,0 @@
|
||||
# Topology worksheet, deliberately NOT a runnable stack (no application supplied).
|
||||
# Implement compose.yaml or stack.yaml; do not submit this empty file as deployment.
|
||||
# Service names below are logical roles, not imposed container names.
|
||||
x-lab-number: 7
|
||||
x-required-roles:
|
||||
- api
|
||||
- postgres
|
||||
- load_balancer
|
||||
- s3
|
||||
- broker
|
||||
- worker
|
||||
- otel_collector
|
||||
- telemetry_storage
|
||||
- grafana
|
||||
- openbao
|
||||
# TODO: implement real images/builds, network wiring, volumes, healthchecks,
|
||||
# credentials and bootstrap. Details: contracts/infrastructure.json and README.md.
|
||||
services: {}
|
||||
+1122
File diff suppressed because it is too large
Load Diff
+27
-28
@@ -1,37 +1,36 @@
|
||||
# Матрица доверия — заполнить в решении lab7
|
||||
# Матрица доверия — лабораторная 7
|
||||
|
||||
Это обязательная матрица покрытия. Для каждой строки укажите реальный порт, endpoint, CA, service identity, проверку SAN/ACL, срок жизни credentials и команду положительного/отрицательного теста. TLS шифрует и подтверждает сервер; mTLS также проверяет клиента. При доверенном CA всё равно нужно ограничивать разрешённую identity. Plaintext hop допустим только внутри закрытого локального transport/proxy boundary, без опубликованного обхода; границу и rationale нужно доказать.
|
||||
Автор: Каменский Андрей, БПИ2301. Целевая оценка: 4.
|
||||
|
||||
| Связь | Минимум на 3 | Дополнительно на 4 | Доказательство / конфиг |
|
||||
CA: `.local/trust/ca.crt`, создаётся локально оператором, срок 365 дней. Leaf: 2 дня, SAN DNS равен имени роли/сервиса, EKU serverAuth/clientAuth. Закрытый ключ CA находится только в `.local/operator`, приложениям не передаётся. В gateways разрешение определяется подписанной ролью CN из явного allowlist; API transport проверяет DNS SAN `lb`. Проверка серверного имени обязательна. Ключи не находятся в репозитории/образах.
|
||||
|
||||
Рабочие токены OpenBao: TTL 60 секунд, max TTL 300 секунд; supervisor каждые 10 секунд продлевает доступ и читает KV, при max TTL повторно входит по сертификату. Статические пароли KV не имеют автоматического срока в PostgreSQL/S3/Redis: их ротация и отзыв — отдельные операции. Сессия пользователя: абсолютный TTL 3600 секунд.
|
||||
|
||||
| Связь / реальный endpoint | Протокол, CA и identity | Авторизация / минимальные права | Проверка и конфигурация |
|
||||
| --- | --- | --- | --- |
|
||||
| Клиент → ingress/LB | TLS, CA + hostname, Bearer | Проверка expiry/revocation сессии и общего login rate limit | TODO |
|
||||
| LB → API (все реплики) | mTLS + allowlist LB identity | Ротация leaf без обхода проверки | TODO |
|
||||
| API/worker → PostgreSQL | TLS verify-full + раздельные ограниченные DB roles | Ротация credentials; mTLS — допустимое усиление | TODO |
|
||||
| API/worker → S3 | TLS + разные scoped credentials/prefix rights | Проверка denied prefix и ротация | TODO |
|
||||
| API/worker → broker | TLS + разные producer/consumer identities и ACL | mTLS + ограничение допустимых SAN/ролей | TODO |
|
||||
| API/worker → Collector | TLS; сеть/аутентификация запрещает произвольный ingest | mTLS с раздельными identities | TODO |
|
||||
| Collector → telemetry backends | TLS + scoped backend credentials или mTLS | Ротация и проверка least privilege | TODO |
|
||||
| Grafana → data sources | TLS с проверкой сервера, ограниченная identity | Отрицательные проверки доступа | TODO |
|
||||
| API/worker/agent → OpenBao | TLS + сервисный auth + scoped policy | Renewal/expiry/revocation | TODO |
|
||||
| Оператор → OpenBao/Grafana/S3 admin | TLS + authentication, доступ локальный/через защищённый канал | Разделение operator/application roles | TODO |
|
||||
| API → Redis/Valkey, если используется | TLS + ACL/пароль с минимальными правами | Ротация; mTLS по возможности | TODO |
|
||||
| Replication/кластерные каналы, если добавлены | TLS/mTLS либо подтверждённый шифрованный transport | Проверка заявленной модели отказа | TODO |
|
||||
| Клиент → `https://localhost:8443` (LB) | TLS 1.3; CA и SAN localhost; клиентский cert не требуется | Bearer из Redis; ACL чата; общий login limit по IP и логину | `make test test-security`; `tests/lab7_security.py`; `infra/haproxy.cfg` |
|
||||
| LB → `api:8443`, обе реплики | mTLS 1.3; сервер SAN api; клиент SAN lb, CRL | API transport допускает только DNS SAN lb; без cert, чужой CA, чужая identity, expired — отказ | `src/secure/transport.py`; `tests/lab7_security.py` (mtls-allow/deny api); `tests/lab7_lifecycle.py` (ротация) |
|
||||
| API/worker/dispatcher/reconciler → `postgres:5432` | Прямой TLS 1.3 до gateway, сервер SAN postgres, клиентская роль из allowlist; asyncpg direct_tls | Раздельные роли БД; API без DDL/role admin, worker SELECT/UPDATE только attachments/jobs; dispatcher и reconciler с отдельными grants | `infra/security/postgres.cfg`; `scripts/lab7.py` grants; security DB-deny; lifecycle password rotation |
|
||||
| API/worker/dispatcher/reconciler → `https://minio:9000` | Native TLS, сервер SAN minio; SigV4 с разными credentials | API пишет staging и читает файлы; worker читает staging, пишет originals/variants; dispatcher удаляет staging; reconciler выполняет cleanup | `infra/s3/*policy.json`; security s3-prefix-deny/api-cannot-write-variants; TLS-верификация обязательна |
|
||||
| Dispatcher/worker → `broker:6379` | mTLS, сервер SAN broker; разрешены роли dispatcher/worker/api/operator; Redis ACL отдельно | dispatcher: XADD; worker: consumer-group/read/claim/ack/delete; только stream attachment-jobs-v1; admin команды запрещены. API не публикует: outbox публикует dispatcher | `infra/security/broker.cfg`; bootstrap broker.acl; security mtls broker и producer/consumer deny; lifecycle CRL |
|
||||
| API/worker/dispatcher/reconciler → `https://otel-collector:4318` | mTLS, сервер SAN otel-collector; explicit role allowlist | Только POST /v1/traces, /v1/logs, /v1/metrics | `infra/security/otel-collector.cfg`; security mtls collector |
|
||||
| Collector → `https://tempo:4318`, `https://loki:3100/otlp` | mTLS, серверные SAN tempo/loki; клиентская роль otel-collector | Только ingestion endpoints POST; query/frontend и metrics/admin credentials не выдаются | `collector.yaml`, `tempo.cfg`, `loki.cfg`; live telemetry audit |
|
||||
| Grafana → `https://prometheus:9090`, `https://loki:3100`, `https://tempo:3200` | mTLS, CA + серверный SAN; клиент grafana | Только GET; записи/ingestion/admin POST запрещены; Grafana anonymous off | `.local/config/grafana-sources.yaml` генерируется bootstrap; security grafana-write-deny |
|
||||
| API/worker/dispatcher/reconciler → `https://openbao:8200` | TLS/mTLS listener; сервер SAN openbao; cert auth привязывает CA, CN и SAN к роли | Каждый читает только secret/data/messenger/<role>; нельзя читать чужой путь/менять policy; token TTL/renew/re-auth | `infra/openbao/*.hcl`; `src/secure/runtime.py`; security own/other/policy/renew/expiry/revoke; lifecycle sealed/unseal |
|
||||
| Оператор → OpenBao `https://localhost:18200`, Grafana `https://localhost:13000`, S3 admin `https://minio:9000` внутри operator job | TLS и hostname; OpenBao требует operator cert плюс root token для bootstrap; Grafana login; S3 SigV4 root только в operator job | Административные материалы отделены от runtime; опубликованные admin-порты привязаны к 127.0.0.1 | bootstrap.env/bao-init.json в защищённом operator directory; `tests/lab7_audit.py`; S3 bootstrap проверяет TLS |
|
||||
| API → Redis сессий `redis:6379` | mTLS, сервер SAN redis; разрешён api/operator; отдельная ACL api | Только session:v1:*, user:v1:*, rl:login:* и нужные команды; CONFIG/чужой prefix запрещены | `redis.cfg`; bootstrap redis.acl; security redis-admin/prefix deny, session-expiry, shared-rate-limit |
|
||||
| Prometheus → Collector `https://otel-collector:8889/metrics`, `:8888/metrics` | mTLS, клиент prometheus, сервер SAN otel-collector | Только GET /metrics; operator разрешён для диагностики | `prometheus.yaml`, `otel-collector.cfg`; security tls-matrix; реальный scrape в audit |
|
||||
| Health/bootstrap | API Docker health и replica hook: 127.0.0.1:8080 внутри API; LB health проходит через mTLS; Collector health доступен operator по mTLS :13133 | Никакого опубликованного plaintext listener; operator jobs используют TLS. Локальный API listener содержит бизнес-API, но недоступен из другого контейнера | security no-plaintext-bypass; `Dockerfile`, `scripts/replicas.py`; audit портов |
|
||||
| Replication/кластерные каналы | N/A: по одному PostgreSQL, Redis, MinIO и telemetry backend; API масштабируется без state replication | OpenBao single-node file storage, cluster address привязан к loopback | Это не отказоустойчивость хранилищ/хоста; описано в REPORT |
|
||||
|
||||
Нет выбранного компонента — отметьте N/A с причиной, а не оставляйте пустую строку. Внутренний публичный health listener, если нужен, минимален и изолирован; через него нельзя обращаться к бизнес-API без mTLS. Отдельно задокументируйте scrape/health/bootstrap каналы: они тоже не должны создавать обход.
|
||||
## Закрытый локальный участок
|
||||
|
||||
## Обязательные отрицательные проверки
|
||||
PostgreSQL :15432, Redis/broker :16379, Collector :14318/:18888/:18889/:13134, Loki :13100, Tempo :13200/:14318, Prometheus :19090 слушают только 127.0.0.1. Соответствующий TLS gateway разделяет network namespace backend (`network_mode: service:<backend>`). Поэтому plaintext не выходит в bridge-сеть. API использует TLS transport в том же контейнере и локальный Uvicorn :8080. Компрометация backend/gateway внутри этой общей границы не устраняется TLS.
|
||||
|
||||
1. HTTPS с правильным CA/hostname проходит; с пустым/чужим CA и неправильным hostname — ошибка верификации, не «сервер недоступен».
|
||||
2. LB→API: без client cert, с cert чужого CA, с запрещённой identity от доверенного CA — отказ; с разрешённой LB identity — успех.
|
||||
3. На 4 повторите набор для broker и Collector; ограничение на network policy не заменяет проверку identity.
|
||||
4. Пользователь вне чата не читает metadata/content и не прикрепляет чужой файл; поддельный X-User-Id не меняет Bearer identity.
|
||||
5. OpenBao app policy читает только свой secret/path; запись policy и чтение чужого path запрещены. Worker не получает admin credentials API/БД/S3.
|
||||
6. На 4 отзовите secret/cert и дождитесь контролируемого эффекта с учётом действующих соединений, TLS resumption и cache/TTL. Покажите новое подключение, иначе тест отзыва может ничего не проверить.
|
||||
## Bootstrap, renewal и отзыв
|
||||
|
||||
## Bootstrap и эксплуатация
|
||||
`python3 scripts/lab7.py bootstrap` — явное действие оператора: создаёт CA/leaf/пароли, запускает non-dev persistent OpenBao, выполняет init/unseal, назначает policies/cert roles, миграции/grants и S3 policies. Повторный bootstrap не перезаписывает существующие KV записи и данные. Обычный restart API не требует unseal, если OpenBao уже разблокирован.
|
||||
|
||||
В репозитории только открытые конфиги, policy templates и scripts. CA private key, leaf keys, root token, unseal shares и SecretID не коммитятся, не запекаются в образ и не печатаются в отчёте. Для локального стенда оператор создаёт их вне Git и передаёт через files/secrets с ограниченными правами. Опишите, кто имеет доступ к CA/unseal, что нужно после рестарта OpenBao и как восстановить работу.
|
||||
`.local` и `.local/operator` имеют mode 0700; CA key и bao-init.json — 0600. Operator directory не смонтирован в OpenBao/API/worker. Leaf-файлы читаемы процессом внутри конкретного контейнера, который получает только свою read-only identity directory. Все shares в одном защищённом operator directory — учебное упрощение, без разделения операторов; для эксплуатации shares нужно разнести между хранителями.
|
||||
|
||||
OpenBao не использует dev-mode. Выберите persistent storage и auth метод (например AppRole с короткоживущим SecretID/response wrapping, cert auth или иная обоснованная identity). Не подменяйте root token постоянной переменной BAO_TOKEN в приложении. Рабочие tokens имеют policy, TTL и renewal/re-auth сценарий. Статические KV secrets на 3 допустимы при реальном чтении через сервисную identity; динамические DB credentials — хорошее расширение, но не обязательное название технологии.
|
||||
|
||||
Разрешённый компромисс учебного стенда: ручной operator init/unseal, если он безопасно документирован и не нужен при каждом обычном рестарте API. Автоматическое хранение всех unseal shares рядом с OpenBao без защиты не считается решённым bootstrap.
|
||||
`python3 scripts/lab7.py rotate-secret` создаёт новую DB login-role worker, обновляет KV, даёт supervisor применить запись, отключает старый login и завершает старые соединения. `rotate-cert --role worker` выдаёт leaf с новым ключом, отзывает старый serial, обновляет CRL gateways и cert auth, закрывает старые gateway-соединения. Supervisor перечитывает identity/CRL и перезапускает дочерний процесс без пересборки образа. Проверка использует новое подключение со старым cert/паролем. Автоматический rollover CA не реализован и относится к исследовательскому уровню 5.
|
||||
|
||||
+15
-3
@@ -1,5 +1,17 @@
|
||||
# Доказательства
|
||||
# Доказательства lab7
|
||||
|
||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
||||
Каменский Андрей, БПИ2301. Все summaries получены на локальном синтетическом стенде; секретные материалы исключены.
|
||||
|
||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
||||
- acceptance-summary.json и checks-*.txt — итоговые команды и фактические результаты.
|
||||
- security-summary.json — TLS/mTLS, identity, ACL, OpenBao, rehash, rate limit, sessions.
|
||||
- lifecycle-summary.json — DB/leaf rotation, revoke, sealed/unseal и pipeline.
|
||||
- s3-rotation-summary.json — реальная смена MinIO identity с отключением старой.
|
||||
- renew-identities-checks.txt — обслуживание всего набора leaf с прежним CA.
|
||||
- persistence-summary.json — реальные StartedAt всех runtime containers до/после restart; публичный тест проверяет прежнюю сессию/данные/файл.
|
||||
- failover-summary.json и failover-events.jsonl — адресный отказ каждого из двух API containers; public failover отдельно в checks-both-failovers.txt.
|
||||
- argon-budget.json — измеренные параметры/время/RSS в ограниченном API container.
|
||||
- audit-summary.json — фактические Docker permissions/ports/mounts, выборки telemetry без известных секретов, реальные запросы Grafana к datasource и сверка публичных файлов.
|
||||
- scan-*.json — Trivy raw reports всех 11 разных runtime images, включая Python dependencies; scan-app-before-os-update.json — сравнение до OS patch. Применимость и остаточные риски: ../SCAN_TRIAGE.md.
|
||||
- environment.json — реальный image ID, архитектура и ресурсы Docker-хоста.
|
||||
|
||||
Проверки выполнялись последовательно, с исправлением найденных проблем и повтором затронутой проверки. Итоговые PASS относятся к сохранённым успешным прогонам; это не заявление, что весь стенд с первого запуска прошёл без исправлений. Обновление distro packages выполнено после первых lifecycle проверок; итоговые бизнес/security/persistence/failover проверки выполнены на обновлённом image. Public tests не изменялись.
|
||||
|
||||
@@ -0,0 +1,90 @@
|
||||
[
|
||||
{
|
||||
"check": "contract-lint",
|
||||
"result": "PASS",
|
||||
"seconds": 1.15,
|
||||
"command": [
|
||||
"make",
|
||||
"check",
|
||||
"validate",
|
||||
"lint",
|
||||
"PYTHON=.venv/bin/python"
|
||||
],
|
||||
"evidence": "checks-contract-lint.txt"
|
||||
},
|
||||
{
|
||||
"check": "public-https",
|
||||
"result": "PASS",
|
||||
"seconds": 5.69,
|
||||
"command": [
|
||||
"make",
|
||||
"test",
|
||||
"test-security"
|
||||
],
|
||||
"evidence": "checks-public-https.txt"
|
||||
},
|
||||
{
|
||||
"check": "security",
|
||||
"result": "PASS",
|
||||
"seconds": 29.45,
|
||||
"command": [
|
||||
"python3",
|
||||
"tests/lab7_security.py"
|
||||
],
|
||||
"evidence": "checks-security.txt"
|
||||
},
|
||||
{
|
||||
"check": "attachments",
|
||||
"result": "PASS",
|
||||
"seconds": 6.96,
|
||||
"command": [
|
||||
".venv/bin/python",
|
||||
"tests/attachments.py",
|
||||
"--base-url",
|
||||
"https://localhost:8443",
|
||||
"--ca-file",
|
||||
"/Users/andrejkamenskij/PycharmProjects/mtusi2026lab7/.local/trust/ca.crt"
|
||||
],
|
||||
"evidence": "checks-attachments.txt"
|
||||
},
|
||||
{
|
||||
"check": "persistence",
|
||||
"result": "PASS",
|
||||
"seconds": 30.15,
|
||||
"command": [
|
||||
"python3",
|
||||
"scripts/test-persistence.py"
|
||||
],
|
||||
"evidence": "checks-persistence.txt"
|
||||
},
|
||||
{
|
||||
"check": "both-failovers",
|
||||
"result": "PASS",
|
||||
"seconds": 81.27,
|
||||
"command": [
|
||||
"python3",
|
||||
"scripts/test-failovers.py"
|
||||
],
|
||||
"evidence": "checks-both-failovers.txt"
|
||||
},
|
||||
{
|
||||
"check": "argon",
|
||||
"result": "PASS",
|
||||
"seconds": 10.38,
|
||||
"command": [
|
||||
"python3",
|
||||
"scripts/argon-budget.py"
|
||||
],
|
||||
"evidence": "checks-argon.txt"
|
||||
},
|
||||
{
|
||||
"check": "audit",
|
||||
"result": "PASS",
|
||||
"command": [
|
||||
"python3",
|
||||
"tests/lab7_audit.py"
|
||||
],
|
||||
"evidence": "audit-summary.json",
|
||||
"note": "Successful direct rerun; Loki sample bounded to the last 120 seconds and 200 records after the initial broad query exceeded its timeout."
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,33 @@
|
||||
{
|
||||
"candidates": [
|
||||
{
|
||||
"memory_kib": 19456,
|
||||
"time_cost": 2,
|
||||
"parallelism": 1,
|
||||
"single_p50_seconds": 0.051727104000747204,
|
||||
"single_max_seconds": 0.08495441701961681,
|
||||
"concurrency": 2,
|
||||
"batch_seconds": 0.7861458749976009,
|
||||
"batch_max_seconds": 0.36627137500909157,
|
||||
"process_peak_rss_kib": 78780
|
||||
},
|
||||
{
|
||||
"memory_kib": 65536,
|
||||
"time_cost": 3,
|
||||
"parallelism": 4,
|
||||
"single_p50_seconds": 0.6472472294990439,
|
||||
"single_max_seconds": 0.8055670839967206,
|
||||
"concurrency": 2,
|
||||
"batch_seconds": 4.09831758501241,
|
||||
"batch_max_seconds": 1.2871573340089526,
|
||||
"process_peak_rss_kib": 210132
|
||||
}
|
||||
],
|
||||
"api_cpu_limit": 0.5,
|
||||
"api_memory_limit_bytes": 536870912,
|
||||
"max_hashes_per_api": 2,
|
||||
"api_replicas": 2,
|
||||
"global_login_ip_limit_per_minute": 120,
|
||||
"global_login_account_limit_per_minute": 10,
|
||||
"measurement": "Six sequential and eight two-thread verifications per candidate; peak RSS is cumulative for this probe process, not container total."
|
||||
}
|
||||
@@ -0,0 +1,139 @@
|
||||
{
|
||||
"checks": [
|
||||
{
|
||||
"check": "container-hardening:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:broker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:broker-tls",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:dispatcher",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:grafana",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:lb",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:loki",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:loki-tls",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:minio",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:openbao",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:otel-collector",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:otel-tls",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:postgres",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:postgres-tls",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:prometheus",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:prometheus-tls",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:reconciler",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:redis",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:redis-tls",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:tempo",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:tempo-tls",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "container-hardening:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-secrets:container-logs",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-secrets:metrics",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-secrets:logs",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-secrets:traces",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "metric-labels-bounded",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "live-telemetry-all-three-signals",
|
||||
"result": "PASS",
|
||||
"sample_trace_id": "c366d93384da2c44460f7b2b086d3a14"
|
||||
},
|
||||
{
|
||||
"check": "grafana-real-datasource-query:prometheus",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "grafana-real-datasource-query:loki",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "grafana-real-datasource-query:tempo",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "public-tests-and-contracts-unchanged",
|
||||
"result": "PASS",
|
||||
"files": 16
|
||||
}
|
||||
],
|
||||
"passed": 33
|
||||
}
|
||||
@@ -0,0 +1 @@
|
||||
Saved measured Argon2 budget; evidence/argon-budget.json
|
||||
@@ -0,0 +1 @@
|
||||
PASS: PNG/JPEG bytes, metadata, ACL, chat boundaries, limits and idempotency
|
||||
@@ -0,0 +1,4 @@
|
||||
Command: python3 tests/lab7_audit.py
|
||||
Successful rerun after bounding the Loki sample to recent records:
|
||||
PASS: 33 container/telemetry/public-file audit checks
|
||||
Details: audit-summary.json
|
||||
@@ -0,0 +1,22 @@
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 102, "failed_attempts": 6, "first_recovery_seconds": 3.511}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
Container mtusi2026lab7-api-1 Starting
|
||||
Container mtusi2026lab7-api-1 Started
|
||||
Container mtusi2026lab7-api-1 Running
|
||||
Container mtusi2026lab7-api-2 Running
|
||||
Container mtusi2026lab7-api-2 Waiting
|
||||
Container mtusi2026lab7-api-1 Waiting
|
||||
Container mtusi2026lab7-api-2 Healthy
|
||||
Container mtusi2026lab7-api-1 Healthy
|
||||
Container mtusi2026lab7-api-1 Starting
|
||||
Container mtusi2026lab7-api-1 Started
|
||||
Container mtusi2026lab7-api-2 Starting
|
||||
Container mtusi2026lab7-api-2 Started
|
||||
PASS: both exact API containers stopped under writes; sessions, messages and attachment preserved
|
||||
Container mtusi2026lab7-api-1 Running
|
||||
Container mtusi2026lab7-api-2 Running
|
||||
Container mtusi2026lab7-api-2 Waiting
|
||||
Container mtusi2026lab7-api-1 Waiting
|
||||
Container mtusi2026lab7-api-2 Healthy
|
||||
Container mtusi2026lab7-api-1 Healthy
|
||||
@@ -0,0 +1,8 @@
|
||||
.venv/bin/python scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
.venv/bin/python -m ruff check src
|
||||
All checks passed!
|
||||
.venv/bin/python -m ruff format --check src
|
||||
68 files already formatted
|
||||
@@ -0,0 +1,2 @@
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1,4 @@
|
||||
python3 tests/smoke.py --base-url "https://localhost:8443" --ca-file "/Users/andrejkamenskij/PycharmProjects/mtusi2026lab7/.local/trust/ca.crt"
|
||||
PASS: lab7 public API scenario; infrastructure and grading evidence remain separate.
|
||||
python3 tests/security.py --base-url "https://localhost:8443" --ca-file "/Users/andrejkamenskij/PycharmProjects/mtusi2026lab7/.local/trust/ca.crt"
|
||||
PASS: trusted HTTPS works; untrusted CA rejected. This does NOT verify internal mTLS, OpenBao or hardening.
|
||||
@@ -0,0 +1 @@
|
||||
PASS: 79 security checks; evidence/security-summary.json
|
||||
@@ -0,0 +1,11 @@
|
||||
{
|
||||
"application_image_id": "sha256:7a9510956af023fdf1888ae5a9590a14850e9495e01cd7ee0bf7a4643b5cf4f0",
|
||||
"application_created": "2026-11-20T11:44:25.25565955Z",
|
||||
"architecture": "arm64",
|
||||
"os": "linux",
|
||||
"docker_cpus": 10,
|
||||
"docker_memory_bytes": 8218034176,
|
||||
"python_base": "python:3.13.13-slim-bookworm",
|
||||
"scan": "aquasec/trivy:0.69.3",
|
||||
"environment": "isolated mtusi2026lab7 Compose project; lab1/lab6 volumes unchanged"
|
||||
}
|
||||
@@ -0,0 +1,9 @@
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 102, "failed_attempts": 6, "first_recovery_seconds": 3.511}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
Container mtusi2026lab7-api-1 Starting
|
||||
Container mtusi2026lab7-api-1 Started
|
||||
Container mtusi2026lab7-api-2 Starting
|
||||
Container mtusi2026lab7-api-2 Started
|
||||
PASS: both exact API containers stopped under writes; sessions, messages and attachment preserved
|
||||
@@ -0,0 +1,3 @@
|
||||
{"container": "9004fd641303", "instance_id": "a0f17973-6edd-40a7-b20f-d13277f4ffdf", "started_at": "2026-11-20T11:53:03.388314512Z", "finished_at": "2026-11-20T11:53:25.023882758Z", "stop_seconds": 1.559, "exit_code": 0}
|
||||
{"container": "9004fd641303", "instance_id": "1ad1b0c2-0fb1-41f9-a6a0-2f22ed967dc8", "started_at": "2026-11-20T11:53:38.251018792Z", "finished_at": "2026-11-20T11:53:48.962292922Z", "stop_seconds": 2.344, "exit_code": 0}
|
||||
{"container": "179540d23055", "instance_id": "e39e039b-01c9-4851-8653-44e721e80168", "started_at": "2026-11-20T11:53:03.190875804Z", "finished_at": "2026-11-20T11:54:17.803645797Z", "stop_seconds": 3.826, "exit_code": 0}
|
||||
@@ -0,0 +1,23 @@
|
||||
{
|
||||
"result": "PASS",
|
||||
"distinct_containers": 2,
|
||||
"runs": 2,
|
||||
"events": [
|
||||
{
|
||||
"container": "9004fd641303",
|
||||
"target_instance": "1ad1b0c2-0fb1-41f9-a6a0-2f22ed967dc8",
|
||||
"successful_writes": 83,
|
||||
"failed_attempts": 2,
|
||||
"first_recovery_seconds": 2.98,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"container": "179540d23055",
|
||||
"target_instance": "e39e039b-01c9-4851-8653-44e721e80168",
|
||||
"successful_writes": 80,
|
||||
"failed_attempts": 4,
|
||||
"first_recovery_seconds": 5.859,
|
||||
"result": "PASS"
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,30 @@
|
||||
{
|
||||
"checks": [
|
||||
{
|
||||
"check": "db-secret-rotation-old-login-denied",
|
||||
"result": "PASS",
|
||||
"seconds": 17.15
|
||||
},
|
||||
{
|
||||
"check": "leaf-rotation-crl-old-cert-new-connection-denied",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "pipeline-after-credential-and-certificate-rotation",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "sealed-bao-stops-worker-within-ttl",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "sealed-bao-api-fails-closed",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "unseal-recovers-api-session-and-pipeline",
|
||||
"result": "PASS"
|
||||
}
|
||||
],
|
||||
"passed": 6
|
||||
}
|
||||
@@ -0,0 +1,2 @@
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1,120 @@
|
||||
{
|
||||
"result": "PASS",
|
||||
"restarted_containers": [
|
||||
{
|
||||
"service": "api:9004fd641303",
|
||||
"before": "2026-11-20T11:51:47.077986296Z",
|
||||
"after": "2026-11-20T11:53:03.388314512Z"
|
||||
},
|
||||
{
|
||||
"service": "api:179540d23055",
|
||||
"before": "2026-11-20T11:51:46.605278004Z",
|
||||
"after": "2026-11-20T11:53:03.190875804Z"
|
||||
},
|
||||
{
|
||||
"service": "broker:4fa62c7e10b5",
|
||||
"before": "2026-11-20T11:36:37.952276376Z",
|
||||
"after": "2026-11-20T11:52:54.274354716Z"
|
||||
},
|
||||
{
|
||||
"service": "broker-tls:a663811c9465",
|
||||
"before": "2026-11-20T11:51:42.222085627Z",
|
||||
"after": "2026-11-20T11:53:00.94694722Z"
|
||||
},
|
||||
{
|
||||
"service": "dispatcher:27de2f11799b",
|
||||
"before": "2026-11-20T11:51:46.562693546Z",
|
||||
"after": "2026-11-20T11:53:02.89669097Z"
|
||||
},
|
||||
{
|
||||
"service": "grafana:34b103d6d027",
|
||||
"before": "2026-11-20T11:51:42.234677419Z",
|
||||
"after": "2026-11-20T11:52:55.253765883Z"
|
||||
},
|
||||
{
|
||||
"service": "lb:c11e43eac80a",
|
||||
"before": "2026-11-20T11:52:02.371410387Z",
|
||||
"after": "2026-11-20T11:53:03.108103096Z"
|
||||
},
|
||||
{
|
||||
"service": "loki:5ea94b516831",
|
||||
"before": "2026-11-20T11:36:42.313584169Z",
|
||||
"after": "2026-11-20T11:52:55.875132509Z"
|
||||
},
|
||||
{
|
||||
"service": "loki-tls:c1db4dfde841",
|
||||
"before": "2026-11-20T11:51:42.218266794Z",
|
||||
"after": "2026-11-20T11:52:59.740269094Z"
|
||||
},
|
||||
{
|
||||
"service": "minio:8061bc04e663",
|
||||
"before": "2026-11-20T11:51:43.356812919Z",
|
||||
"after": "2026-11-20T11:52:54.543336508Z"
|
||||
},
|
||||
{
|
||||
"service": "openbao:46b03c05cb50",
|
||||
"before": "2026-11-20T11:51:43.355356128Z",
|
||||
"after": "2026-11-20T11:52:55.391808384Z"
|
||||
},
|
||||
{
|
||||
"service": "otel-collector:ddece026c631",
|
||||
"before": "2026-11-20T11:51:42.136444711Z",
|
||||
"after": "2026-11-20T11:52:55.448021259Z"
|
||||
},
|
||||
{
|
||||
"service": "otel-tls:03583f67b78a",
|
||||
"before": "2026-11-20T11:51:42.934082169Z",
|
||||
"after": "2026-11-20T11:52:59.655005094Z"
|
||||
},
|
||||
{
|
||||
"service": "postgres:d3c47311f49c",
|
||||
"before": "2026-11-20T11:36:38.778613501Z",
|
||||
"after": "2026-11-20T11:52:55.178434217Z"
|
||||
},
|
||||
{
|
||||
"service": "postgres-tls:37be4144384f",
|
||||
"before": "2026-11-20T11:51:42.235103794Z",
|
||||
"after": "2026-11-20T11:52:59.633902261Z"
|
||||
},
|
||||
{
|
||||
"service": "prometheus:5fbd0d030466",
|
||||
"before": "2026-11-20T11:51:42.251354836Z",
|
||||
"after": "2026-11-20T11:52:54.080592925Z"
|
||||
},
|
||||
{
|
||||
"service": "prometheus-tls:cca68d1de812",
|
||||
"before": "2026-11-20T11:51:43.107274961Z",
|
||||
"after": "2026-11-20T11:52:59.680127969Z"
|
||||
},
|
||||
{
|
||||
"service": "reconciler:db3c37e36fc1",
|
||||
"before": "2026-11-20T11:51:46.606813713Z",
|
||||
"after": "2026-11-20T11:53:02.804329429Z"
|
||||
},
|
||||
{
|
||||
"service": "redis:00fad51a34cd",
|
||||
"before": "2026-11-20T11:36:38.087665376Z",
|
||||
"after": "2026-11-20T11:52:53.831623174Z"
|
||||
},
|
||||
{
|
||||
"service": "redis-tls:69d27bf91dde",
|
||||
"before": "2026-11-20T11:51:42.235193794Z",
|
||||
"after": "2026-11-20T11:52:59.634450261Z"
|
||||
},
|
||||
{
|
||||
"service": "tempo:874d56821316",
|
||||
"before": "2026-11-20T11:36:41.459137711Z",
|
||||
"after": "2026-11-20T11:52:55.590433467Z"
|
||||
},
|
||||
{
|
||||
"service": "tempo-tls:d62f406cca12",
|
||||
"before": "2026-11-20T11:51:42.267101461Z",
|
||||
"after": "2026-11-20T11:52:59.714720594Z"
|
||||
},
|
||||
{
|
||||
"service": "worker:469f8f212472",
|
||||
"before": "2026-11-20T11:51:46.605327421Z",
|
||||
"after": "2026-11-20T11:53:02.744429595Z"
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,66 @@
|
||||
[
|
||||
{
|
||||
"file": "tests/image_probe.py",
|
||||
"sha256": "a9a4f89181c8e0fda6ce42e1a1af32fb42d8e3ae519e314207127c9b9b448b13"
|
||||
},
|
||||
{
|
||||
"file": "tests/client.py",
|
||||
"sha256": "8d50976fc7c7bbb81e88a152f613c61ab25eaf53dba33c6a9dfab19f868d546d"
|
||||
},
|
||||
{
|
||||
"file": "tests/security.py",
|
||||
"sha256": "6560a56cc22981c9f06043709bfabe7a47fa7eab57e62741e95534ac5ddff8a7"
|
||||
},
|
||||
{
|
||||
"file": "tests/README.md",
|
||||
"sha256": "e0bfa7e196797f6a5bf6e44d8ad2ffeb82651927ff5d8484eb1c2dda1ec7dec5"
|
||||
},
|
||||
{
|
||||
"file": "tests/load.py",
|
||||
"sha256": "6d3511ea719c7a7e841083e73d435c86dcbfd9f4e5c2a07d62eb9614b01d9933"
|
||||
},
|
||||
{
|
||||
"file": "tests/resilience.py",
|
||||
"sha256": "1f96663a174b3978d24eff66f2741f5f8c9b788d3242261d37a972720c52788b"
|
||||
},
|
||||
{
|
||||
"file": "tests/smoke.py",
|
||||
"sha256": "52ac38eb343ff7d43e7543588e1da58ca06c9fce74b2b0d0bf0e4982bc23c1db"
|
||||
},
|
||||
{
|
||||
"file": "tests/fixtures/README.md",
|
||||
"sha256": "c001783760b4f87a7a8441a7ba55f5d080ff48e1397d3581d72a88d7691f96c2"
|
||||
},
|
||||
{
|
||||
"file": "tests/fixtures/sample.png",
|
||||
"sha256": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75"
|
||||
},
|
||||
{
|
||||
"file": "contracts/examples.json",
|
||||
"sha256": "381cc18c03789e935b391d007fb5843964be9cfd9f7530cb6b1996ed4a1c4c37"
|
||||
},
|
||||
{
|
||||
"file": "contracts/jobs.schema.json",
|
||||
"sha256": "9ccf9b11466c0c3a26a941520ac5ff543241fc4935e3a6eebb01ef303779b10d"
|
||||
},
|
||||
{
|
||||
"file": "contracts/README.md",
|
||||
"sha256": "72df27a559f88ffa3fd8c3c79d3c32f6db2c5986a0602677c51994c434a3fc4f"
|
||||
},
|
||||
{
|
||||
"file": "contracts/observability.md",
|
||||
"sha256": "882c120c0e153a06c9cc824a802e317c58eb6590bc3d3a576f2e0a96f8597b62"
|
||||
},
|
||||
{
|
||||
"file": "contracts/attachment-states.md",
|
||||
"sha256": "cf0519e137410e4b34ab632aadb8ad8a381d4b73033e27b354c58eeacbdf86d6"
|
||||
},
|
||||
{
|
||||
"file": "contracts/openapi.json",
|
||||
"sha256": "51dd0b8199aee7be81437056144c5fca9d82c2b4387dae62585cadf230ee749a"
|
||||
},
|
||||
{
|
||||
"file": "contracts/infrastructure.json",
|
||||
"sha256": "90b706e85ee2fcaa54e1113e98206555e0cd678caf03204c9ac363a6f1323d30"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,100 @@
|
||||
Container mtusi2026lab7-openbao-1 Stopping
|
||||
Container mtusi2026lab7-prometheus-tls-1 Stopping
|
||||
Container mtusi2026lab7-otel-tls-1 Stopping
|
||||
Container mtusi2026lab7-worker-1 Stopping
|
||||
Container mtusi2026lab7-grafana-1 Stopping
|
||||
Container mtusi2026lab7-tempo-tls-1 Stopping
|
||||
Container mtusi2026lab7-lb-1 Stopping
|
||||
Container mtusi2026lab7-minio-1 Stopping
|
||||
Container mtusi2026lab7-broker-tls-1 Stopping
|
||||
Container mtusi2026lab7-postgres-tls-1 Stopping
|
||||
Container mtusi2026lab7-redis-tls-1 Stopping
|
||||
Container mtusi2026lab7-loki-tls-1 Stopping
|
||||
Container mtusi2026lab7-reconciler-1 Stopping
|
||||
Container mtusi2026lab7-dispatcher-1 Stopping
|
||||
Container mtusi2026lab7-prometheus-tls-1 Stopped
|
||||
Container mtusi2026lab7-prometheus-1 Stopping
|
||||
Container mtusi2026lab7-broker-tls-1 Stopped
|
||||
Container mtusi2026lab7-grafana-1 Stopped
|
||||
Container mtusi2026lab7-minio-1 Stopped
|
||||
Container mtusi2026lab7-otel-tls-1 Stopped
|
||||
Container mtusi2026lab7-otel-collector-1 Stopping
|
||||
Container mtusi2026lab7-lb-1 Stopped
|
||||
Container mtusi2026lab7-api-1 Stopping
|
||||
Container mtusi2026lab7-api-2 Stopping
|
||||
Container mtusi2026lab7-loki-tls-1 Stopped
|
||||
Container mtusi2026lab7-worker-1 Stopped
|
||||
Container mtusi2026lab7-redis-tls-1 Stopped
|
||||
Container mtusi2026lab7-tempo-tls-1 Stopped
|
||||
Container mtusi2026lab7-postgres-tls-1 Stopped
|
||||
Container mtusi2026lab7-reconciler-1 Stopped
|
||||
Container mtusi2026lab7-dispatcher-1 Stopped
|
||||
Container mtusi2026lab7-prometheus-1 Stopped
|
||||
Container mtusi2026lab7-openbao-1 Stopped
|
||||
Container mtusi2026lab7-otel-collector-1 Stopped
|
||||
Container mtusi2026lab7-api-1 Stopped
|
||||
Container mtusi2026lab7-api-2 Stopped
|
||||
Container mtusi2026lab7-volume-init-1 Starting
|
||||
Container mtusi2026lab7-volume-init-1 Started
|
||||
Container mtusi2026lab7-otel-collector-1 Starting
|
||||
Container mtusi2026lab7-redis-tls-1 Starting
|
||||
Container mtusi2026lab7-broker-tls-1 Starting
|
||||
Container mtusi2026lab7-grafana-1 Starting
|
||||
Container mtusi2026lab7-tempo-tls-1 Starting
|
||||
Container mtusi2026lab7-postgres-tls-1 Starting
|
||||
Container mtusi2026lab7-loki-tls-1 Starting
|
||||
Container mtusi2026lab7-volume-init-1 Starting
|
||||
Container mtusi2026lab7-prometheus-1 Starting
|
||||
Container mtusi2026lab7-broker-tls-1 Started
|
||||
Container mtusi2026lab7-loki-tls-1 Started
|
||||
Container mtusi2026lab7-volume-init-1 Started
|
||||
Container mtusi2026lab7-volume-init-1 Waiting
|
||||
Container mtusi2026lab7-volume-init-1 Waiting
|
||||
Container mtusi2026lab7-redis-tls-1 Started
|
||||
Container mtusi2026lab7-postgres-tls-1 Started
|
||||
Container mtusi2026lab7-tempo-tls-1 Started
|
||||
Container mtusi2026lab7-otel-collector-1 Started
|
||||
Container mtusi2026lab7-otel-tls-1 Starting
|
||||
Container mtusi2026lab7-grafana-1 Started
|
||||
Container mtusi2026lab7-prometheus-1 Started
|
||||
Container mtusi2026lab7-prometheus-tls-1 Starting
|
||||
Container mtusi2026lab7-volume-init-1 Exited
|
||||
Container mtusi2026lab7-minio-1 Starting
|
||||
Container mtusi2026lab7-volume-init-1 Exited
|
||||
Container mtusi2026lab7-openbao-1 Starting
|
||||
Container mtusi2026lab7-otel-tls-1 Started
|
||||
Container mtusi2026lab7-prometheus-tls-1 Started
|
||||
Container mtusi2026lab7-openbao-1 Started
|
||||
Container mtusi2026lab7-minio-1 Started
|
||||
Container mtusi2026lab7-reconciler-1 Starting
|
||||
Container mtusi2026lab7-dispatcher-1 Starting
|
||||
Container mtusi2026lab7-worker-1 Starting
|
||||
Container mtusi2026lab7-api-2 Starting
|
||||
Container mtusi2026lab7-dispatcher-1 Started
|
||||
Container mtusi2026lab7-worker-1 Started
|
||||
Container mtusi2026lab7-reconciler-1 Started
|
||||
Container mtusi2026lab7-api-2 Started
|
||||
Container mtusi2026lab7-api-1 Starting
|
||||
Container mtusi2026lab7-api-1 Started
|
||||
Container mtusi2026lab7-api-2 Waiting
|
||||
Container mtusi2026lab7-api-1 Waiting
|
||||
Container mtusi2026lab7-api-2 Healthy
|
||||
Container mtusi2026lab7-api-1 Healthy
|
||||
Container mtusi2026lab7-lb-1 Starting
|
||||
Container mtusi2026lab7-lb-1 Started
|
||||
Container mtusi2026lab7-reconciler-1 Waiting
|
||||
Container mtusi2026lab7-api-2 Waiting
|
||||
Container mtusi2026lab7-api-1 Waiting
|
||||
Container mtusi2026lab7-lb-1 Waiting
|
||||
Container mtusi2026lab7-dispatcher-1 Waiting
|
||||
Container mtusi2026lab7-worker-1 Waiting
|
||||
Container mtusi2026lab7-worker-1 Healthy
|
||||
Container mtusi2026lab7-reconciler-1 Healthy
|
||||
Container mtusi2026lab7-lb-1 Healthy
|
||||
Container mtusi2026lab7-dispatcher-1 Healthy
|
||||
Container mtusi2026lab7-api-2 Healthy
|
||||
Container mtusi2026lab7-api-1 Healthy
|
||||
Prepared local CA, identities and service credentials; values not printed.
|
||||
Operator unseal completed; material remains outside server containers.
|
||||
Configured restricted service policies, certificate auth and KV secrets.
|
||||
Renewed leaf identities with the existing CA; old serials revoked; data preserved.
|
||||
@@ -0,0 +1,8 @@
|
||||
{
|
||||
"result": "PASS",
|
||||
"checks": [
|
||||
"new-s3-identity-applied",
|
||||
"old-s3-key-denied",
|
||||
"new-job-ready-original-preserved"
|
||||
]
|
||||
}
|
||||
File diff suppressed because it is too large
Load Diff
+26779
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
File diff suppressed because one or more lines are too long
+17729
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
File diff suppressed because one or more lines are too long
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,147 @@
|
||||
{
|
||||
"scanner": "aquasec/trivy:0.69.3",
|
||||
"images": [
|
||||
{
|
||||
"image": "mtusi-messenger:lab7",
|
||||
"report": "scan-app.json",
|
||||
"severity": {
|
||||
"LOW": 94,
|
||||
"HIGH": 43,
|
||||
"MEDIUM": 120,
|
||||
"UNKNOWN": 12,
|
||||
"CRITICAL": 2
|
||||
},
|
||||
"findings": 271,
|
||||
"fix_available": 2
|
||||
},
|
||||
{
|
||||
"image": "mtusi-minio:RELEASE.2025-10-15T17-29-55Z",
|
||||
"report": "scan-minio.json",
|
||||
"severity": {
|
||||
"MEDIUM": 81,
|
||||
"LOW": 55,
|
||||
"CRITICAL": 9,
|
||||
"HIGH": 91,
|
||||
"UNKNOWN": 2
|
||||
},
|
||||
"findings": 238,
|
||||
"fix_available": 232
|
||||
},
|
||||
{
|
||||
"image": "postgres:16.6-bookworm",
|
||||
"report": "scan-postgres.json",
|
||||
"severity": {
|
||||
"HIGH": 250,
|
||||
"LOW": 243,
|
||||
"MEDIUM": 394,
|
||||
"UNKNOWN": 30,
|
||||
"CRITICAL": 24
|
||||
},
|
||||
"findings": 941,
|
||||
"fix_available": 431
|
||||
},
|
||||
{
|
||||
"image": "redis:7.4.2-bookworm",
|
||||
"report": "scan-redis.json",
|
||||
"severity": {
|
||||
"HIGH": 120,
|
||||
"LOW": 125,
|
||||
"MEDIUM": 226,
|
||||
"UNKNOWN": 18,
|
||||
"CRITICAL": 11
|
||||
},
|
||||
"findings": 500,
|
||||
"fix_available": 258
|
||||
},
|
||||
{
|
||||
"image": "haproxy:3.0.12-alpine",
|
||||
"report": "scan-gateway.json",
|
||||
"severity": {
|
||||
"CRITICAL": 3,
|
||||
"HIGH": 26,
|
||||
"MEDIUM": 29,
|
||||
"LOW": 49
|
||||
},
|
||||
"findings": 107,
|
||||
"fix_available": 107
|
||||
},
|
||||
{
|
||||
"image": "openbao/openbao:2.5.0",
|
||||
"report": "scan-openbao.json",
|
||||
"severity": {
|
||||
"HIGH": 84,
|
||||
"CRITICAL": 9,
|
||||
"MEDIUM": 72,
|
||||
"LOW": 45,
|
||||
"UNKNOWN": 2
|
||||
},
|
||||
"findings": 212,
|
||||
"fix_available": 208
|
||||
},
|
||||
{
|
||||
"image": "otel/opentelemetry-collector-contrib:0.123.0",
|
||||
"report": "scan-collector.json",
|
||||
"severity": {
|
||||
"LOW": 12,
|
||||
"HIGH": 73,
|
||||
"MEDIUM": 82,
|
||||
"CRITICAL": 7,
|
||||
"UNKNOWN": 2
|
||||
},
|
||||
"findings": 176,
|
||||
"fix_available": 172
|
||||
},
|
||||
{
|
||||
"image": "prom/prometheus:v3.2.1",
|
||||
"report": "scan-prometheus.json",
|
||||
"severity": {
|
||||
"HIGH": 110,
|
||||
"MEDIUM": 130,
|
||||
"LOW": 12,
|
||||
"UNKNOWN": 4,
|
||||
"CRITICAL": 4
|
||||
},
|
||||
"findings": 260,
|
||||
"fix_available": 254
|
||||
},
|
||||
{
|
||||
"image": "grafana/loki:3.4.2",
|
||||
"report": "scan-loki.json",
|
||||
"severity": {
|
||||
"UNKNOWN": 5,
|
||||
"HIGH": 58,
|
||||
"MEDIUM": 64,
|
||||
"LOW": 5,
|
||||
"CRITICAL": 2
|
||||
},
|
||||
"findings": 134,
|
||||
"fix_available": 134
|
||||
},
|
||||
{
|
||||
"image": "grafana/tempo:2.7.2",
|
||||
"report": "scan-tempo.json",
|
||||
"severity": {
|
||||
"MEDIUM": 112,
|
||||
"LOW": 42,
|
||||
"CRITICAL": 4,
|
||||
"HIGH": 85,
|
||||
"UNKNOWN": 2
|
||||
},
|
||||
"findings": 245,
|
||||
"fix_available": 245
|
||||
},
|
||||
{
|
||||
"image": "grafana/grafana:11.6.0",
|
||||
"report": "scan-grafana.json",
|
||||
"severity": {
|
||||
"CRITICAL": 10,
|
||||
"MEDIUM": 232,
|
||||
"LOW": 59,
|
||||
"HIGH": 153,
|
||||
"UNKNOWN": 4
|
||||
},
|
||||
"findings": 458,
|
||||
"fix_available": 455
|
||||
}
|
||||
]
|
||||
}
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,297 @@
|
||||
{
|
||||
"checks": [
|
||||
{
|
||||
"check": "bao-own-secret:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-other-secret:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-policy-write:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-renew:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-own-secret:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-other-secret:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-policy-write:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-renew:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-own-secret:dispatcher",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-other-secret:dispatcher",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-policy-write:dispatcher",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-renew:dispatcher",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-own-secret:reconciler",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-other-secret:reconciler",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-policy-write:reconciler",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-renew:reconciler",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-allow:api:8443:lb",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:api:8443:no-cert",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:api:8443:intruder",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:api:8443:foreign",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:api:8443:expired",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:api:8443:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-allow:broker:6379:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:broker:6379:no-cert",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:broker:6379:intruder",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:broker:6379:foreign",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:broker:6379:expired",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-allow:otel-collector:4318:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:otel-collector:4318:no-cert",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:otel-collector:4318:intruder",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:otel-collector:4318:foreign",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:otel-collector:4318:expired",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:api:8080",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:postgres:15432",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:redis:16379",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:broker:16379",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:otel-collector:14318",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:otel-collector:18889",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:loki:13100",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:tempo:13200",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:tempo:14318",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:prometheus:19090",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:redis:6379:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:postgres:5432:operator",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:loki:3100:grafana",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:tempo:3200:grafana",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:prometheus:9090:grafana",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:otel-collector:8889:prometheus",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:otel-collector:8888:prometheus",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:otel-collector:13133:operator",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:tempo:4318:otel-collector",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "db-deny:worker:users",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "db-deny:worker:ddl",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "db-deny:worker:roles",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "db-deny:dispatcher:users",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "db-deny:dispatcher:ddl",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "db-deny:dispatcher:roles",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "redis-admin-deny:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "redis-prefix-deny:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "redis-admin-deny:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "redis-prefix-deny:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "consumer-cannot-publish",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "redis-admin-deny:dispatcher",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "redis-prefix-deny:dispatcher",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "producer-cannot-consume",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "s3-prefix-deny:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "api-cannot-write-variants",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "s3-prefix-deny:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "grafana-write-deny:loki",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "grafana-write-deny:tempo",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "grafana-write-deny:prometheus",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-expired-token",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-revoked-token",
|
||||
"result": "PASS"
|
||||
}
|
||||
],
|
||||
"passed": 73
|
||||
}
|
||||
@@ -0,0 +1,322 @@
|
||||
{
|
||||
"checks": [
|
||||
{
|
||||
"check": "bao-own-secret:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-other-secret:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-policy-write:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-renew:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-own-secret:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-other-secret:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-policy-write:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-renew:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-own-secret:dispatcher",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-other-secret:dispatcher",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-policy-write:dispatcher",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-renew:dispatcher",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-own-secret:reconciler",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-other-secret:reconciler",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-policy-write:reconciler",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-renew:reconciler",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-allow:api:8443:lb",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:api:8443:no-cert",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:api:8443:intruder",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:api:8443:foreign",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:api:8443:expired",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:api:8443:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-allow:broker:6379:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:broker:6379:no-cert",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:broker:6379:intruder",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:broker:6379:foreign",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:broker:6379:expired",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-allow:otel-collector:4318:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:otel-collector:4318:no-cert",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:otel-collector:4318:intruder",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:otel-collector:4318:foreign",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "mtls-deny:otel-collector:4318:expired",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:api:8080",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:postgres:15432",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:redis:16379",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:broker:16379",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:otel-collector:14318",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:otel-collector:18889",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:loki:13100",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:tempo:13200",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:tempo:14318",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "no-plaintext-bypass:prometheus:19090",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:redis:6379:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:postgres:5432:operator",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:loki:3100:grafana",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:tempo:3200:grafana",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:prometheus:9090:grafana",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:otel-collector:8889:prometheus",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:otel-collector:8888:prometheus",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:otel-collector:13133:operator",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "tls-matrix:tempo:4318:otel-collector",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "db-deny:worker:users",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "db-deny:worker:ddl",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "db-deny:worker:roles",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "db-deny:dispatcher:users",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "db-deny:dispatcher:ddl",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "db-deny:dispatcher:roles",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "redis-admin-deny:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "redis-prefix-deny:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "redis-admin-deny:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "redis-prefix-deny:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "consumer-cannot-publish",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "redis-admin-deny:dispatcher",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "redis-prefix-deny:dispatcher",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "producer-cannot-consume",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "s3-prefix-deny:api",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "api-cannot-write-variants",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "s3-prefix-deny:worker",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "grafana-write-deny:loki",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "grafana-write-deny:tempo",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "grafana-write-deny:prometheus",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-expired-token",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bao-revoked-token",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "external-wrong-hostname-denied",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "bearer-not-x-user-id",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "successful-login-rehash",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "shared-account-rate-limit",
|
||||
"result": "PASS",
|
||||
"replicas": 2
|
||||
},
|
||||
{
|
||||
"check": "shared-ip-rate-limit-spoofed-headers-denied",
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"check": "session-expiry",
|
||||
"result": "PASS"
|
||||
}
|
||||
],
|
||||
"passed": 79
|
||||
}
|
||||
+4
-4
@@ -1,7 +1,7 @@
|
||||
# Инфраструктура студента
|
||||
# Инфраструктура lab7
|
||||
|
||||
Здесь разместите конфигурации выбранных сервисов; основную топологию — в корневом compose.yaml/stack.yaml. `compose.example.yaml` — только worksheet ролей и намеренно не запускается. `contracts/infrastructure.json` задаёт минимальные роли, не готовые образы/пароли.
|
||||
Каменский Андрей, БПИ2301.
|
||||
|
||||
В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд.
|
||||
`compose.yaml` — весь воспроизводимый стенд. `security/` содержит TLS gateway configs, OpenBao listener и шаблоны. `openbao/` — scoped policies. `observability/` — сохранённые Collector, backends, Grafana dashboard и alerts, с TLS endpoints. `s3/` — раздельные prefix policies четырёх identities. Секретные файлы генерируются оператором в `.local`, сюда и в образы не входят.
|
||||
|
||||
Приложение строится из исходников. Не используйте заранее существующий образ преподавательского сервера вместо своей реализации. Restart hook перезапускает все соответствующие stores с volumes; failover hook останавливает только заданную API-реплику.
|
||||
Gateways разделяют network namespace backend, plaintext слушает только loopback. API transport находится в контейнере API. Полная спецификация соединений и проверок: `contracts/trust-matrix.md`; эксплуатация: `RUNBOOK.md`.
|
||||
|
||||
@@ -0,0 +1,46 @@
|
||||
global
|
||||
log stdout format raw local0
|
||||
maxconn 2048
|
||||
stats socket /tmp/haproxy.sock mode 600 level admin
|
||||
stats socket ipv4@127.0.0.1:9999 level admin
|
||||
|
||||
defaults
|
||||
log global
|
||||
mode http
|
||||
option httplog
|
||||
timeout connect 1s
|
||||
timeout client 15s
|
||||
timeout server 12s
|
||||
timeout http-request 7s
|
||||
timeout http-keep-alive 2s
|
||||
timeout check 1s
|
||||
# Не повторяем POST автоматически: неизвестный результат повторяет клиент
|
||||
# с исходным Idempotency-Key. Соединения к недоступному API не ждут долго.
|
||||
retries 0
|
||||
|
||||
resolvers docker
|
||||
nameserver dns 127.0.0.11:53
|
||||
resolve_retries 3
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 1s
|
||||
hold obsolete 1s
|
||||
hold nx 1s
|
||||
hold timeout 1s
|
||||
hold refused 1s
|
||||
accepted_payload_size 8192
|
||||
|
||||
frontend public
|
||||
bind :8443 ssl crt /run/identity/service.pem ssl-min-ver TLSv1.3
|
||||
http-request del-header X-Forwarded-For
|
||||
http-request del-header X-Real-IP
|
||||
http-request set-header X-Real-IP %[src]
|
||||
default_backend api_pool
|
||||
|
||||
backend api_pool
|
||||
balance roundrobin
|
||||
option httpchk
|
||||
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
|
||||
http-check expect status 200
|
||||
default-server inter 1s fastinter 500ms downinter 1s fall 2 rise 2
|
||||
server-template api 1-16 api:8443 ssl verify required ca-file /run/trust/ca.crt crl-file /run/trust/ca.crl crt /run/identity/service.pem verifyhost api sni str(api) check-sni api check resolvers docker resolve-prefer ipv4 init-addr none
|
||||
@@ -0,0 +1,20 @@
|
||||
# MinIO community distribution is source-only; pin the reviewed release commit.
|
||||
FROM golang:1.24.8-alpine3.22 AS build
|
||||
RUN apk add --no-cache git
|
||||
WORKDIR /source
|
||||
RUN git init . \
|
||||
&& git remote add origin https://github.com/minio/minio.git \
|
||||
&& git fetch --depth 1 origin 9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a \
|
||||
&& git checkout --detach FETCH_HEAD
|
||||
ENV CGO_ENABLED=0 GOMAXPROCS=2
|
||||
RUN go build -p 2 -trimpath -o /minio .
|
||||
|
||||
FROM alpine:3.22.2
|
||||
RUN apk add --no-cache ca-certificates \
|
||||
&& addgroup -S minio && adduser -S -G minio minio \
|
||||
&& mkdir /data && chown minio:minio /data
|
||||
COPY --from=build /minio /usr/local/bin/minio
|
||||
USER minio
|
||||
EXPOSE 9000
|
||||
ENTRYPOINT ["minio"]
|
||||
CMD ["server", "/data", "--console-address", ":9001"]
|
||||
@@ -0,0 +1,23 @@
|
||||
groups:
|
||||
- name: lab6
|
||||
interval: 2s
|
||||
rules:
|
||||
- alert: ApiHighErrorRate
|
||||
expr: |
|
||||
(sum(increase(http_server_requests_total{route=~"/api/v1/.*",status_class="5xx"}[30s]))
|
||||
/ clamp_min(sum(increase(http_server_requests_total{route=~"/api/v1/.*"}[30s])), 1) > 0.05)
|
||||
and sum(increase(http_server_requests_total{route=~"/api/v1/.*"}[30s])) >= 3
|
||||
for: 5s
|
||||
labels:
|
||||
severity: warning
|
||||
annotations:
|
||||
summary: "Business API 5xx ratio exceeds 5% over 30 seconds"
|
||||
description: "Exclude health and client errors. Inspect DB spans, db.error logs and pool waiting. See RUNBOOK.md."
|
||||
- alert: QueueLagGrowing
|
||||
expr: max(queue_oldest_age_seconds) > 15 and max(queue_depth) > 0
|
||||
for: 5s
|
||||
labels:
|
||||
severity: warning
|
||||
annotations:
|
||||
summary: "Oldest accepted job has waited more than 15 seconds"
|
||||
description: "Inspect queue depth, worker capacity/busy and job traces. Restore worker and verify lag returns to zero. See RUNBOOK.md."
|
||||
@@ -0,0 +1,133 @@
|
||||
{
|
||||
"receivers": {
|
||||
"otlp": {
|
||||
"protocols": {
|
||||
"http": {
|
||||
"endpoint": "127.0.0.1:14318"
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"processors": {
|
||||
"memory_limiter": {
|
||||
"check_interval": "1s",
|
||||
"limit_mib": 192,
|
||||
"spike_limit_mib": 32
|
||||
},
|
||||
"batch": {
|
||||
"timeout": "1s",
|
||||
"send_batch_size": 128,
|
||||
"send_batch_max_size": 256
|
||||
}
|
||||
},
|
||||
"exporters": {
|
||||
"prometheus": {
|
||||
"endpoint": "127.0.0.1:18889",
|
||||
"resource_to_telemetry_conversion": {
|
||||
"enabled": true
|
||||
}
|
||||
},
|
||||
"otlphttp/tempo": {
|
||||
"endpoint": "https://tempo:4318",
|
||||
"tls": {
|
||||
"ca_file": "/run/trust/ca.crt",
|
||||
"cert_file": "/run/identity/service.crt",
|
||||
"key_file": "/run/identity/service.key"
|
||||
},
|
||||
"timeout": "2s",
|
||||
"sending_queue": {
|
||||
"enabled": true,
|
||||
"num_consumers": 2,
|
||||
"queue_size": 64
|
||||
},
|
||||
"retry_on_failure": {
|
||||
"initial_interval": "1s",
|
||||
"max_interval": "3s",
|
||||
"max_elapsed_time": "10s"
|
||||
}
|
||||
},
|
||||
"otlphttp/loki": {
|
||||
"endpoint": "https://loki:3100/otlp",
|
||||
"tls": {
|
||||
"ca_file": "/run/trust/ca.crt",
|
||||
"cert_file": "/run/identity/service.crt",
|
||||
"key_file": "/run/identity/service.key"
|
||||
},
|
||||
"timeout": "2s",
|
||||
"sending_queue": {
|
||||
"enabled": true,
|
||||
"num_consumers": 2,
|
||||
"queue_size": 64
|
||||
},
|
||||
"retry_on_failure": {
|
||||
"initial_interval": "1s",
|
||||
"max_interval": "3s",
|
||||
"max_elapsed_time": "10s"
|
||||
}
|
||||
}
|
||||
},
|
||||
"extensions": {
|
||||
"health_check": {
|
||||
"endpoint": "127.0.0.1:13134"
|
||||
}
|
||||
},
|
||||
"service": {
|
||||
"extensions": [
|
||||
"health_check"
|
||||
],
|
||||
"telemetry": {
|
||||
"metrics": {
|
||||
"readers": [
|
||||
{
|
||||
"pull": {
|
||||
"exporter": {
|
||||
"prometheus": {
|
||||
"host": "127.0.0.1",
|
||||
"port": 18888
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"pipelines": {
|
||||
"traces": {
|
||||
"receivers": [
|
||||
"otlp"
|
||||
],
|
||||
"processors": [
|
||||
"memory_limiter",
|
||||
"batch"
|
||||
],
|
||||
"exporters": [
|
||||
"otlphttp/tempo"
|
||||
]
|
||||
},
|
||||
"logs": {
|
||||
"receivers": [
|
||||
"otlp"
|
||||
],
|
||||
"processors": [
|
||||
"memory_limiter",
|
||||
"batch"
|
||||
],
|
||||
"exporters": [
|
||||
"otlphttp/loki"
|
||||
]
|
||||
},
|
||||
"metrics": {
|
||||
"receivers": [
|
||||
"otlp"
|
||||
],
|
||||
"processors": [
|
||||
"memory_limiter",
|
||||
"batch"
|
||||
],
|
||||
"exporters": [
|
||||
"prometheus"
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,519 @@
|
||||
{
|
||||
"uid": "messenger-lab6",
|
||||
"title": "Мессенджер · Lab6 · Каменский Андрей",
|
||||
"schemaVersion": 39,
|
||||
"version": 1,
|
||||
"refresh": "5s",
|
||||
"time": {
|
||||
"from": "now-15m",
|
||||
"to": "now"
|
||||
},
|
||||
"tags": [
|
||||
"lab6",
|
||||
"messenger"
|
||||
],
|
||||
"panels": [
|
||||
{
|
||||
"id": 1,
|
||||
"title": "Business API requests / second",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 0,
|
||||
"y": 0,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "sum(rate(http_server_requests_total{route=~\"/api/v1/.*\"}[1m]))",
|
||||
"legendFormat": "RPS",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "reqps"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 2,
|
||||
"title": "Business API 5xx ratio",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 12,
|
||||
"y": 0,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "sum(rate(http_server_requests_total{route=~\"/api/v1/.*\",status_class=\"5xx\"}[1m])) / clamp_min(sum(rate(http_server_requests_total{route=~\"/api/v1/.*\"}[1m])), 0.00001)",
|
||||
"legendFormat": "5xx / all business requests",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "percentunit"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 3,
|
||||
"title": "API latency p50 (histogram, all replicas)",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 0,
|
||||
"y": 8,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "histogram_quantile(0.5, sum by (le) (rate(http_server_duration_seconds_bucket{route=~\"/api/v1/.*\"}[1m])))",
|
||||
"legendFormat": "p50",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "s"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 4,
|
||||
"title": "API latency p95 (histogram, all replicas)",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 12,
|
||||
"y": 8,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "histogram_quantile(0.95, sum by (le) (rate(http_server_duration_seconds_bucket{route=~\"/api/v1/.*\"}[1m])))",
|
||||
"legendFormat": "p95",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "s"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 5,
|
||||
"title": "API latency p99 (histogram, all replicas)",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 0,
|
||||
"y": 16,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "histogram_quantile(0.99, sum by (le) (rate(http_server_duration_seconds_bucket{route=~\"/api/v1/.*\"}[1m])))",
|
||||
"legendFormat": "p99",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "s"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 6,
|
||||
"title": "Jobs per second by outcome",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 12,
|
||||
"y": 16,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "sum by(outcome)(rate(worker_jobs_total[1m]))",
|
||||
"legendFormat": "{{outcome}}",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "ops"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 7,
|
||||
"title": "Worker processing p95",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 0,
|
||||
"y": 24,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "histogram_quantile(0.95, sum by(le)(rate(worker_job_duration_seconds_bucket[1m])))",
|
||||
"legendFormat": "p95",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "s"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 8,
|
||||
"title": "Acceptance to ready p95",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 12,
|
||||
"y": 24,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "histogram_quantile(0.95, sum by(le)(rate(attachment_ready_duration_seconds_bucket[1m])))",
|
||||
"legendFormat": "p95",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "s"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 9,
|
||||
"title": "Accepted unfinished jobs (includes outbox)",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 0,
|
||||
"y": 32,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "max(queue_depth)",
|
||||
"legendFormat": "jobs",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "short"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 10,
|
||||
"title": "Oldest unfinished job age",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 12,
|
||||
"y": 32,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "max(queue_oldest_age_seconds)",
|
||||
"legendFormat": "age",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "s"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 11,
|
||||
"title": "DB pool used / waiting",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 0,
|
||||
"y": 40,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "sum by(service_name)(db_pool_used)",
|
||||
"legendFormat": "{{service_name}}",
|
||||
"refId": "A"
|
||||
},
|
||||
{
|
||||
"expr": "sum by(service_name)(db_pool_waiting)",
|
||||
"legendFormat": "{{service_name}} waiting",
|
||||
"refId": "B"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "short"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 12,
|
||||
"title": "Worker saturation",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 12,
|
||||
"y": 40,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "sum(worker_busy) / clamp_min(sum(worker_capacity),1)",
|
||||
"legendFormat": "busy / capacity",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "percentunit"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 13,
|
||||
"title": "Process resident memory",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 0,
|
||||
"y": 48,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "sum by(service_name)(process_memory_rss_bytes)",
|
||||
"legendFormat": "{{service_name}}",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "bytes"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 14,
|
||||
"title": "Process CPU cores",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 12,
|
||||
"y": 48,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "sum by(service_name)(rate(process_cpu_time_seconds_total[1m]))",
|
||||
"legendFormat": "{{service_name}}",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "short"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 15,
|
||||
"title": "API availability SLI (5m), SLO 99%",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 0,
|
||||
"y": 56,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "1 - (sum(increase(http_server_requests_total{route=~\"/api/v1/.*\",status_class=\"5xx\"}[5m])) or vector(0)) / clamp_min(sum(increase(http_server_requests_total{route=~\"/api/v1/.*\"}[5m])),1)",
|
||||
"legendFormat": "SLI",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "percentunit"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 16,
|
||||
"title": "Collector export failures / second",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 12,
|
||||
"y": 56,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "sum by(exporter)(rate(otelcol_exporter_send_failed_spans_total[1m]))",
|
||||
"legendFormat": "{{exporter}}",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "ops"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 17,
|
||||
"title": "Local firing alerts",
|
||||
"type": "timeseries",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "prometheus"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 0,
|
||||
"y": 64,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "ALERTS{alertstate=\"firing\"}",
|
||||
"legendFormat": "{{alertname}}",
|
||||
"refId": "A"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "short"
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 99,
|
||||
"title": "Structured API / worker logs — trace_id links to Tempo",
|
||||
"type": "logs",
|
||||
"datasource": {
|
||||
"type": "loki",
|
||||
"uid": "loki"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 0,
|
||||
"y": 72,
|
||||
"w": 24,
|
||||
"h": 10
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"expr": "{service_name=~\"messenger-(api|worker)\"}",
|
||||
"refId": "A"
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,10 @@
|
||||
apiVersion: 1
|
||||
providers:
|
||||
- name: messenger
|
||||
orgId: 1
|
||||
folder: Lab6
|
||||
type: file
|
||||
disableDeletion: true
|
||||
updateIntervalSeconds: 10
|
||||
options:
|
||||
path: /var/lib/grafana/dashboards
|
||||
@@ -0,0 +1,34 @@
|
||||
apiVersion: 1
|
||||
datasources:
|
||||
- name: Prometheus
|
||||
uid: prometheus
|
||||
type: prometheus
|
||||
access: proxy
|
||||
url: http://prometheus:9090
|
||||
isDefault: true
|
||||
jsonData:
|
||||
timeInterval: 2s
|
||||
- name: Loki
|
||||
uid: loki
|
||||
type: loki
|
||||
access: proxy
|
||||
url: http://loki:3100
|
||||
jsonData:
|
||||
derivedFields:
|
||||
- name: TraceID
|
||||
matcherRegex: '"trace_id":\s*"([0-9a-f]{32})"'
|
||||
datasourceUid: tempo
|
||||
url: '$${__value.raw}'
|
||||
- name: Tempo
|
||||
uid: tempo
|
||||
type: tempo
|
||||
access: proxy
|
||||
url: http://tempo:3200
|
||||
jsonData:
|
||||
tracesToLogsV2:
|
||||
datasourceUid: loki
|
||||
spanStartTimeShift: '-1m'
|
||||
spanEndTimeShift: '1m'
|
||||
filterByTraceID: false
|
||||
customQuery: true
|
||||
query: '{service_name=~"messenger-.*"} | json | trace_id="$${__trace.traceId}"'
|
||||
@@ -0,0 +1,32 @@
|
||||
auth_enabled: false
|
||||
server:
|
||||
http_listen_port: 13100
|
||||
http_listen_address: 127.0.0.1
|
||||
grpc_listen_address: 127.0.0.1
|
||||
common:
|
||||
path_prefix: /loki
|
||||
instance_addr: 127.0.0.1
|
||||
replication_factor: 1
|
||||
ring:
|
||||
kvstore:
|
||||
store: inmemory
|
||||
storage:
|
||||
filesystem:
|
||||
chunks_directory: /loki/chunks
|
||||
rules_directory: /loki/rules
|
||||
schema_config:
|
||||
configs:
|
||||
- from: 2024-01-01
|
||||
store: tsdb
|
||||
object_store: filesystem
|
||||
schema: v13
|
||||
index:
|
||||
prefix: index_
|
||||
period: 24h
|
||||
limits_config:
|
||||
allow_structured_metadata: true
|
||||
retention_period: 168h
|
||||
compactor:
|
||||
working_directory: /loki/compactor
|
||||
retention_enabled: true
|
||||
delete_request_store: filesystem
|
||||
@@ -0,0 +1,43 @@
|
||||
{
|
||||
"global": {
|
||||
"scrape_interval": "2s",
|
||||
"evaluation_interval": "2s"
|
||||
},
|
||||
"rule_files": [
|
||||
"/etc/prometheus/alerts.yaml"
|
||||
],
|
||||
"scrape_configs": [
|
||||
{
|
||||
"job_name": "messenger",
|
||||
"scheme": "https",
|
||||
"tls_config": {
|
||||
"ca_file": "/run/trust/ca.crt",
|
||||
"cert_file": "/run/identity/service.crt",
|
||||
"key_file": "/run/identity/service.key"
|
||||
},
|
||||
"static_configs": [
|
||||
{
|
||||
"targets": [
|
||||
"otel-collector:8889"
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"job_name": "collector",
|
||||
"scheme": "https",
|
||||
"tls_config": {
|
||||
"ca_file": "/run/trust/ca.crt",
|
||||
"cert_file": "/run/identity/service.crt",
|
||||
"key_file": "/run/identity/service.key"
|
||||
},
|
||||
"static_configs": [
|
||||
{
|
||||
"targets": [
|
||||
"otel-collector:8888"
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,23 @@
|
||||
server:
|
||||
http_listen_port: 13200
|
||||
http_listen_address: 127.0.0.1
|
||||
grpc_listen_address: 127.0.0.1
|
||||
distributor:
|
||||
receivers:
|
||||
otlp:
|
||||
protocols:
|
||||
http:
|
||||
endpoint: 127.0.0.1:14318
|
||||
ingester:
|
||||
trace_idle_period: 2s
|
||||
max_block_duration: 1m
|
||||
compactor:
|
||||
compaction:
|
||||
block_retention: 168h
|
||||
storage:
|
||||
trace:
|
||||
backend: local
|
||||
wal:
|
||||
path: /var/tempo/wal
|
||||
local:
|
||||
path: /var/tempo/blocks
|
||||
@@ -1,7 +1,7 @@
|
||||
# OpenBao — реализовать конфигурацию и политики
|
||||
# OpenBao в lab7
|
||||
|
||||
Добавьте non-dev конфигурацию listener/storage/TLS, API/worker policies, bootstrap и rotation scripts. Credentials и unseal material создаются локально; здесь нет готового root token или private key.
|
||||
Каменский Андрей, БПИ2301. Конфигурация сервера — `infra/security/openbao.hcl`: TLS listener, non-dev file storage на volume. Файлы api/worker/dispatcher/reconciler.hcl задают отдельные read-only paths KV v2. При bootstrap оператор создаёт cert auth roles с CA + CN + SAN, token TTL 60/max TTL 300 и отдельными policies.
|
||||
|
||||
Решение должно показать реальную сервисную аутентификацию и получение нужного secret по ограниченной policy; просто работающий контейнер OpenBao не засчитывается. На 3 статический KV secret допустим. На 4 покажите expiry/renewal/rotation и allow/deny. Путь KV v2 data/metadata и ACL должен соответствовать фактическому mount; не копируйте широкое `path "*"` для приложения.
|
||||
Runtime — `src/secure/runtime.py`: certificate login, renewal, чтение своей записи, применение изменённого секрета без rebuild, ограниченная работа при sealed/unavailable. CA/unseal/root находятся только у оператора. AppRole не используется: сертификат является исходной service identity, дополнительный постоянный пароль для входа в secret store не нужен.
|
||||
|
||||
Документируйте шаги оператора init/unseal и восстановление после restart. Скрипт не должен печатать tokens/shares или хранить их в Git. См. contracts/trust-matrix.md и REPORT.md.
|
||||
Полные команды bootstrap/unseal/rotation: README и RUNBOOK. Реальные allow/deny/expiry/revoke/sealed проверки — tests/lab7_security.py и lab7_lifecycle.py. Секретные материалы не хранятся в этом каталоге.
|
||||
|
||||
@@ -0,0 +1,3 @@
|
||||
path "secret/data/messenger/api" {
|
||||
capabilities = ["read"]
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
path "secret/data/messenger/dispatcher" {
|
||||
capabilities = ["read"]
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
path "secret/data/messenger/reconciler" {
|
||||
capabilities = ["read"]
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
path "secret/data/messenger/worker" {
|
||||
capabilities = ["read"]
|
||||
}
|
||||
@@ -1,7 +0,0 @@
|
||||
# Конфигурация наблюдаемости — реализовать
|
||||
|
||||
Добавьте `collector.yaml` с OTLP receivers, processors и exporters выбранной версии Collector. Укажите явные bind endpoints, внутренние сети, memory limits/batch и поведение при backpressure по уровню. Сопоставьте все три pipeline с реально развёрнутыми backend.
|
||||
|
||||
Добавьте конфигурации storage, Grafana provisioning/datasources, provisioning/dashboards и импортируемые dashboard JSON. На 4 — alert rules и runbooks. Пустой dashboard или debug exporter, который только печатает данные в stdout, не заменяют хранилища/доказательства из `contracts/observability.md`.
|
||||
|
||||
Не публикуйте OTLP/metrics/административные ports в общую сеть без необходимости. В lab7 реализуйте TLS/mTLS по trust matrix; экспорт Authorization и message bodies запрещён.
|
||||
@@ -0,0 +1,37 @@
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:ListBucket",
|
||||
"s3:GetBucketLocation"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}"
|
||||
]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:GetObject"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}/originals/*",
|
||||
"arn:aws:s3:::${bucket}/staging/*",
|
||||
"arn:aws:s3:::${bucket}/variants/*"
|
||||
]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:PutObject",
|
||||
"s3:AbortMultipartUpload",
|
||||
"s3:ListMultipartUploadParts"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}/staging/*"
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,23 @@
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:GetBucketLocation"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}"
|
||||
]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:DeleteObject"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}/staging/*"
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,28 @@
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:ListBucket",
|
||||
"s3:GetBucketLocation",
|
||||
"s3:GetBucketVersioning"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}"
|
||||
]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:GetObject",
|
||||
"s3:DeleteObject"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}/originals/*",
|
||||
"arn:aws:s3:::${bucket}/staging/*",
|
||||
"arn:aws:s3:::${bucket}/variants/*"
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,38 @@
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:ListBucket",
|
||||
"s3:GetBucketLocation"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}"
|
||||
]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:GetObject",
|
||||
"s3:PutObject",
|
||||
"s3:AbortMultipartUpload",
|
||||
"s3:ListMultipartUploadParts",
|
||||
"s3:DeleteObject"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}/originals/*",
|
||||
"arn:aws:s3:::${bucket}/variants/*"
|
||||
]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:GetObject"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::${bucket}/staging/*"
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
global
|
||||
maxconn 256
|
||||
ssl-default-bind-options ssl-min-ver TLSv1.3 no-tls-tickets
|
||||
defaults
|
||||
mode tcp
|
||||
timeout connect 3s
|
||||
timeout client 45s
|
||||
timeout server 45s
|
||||
|
||||
frontend jobs
|
||||
bind :6379 ssl crt /run/identity/service.pem ca-file /run/trust/ca.crt crl-file /run/trust/ca.crl verify required
|
||||
acl permitted_role ssl_c_s_dn(CN) -m str api worker dispatcher operator
|
||||
tcp-request content reject unless permitted_role
|
||||
default_backend jobs_local
|
||||
|
||||
backend jobs_local
|
||||
server local 127.0.0.1:16379
|
||||
@@ -0,0 +1,23 @@
|
||||
global
|
||||
maxconn 256
|
||||
ssl-default-bind-options ssl-min-ver TLSv1.3 no-tls-tickets
|
||||
defaults
|
||||
mode tcp
|
||||
timeout connect 3s
|
||||
timeout client 45s
|
||||
timeout server 45s
|
||||
|
||||
frontend loki
|
||||
bind :3100 ssl crt /run/identity/service.pem ca-file /run/trust/ca.crt crl-file /run/trust/ca.crl verify required
|
||||
mode http
|
||||
acl permitted_role ssl_c_s_dn(CN) -m str otel-collector grafana operator
|
||||
http-request deny deny_status 403 unless permitted_role
|
||||
acl is_collector ssl_c_s_dn(CN) -m str otel-collector
|
||||
http-request deny if is_collector !{ path -m str /otlp/v1/logs }
|
||||
http-request deny if is_collector !{ method POST }
|
||||
http-request deny unless is_collector || { method GET }
|
||||
default_backend loki_local
|
||||
|
||||
backend loki_local
|
||||
mode http
|
||||
server local 127.0.0.1:13100
|
||||
@@ -0,0 +1,16 @@
|
||||
ui = false
|
||||
disable_mlock = true
|
||||
api_addr = "https://openbao:8200"
|
||||
cluster_addr = "https://127.0.0.1:8201"
|
||||
storage "file" {
|
||||
path = "/bao/data"
|
||||
}
|
||||
listener "tcp" {
|
||||
address = "0.0.0.0:8200"
|
||||
cluster_address = "127.0.0.1:8201"
|
||||
tls_cert_file = "/run/identity/service.crt"
|
||||
tls_key_file = "/run/identity/service.key"
|
||||
tls_client_ca_file = "/run/trust/ca.crt"
|
||||
tls_require_and_verify_client_cert = true
|
||||
tls_min_version = "tls13"
|
||||
}
|
||||
@@ -0,0 +1,58 @@
|
||||
global
|
||||
maxconn 256
|
||||
ssl-default-bind-options ssl-min-ver TLSv1.3 no-tls-tickets
|
||||
defaults
|
||||
mode tcp
|
||||
timeout connect 3s
|
||||
timeout client 45s
|
||||
timeout server 45s
|
||||
|
||||
frontend ingest
|
||||
bind :4318 ssl crt /run/identity/service.pem ca-file /run/trust/ca.crt crl-file /run/trust/ca.crl verify required
|
||||
mode http
|
||||
acl permitted_role ssl_c_s_dn(CN) -m str api worker dispatcher reconciler
|
||||
http-request deny deny_status 403 unless permitted_role
|
||||
http-request deny unless { method POST }
|
||||
http-request deny unless { path -m str /v1/traces /v1/logs /v1/metrics }
|
||||
default_backend ingest_local
|
||||
|
||||
backend ingest_local
|
||||
mode http
|
||||
server local 127.0.0.1:14318
|
||||
|
||||
frontend metrics
|
||||
bind :8889 ssl crt /run/identity/service.pem ca-file /run/trust/ca.crt crl-file /run/trust/ca.crl verify required
|
||||
mode http
|
||||
acl permitted_role ssl_c_s_dn(CN) -m str prometheus operator
|
||||
http-request deny deny_status 403 unless permitted_role
|
||||
http-request deny unless { method GET }
|
||||
http-request deny unless { path /metrics }
|
||||
default_backend metrics_local
|
||||
|
||||
backend metrics_local
|
||||
mode http
|
||||
server local 127.0.0.1:18889
|
||||
|
||||
frontend selfmetrics
|
||||
bind :8888 ssl crt /run/identity/service.pem ca-file /run/trust/ca.crt crl-file /run/trust/ca.crl verify required
|
||||
mode http
|
||||
acl permitted_role ssl_c_s_dn(CN) -m str prometheus operator
|
||||
http-request deny deny_status 403 unless permitted_role
|
||||
http-request deny unless { method GET }
|
||||
http-request deny unless { path /metrics }
|
||||
default_backend selfmetrics_local
|
||||
|
||||
backend selfmetrics_local
|
||||
mode http
|
||||
server local 127.0.0.1:18888
|
||||
|
||||
frontend health
|
||||
bind :13133 ssl crt /run/identity/service.pem ca-file /run/trust/ca.crt crl-file /run/trust/ca.crl verify required
|
||||
mode http
|
||||
acl permitted_role ssl_c_s_dn(CN) -m str operator
|
||||
http-request deny deny_status 403 unless permitted_role
|
||||
default_backend health_local
|
||||
|
||||
backend health_local
|
||||
mode http
|
||||
server local 127.0.0.1:13134
|
||||
@@ -0,0 +1,17 @@
|
||||
global
|
||||
maxconn 256
|
||||
ssl-default-bind-options ssl-min-ver TLSv1.3 no-tls-tickets
|
||||
defaults
|
||||
mode tcp
|
||||
timeout connect 3s
|
||||
timeout client 45s
|
||||
timeout server 45s
|
||||
|
||||
frontend database
|
||||
bind :5432 ssl crt /run/identity/service.pem ca-file /run/trust/ca.crt crl-file /run/trust/ca.crl verify required
|
||||
acl permitted_role ssl_c_s_dn(CN) -m str api worker dispatcher reconciler operator
|
||||
tcp-request content reject unless permitted_role
|
||||
default_backend database_local
|
||||
|
||||
backend database_local
|
||||
server local 127.0.0.1:15432
|
||||
@@ -0,0 +1,20 @@
|
||||
global
|
||||
maxconn 256
|
||||
ssl-default-bind-options ssl-min-ver TLSv1.3 no-tls-tickets
|
||||
defaults
|
||||
mode tcp
|
||||
timeout connect 3s
|
||||
timeout client 45s
|
||||
timeout server 45s
|
||||
|
||||
frontend query
|
||||
bind :9090 ssl crt /run/identity/service.pem ca-file /run/trust/ca.crt crl-file /run/trust/ca.crl verify required
|
||||
mode http
|
||||
acl permitted_role ssl_c_s_dn(CN) -m str grafana operator
|
||||
http-request deny deny_status 403 unless permitted_role
|
||||
http-request deny unless { method GET }
|
||||
default_backend query_local
|
||||
|
||||
backend query_local
|
||||
mode http
|
||||
server local 127.0.0.1:19090
|
||||
@@ -0,0 +1,17 @@
|
||||
global
|
||||
maxconn 256
|
||||
ssl-default-bind-options ssl-min-ver TLSv1.3 no-tls-tickets
|
||||
defaults
|
||||
mode tcp
|
||||
timeout connect 3s
|
||||
timeout client 45s
|
||||
timeout server 45s
|
||||
|
||||
frontend sessions
|
||||
bind :6379 ssl crt /run/identity/service.pem ca-file /run/trust/ca.crt crl-file /run/trust/ca.crl verify required
|
||||
acl permitted_role ssl_c_s_dn(CN) -m str api operator
|
||||
tcp-request content reject unless permitted_role
|
||||
default_backend sessions_local
|
||||
|
||||
backend sessions_local
|
||||
server local 127.0.0.1:16379
|
||||
@@ -0,0 +1,33 @@
|
||||
global
|
||||
maxconn 256
|
||||
ssl-default-bind-options ssl-min-ver TLSv1.3 no-tls-tickets
|
||||
defaults
|
||||
mode tcp
|
||||
timeout connect 3s
|
||||
timeout client 45s
|
||||
timeout server 45s
|
||||
|
||||
frontend query
|
||||
bind :3200 ssl crt /run/identity/service.pem ca-file /run/trust/ca.crt crl-file /run/trust/ca.crl verify required
|
||||
mode http
|
||||
acl permitted_role ssl_c_s_dn(CN) -m str grafana operator
|
||||
http-request deny deny_status 403 unless permitted_role
|
||||
http-request deny unless { method GET }
|
||||
default_backend query_local
|
||||
|
||||
backend query_local
|
||||
mode http
|
||||
server local 127.0.0.1:13200
|
||||
|
||||
frontend ingest
|
||||
bind :4318 ssl crt /run/identity/service.pem ca-file /run/trust/ca.crt crl-file /run/trust/ca.crl verify required
|
||||
mode http
|
||||
acl permitted_role ssl_c_s_dn(CN) -m str otel-collector
|
||||
http-request deny deny_status 403 unless permitted_role
|
||||
http-request deny unless { method POST }
|
||||
http-request deny unless { path /v1/traces }
|
||||
default_backend ingest_local
|
||||
|
||||
backend ingest_local
|
||||
mode http
|
||||
server local 127.0.0.1:14318
|
||||
@@ -0,0 +1,35 @@
|
||||
import asyncio
|
||||
from src.secure.transport import context as tls_context
|
||||
|
||||
from alembic import context
|
||||
from sqlalchemy import pool
|
||||
from sqlalchemy.ext.asyncio import create_async_engine
|
||||
|
||||
from src.core.db.models import Base
|
||||
from src.core.settings import settings
|
||||
|
||||
url = settings.sqlalchemy_database_url
|
||||
target_metadata = Base.metadata
|
||||
|
||||
|
||||
def run_migrations(connection):
|
||||
context.configure(connection=connection, target_metadata=target_metadata, compare_type=True)
|
||||
with context.begin_transaction():
|
||||
context.run_migrations()
|
||||
|
||||
|
||||
async def run_online():
|
||||
engine = create_async_engine(url, poolclass=pool.NullPool, connect_args={"ssl": tls_context(), "direct_tls": True})
|
||||
try:
|
||||
async with engine.connect() as connection:
|
||||
await connection.run_sync(run_migrations)
|
||||
finally:
|
||||
await engine.dispose()
|
||||
|
||||
|
||||
if context.is_offline_mode():
|
||||
context.configure(url=url, target_metadata=target_metadata, literal_binds=True)
|
||||
with context.begin_transaction():
|
||||
context.run_migrations()
|
||||
else:
|
||||
asyncio.run(run_online())
|
||||
@@ -0,0 +1,17 @@
|
||||
"""${message}"""
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
${imports if imports else ""}
|
||||
|
||||
revision = ${repr(up_revision)}
|
||||
down_revision = ${repr(down_revision)}
|
||||
branch_labels = ${repr(branch_labels)}
|
||||
depends_on = ${repr(depends_on)}
|
||||
|
||||
|
||||
def upgrade():
|
||||
${upgrades if upgrades else "pass"}
|
||||
|
||||
|
||||
def downgrade():
|
||||
${downgrades if downgrades else "pass"}
|
||||
@@ -0,0 +1,60 @@
|
||||
"""Пользователи, чаты, участники, сообщения и сессии."""
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = '001'
|
||||
down_revision = None
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.create_table(
|
||||
'users',
|
||||
sa.Column('id', sa.Uuid(), primary_key=True),
|
||||
sa.Column('username', sa.String(32), nullable=False, unique=True),
|
||||
sa.Column('display_name', sa.String(100), nullable=False),
|
||||
sa.Column('password_hash', sa.Text(), nullable=False),
|
||||
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint("username ~ '^[a-z0-9_]{3,32}$'"),
|
||||
sa.CheckConstraint('length(trim(display_name)) > 0'),
|
||||
)
|
||||
op.create_table(
|
||||
'chats',
|
||||
sa.Column('id', sa.Uuid(), primary_key=True),
|
||||
sa.Column('title', sa.String(100), nullable=False),
|
||||
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint('length(trim(title)) > 0'),
|
||||
)
|
||||
op.create_table(
|
||||
'chat_members',
|
||||
sa.Column('chat_id', sa.Uuid(), sa.ForeignKey('chats.id', ondelete='CASCADE'), primary_key=True),
|
||||
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id'), primary_key=True),
|
||||
)
|
||||
op.create_index('chat_members_user_idx', 'chat_members', ['user_id', 'chat_id'])
|
||||
op.create_table(
|
||||
'messages',
|
||||
sa.Column('id', sa.Uuid(), primary_key=True),
|
||||
sa.Column('chat_id', sa.Uuid(), sa.ForeignKey('chats.id'), nullable=False),
|
||||
sa.Column('sender_id', sa.Uuid(), sa.ForeignKey('users.id'), nullable=False),
|
||||
sa.Column('text', sa.String(4000), nullable=False),
|
||||
sa.Column('created_at', sa.DateTime(timezone=True), nullable=False),
|
||||
sa.ForeignKeyConstraint(['chat_id', 'sender_id'], ['chat_members.chat_id', 'chat_members.user_id']),
|
||||
sa.CheckConstraint('length(trim(text)) > 0'),
|
||||
)
|
||||
op.create_index('messages_history_idx', 'messages', ['chat_id', 'created_at', 'id'])
|
||||
op.create_table(
|
||||
'sessions',
|
||||
sa.Column('token_hash', sa.Text(), primary_key=True),
|
||||
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id', ondelete='CASCADE'), nullable=False),
|
||||
sa.Column('expires_at', sa.DateTime(timezone=True), nullable=False),
|
||||
)
|
||||
op.create_index('sessions_expiry_idx', 'sessions', ['expires_at'])
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_table('sessions')
|
||||
op.drop_table('messages')
|
||||
op.drop_table('chat_members')
|
||||
op.drop_table('chats')
|
||||
op.drop_table('users')
|
||||
@@ -0,0 +1,22 @@
|
||||
"""Сессии перенесены в Redis."""
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = '002'
|
||||
down_revision = '001'
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.drop_table('sessions')
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.create_table(
|
||||
'sessions',
|
||||
sa.Column('token_hash', sa.Text(), primary_key=True),
|
||||
sa.Column('user_id', sa.Uuid(), sa.ForeignKey('users.id', ondelete='CASCADE'), nullable=False),
|
||||
sa.Column('expires_at', sa.DateTime(timezone=True), nullable=False),
|
||||
)
|
||||
op.create_index('sessions_expiry_idx', 'sessions', ['expires_at'])
|
||||
@@ -0,0 +1,16 @@
|
||||
"""Признак системного администратора."""
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = '003'
|
||||
down_revision = '002'
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.add_column('users', sa.Column('is_admin', sa.Boolean(), nullable=False, server_default=sa.false()))
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_column('users', 'is_admin')
|
||||
@@ -0,0 +1,25 @@
|
||||
"""Общая идемпотентность сообщений, совместимая с предыдущей схемой."""
|
||||
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = "004"
|
||||
down_revision = "003"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.create_table(
|
||||
"message_requests",
|
||||
sa.Column("sender_id", sa.Uuid(), sa.ForeignKey("users.id"), primary_key=True),
|
||||
sa.Column("chat_id", sa.Uuid(), sa.ForeignKey("chats.id"), primary_key=True),
|
||||
sa.Column("key", sa.String(128), primary_key=True),
|
||||
sa.Column("request_text", sa.String(4000), nullable=False),
|
||||
sa.Column("message_id", sa.Uuid(), sa.ForeignKey("messages.id"), nullable=True),
|
||||
sa.Column("expires_at", sa.DateTime(timezone=True), nullable=False),
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_table("message_requests")
|
||||
@@ -0,0 +1,55 @@
|
||||
"""Сохранять весь допустимый Unicode сообщений, включая U+0000, без потерь."""
|
||||
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "005"
|
||||
down_revision = "004"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.drop_constraint("messages_text_check", "messages", type_="check")
|
||||
op.alter_column(
|
||||
"messages",
|
||||
"text",
|
||||
existing_type=sa.String(4000),
|
||||
type_=sa.LargeBinary(),
|
||||
existing_nullable=False,
|
||||
postgresql_using="convert_to(text, 'UTF8')",
|
||||
)
|
||||
op.alter_column(
|
||||
"message_requests",
|
||||
"request_text",
|
||||
existing_type=sa.String(4000),
|
||||
type_=sa.LargeBinary(),
|
||||
existing_nullable=False,
|
||||
postgresql_using="convert_to(request_text, 'UTF8')",
|
||||
)
|
||||
op.create_check_constraint(
|
||||
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 1 AND 16000"
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
# convert_from откажет при наличии U+0000: не удаляем символы или строки
|
||||
# молча. Откат возможен только если все данные представимы в PostgreSQL text.
|
||||
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
|
||||
op.alter_column(
|
||||
"messages",
|
||||
"text",
|
||||
existing_type=sa.LargeBinary(),
|
||||
type_=sa.String(4000),
|
||||
existing_nullable=False,
|
||||
postgresql_using="convert_from(text, 'UTF8')",
|
||||
)
|
||||
op.alter_column(
|
||||
"message_requests",
|
||||
"request_text",
|
||||
existing_type=sa.LargeBinary(),
|
||||
type_=sa.String(4000),
|
||||
existing_nullable=False,
|
||||
postgresql_using="convert_from(request_text, 'UTF8')",
|
||||
)
|
||||
op.create_check_constraint("messages_text_check", "messages", "length(trim(text)) > 0")
|
||||
@@ -0,0 +1,40 @@
|
||||
"""Сохранение допустимого Unicode имён и названий, включая U+0000."""
|
||||
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "006"
|
||||
down_revision = "005"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
for table, column in [("users", "display_name"), ("chats", "title")]:
|
||||
op.drop_constraint(f"{table}_{column}_check", table, type_="check")
|
||||
op.alter_column(
|
||||
table,
|
||||
column,
|
||||
existing_type=sa.String(100),
|
||||
type_=sa.LargeBinary(),
|
||||
existing_nullable=False,
|
||||
postgresql_using=f"convert_to({column}, 'UTF8')",
|
||||
)
|
||||
op.create_check_constraint(
|
||||
f"{table}_{column}_bytes_check", table, f"octet_length({column}) BETWEEN 1 AND 400"
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
# PostgreSQL откажет при U+0000 и откатит транзакцию вместо потери символов.
|
||||
for table, column in [("users", "display_name"), ("chats", "title")]:
|
||||
op.drop_constraint(f"{table}_{column}_bytes_check", table, type_="check")
|
||||
op.alter_column(
|
||||
table,
|
||||
column,
|
||||
existing_type=sa.LargeBinary(),
|
||||
type_=sa.String(100),
|
||||
existing_nullable=False,
|
||||
postgresql_using=f"convert_from({column}, 'UTF8')",
|
||||
)
|
||||
op.create_check_constraint(f"{table}_{column}_check", table, f"length(trim({column})) > 0")
|
||||
@@ -0,0 +1,65 @@
|
||||
"""Private S3 attachment metadata and ordered message links."""
|
||||
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
|
||||
revision = "007"
|
||||
down_revision = "006"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.create_table(
|
||||
"attachments",
|
||||
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("chat_id", sa.Uuid(), sa.ForeignKey("chats.id"), nullable=False),
|
||||
sa.Column("owner_id", sa.Uuid(), sa.ForeignKey("users.id"), nullable=False),
|
||||
sa.Column("filename", sa.String(255), nullable=False),
|
||||
sa.Column("object_key", sa.Text(), nullable=False, unique=True),
|
||||
sa.Column("content_type", sa.String(32), nullable=False),
|
||||
sa.Column("size_bytes", sa.BigInteger(), nullable=False),
|
||||
sa.Column("sha256", sa.String(64), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.UniqueConstraint("chat_id", "id"),
|
||||
sa.CheckConstraint("size_bytes BETWEEN 1 AND 10485760"),
|
||||
sa.CheckConstraint("content_type IN ('image/png', 'image/jpeg')"),
|
||||
)
|
||||
op.create_index("attachments_chat_idx", "attachments", ["chat_id"])
|
||||
op.create_unique_constraint("messages_chat_id_id_key", "messages", ["chat_id", "id"])
|
||||
op.create_table(
|
||||
"message_attachments",
|
||||
sa.Column("message_id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("attachment_id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("position", sa.Integer(), nullable=False),
|
||||
sa.ForeignKeyConstraint(
|
||||
["chat_id", "message_id"], ["messages.chat_id", "messages.id"], ondelete="CASCADE"
|
||||
),
|
||||
sa.ForeignKeyConstraint(
|
||||
["chat_id", "attachment_id"], ["attachments.chat_id", "attachments.id"]
|
||||
),
|
||||
sa.UniqueConstraint("message_id", "position"),
|
||||
sa.CheckConstraint("position BETWEEN 0 AND 9"),
|
||||
)
|
||||
op.add_column("message_requests", sa.Column(
|
||||
"request_attachment_ids", sa.Text(), nullable=False, server_default=""
|
||||
))
|
||||
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
|
||||
op.create_check_constraint(
|
||||
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 0 AND 16000"
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
# Refuse downgrade if attachment-only messages cannot satisfy the old schema.
|
||||
op.drop_constraint("messages_text_bytes_check", "messages", type_="check")
|
||||
op.create_check_constraint(
|
||||
"messages_text_bytes_check", "messages", "octet_length(text) BETWEEN 1 AND 16000"
|
||||
)
|
||||
op.drop_column("message_requests", "request_attachment_ids")
|
||||
op.drop_table("message_attachments")
|
||||
op.drop_constraint("messages_chat_id_id_key", "messages", type_="unique")
|
||||
op.drop_index("attachments_chat_idx", "attachments")
|
||||
op.drop_table("attachments")
|
||||
@@ -0,0 +1,37 @@
|
||||
"""Durable upload intents, missing-content marker and reconciliation observations."""
|
||||
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "008"
|
||||
down_revision = "007"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.add_column("attachments", sa.Column("storage_missing_since", sa.DateTime(timezone=True)))
|
||||
op.create_table(
|
||||
"upload_intents",
|
||||
sa.Column("object_key", sa.Text(), primary_key=True),
|
||||
sa.Column("state", sa.String(16), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False,
|
||||
server_default=sa.func.now()),
|
||||
sa.CheckConstraint("state IN ('pending', 'committed', 'abandoned')"),
|
||||
)
|
||||
op.create_table(
|
||||
"storage_findings",
|
||||
sa.Column("object_key", sa.Text(), primary_key=True),
|
||||
sa.Column("kind", sa.String(16), primary_key=True),
|
||||
sa.Column("fingerprint", sa.Text()),
|
||||
sa.Column("first_seen", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("last_seen", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("resolved_at", sa.DateTime(timezone=True)),
|
||||
sa.CheckConstraint("kind IN ('orphan', 'missing')"),
|
||||
)
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_table("storage_findings")
|
||||
op.drop_table("upload_intents")
|
||||
op.drop_column("attachments", "storage_missing_since")
|
||||
@@ -0,0 +1,67 @@
|
||||
"""Asynchronous image pipeline, durable jobs/outbox and replay audit."""
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "009"
|
||||
down_revision = "008"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade():
|
||||
op.add_column("attachments", sa.Column("status", sa.String(16), nullable=False, server_default="ready"))
|
||||
op.add_column("attachments", sa.Column("error_code", sa.String(64)))
|
||||
op.add_column("attachments", sa.Column("staging_key", sa.Text()))
|
||||
op.add_column("attachments", sa.Column("variants", sa.JSON(), nullable=False, server_default="[]"))
|
||||
op.create_check_constraint("attachments_status_check", "attachments", "status IN ('queued', 'processing', 'ready', 'failed')")
|
||||
op.create_table(
|
||||
"attachment_jobs",
|
||||
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("attachment_id", sa.Uuid(), sa.ForeignKey("attachments.id"), nullable=False),
|
||||
sa.Column("pipeline_version", sa.Integer(), nullable=False),
|
||||
sa.Column("state", sa.String(16), nullable=False),
|
||||
sa.Column("attempt", sa.Integer(), nullable=False),
|
||||
sa.Column("cycle_attempt", sa.Integer(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("next_run_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("published_at", sa.DateTime(timezone=True)),
|
||||
sa.Column("lease_until", sa.DateTime(timezone=True)),
|
||||
sa.Column("claim_token", sa.Uuid()),
|
||||
sa.Column("error_code", sa.String(64)),
|
||||
sa.Column("fault", sa.String(32)),
|
||||
sa.UniqueConstraint("attachment_id", "pipeline_version"),
|
||||
sa.CheckConstraint("state IN ('queued', 'processing', 'ready', 'failed')"),
|
||||
sa.CheckConstraint("attempt >= 1 AND cycle_attempt >= 1"),
|
||||
sa.CheckConstraint("pipeline_version = 1"),
|
||||
)
|
||||
op.create_index("attachment_jobs_dispatch_idx", "attachment_jobs", ["state", "next_run_at"])
|
||||
op.create_table(
|
||||
"job_replays",
|
||||
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("job_id", sa.Uuid(), sa.ForeignKey("attachment_jobs.id"), nullable=False),
|
||||
sa.Column("operator", sa.String(100), nullable=False),
|
||||
sa.Column("reason", sa.String(500), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("attempt", sa.Integer(), nullable=False),
|
||||
)
|
||||
|
||||
# Existing lab4 originals remain readable by the worker as their staging
|
||||
# source. Retention must never delete this shared source/final key.
|
||||
op.execute("""
|
||||
INSERT INTO attachment_jobs
|
||||
(id, attachment_id, pipeline_version, state, attempt, cycle_attempt,
|
||||
created_at, updated_at, next_run_at)
|
||||
SELECT gen_random_uuid(), id, 1, 'queued', 1, 1,
|
||||
clock_timestamp(), clock_timestamp(), clock_timestamp()
|
||||
FROM attachments
|
||||
""")
|
||||
op.execute("UPDATE attachments SET staging_key=object_key, status='queued', updated_at=clock_timestamp()")
|
||||
|
||||
|
||||
def downgrade():
|
||||
op.drop_table("job_replays")
|
||||
op.drop_table("attachment_jobs")
|
||||
op.drop_constraint("attachments_status_check", "attachments")
|
||||
for name in ("variants", "staging_key", "error_code", "status"):
|
||||
op.drop_column("attachments", name)
|
||||
@@ -0,0 +1,15 @@
|
||||
"""Persist W3C context across durable outbox, retry and process restarts."""
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
revision = "010"
|
||||
down_revision = "009"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
def upgrade():
|
||||
op.add_column('attachment_jobs', sa.Column('traceparent', sa.String(128)))
|
||||
op.add_column('attachment_jobs', sa.Column('tracestate', sa.String(512)))
|
||||
|
||||
def downgrade():
|
||||
op.drop_column('attachment_jobs','tracestate')
|
||||
op.drop_column('attachment_jobs','traceparent')
|
||||
@@ -0,0 +1,7 @@
|
||||
[tool.ruff]
|
||||
target-version = "py313"
|
||||
line-length = 100
|
||||
include = ["src/**/*.py"]
|
||||
|
||||
[tool.ruff.lint]
|
||||
select = ["E4", "E7", "E9", "F", "I"]
|
||||
@@ -1,2 +1,3 @@
|
||||
# Only for full OpenAPI/JSON Schema validation; HTTP tests use stdlib.
|
||||
openapi-spec-validator==0.7.2
|
||||
ruff==0.14.2
|
||||
Pillow==13.0.0
|
||||
|
||||
@@ -0,0 +1,25 @@
|
||||
annotated-doc==0.0.5
|
||||
annotated-types==0.8.0
|
||||
anyio==4.15.1
|
||||
click==8.5.0
|
||||
fastapi==0.141.1
|
||||
h11==0.16.0
|
||||
idna==3.20
|
||||
pydantic==2.13.5
|
||||
pydantic-core==2.46.5
|
||||
starlette==1.7.0
|
||||
typing-extensions==4.16.0
|
||||
typing-inspection==0.4.4
|
||||
uvicorn==0.53.0
|
||||
asyncpg==0.30.0
|
||||
redis==5.2.1
|
||||
argon2-cffi==25.1.0
|
||||
SQLAlchemy[asyncio]==2.0.44
|
||||
alembic==1.17.0
|
||||
pydantic-settings==2.15.0
|
||||
minio==7.2.20
|
||||
Pillow==13.0.0
|
||||
|
||||
opentelemetry-api==1.31.1
|
||||
opentelemetry-sdk==1.31.1
|
||||
opentelemetry-exporter-otlp-proto-http==1.31.1
|
||||
@@ -0,0 +1,36 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Compare Argon2 candidates in the actual limited API container."""
|
||||
|
||||
import json
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
root = Path(__file__).resolve().parents[1]
|
||||
code = """import concurrent.futures,json,resource,statistics,time
|
||||
from argon2 import PasswordHasher
|
||||
rows=[]
|
||||
for memory,iterations,parallelism in [(19456,2,1),(65536,3,4)]:
|
||||
h=PasswordHasher(memory_cost=memory,time_cost=iterations,parallelism=parallelism)
|
||||
stored=h.hash('Synthetic-password-for-budget')
|
||||
def verify(_):
|
||||
started=time.perf_counter();h.verify(stored,'Synthetic-password-for-budget');return time.perf_counter()-started
|
||||
single=[verify(i) for i in range(6)]
|
||||
started=time.perf_counter()
|
||||
with concurrent.futures.ThreadPoolExecutor(max_workers=2) as pool:durations=list(pool.map(verify,range(8)))
|
||||
rows.append(dict(memory_kib=memory,time_cost=iterations,parallelism=parallelism,single_p50_seconds=statistics.median(single),single_max_seconds=max(single),concurrency=2,batch_seconds=time.perf_counter()-started,batch_max_seconds=max(durations),process_peak_rss_kib=resource.getrusage(resource.RUSAGE_SELF).ru_maxrss))
|
||||
print(json.dumps(rows))"""
|
||||
result = subprocess.check_output(
|
||||
["docker", "compose", "exec", "-T", "api", "python", "-c", code], cwd=root, text=True
|
||||
)
|
||||
report = {
|
||||
"candidates": json.loads(result),
|
||||
"api_cpu_limit": 0.5,
|
||||
"api_memory_limit_bytes": 512 * 1024**2,
|
||||
"max_hashes_per_api": 2,
|
||||
"api_replicas": 2,
|
||||
"global_login_ip_limit_per_minute": 120,
|
||||
"global_login_account_limit_per_minute": 10,
|
||||
"measurement": "Six sequential and eight two-thread verifications per candidate; peak RSS is cumulative for this probe process, not container total.",
|
||||
}
|
||||
(root / "evidence/argon-budget.json").write_text(json.dumps(report, indent=2) + "\n")
|
||||
print("Saved measured Argon2 budget; evidence/argon-budget.json")
|
||||
+568
@@ -0,0 +1,568 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Explicit operator bootstrap/unseal/start/rotation; no secret values on stdout."""
|
||||
|
||||
import argparse
|
||||
import json
|
||||
import secrets
|
||||
import shutil
|
||||
import subprocess
|
||||
import time
|
||||
|
||||
from securitylib import (
|
||||
LOCAL,
|
||||
OPERATOR,
|
||||
ROLES,
|
||||
ROOT,
|
||||
compose,
|
||||
issue,
|
||||
openssl,
|
||||
put,
|
||||
refresh_crl,
|
||||
request,
|
||||
root_token,
|
||||
wait_bao,
|
||||
)
|
||||
|
||||
|
||||
def prepare():
|
||||
LOCAL.mkdir(mode=0o700, exist_ok=True)
|
||||
LOCAL.chmod(0o700)
|
||||
OPERATOR.mkdir(mode=0o700, exist_ok=True)
|
||||
OPERATOR.chmod(0o700)
|
||||
if not (OPERATOR / "ca.key").exists():
|
||||
(OPERATOR / "newcerts").mkdir()
|
||||
put(OPERATOR / "index.txt", "", 0o600)
|
||||
put(OPERATOR / "serial", "1000\n", 0o600)
|
||||
put(OPERATOR / "crlnumber", "1000\n", 0o600)
|
||||
put(
|
||||
OPERATOR / "ca.cnf",
|
||||
f"""[ca]
|
||||
default_ca=lab
|
||||
[lab]
|
||||
database={OPERATOR}/index.txt
|
||||
new_certs_dir={OPERATOR}/newcerts
|
||||
certificate={LOCAL}/trust/ca.crt
|
||||
private_key={OPERATOR}/ca.key
|
||||
serial={OPERATOR}/serial
|
||||
crlnumber={OPERATOR}/crlnumber
|
||||
default_md=sha256
|
||||
default_days=2
|
||||
default_crl_days=7
|
||||
policy=names
|
||||
unique_subject=no
|
||||
[names]
|
||||
commonName=supplied
|
||||
""",
|
||||
0o600,
|
||||
)
|
||||
(LOCAL / "trust").mkdir(exist_ok=True)
|
||||
openssl(
|
||||
"req",
|
||||
"-x509",
|
||||
"-newkey",
|
||||
"ec",
|
||||
"-pkeyopt",
|
||||
"ec_paramgen_curve:P-256",
|
||||
"-nodes",
|
||||
"-keyout",
|
||||
OPERATOR / "ca.key",
|
||||
"-out",
|
||||
LOCAL / "trust/ca.crt",
|
||||
"-days",
|
||||
"365",
|
||||
"-subj",
|
||||
"/CN=MTUSI Lab7 Local CA",
|
||||
"-addext",
|
||||
"basicConstraints=critical,CA:TRUE",
|
||||
"-addext",
|
||||
"keyUsage=critical,keyCertSign,cRLSign",
|
||||
)
|
||||
(OPERATOR / "ca.key").chmod(0o600)
|
||||
for role in ROLES:
|
||||
if not (LOCAL / "identities" / role / "service.crt").exists():
|
||||
issue(role, expired=role == "expired")
|
||||
foreign = LOCAL / "identities/foreign"
|
||||
if not (foreign / "service.crt").exists():
|
||||
foreign.mkdir(exist_ok=True)
|
||||
openssl(
|
||||
"req",
|
||||
"-x509",
|
||||
"-newkey",
|
||||
"ec",
|
||||
"-pkeyopt",
|
||||
"ec_paramgen_curve:P-256",
|
||||
"-nodes",
|
||||
"-keyout",
|
||||
foreign / "service.key",
|
||||
"-out",
|
||||
foreign / "service.crt",
|
||||
"-days",
|
||||
"2",
|
||||
"-subj",
|
||||
"/CN=lb",
|
||||
"-addext",
|
||||
"subjectAltName=DNS:lb",
|
||||
)
|
||||
(foreign / "service.key").chmod(0o644)
|
||||
if not (LOCAL / "trust/ca.crl").exists():
|
||||
refresh_crl()
|
||||
path = OPERATOR / "credentials.json"
|
||||
if not path.exists():
|
||||
values = {
|
||||
name: secrets.token_urlsafe(32)
|
||||
for name in [
|
||||
"postgres",
|
||||
"admin",
|
||||
"grafana",
|
||||
"minio",
|
||||
"api_db",
|
||||
"worker_db",
|
||||
"dispatcher_db",
|
||||
"reconciler_db",
|
||||
"api_s3",
|
||||
"worker_s3",
|
||||
"reconciler_s3",
|
||||
"api_redis",
|
||||
"operator_redis",
|
||||
"worker_broker",
|
||||
"dispatcher_broker",
|
||||
"api_broker",
|
||||
"operator_broker",
|
||||
]
|
||||
}
|
||||
put(path, json.dumps(values), 0o600)
|
||||
values = json.loads(path.read_text())
|
||||
if "dispatcher_s3" not in values:
|
||||
values["dispatcher_s3"] = secrets.token_urlsafe(32)
|
||||
put(path, json.dumps(values), 0o600)
|
||||
put(OPERATOR / "postgres-password", values["postgres"])
|
||||
put(
|
||||
OPERATOR / "init.sql",
|
||||
"\n".join(
|
||||
f"CREATE ROLE messenger_{role} LOGIN PASSWORD '{values[role + '_db']}' NOSUPERUSER NOCREATEDB NOCREATEROLE NOREPLICATION;"
|
||||
for role in ["api", "worker", "dispatcher", "reconciler"]
|
||||
)
|
||||
+ "\nREVOKE CREATE ON SCHEMA public FROM PUBLIC;\n",
|
||||
)
|
||||
put(
|
||||
OPERATOR / "minio.env",
|
||||
f"MINIO_ROOT_USER=operator\nMINIO_ROOT_PASSWORD={values['minio']}\nMINIO_BROWSER=off\n",
|
||||
)
|
||||
put(OPERATOR / "grafana.env", f"GF_SECURITY_ADMIN_PASSWORD={values['grafana']}\n")
|
||||
common = {
|
||||
"S3_ENDPOINT": "https://minio:9000",
|
||||
"S3_BUCKET": "messenger-attachments",
|
||||
"ADMIN_PASSWORD": values["admin"],
|
||||
}
|
||||
bootstrap = {
|
||||
**common,
|
||||
"DATABASE_URL": f"postgresql://operator:{values['postgres']}@postgres:5432/messenger",
|
||||
"REDIS_URL": f"rediss://operator:{values['operator_redis']}@redis:6379/0",
|
||||
"MINIO_ROOT_USER": "operator",
|
||||
"MINIO_ROOT_PASSWORD": values["minio"],
|
||||
"S3_ACCESS_KEY_ID": "messenger-api",
|
||||
"S3_SECRET_ACCESS_KEY": values["api_s3"],
|
||||
"S3_WORKER_ACCESS_KEY_ID": values.get("worker_s3_access", "messenger-worker"),
|
||||
"S3_WORKER_SECRET_ACCESS_KEY": values["worker_s3"],
|
||||
"S3_RECONCILE_ACCESS_KEY_ID": "messenger-reconciler",
|
||||
"S3_RECONCILE_SECRET_ACCESS_KEY": values["reconciler_s3"],
|
||||
"S3_DISPATCHER_ACCESS_KEY_ID": "messenger-dispatcher",
|
||||
"S3_DISPATCHER_SECRET_ACCESS_KEY": values["dispatcher_s3"],
|
||||
}
|
||||
put(OPERATOR / "bootstrap.env", "\n".join(k + "=" + v for k, v in bootstrap.items()) + "\n")
|
||||
put(
|
||||
LOCAL / "config/redis.acl",
|
||||
f"user default off\nuser operator on >{values['operator_redis']} ~* +@all\nuser api on >{values['api_redis']} ~session:v1:* ~user:v1:* ~rl:login:* +ping +get +set +del +incr +pexpire +pttl +eval +multi +exec +client|setinfo\n",
|
||||
)
|
||||
put(
|
||||
LOCAL / "config/broker.acl",
|
||||
f"user default off\nuser operator on >{values['operator_broker']} ~* +@all\nuser dispatcher on >{values['dispatcher_broker']} ~attachment-jobs-v1 +ping +xadd +client|setinfo\nuser worker on >{values['worker_broker']} ~attachment-jobs-v1 +ping +xgroup +xreadgroup +xautoclaim +xack +xdel +multi +exec +client|setinfo\nuser api on >{values['api_broker']} ~attachment-jobs-v1 +ping +client|setinfo\n",
|
||||
)
|
||||
# Grafana embeds public CA/client certificate and its own private key only.
|
||||
identity = LOCAL / "identities/grafana"
|
||||
tlsdata = {
|
||||
"tlsCACert": (LOCAL / "trust/ca.crt").read_text(),
|
||||
"tlsClientCert": (identity / "service.crt").read_text(),
|
||||
"tlsClientKey": (identity / "service.key").read_text(),
|
||||
}
|
||||
sources = []
|
||||
for name, kind, url in [
|
||||
("Prometheus", "prometheus", "https://prometheus:9090"),
|
||||
("Loki", "loki", "https://loki:3100"),
|
||||
("Tempo", "tempo", "https://tempo:3200"),
|
||||
]:
|
||||
extra = {
|
||||
"httpMethod": "GET",
|
||||
"tlsAuth": True,
|
||||
"tlsAuthWithCACert": True,
|
||||
"tlsSkipVerify": False,
|
||||
}
|
||||
if kind == "loki":
|
||||
extra["derivedFields"] = [
|
||||
{
|
||||
"name": "TraceID",
|
||||
"matcherRegex": '"trace_id":\\s*"([a-f0-9]+)"',
|
||||
"datasourceUid": "tempo",
|
||||
"url": "$${__value.raw}",
|
||||
}
|
||||
]
|
||||
if kind == "tempo":
|
||||
extra["tracesToLogsV2"] = {"datasourceUid": "loki", "filterByTraceID": True}
|
||||
sources.append(
|
||||
{
|
||||
"name": name,
|
||||
"uid": kind,
|
||||
"type": kind,
|
||||
"url": url,
|
||||
"access": "proxy",
|
||||
"isDefault": kind == "prometheus",
|
||||
"jsonData": extra,
|
||||
"secureJsonData": tlsdata,
|
||||
}
|
||||
)
|
||||
put(
|
||||
LOCAL / "config/grafana-sources.yaml",
|
||||
json.dumps({"apiVersion": 1, "datasources": sources}, indent=2),
|
||||
)
|
||||
print("Prepared local CA, identities and service credentials; values not printed.")
|
||||
|
||||
|
||||
def unseal():
|
||||
status = wait_bao()
|
||||
if not status["initialized"]:
|
||||
data = request("sys/init", {"secret_shares": 3, "secret_threshold": 2})
|
||||
put(OPERATOR / "bao-init.json", json.dumps(data), 0o600)
|
||||
if status["sealed"]:
|
||||
data = json.loads((OPERATOR / "bao-init.json").read_text())
|
||||
for key in data["keys"][:2]:
|
||||
request("sys/unseal", {"key": key})
|
||||
print("Operator unseal completed; material remains outside server containers.")
|
||||
|
||||
|
||||
def configure_bao():
|
||||
token = root_token()
|
||||
mounts = request("sys/mounts", token=token)
|
||||
if "secret/" not in mounts:
|
||||
request("sys/mounts/secret", {"type": "kv", "options": {"version": "2"}}, token=token)
|
||||
auth = request("sys/auth", token=token)
|
||||
if "cert/" not in auth:
|
||||
request("sys/auth/cert", {"type": "cert"}, token=token)
|
||||
values = json.loads((OPERATOR / "credentials.json").read_text())
|
||||
for role in ["api", "worker", "dispatcher", "reconciler"]:
|
||||
policy = (
|
||||
ROOT / f"infra/openbao/{role}.hcl"
|
||||
).read_text() + '\npath "auth/token/renew-self" { capabilities = ["update"] }\n'
|
||||
request("sys/policies/acl/" + role, {"policy": policy}, token=token)
|
||||
request(
|
||||
"auth/cert/certs/" + role,
|
||||
{
|
||||
"certificate": (LOCAL / "trust/ca.crt").read_text(),
|
||||
"allowed_common_names": [role],
|
||||
"allowed_dns_sans": [role],
|
||||
"token_policies": [role],
|
||||
"token_ttl": 60,
|
||||
"token_max_ttl": 300,
|
||||
},
|
||||
token=token,
|
||||
)
|
||||
env = {
|
||||
"DATABASE_URL": f"postgresql://messenger_{role}:{values[role + '_db']}@postgres:5432/messenger",
|
||||
"REDIS_URL": f"rediss://api:{values['api_redis']}@redis:6379/0"
|
||||
if role == "api"
|
||||
else "rediss://unused:unused@redis:6379/0",
|
||||
"ADMIN_PASSWORD": values["admin"] if role == "api" else secrets.token_urlsafe(32),
|
||||
"S3_ENDPOINT": "https://minio:9000",
|
||||
"S3_BUCKET": "messenger-attachments",
|
||||
}
|
||||
s3role = role
|
||||
prefix = {
|
||||
"api": "S3",
|
||||
"worker": "S3_WORKER",
|
||||
"reconciler": "S3_RECONCILE",
|
||||
"dispatcher": "S3_DISPATCHER",
|
||||
}[s3role]
|
||||
env[prefix + "_ACCESS_KEY_ID"] = values.get(s3role + "_s3_access", "messenger-" + s3role)
|
||||
env[prefix + "_SECRET_ACCESS_KEY"] = values[s3role + "_s3"]
|
||||
if role in ["worker", "dispatcher"]:
|
||||
env["BROKER_URL"] = f"rediss://{role}:{values[role + '_broker']}@broker:6379/0"
|
||||
import urllib.error
|
||||
|
||||
try:
|
||||
request("secret/data/messenger/" + role, token=token)
|
||||
except urllib.error.HTTPError as error:
|
||||
if error.code != 404:
|
||||
raise
|
||||
request("secret/data/messenger/" + role, {"data": env}, token=token)
|
||||
request("auth/cert/crls/lab7", {"crl": (LOCAL / "trust/ca.crl").read_text()}, token=token)
|
||||
try:
|
||||
request(
|
||||
"sys/audit/file",
|
||||
{"type": "file", "options": {"file_path": "/bao/data/audit.jsonl"}},
|
||||
token=token,
|
||||
)
|
||||
except Exception:
|
||||
pass
|
||||
print("Configured restricted service policies, certificate auth and KV secrets.")
|
||||
|
||||
|
||||
def sql(statement):
|
||||
# stdin keeps credentials and SQL literals out of process command lines/output.
|
||||
subprocess.run(
|
||||
[
|
||||
"docker",
|
||||
"compose",
|
||||
"exec",
|
||||
"-T",
|
||||
"postgres",
|
||||
"psql",
|
||||
"-U",
|
||||
"operator",
|
||||
"-d",
|
||||
"messenger",
|
||||
"-p",
|
||||
"15432",
|
||||
"-v",
|
||||
"ON_ERROR_STOP=1",
|
||||
],
|
||||
input=statement,
|
||||
text=True,
|
||||
cwd=ROOT,
|
||||
check=True,
|
||||
stdout=subprocess.DEVNULL,
|
||||
)
|
||||
|
||||
|
||||
def grants():
|
||||
sql("""REVOKE ALL ON DATABASE messenger FROM PUBLIC;
|
||||
GRANT CONNECT ON DATABASE messenger TO messenger_api,messenger_worker,messenger_dispatcher,messenger_reconciler;
|
||||
GRANT USAGE ON SCHEMA public TO messenger_api,messenger_worker,messenger_dispatcher,messenger_reconciler;
|
||||
GRANT SELECT,INSERT,UPDATE,DELETE ON users,chats,chat_members,messages,message_requests,attachments,attachment_jobs,job_replays,message_attachments,upload_intents,storage_findings TO messenger_api;
|
||||
GRANT SELECT,UPDATE ON attachments,attachment_jobs TO messenger_worker;
|
||||
GRANT SELECT,UPDATE ON attachments,attachment_jobs,upload_intents TO messenger_dispatcher;
|
||||
GRANT SELECT,INSERT,UPDATE,DELETE ON attachments,upload_intents,storage_findings TO messenger_reconciler;
|
||||
GRANT SELECT ON message_attachments TO messenger_reconciler;
|
||||
""")
|
||||
|
||||
|
||||
def bootstrap():
|
||||
prepare()
|
||||
compose("build", "api")
|
||||
compose(
|
||||
"up",
|
||||
"-d",
|
||||
"volume-init",
|
||||
"postgres",
|
||||
"postgres-tls",
|
||||
"redis",
|
||||
"redis-tls",
|
||||
"broker",
|
||||
"broker-tls",
|
||||
"minio",
|
||||
"openbao",
|
||||
)
|
||||
unseal()
|
||||
# KV existence is checked per path on reruns.
|
||||
configure_bao()
|
||||
for _ in range(40):
|
||||
try:
|
||||
compose("run", "--rm", "--no-deps", "migration")
|
||||
break
|
||||
except subprocess.CalledProcessError:
|
||||
time.sleep(2)
|
||||
else:
|
||||
raise RuntimeError("Migration unavailable")
|
||||
grants()
|
||||
compose("run", "--rm", "--no-deps", "s3-bootstrap")
|
||||
compose(
|
||||
"up",
|
||||
"-d",
|
||||
"otel-collector",
|
||||
"otel-tls",
|
||||
"prometheus",
|
||||
"prometheus-tls",
|
||||
"loki",
|
||||
"loki-tls",
|
||||
"tempo",
|
||||
"tempo-tls",
|
||||
"grafana",
|
||||
"api",
|
||||
"worker",
|
||||
"dispatcher",
|
||||
"reconciler",
|
||||
)
|
||||
compose("up", "-d", "--wait", "lb")
|
||||
print("Lab7 ready: https://localhost:8443 ; CA: .local/trust/ca.crt")
|
||||
|
||||
|
||||
def rotate_certificate(role):
|
||||
folder = LOCAL / "identities" / role
|
||||
archive = OPERATOR / f"revoked-{role}-{int(time.time())}"
|
||||
shutil.copytree(folder, archive)
|
||||
archive.chmod(0o700)
|
||||
issue(role)
|
||||
openssl("ca", "-config", OPERATOR / "ca.cnf", "-revoke", archive / "service.crt")
|
||||
refresh_crl()
|
||||
request(
|
||||
"auth/cert/crls/lab7", {"crl": (LOCAL / "trust/ca.crl").read_text()}, token=root_token()
|
||||
)
|
||||
# Close old persistent TLS connections and reload CRL on all enforcing gateways.
|
||||
compose(
|
||||
"restart",
|
||||
"postgres-tls",
|
||||
"redis-tls",
|
||||
"broker-tls",
|
||||
"otel-tls",
|
||||
"loki-tls",
|
||||
"tempo-tls",
|
||||
"prometheus-tls",
|
||||
"lb",
|
||||
)
|
||||
if role not in ["api", "worker", "dispatcher", "reconciler"]:
|
||||
compose("restart", role)
|
||||
print("Rotated leaf certificate and revoked previous serial; no image rebuild.")
|
||||
|
||||
|
||||
def rotate_secret():
|
||||
record = request("secret/data/messenger/worker", token=root_token())["data"]["data"]
|
||||
oldurl = record["DATABASE_URL"]
|
||||
oldrole = oldurl.split("://", 1)[1].split(":", 1)[0]
|
||||
newrole = "worker_" + secrets.token_hex(4)
|
||||
password = secrets.token_urlsafe(32)
|
||||
sql(
|
||||
f"CREATE ROLE {newrole} LOGIN PASSWORD '{password}' NOSUPERUSER NOCREATEDB NOCREATEROLE; GRANT messenger_worker TO {newrole};"
|
||||
)
|
||||
record["DATABASE_URL"] = f"postgresql://{newrole}:{password}@postgres:5432/messenger"
|
||||
request("secret/data/messenger/worker", {"data": record}, token=root_token())
|
||||
time.sleep(15)
|
||||
sql(
|
||||
f"ALTER ROLE {oldrole} NOLOGIN; SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE usename='{oldrole}';"
|
||||
)
|
||||
put(
|
||||
OPERATOR / "last-worker-rotation.json",
|
||||
json.dumps({"old_url": oldurl, "new_role": newrole}),
|
||||
0o600,
|
||||
)
|
||||
print("Rotated worker DB credential, revoked old login and closed old sessions.")
|
||||
|
||||
|
||||
def rotate_s3():
|
||||
token = root_token()
|
||||
record = request("secret/data/messenger/worker", token=token)["data"]["data"]
|
||||
old = {key: record[key] for key in ["S3_WORKER_ACCESS_KEY_ID", "S3_WORKER_SECRET_ACCESS_KEY"]}
|
||||
access = "worker-" + secrets.token_hex(5)
|
||||
password = secrets.token_urlsafe(32)
|
||||
code = """import json,sys
|
||||
from src.core.storage_bootstrap import create_admin_client
|
||||
x=json.load(sys.stdin);admin=create_admin_client()
|
||||
if x['action']=='create':
|
||||
admin.user_add(x['access'],x['password']);admin.policy_set('messenger-worker',user=x['access'])
|
||||
else:admin.user_disable(x['access'])
|
||||
"""
|
||||
|
||||
def admin(data):
|
||||
subprocess.run(
|
||||
[
|
||||
"docker",
|
||||
"compose",
|
||||
"run",
|
||||
"--rm",
|
||||
"--no-deps",
|
||||
"-T",
|
||||
"s3-bootstrap",
|
||||
"python",
|
||||
"-c",
|
||||
code,
|
||||
],
|
||||
cwd=ROOT,
|
||||
text=True,
|
||||
input=json.dumps(data),
|
||||
check=True,
|
||||
stdout=subprocess.DEVNULL,
|
||||
)
|
||||
|
||||
admin({"action": "create", "access": access, "password": password})
|
||||
record.update(S3_WORKER_ACCESS_KEY_ID=access, S3_WORKER_SECRET_ACCESS_KEY=password)
|
||||
request("secret/data/messenger/worker", {"data": record}, token=token)
|
||||
time.sleep(15)
|
||||
admin({"action": "disable", "access": old["S3_WORKER_ACCESS_KEY_ID"]})
|
||||
values = json.loads((OPERATOR / "credentials.json").read_text())
|
||||
values.update(worker_s3=password, worker_s3_access=access)
|
||||
put(OPERATOR / "credentials.json", json.dumps(values), 0o600)
|
||||
put(OPERATOR / "last-s3-rotation.json", json.dumps(old), 0o600)
|
||||
prepare()
|
||||
print(
|
||||
"Rotated worker S3 identity; disabled old access key; bootstrap retains current credentials."
|
||||
)
|
||||
|
||||
|
||||
def renew_identities():
|
||||
# Explicit maintenance operation; CA remains unchanged, data volumes untouched.
|
||||
gateways = [
|
||||
"postgres-tls",
|
||||
"redis-tls",
|
||||
"broker-tls",
|
||||
"otel-tls",
|
||||
"loki-tls",
|
||||
"tempo-tls",
|
||||
"prometheus-tls",
|
||||
]
|
||||
compose(
|
||||
"stop",
|
||||
"api",
|
||||
"worker",
|
||||
"dispatcher",
|
||||
"reconciler",
|
||||
"lb",
|
||||
*gateways,
|
||||
"openbao",
|
||||
"minio",
|
||||
"grafana",
|
||||
"otel-collector",
|
||||
"prometheus",
|
||||
)
|
||||
archive = OPERATOR / ("renewal-" + str(int(time.time())))
|
||||
archive.mkdir(mode=0o700)
|
||||
for role in ROLES:
|
||||
if role == "expired":
|
||||
continue
|
||||
old = archive / (role + ".crt")
|
||||
shutil.copy2(LOCAL / "identities" / role / "service.crt", old)
|
||||
issue(role)
|
||||
openssl("ca", "-config", OPERATOR / "ca.cnf", "-revoke", old)
|
||||
refresh_crl()
|
||||
prepare()
|
||||
compose("up", "-d", "volume-init")
|
||||
compose("start", "openbao", "minio", "grafana", "otel-collector", "prometheus", *gateways)
|
||||
unseal()
|
||||
configure_bao()
|
||||
compose(
|
||||
"up", "-d", "--no-recreate", "--wait", "api", "worker", "dispatcher", "reconciler", "lb"
|
||||
)
|
||||
print("Renewed leaf identities with the existing CA; old serials revoked; data preserved.")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
parser = argparse.ArgumentParser()
|
||||
parser.add_argument(
|
||||
"action",
|
||||
choices=[
|
||||
"prepare",
|
||||
"bootstrap",
|
||||
"unseal",
|
||||
"rotate-cert",
|
||||
"rotate-secret",
|
||||
"renew-identities",
|
||||
"rotate-s3",
|
||||
],
|
||||
)
|
||||
parser.add_argument("--role", default="worker", choices=ROLES)
|
||||
args = parser.parse_args()
|
||||
{
|
||||
"prepare": prepare,
|
||||
"bootstrap": bootstrap,
|
||||
"unseal": unseal,
|
||||
"rotate-cert": lambda: rotate_certificate(args.role),
|
||||
"rotate-secret": rotate_secret,
|
||||
"renew-identities": renew_identities,
|
||||
"rotate-s3": rotate_s3,
|
||||
}[args.action]()
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user