Files
mtusi2026lab7/REPORT.md
T
kaktuz20000 5a6fcff3ef
Skeleton contracts / contracts (pull_request) Canceled after 0s
выполение на 5
2026-11-04 19:22:35 +03:00

111 lines
19 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 7
- Автор, группа: в исходном отчёте lab6 не указаны.
- Целевая оценка: 5; выбранный трек: 1 (компрометация worker). Ниже указаны повторяемая методика и результаты на локальном Compose-стенде.
- Commit/PR: не создан.
- Использованные источники, библиотеки и помощь ИИ: собственная реализация lab6; README/COURSE и контракты lab7; документация Argon2, Python `ssl`, OpenBao AppRole/ACL и Docker Compose. Использованы psycopg, boto3, Pillow, pika, OpenTelemetry и argon2-cffi (версии закреплены в `requirements.txt`). ИИ использовался для переноса, адаптации и проверки кода.
## Запуск из чистого clone
Требуются Docker Compose v2, OpenSSL и Python 3.11+. Образы зафиксированы в `compose.yaml`; приложение собирается из `python:3.12.7-slim`. На машине разработки использован Python 3.13.2.
```sh
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
cp .env.example .env
.venv/bin/python scripts/bootstrap-secrets.py
.venv/bin/python scripts/bootstrap-pki.py
docker compose --env-file .env config --quiet
# Поднять зависимости и OpenBao до приложения.
docker compose --env-file .env up -d postgres rabbitmq s3-core s3 openbao
# Оператор выполняет init и unseal; shares и root token хранятся вне репозитория.
docker compose exec -it -e BAO_CACERT=/run/secrets/ca_crt openbao bao operator init
docker compose exec -it -e BAO_CACERT=/run/secrets/ca_crt openbao bao operator unseal
# Повторить unseal до достижения порога, затем:
.venv/bin/python scripts/bootstrap-openbao.py --root-token-file /secure/path/openbao-root-token
docker compose --env-file .env up -d --build
make test PYTHON=.venv/bin/python BASE_URL=https://localhost:8443 CA_FILE="$PWD/secrets/pki/ca.crt"
make test-security PYTHON=.venv/bin/python BASE_URL=https://localhost:8443 CA_FILE="$PWD/secrets/pki/ca.crt"
make test-primitives PYTHON=.venv/bin/python
make test-internal-mtls
make test-login-limit PYTHON=.venv/bin/python BASE_URL=https://localhost:8443 CA_FILE="$PWD/secrets/pki/ca.crt"
```
Для остановки без удаления данных: `docker compose --env-file .env down`. Намеренное удаление учебных данных и OpenBao state: `docker compose --env-file .env down -v`. Скрипты создают credentials и ключи только локально в исключённом из Git каталоге `secrets/`; не копируйте его в репозиторий. Секреты и unseal material не помещать в командную строку, отчёт или evidence.
## Архитектура и решения
Перенесены приложение, миграции, обработка вложений и тестовые сценарии lab6. PostgreSQL хранит пользователей, чаты, членство, сообщения, сессии, idempotency state и metadata вложений. SeaweedFS хранит оригиналы и variants; RabbitMQ обеспечивает at-least-once обработку через transactional outbox, отдельный publisher и worker; reconciler сверяет состояние. OTel Collector направляет сигналы в Prometheus, Loki и Tempo, Grafana загружает provisioning из репозитория.
HAProxy завершает внешний TLS на `localhost:8443`; сертификат ingress содержит SAN для `localhost` и `127.0.0.1`. HAProxy проверяет CA и имя API-сервера и предъявляет клиентский сертификат. API требует клиентский сертификат из локального CA и дополнительно разрешает только URI SAN `spiffe://mtusi2026lab7/load-balancer`. API listener не опубликован на host; internal health-check также использует TLS/mTLS.
Пароли записываются как Argon2id (`m=19456 KiB`, `t=2`, `p=1`); параметры hash проверяются до верификации и ограничены верхним пределом 64 MiB. Одновременно выполняется не более четырёх password hash операций в каждом API процессе; при исчерпании слотов запрос ограниченно ждёт 100 ms и получает 503/Retry-After, а не неограниченно аллоцирует память. Проверка legacy scrypt поддержана для миграции пользователей lab6; при успешном входе старый hash обновляется. Токены сессий продолжают храниться в PostgreSQL как SHA-256 hashes. Ограничение входа — пять попыток на username и шестьдесят на source IP за минуту; HAProxy заменяет `X-Real-IP`, поэтому значение от внешнего клиента не доверяется. Состояние общее для API-реплик, ответ блокировки — 429 с Retry-After.
OpenBao использует TLS, file storage в persistent volume и KV v2. Bootstrap создаёт отдельные AppRole и policy path для API, worker, publisher, migrator и reconciler. Приложения получают только собственные static KV values; операторский root token и unseal keys не передаются контейнерам. SecretID ограничен 24 часами, token TTL — 15 минут (max 1 час). Сертификат CA и private keys создаются скриптом на локальном стенде.
Фактические адреса приложения заданы в `compose.yaml`; `.env.example` — шаблон параметров локального запуска. Из переменных примера Compose использует порт ingress, число/лимиты API, session TTL, worker concurrency и telemetry sampling. Runtime secrets читаются через AppRole; в контейнерах нет root token. Python-сервисы работают как непривилегированный `app`, с `read_only`, tmpfs, `cap_drop: ALL` и `no-new-privileges`. Одноразовый `openbao-data-init` запускается от root только для установки владельца persistent volume и имеет единственную capability `CHOWN`; сам OpenBao drops all, оставляя `SETUID`/`SETGID`, нужные upstream entrypoint.
## Доказательства критериев
| Критерий | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Структура и контракт | `make check` | PASS: OpenAPI structure, local refs, JSON и Python syntax | `scripts/check_contract.py` |
| Схемы API | `make validate PYTHON=.venv/bin/python` | PASS: OpenAPI 3.1 и JSON Schema | `scripts/validate_openapi.py` |
| Криптографические примитивы | `make test-primitives PYTHON=.venv/bin/python` | PASS: Argon2id, legacy scrypt verify/upgrade, URI SAN allowlist | `tests/test_security_primitives.py` |
| Compose topology | `docker compose --env-file .env.example config --quiet` после генерации локальных секретов/PKI | PASS: Compose конфигурация разбирается | `compose.yaml` |
| Локальная PKI | `openssl verify -CAfile secrets/pki/ca.crt ...` | PASS: ingress, API и LB client chain; client URI SAN содержит разрешённую identity | `scripts/bootstrap-pki.py` |
| API smoke over HTTPS | `make test BASE_URL=https://localhost:8443 CA_FILE=...` | PASS на работающем Compose стенде | `tests/smoke.py` |
| Внешняя проверка TLS trust | `make test-security BASE_URL=https://localhost:8443 CA_FILE=...` | PASS: доверенный TLS проходит, пустой trust store отвергается | `tests/security.py` |
| Внутреннее mTLS | `make test-internal-mtls` | PASS: без cert, foreign CA и неверный URI SAN отклонены; разрешённая LB identity принята | `tests/internal_mtls.py`, `src/app.py`, `haproxy.cfg` |
| Login rate limit | `make test-login-limit BASE_URL=https://localhost:8443 CA_FILE=...` | PASS: шестая неуспешная попытка получает 429/Retry-After | `tests/login_rate_limit.py`, `migrations/006_login_rate_limits.sql` |
| Внутренние TLS-соединения | Работающий Compose smoke, S3 attachment processing, worker broker consumer и проверки datasource из Grafana | PASS: PostgreSQL TLS, S3 HTTPS/mTLS, RabbitMQ AMQPS/mTLS, OTLP HTTPS/mTLS; из Grafana проверена CA-валидация Prometheus/Loki/Tempo | `compose.yaml`, `infra/postgres/`, `infra/otel/`, `src/object_store.py`, `src/jobs.py` |
| OpenBao AppRole | `make test-openbao-acl PYTHON=.venv/bin/python` | PASS: пять сервисов читают собственные KV paths, cross-service read получает 403; token TTL ограничен | `tests/openbao_acl.py`, `scripts/bootstrap-openbao.py`, `infra/openbao/` |
| Worker least privilege | `make test-worker-isolation` | PASS: DB identity `messenger_worker`; чтение `users`, S3 List и чтение originals/variants запрещены; нужные staging/originals/variants операции разрешены; RabbitMQ publish отклонён с 403 | `tests/worker_isolation.py`, `evidence/worker-isolation.json` |
| Track 1: компрометация и recovery | `make test-worker-rotation ROOT_TOKEN_FILE=...` | PASS: старая AppRole SecretID отозвана и отвергнута; новая identity аутентифицируется; задача `queued → ready`, SHA-256 original и message link сохранены | `tests/worker_identity_rotation.py`, `evidence/worker-rotation.json` |
| Ротация LB leaf-сертификата | `make test-leaf-rotation` | PASS: старый сертификат отвергнут, новый принят, HTTPS ingress healthy, Docker image IDs не изменились | `tests/leaf_certificate_rotation.py`, `evidence/leaf-rotation.json` |
| Redaction telemetry | `make test-telemetry-redaction BASE_URL=https://localhost:8443 CA_FILE=...` | PASS: 6 синтетических значений отсутствуют в 11 фактических Loki entries и 1 Tempo trace | `tests/telemetry_redaction.py`, `evidence/telemetry-redaction.json` |
| Сохранность при restart | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS: подтверждённое сообщение, attachment content и существующая сессия сохранены | `tests/resilience.py`, `evidence/persistence.json` |
| Отказ одной API-реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | PASS: две реплики до отказа; 108 успешных записей, 0 ошибок; первое восстановление за 3.463 s | `tests/resilience.py`, `evidence/failover.json` |
| Argon2 resource budget | `make test-argon-budget` на API с лимитом 1 CPU/512 MiB | 20 verify операций: p50 23.007 ms, p95 28.288 ms, max 32.157 ms; из 12 одновременных запросов 6 выполнились и 6 получили capacity rejection, peak 4 активных hash операции, max RSS 162220 KiB (Linux ru_maxrss) | `tests/argon2_budget.py`, `evidence/argon2-budget.json` |
| Python dependency scan | `.venv/bin/pip-audit -r requirements.txt` | PASS: 39 runtime packages, 0 известных уязвимостей в момент сканирования | `requirements.txt`, `evidence/dependency-audit.json` |
## Трек 1 — последствия компрометации worker
**Гипотеза.** Получив worker identity, атакующий может читать/писать staging bucket, писать originals/variants и потреблять process queue. Он не может читать пользовательские записи, перечислять buckets или читать originals/variants, публиковать свои задачи либо читать чужие OpenBao paths. После отзыва SecretID и его замены ожидающая задача должна завершиться без потери вложения или связи с сообщением.
**Методика.** На работающем Compose стенде выполнены `make test-worker-isolation` и `make test-worker-rotation ROOT_TOKEN_FILE=<operator-only-file>`. Первый сценарий проверяет реальные PostgreSQL grants, SeaweedFS `AccessDenied`, staging read/write, запись originals/variants, очистку временных объектов и broker ACL `403`. Второй останавливает worker, создаёт attachment и message link, выдаёт новую AppRole SecretID, отзывает прежнюю, проверяет отказ старого credential, пересоздаёт только worker и ждёт окончания обработки через публичный API. Root token и SecretID в вывод не включаются.
**Результат и сравнение.** В исходной общей схеме worker наследовал права общих application credentials; после разделения его DB role и S3/RabbitMQ identity имеют отдельные allowlists. В текущем измерении worker прочитал attachments, но получил отказ на `users`; S3 write для originals/variants и staging read/write прошли, а List и чтение originals/variants завершились `AccessDenied`; RabbitMQ отклонил публикацию с 403. Прежняя SecretID не прошла AppRole login, новая identity получила только собственный KV path. Attachment перешёл из `queued` в `ready`; SHA-256 исходных байтов и ссылка на attachment в сообщении сохранились. Машинные результаты сохранены в `evidence/worker-isolation.json` и `evidence/worker-rotation.json`.
**Границы эксперимента.** Проверялись заданные операции одной worker identity и один queued recovery сценарий на локальном Compose стенде; это не нагрузочный тест и не модель компрометации Docker host.
## Эксперименты и отказы
Проверены сохранность при restart, отказ одной API-реплики и восстановление записи; результаты приведены в таблице и JSON evidence. Отдельно измерялась стоимость Argon2 verify в ограниченном API container. Повторяемый профиль для учебного стенда:
```sh
make load PYTHON=.venv/bin/python BASE_URL=https://localhost:8443 \
CA_FILE="$PWD/secrets/pki/ca.crt"
make test-persistence ACTION_SCRIPT=scripts/restart.sh \
BASE_URL=https://localhost:8443 CA_FILE="$PWD/secrets/pki/ca.crt"
make test-failover ACTION_SCRIPT=scripts/stop-one.sh \
BASE_URL=https://localhost:8443 CA_FILE="$PWD/secrets/pki/ca.crt"
```
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| Нет клиентского сертификата / foreign CA / неверный URI SAN | API TLS listener отвергает соединение; LB identity проходит | Runtime тест: все три недоверенных запроса отклонены, LB identity принята | TLS-handshake |
| Недоверенный CA внешнего endpoint | Проверка сертификата завершается TLS verification error | HTTPS smoke и проверка trust store выполнены | TLS-handshake |
| Пять неуспешных login попыток в пределах минуты | Следующая попытка получает 429 и Retry-After | Runtime тест: шестая попытка отклонена с 429/Retry-After | Окно лимита — 60 секунд |
| Отзыв worker SecretID при ожидающей задаче | Старое credential отклоняется, новая identity продолжает обработку | Runtime тест: old login denied; attachment `queued → ready`, содержимое и message link сохранены | Проверен один recovery цикл |
| Restart API и stores | Сохранение подтверждённых данных, attachment content и существующей сессии | Runtime test: все данные доступны после restart | Проверка готовности после возврата сервисов |
| Отказ одной API-реплики | Успешные записи через оставшуюся реплику, без дублей и потери подтверждённых данных | 108 успешных записей, 0 ошибок; 2 реплики до отказа | Первое восстановление за 3.463 s |
`tests/load.py` — closed-loop генератор; его успешный HTTP throughput не является точным числом DB commits и не компенсирует coordinated omission. Измерения необходимо выполнять на одном и том же составе стенда с зафиксированными concurrency, длительностью, прогревом, аппаратными ресурсами и размером данных; сохранять вывод в `evidence/` без credentials и токенов.
## Дополнительные измерения
Ротация LB leaf-сертификата проверена без пересборки образов: прежний сертификат отклоняется, новый проходит ingress health check. Redaction проверен на фактических записях Loki и трассе Tempo после генерации синтетических credentials и сообщения. Фактические протоколы и identities каждой связи зафиксированы в [матрице доверия](contracts/trust-matrix.md); остальные проверки и команды воспроизведения приведены в [tests/README.md](tests/README.md).