19 KiB
Отчёт — лабораторная 7
- Автор, группа: в исходном отчёте lab6 не указаны.
- Целевая оценка: 5; выбранный трек: 1 (компрометация worker). Ниже указаны повторяемая методика и результаты на локальном Compose-стенде.
- Commit/PR: не создан.
- Использованные источники, библиотеки и помощь ИИ: собственная реализация lab6; README/COURSE и контракты lab7; документация Argon2, Python
ssl, OpenBao AppRole/ACL и Docker Compose. Использованы psycopg, boto3, Pillow, pika, OpenTelemetry и argon2-cffi (версии закреплены вrequirements.txt). ИИ использовался для переноса, адаптации и проверки кода.
Запуск из чистого clone
Требуются Docker Compose v2, OpenSSL и Python 3.11+. Образы зафиксированы в compose.yaml; приложение собирается из python:3.12.7-slim. На машине разработки использован Python 3.13.2.
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
cp .env.example .env
.venv/bin/python scripts/bootstrap-secrets.py
.venv/bin/python scripts/bootstrap-pki.py
docker compose --env-file .env config --quiet
# Поднять зависимости и OpenBao до приложения.
docker compose --env-file .env up -d postgres rabbitmq s3-core s3 openbao
# Оператор выполняет init и unseal; shares и root token хранятся вне репозитория.
docker compose exec -it -e BAO_CACERT=/run/secrets/ca_crt openbao bao operator init
docker compose exec -it -e BAO_CACERT=/run/secrets/ca_crt openbao bao operator unseal
# Повторить unseal до достижения порога, затем:
.venv/bin/python scripts/bootstrap-openbao.py --root-token-file /secure/path/openbao-root-token
docker compose --env-file .env up -d --build
make test PYTHON=.venv/bin/python BASE_URL=https://localhost:8443 CA_FILE="$PWD/secrets/pki/ca.crt"
make test-security PYTHON=.venv/bin/python BASE_URL=https://localhost:8443 CA_FILE="$PWD/secrets/pki/ca.crt"
make test-primitives PYTHON=.venv/bin/python
make test-internal-mtls
make test-login-limit PYTHON=.venv/bin/python BASE_URL=https://localhost:8443 CA_FILE="$PWD/secrets/pki/ca.crt"
Для остановки без удаления данных: docker compose --env-file .env down. Намеренное удаление учебных данных и OpenBao state: docker compose --env-file .env down -v. Скрипты создают credentials и ключи только локально в исключённом из Git каталоге secrets/; не копируйте его в репозиторий. Секреты и unseal material не помещать в командную строку, отчёт или evidence.
Архитектура и решения
Перенесены приложение, миграции, обработка вложений и тестовые сценарии lab6. PostgreSQL хранит пользователей, чаты, членство, сообщения, сессии, idempotency state и metadata вложений. SeaweedFS хранит оригиналы и variants; RabbitMQ обеспечивает at-least-once обработку через transactional outbox, отдельный publisher и worker; reconciler сверяет состояние. OTel Collector направляет сигналы в Prometheus, Loki и Tempo, Grafana загружает provisioning из репозитория.
HAProxy завершает внешний TLS на localhost:8443; сертификат ingress содержит SAN для localhost и 127.0.0.1. HAProxy проверяет CA и имя API-сервера и предъявляет клиентский сертификат. API требует клиентский сертификат из локального CA и дополнительно разрешает только URI SAN spiffe://mtusi2026lab7/load-balancer. API listener не опубликован на host; internal health-check также использует TLS/mTLS.
Пароли записываются как Argon2id (m=19456 KiB, t=2, p=1); параметры hash проверяются до верификации и ограничены верхним пределом 64 MiB. Одновременно выполняется не более четырёх password hash операций в каждом API процессе; при исчерпании слотов запрос ограниченно ждёт 100 ms и получает 503/Retry-After, а не неограниченно аллоцирует память. Проверка legacy scrypt поддержана для миграции пользователей lab6; при успешном входе старый hash обновляется. Токены сессий продолжают храниться в PostgreSQL как SHA-256 hashes. Ограничение входа — пять попыток на username и шестьдесят на source IP за минуту; HAProxy заменяет X-Real-IP, поэтому значение от внешнего клиента не доверяется. Состояние общее для API-реплик, ответ блокировки — 429 с Retry-After.
OpenBao использует TLS, file storage в persistent volume и KV v2. Bootstrap создаёт отдельные AppRole и policy path для API, worker, publisher, migrator и reconciler. Приложения получают только собственные static KV values; операторский root token и unseal keys не передаются контейнерам. SecretID ограничен 24 часами, token TTL — 15 минут (max 1 час). Сертификат CA и private keys создаются скриптом на локальном стенде.
Фактические адреса приложения заданы в compose.yaml; .env.example — шаблон параметров локального запуска. Из переменных примера Compose использует порт ingress, число/лимиты API, session TTL, worker concurrency и telemetry sampling. Runtime secrets читаются через AppRole; в контейнерах нет root token. Python-сервисы работают как непривилегированный app, с read_only, tmpfs, cap_drop: ALL и no-new-privileges. Одноразовый openbao-data-init запускается от root только для установки владельца persistent volume и имеет единственную capability CHOWN; сам OpenBao drops all, оставляя SETUID/SETGID, нужные upstream entrypoint.
Доказательства критериев
| Критерий | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Структура и контракт | make check |
PASS: OpenAPI structure, local refs, JSON и Python syntax | scripts/check_contract.py |
| Схемы API | make validate PYTHON=.venv/bin/python |
PASS: OpenAPI 3.1 и JSON Schema | scripts/validate_openapi.py |
| Криптографические примитивы | make test-primitives PYTHON=.venv/bin/python |
PASS: Argon2id, legacy scrypt verify/upgrade, URI SAN allowlist | tests/test_security_primitives.py |
| Compose topology | docker compose --env-file .env.example config --quiet после генерации локальных секретов/PKI |
PASS: Compose конфигурация разбирается | compose.yaml |
| Локальная PKI | openssl verify -CAfile secrets/pki/ca.crt ... |
PASS: ingress, API и LB client chain; client URI SAN содержит разрешённую identity | scripts/bootstrap-pki.py |
| API smoke over HTTPS | make test BASE_URL=https://localhost:8443 CA_FILE=... |
PASS на работающем Compose стенде | tests/smoke.py |
| Внешняя проверка TLS trust | make test-security BASE_URL=https://localhost:8443 CA_FILE=... |
PASS: доверенный TLS проходит, пустой trust store отвергается | tests/security.py |
| Внутреннее mTLS | make test-internal-mtls |
PASS: без cert, foreign CA и неверный URI SAN отклонены; разрешённая LB identity принята | tests/internal_mtls.py, src/app.py, haproxy.cfg |
| Login rate limit | make test-login-limit BASE_URL=https://localhost:8443 CA_FILE=... |
PASS: шестая неуспешная попытка получает 429/Retry-After | tests/login_rate_limit.py, migrations/006_login_rate_limits.sql |
| Внутренние TLS-соединения | Работающий Compose smoke, S3 attachment processing, worker broker consumer и проверки datasource из Grafana | PASS: PostgreSQL TLS, S3 HTTPS/mTLS, RabbitMQ AMQPS/mTLS, OTLP HTTPS/mTLS; из Grafana проверена CA-валидация Prometheus/Loki/Tempo | compose.yaml, infra/postgres/, infra/otel/, src/object_store.py, src/jobs.py |
| OpenBao AppRole | make test-openbao-acl PYTHON=.venv/bin/python |
PASS: пять сервисов читают собственные KV paths, cross-service read получает 403; token TTL ограничен | tests/openbao_acl.py, scripts/bootstrap-openbao.py, infra/openbao/ |
| Worker least privilege | make test-worker-isolation |
PASS: DB identity messenger_worker; чтение users, S3 List и чтение originals/variants запрещены; нужные staging/originals/variants операции разрешены; RabbitMQ publish отклонён с 403 |
tests/worker_isolation.py, evidence/worker-isolation.json |
| Track 1: компрометация и recovery | make test-worker-rotation ROOT_TOKEN_FILE=... |
PASS: старая AppRole SecretID отозвана и отвергнута; новая identity аутентифицируется; задача queued → ready, SHA-256 original и message link сохранены |
tests/worker_identity_rotation.py, evidence/worker-rotation.json |
| Ротация LB leaf-сертификата | make test-leaf-rotation |
PASS: старый сертификат отвергнут, новый принят, HTTPS ingress healthy, Docker image IDs не изменились | tests/leaf_certificate_rotation.py, evidence/leaf-rotation.json |
| Redaction telemetry | make test-telemetry-redaction BASE_URL=https://localhost:8443 CA_FILE=... |
PASS: 6 синтетических значений отсутствуют в 11 фактических Loki entries и 1 Tempo trace | tests/telemetry_redaction.py, evidence/telemetry-redaction.json |
| Сохранность при restart | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS: подтверждённое сообщение, attachment content и существующая сессия сохранены | tests/resilience.py, evidence/persistence.json |
| Отказ одной API-реплики | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
PASS: две реплики до отказа; 108 успешных записей, 0 ошибок; первое восстановление за 3.463 s | tests/resilience.py, evidence/failover.json |
| Argon2 resource budget | make test-argon-budget на API с лимитом 1 CPU/512 MiB |
20 verify операций: p50 23.007 ms, p95 28.288 ms, max 32.157 ms; из 12 одновременных запросов 6 выполнились и 6 получили capacity rejection, peak 4 активных hash операции, max RSS 162220 KiB (Linux ru_maxrss) | tests/argon2_budget.py, evidence/argon2-budget.json |
| Python dependency scan | .venv/bin/pip-audit -r requirements.txt |
PASS: 39 runtime packages, 0 известных уязвимостей в момент сканирования | requirements.txt, evidence/dependency-audit.json |
Трек 1 — последствия компрометации worker
Гипотеза. Получив worker identity, атакующий может читать/писать staging bucket, писать originals/variants и потреблять process queue. Он не может читать пользовательские записи, перечислять buckets или читать originals/variants, публиковать свои задачи либо читать чужие OpenBao paths. После отзыва SecretID и его замены ожидающая задача должна завершиться без потери вложения или связи с сообщением.
Методика. На работающем Compose стенде выполнены make test-worker-isolation и make test-worker-rotation ROOT_TOKEN_FILE=<operator-only-file>. Первый сценарий проверяет реальные PostgreSQL grants, SeaweedFS AccessDenied, staging read/write, запись originals/variants, очистку временных объектов и broker ACL 403. Второй останавливает worker, создаёт attachment и message link, выдаёт новую AppRole SecretID, отзывает прежнюю, проверяет отказ старого credential, пересоздаёт только worker и ждёт окончания обработки через публичный API. Root token и SecretID в вывод не включаются.
Результат и сравнение. В исходной общей схеме worker наследовал права общих application credentials; после разделения его DB role и S3/RabbitMQ identity имеют отдельные allowlists. В текущем измерении worker прочитал attachments, но получил отказ на users; S3 write для originals/variants и staging read/write прошли, а List и чтение originals/variants завершились AccessDenied; RabbitMQ отклонил публикацию с 403. Прежняя SecretID не прошла AppRole login, новая identity получила только собственный KV path. Attachment перешёл из queued в ready; SHA-256 исходных байтов и ссылка на attachment в сообщении сохранились. Машинные результаты сохранены в evidence/worker-isolation.json и evidence/worker-rotation.json.
Границы эксперимента. Проверялись заданные операции одной worker identity и один queued recovery сценарий на локальном Compose стенде; это не нагрузочный тест и не модель компрометации Docker host.
Эксперименты и отказы
Проверены сохранность при restart, отказ одной API-реплики и восстановление записи; результаты приведены в таблице и JSON evidence. Отдельно измерялась стоимость Argon2 verify в ограниченном API container. Повторяемый профиль для учебного стенда:
make load PYTHON=.venv/bin/python BASE_URL=https://localhost:8443 \
CA_FILE="$PWD/secrets/pki/ca.crt"
make test-persistence ACTION_SCRIPT=scripts/restart.sh \
BASE_URL=https://localhost:8443 CA_FILE="$PWD/secrets/pki/ca.crt"
make test-failover ACTION_SCRIPT=scripts/stop-one.sh \
BASE_URL=https://localhost:8443 CA_FILE="$PWD/secrets/pki/ca.crt"
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Нет клиентского сертификата / foreign CA / неверный URI SAN | API TLS listener отвергает соединение; LB identity проходит | Runtime тест: все три недоверенных запроса отклонены, LB identity принята | TLS-handshake |
| Недоверенный CA внешнего endpoint | Проверка сертификата завершается TLS verification error | HTTPS smoke и проверка trust store выполнены | TLS-handshake |
| Пять неуспешных login попыток в пределах минуты | Следующая попытка получает 429 и Retry-After | Runtime тест: шестая попытка отклонена с 429/Retry-After | Окно лимита — 60 секунд |
| Отзыв worker SecretID при ожидающей задаче | Старое credential отклоняется, новая identity продолжает обработку | Runtime тест: old login denied; attachment queued → ready, содержимое и message link сохранены |
Проверен один recovery цикл |
| Restart API и stores | Сохранение подтверждённых данных, attachment content и существующей сессии | Runtime test: все данные доступны после restart | Проверка готовности после возврата сервисов |
| Отказ одной API-реплики | Успешные записи через оставшуюся реплику, без дублей и потери подтверждённых данных | 108 успешных записей, 0 ошибок; 2 реплики до отказа | Первое восстановление за 3.463 s |
tests/load.py — closed-loop генератор; его успешный HTTP throughput не является точным числом DB commits и не компенсирует coordinated omission. Измерения необходимо выполнять на одном и том же составе стенда с зафиксированными concurrency, длительностью, прогревом, аппаратными ресурсами и размером данных; сохранять вывод в evidence/ без credentials и токенов.
Дополнительные измерения
Ротация LB leaf-сертификата проверена без пересборки образов: прежний сертификат отклоняется, новый проходит ingress health check. Redaction проверен на фактических записях Loki и трассе Tempo после генерации синтетических credentials и сообщения. Фактические протоколы и identities каждой связи зафиксированы в матрице доверия; остальные проверки и команды воспроизведения приведены в tests/README.md.