14 KiB
Лабораторная 7. Безопасность, mTLS и OpenBao
Автор, группа: Дыханова Алина БВТ2301 Целевая оценка: 3 Использованные источники, библиотеки и помощь ИИ: Использована собственная реализация мессенджера из lab6.
Запуск из чистого clone
Нужны Docker Compose v2, OpenSSL, Python 3.9+ на хосте, curl и Make. Образы закреплены тегами в compose.yaml. Основные версии — Python 3.12.10, PostgreSQL 17.5, SeaweedFS 3.85, RabbitMQ 4.1.0, HAProxy 3.0.11, OpenBao 2.3.1, Collector 0.128.0, Prometheus 3.4.0, Loki 3.5.0, Tempo 2.7.2 и Grafana 12.0.1.
Первое развёртывание:
python3 scripts/bootstrap.py
docker compose config --quiet
docker compose up -d openbao
docker compose exec openbao bao operator init -key-shares=3 -key-threshold=2
python3 scripts/bao-operator.py unseal
python3 scripts/bao-operator.py configure
scripts/start.sh
curl --fail --retry 10 --retry-delay 2 --retry-connrefused \
--cacert secrets/ca/ca.crt https://localhost:8443/health/ready
bao operator init выводит закрытые данные непосредственно оператору. Выполняйте эту команду в приватном терминале. Сохраните доли unseal отдельно в защищённых операторских хранилищах, а начальный root token — в хранилище оператора. unseal принимает доли без эха, configure так же принимает операторский токен. Не добавляйте к командам set -x, логирование или перенаправление вывода в отчёт. В приложении нет root token и unseal keys.
Bootstrap создаёт локальный каталог secrets/ с режимом 0700. Отдельно монтируются только файлы, необходимые каждому процессу. CA private key и JSON для наполнения OpenBao остаются на хосте. scripts/bootstrap.py повторно использует существующий набор файлов, если есть маркер выпуска. .env.example задаёт единственную необязательную настройку SESSION_TTL_SECONDS. Для публичных persistence-тестов оставьте 3600 секунд.
PostgreSQL создаёт схему и роли при первом создании volume. s3-init создаёт приватный бакет, RabbitMQ импортирует definitions с durable queue. API и worker получают настройки в OpenBao через cert auth перед запуском. Приложение проверяет серверные имена зависимостей по CA. Grafana доступна через проверенный HTTPS по https://localhost:3443. Имя пользователя admin, начальный пароль хранится в защищённом локальном файле secrets/values/grafana.
Команда docker compose stop оставляет данные и контейнеры. После запуска остановленного OpenBao снова подайте две доли, затем запускайте приложение. Для удаления контейнеров с сохранением volumes используйте docker compose down. docker compose down -v предназначена для намеренного удаления всех данных учебного стенда. Локальная PKI при этом сохраняется. Установленный экземпляр lab6 использует отдельные volumes.
Архитектура
HAProxy принимает проверяемый HTTPS и выбирает готовую API-реплику по round robin. Между LB и каждой репликой отдельное mTLS-соединение. Входной sidecar проверяет цепочку client cert и разрешённую роль CN=lb. Сетевой интерфейс приложения слушает loopback своего namespace. Порты для прямого подключения к API, брокеру, S3 и телеметрии на хост не публикуются. Входы OpenBao и Grafana привязаны к loopback хоста.
PostgreSQL хранит пользователей, хеши сессий, чаты, сообщения, метаданные и outbox. Сообщение и запись идемпотентности сохраняются в одной транзакции. При загрузке API сначала записывает staging-объект в S3, затем фиксирует метаданные и outbox. Relay с publisher confirms публикует durable job. Worker обрабатывает задачи с at-least-once delivery и повторно использует детерминированные ключи объектов. RabbitMQ доступен по TLS только с отдельными producer/consumer credentials. Рестарт API сохраняет общие сессии. Сбой между записью staging и коммитом может оставить объект без метаданных.
Используется Argon2id с 19 MiB, t=2, p=1 и 16-байтной солью. PHC-строка хранит алгоритм, параметры, соль и hash. Сессии хранят SHA-256 от непрозрачного 256-битного токена. Ограничение login держится в PostgreSQL и учитывает обе реплики. На IP источника от LB выдаётся 30 попыток в минуту с 429 и Retry-After при превышении. Для upload действует 10 MiB, для остальных ручек 64 KiB. API и worker работают под UID 10001 с удалёнными capabilities, ограничениями CPU, памяти и PID.
Проверки на работающем стенде
Команды запускаются из корня после readiness:
export CA_FILE="$PWD/secrets/ca/ca.crt"
make test
make test-security
docker compose --profile audit run --rm --no-deps security-probe
RESTART_OPENBAO=1 make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose start api1 api2
python3 scripts/failover-both.py
make load
python3 scripts/probe_external.py
При проверке полного рестарта OpenBao попросит две доли в терминале. Перед и после теста снимите docker compose ps -a и timestamps контейнеров командами docker inspect --format '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -aq). Проверку rate limit лучше запускать последней, следующий login из того же IP может получить 429 до конца окна. Для второго направления отказа failover-both.py по очереди оставляет на линии каждую реплику и проверяет старую сессию, файл и запись нового сообщения.
Метрики в Grafana — http_requests_total, http_duration_seconds_bucket, worker_jobs_total, worker_job_duration_seconds_bucket. Логи ищутся по service_name и событиям http.request / job.completed. Трассы HTTP и worker доступны в Tempo. Заголовок X-Trace-Id позволяет сопоставить ответ с трассой. Проверка dashboard требует выполнить smoke и дождаться скрейпа. Для нагрузки сохраните вывод, сведения о CPU/RAM через docker stats --no-stream и размер набора данных. Без фактического запуска численных показателей RPS и задержек стенда нет.
Фактические результаты
| Критерий | Команда | Наблюдение |
|---|---|---|
| Контракт | make check, make validate |
PASS для offline-проверок |
| Манифест | docker compose --profile audit config --quiet |
Конфигурация разрешается без ошибок |
| Выпуск CA и leaf | python3 scripts/bootstrap.py, openssl verify |
Leaf localhost/API и клиент LB прошли проверку. Клиент от чужого CA отклонён при проверке цепочки offline |
| Argon2id | python3 scripts/bench_argon2.py |
Apple M4, 10 ядер, 24 GB, Python 3.14.4 на хосте. 100 хеширований и 100 проверок после прогрева. p50/p95 хеша 15.54/17.14 мс, проверки 14.30/15.51 мс. При этих задержках выбран минимальный профиль задания. Измерения |
| TLS smoke | make test CA_FILE=… |
PASS. Сценарий включает загрузку, обработку и скачивание вложения по HTTPS |
| Доверие внешнему CA | make test-security CA_FILE=… |
PASS. Доверенный HTTPS работает, недоверенный CA отклонён |
| Внутреннее mTLS, OpenBao и полномочия | security-probe |
PASS. Обе реплики принимают сертификат LB и отклоняют соединения без сертификата, с чужим CA или с неверной ролью. Прямой порт API недоступен. Роли API и worker читают только собственные секреты и не могут менять политики. Подтверждены TLS к PostgreSQL, запрет удаления в S3 и отказ при отправке телеметрии без аутентификации |
| ACL, expiry, rate limit и лимит тела | python3 scripts/probe_external.py |
PASS. TLS отклоняет адрес вне SAN. Посторонний не может прочитать или привязать вложение даже с подменой заголовка пользователя. Превышение лимита тела даёт 413. Выход и истечение сессии дают 401 при следующем запросе. Лимит входа возвращает 429 с Retry-After |
| Сохранность после перезапуска | RESTART_OPENBAO=1 make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS. После перезапуска и разблокировки OpenBao ранее подтверждённые данные и действующая сессия сохранились. Отдельные отметки времени запуска контейнеров пока не приложены |
| Отказ реплик | make test-failover, python3 scripts/failover-both.py |
Основной тест PASS: до отказа отвечали 2 реплики, 87 успешных записей, 2 неуспешные попытки, первый успешный ответ после отказа через 3,465 с. Подтверждённые данные и сессия сохранились. Двусторонняя проверка PASS: после остановки api1 серия ответов готовности от api2 подтверждена за 5,97 с, после остановки api2 серия ответов от api1 подтверждена за 5,99 с. В обоих случаях оставшаяся реплика обслужила существующую сессию, сохранила историю, приняла новое сообщение и вернула исходный файл |
| Нагрузка | make load |
Closed-loop POST сообщений, 4 параллельных клиента, 30,012 с. 6726 успешных запросов, 0 ошибок, 224,109 RPS. Задержки успешных запросов p50/p95/p99: 16,548/24,734/44,248 мс. CPU/RAM и исходный размер набора данных в этом прогоне не измерены |
| Телеметрия | Grafana | HTTPS endpoint /api/health сообщил database: ok. |
Ограничения
Сообщения и файлы сохраняются в одноузловых PostgreSQL и S3. Потеря Docker-хоста входит в ограничения однохостового стенда. Приложение удерживает выданные credentials в памяти и переаутентифицируется при старте. Продление или автоматический отзыв уже полученных рабочих паролей не реализованы. OpenBao после перезапуска требует unseal оператором. Протоколы, identities и тесты перечислены в матрице и модели угроз.
Источники: OpenBao Cert Auth, RabbitMQ Definitions, OWASP Password Storage. Использован код lab6.