Files
mtusi2026lab7/REPORT.md
T
2026-11-20 20:37:41 +03:00

14 KiB
Raw Blame History

Лабораторная 7. Безопасность, mTLS и OpenBao

Автор, группа: Дыханова Алина БВТ2301 Целевая оценка: 3 Использованные источники, библиотеки и помощь ИИ: Использована собственная реализация мессенджера из lab6.

Запуск из чистого clone

Нужны Docker Compose v2, OpenSSL, Python 3.9+ на хосте, curl и Make. Образы закреплены тегами в compose.yaml. Основные версии — Python 3.12.10, PostgreSQL 17.5, SeaweedFS 3.85, RabbitMQ 4.1.0, HAProxy 3.0.11, OpenBao 2.3.1, Collector 0.128.0, Prometheus 3.4.0, Loki 3.5.0, Tempo 2.7.2 и Grafana 12.0.1.

Первое развёртывание:

python3 scripts/bootstrap.py
docker compose config --quiet
docker compose up -d openbao
docker compose exec openbao bao operator init -key-shares=3 -key-threshold=2
python3 scripts/bao-operator.py unseal
python3 scripts/bao-operator.py configure
scripts/start.sh
curl --fail --retry 10 --retry-delay 2 --retry-connrefused \
  --cacert secrets/ca/ca.crt https://localhost:8443/health/ready

bao operator init выводит закрытые данные непосредственно оператору. Выполняйте эту команду в приватном терминале. Сохраните доли unseal отдельно в защищённых операторских хранилищах, а начальный root token — в хранилище оператора. unseal принимает доли без эха, configure так же принимает операторский токен. Не добавляйте к командам set -x, логирование или перенаправление вывода в отчёт. В приложении нет root token и unseal keys.

Bootstrap создаёт локальный каталог secrets/ с режимом 0700. Отдельно монтируются только файлы, необходимые каждому процессу. CA private key и JSON для наполнения OpenBao остаются на хосте. scripts/bootstrap.py повторно использует существующий набор файлов, если есть маркер выпуска. .env.example задаёт единственную необязательную настройку SESSION_TTL_SECONDS. Для публичных persistence-тестов оставьте 3600 секунд.

PostgreSQL создаёт схему и роли при первом создании volume. s3-init создаёт приватный бакет, RabbitMQ импортирует definitions с durable queue. API и worker получают настройки в OpenBao через cert auth перед запуском. Приложение проверяет серверные имена зависимостей по CA. Grafana доступна через проверенный HTTPS по https://localhost:3443. Имя пользователя admin, начальный пароль хранится в защищённом локальном файле secrets/values/grafana.

Команда docker compose stop оставляет данные и контейнеры. После запуска остановленного OpenBao снова подайте две доли, затем запускайте приложение. Для удаления контейнеров с сохранением volumes используйте docker compose down. docker compose down -v предназначена для намеренного удаления всех данных учебного стенда. Локальная PKI при этом сохраняется. Установленный экземпляр lab6 использует отдельные volumes.

Архитектура

HAProxy принимает проверяемый HTTPS и выбирает готовую API-реплику по round robin. Между LB и каждой репликой отдельное mTLS-соединение. Входной sidecar проверяет цепочку client cert и разрешённую роль CN=lb. Сетевой интерфейс приложения слушает loopback своего namespace. Порты для прямого подключения к API, брокеру, S3 и телеметрии на хост не публикуются. Входы OpenBao и Grafana привязаны к loopback хоста.

PostgreSQL хранит пользователей, хеши сессий, чаты, сообщения, метаданные и outbox. Сообщение и запись идемпотентности сохраняются в одной транзакции. При загрузке API сначала записывает staging-объект в S3, затем фиксирует метаданные и outbox. Relay с publisher confirms публикует durable job. Worker обрабатывает задачи с at-least-once delivery и повторно использует детерминированные ключи объектов. RabbitMQ доступен по TLS только с отдельными producer/consumer credentials. Рестарт API сохраняет общие сессии. Сбой между записью staging и коммитом может оставить объект без метаданных.

Используется Argon2id с 19 MiB, t=2, p=1 и 16-байтной солью. PHC-строка хранит алгоритм, параметры, соль и hash. Сессии хранят SHA-256 от непрозрачного 256-битного токена. Ограничение login держится в PostgreSQL и учитывает обе реплики. На IP источника от LB выдаётся 30 попыток в минуту с 429 и Retry-After при превышении. Для upload действует 10 MiB, для остальных ручек 64 KiB. API и worker работают под UID 10001 с удалёнными capabilities, ограничениями CPU, памяти и PID.

Проверки на работающем стенде

Команды запускаются из корня после readiness:

export CA_FILE="$PWD/secrets/ca/ca.crt"
make test
make test-security
docker compose --profile audit run --rm --no-deps security-probe
RESTART_OPENBAO=1 make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose start api1 api2
python3 scripts/failover-both.py
make load
python3 scripts/probe_external.py

При проверке полного рестарта OpenBao попросит две доли в терминале. Перед и после теста снимите docker compose ps -a и timestamps контейнеров командами docker inspect --format '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -aq). Проверку rate limit лучше запускать последней, следующий login из того же IP может получить 429 до конца окна. Для второго направления отказа failover-both.py по очереди оставляет на линии каждую реплику и проверяет старую сессию, файл и запись нового сообщения.

Метрики в Grafana — http_requests_total, http_duration_seconds_bucket, worker_jobs_total, worker_job_duration_seconds_bucket. Логи ищутся по service_name и событиям http.request / job.completed. Трассы HTTP и worker доступны в Tempo. Заголовок X-Trace-Id позволяет сопоставить ответ с трассой. Проверка dashboard требует выполнить smoke и дождаться скрейпа. Для нагрузки сохраните вывод, сведения о CPU/RAM через docker stats --no-stream и размер набора данных. Без фактического запуска численных показателей RPS и задержек стенда нет.

Фактические результаты

Критерий Команда Наблюдение
Контракт make check, make validate PASS для offline-проверок
Манифест docker compose --profile audit config --quiet Конфигурация разрешается без ошибок
Выпуск CA и leaf python3 scripts/bootstrap.py, openssl verify Leaf localhost/API и клиент LB прошли проверку. Клиент от чужого CA отклонён при проверке цепочки offline
Argon2id python3 scripts/bench_argon2.py Apple M4, 10 ядер, 24 GB, Python 3.14.4 на хосте. 100 хеширований и 100 проверок после прогрева. p50/p95 хеша 15.54/17.14 мс, проверки 14.30/15.51 мс. При этих задержках выбран минимальный профиль задания. Измерения
TLS smoke make test CA_FILE=… PASS. Сценарий включает загрузку, обработку и скачивание вложения по HTTPS
Доверие внешнему CA make test-security CA_FILE=… PASS. Доверенный HTTPS работает, недоверенный CA отклонён
Внутреннее mTLS, OpenBao и полномочия security-probe PASS. Обе реплики принимают сертификат LB и отклоняют соединения без сертификата, с чужим CA или с неверной ролью. Прямой порт API недоступен. Роли API и worker читают только собственные секреты и не могут менять политики. Подтверждены TLS к PostgreSQL, запрет удаления в S3 и отказ при отправке телеметрии без аутентификации
ACL, expiry, rate limit и лимит тела python3 scripts/probe_external.py PASS. TLS отклоняет адрес вне SAN. Посторонний не может прочитать или привязать вложение даже с подменой заголовка пользователя. Превышение лимита тела даёт 413. Выход и истечение сессии дают 401 при следующем запросе. Лимит входа возвращает 429 с Retry-After
Сохранность после перезапуска RESTART_OPENBAO=1 make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS. После перезапуска и разблокировки OpenBao ранее подтверждённые данные и действующая сессия сохранились. Отдельные отметки времени запуска контейнеров пока не приложены
Отказ реплик make test-failover, python3 scripts/failover-both.py Основной тест PASS: до отказа отвечали 2 реплики, 87 успешных записей, 2 неуспешные попытки, первый успешный ответ после отказа через 3,465 с. Подтверждённые данные и сессия сохранились. Двусторонняя проверка PASS: после остановки api1 серия ответов готовности от api2 подтверждена за 5,97 с, после остановки api2 серия ответов от api1 подтверждена за 5,99 с. В обоих случаях оставшаяся реплика обслужила существующую сессию, сохранила историю, приняла новое сообщение и вернула исходный файл
Нагрузка make load Closed-loop POST сообщений, 4 параллельных клиента, 30,012 с. 6726 успешных запросов, 0 ошибок, 224,109 RPS. Задержки успешных запросов p50/p95/p99: 16,548/24,734/44,248 мс. CPU/RAM и исходный размер набора данных в этом прогоне не измерены
Телеметрия Grafana HTTPS endpoint /api/health сообщил database: ok.

Ограничения

Сообщения и файлы сохраняются в одноузловых PostgreSQL и S3. Потеря Docker-хоста входит в ограничения однохостового стенда. Приложение удерживает выданные credentials в памяти и переаутентифицируется при старте. Продление или автоматический отзыв уже полученных рабочих паролей не реализованы. OpenBao после перезапуска требует unseal оператором. Протоколы, identities и тесты перечислены в матрице и модели угроз.

Источники: OpenBao Cert Auth, RabbitMQ Definitions, OWASP Password Storage. Использован код lab6.