18 KiB
Лабораторная 7 — безопасность, mTLS и OpenBao
PR: mtusi2026/mtusi2026lab7#15, base main, head из настоящего fork. CI Gitea для первого вклада ожидает разрешения сопровождающего; локальные проверки выполнены.
Автор: Костылев Артём, БПИ2303. Целевая оценка: 5, трек1 «Компрометация worker».
Исходное задание: mtusi2026/mtusi2026lab7, skeleton20afc2c790d3e72f6b7666376c9834c1ced1a405. Настоящий fork: https://gitea.privcloud.tech/akostylev2303/mtusi2026lab7, parent — репозиторий преподавателя. Ветка solution/bpi2303-kostylev. Основа реализации — моя ЛР6 f60297b8e2f252d2b40bf0cdbbcfa6ef5e447496; provenance. README/COURSE/контракт/API и публичные tests новой ЛР7 сохранены. Заполнена предусмотренная заданием trust-matrix.
Запуск из чистого clone
Нужны Git/SSH-доступ к Gitea, Docker Compose v2, uv, Python3.9+ для operator scripts, OpenSSL CLI. make install устанавливает Python3.14 и зависимости uv.lock. Проверено на macOS arm64, Docker Desktop28.3.2. Рекомендуется Docker VM≥8GiB; другие лабораторные остановить, но volumes не удалять.
git clone --branch solution/bpi2303-kostylev ssh://git@gitea.privcloud.tech:2222/akostylev2303/mtusi2026lab7.git
cd mtusi2026lab7
printf 'COMPOSE_PROJECT_NAME=mtusi2026lab7\n' > .env
make install
make check validate lint
make up
make test test-security
make security-audit
make student-test
make up создаёт локальные secrets и CA, собирает image, запускает зависимости, инициализирует/разблокирует новый OpenBao, делает миграции, применяет DB/S3 policies и запускает две API-реплики, relay, worker, LB. Первый init автоматизирован, shares/root сохранены только в operator directory. Уже инициализированный sealed Bao автоматически не разблокируется: make security-unseal, затем make up.
Endpoint: https://localhost:18443; CA: secrets/pki/operator/ca.crt. Grafana https://localhost:27300 требует operator client certificate и Basic admin. OpenBao https://localhost:28200. Эти host ports bound127.0.0.1. Не импортировать CA в системное глобальное доверие; передавать --cacert/CA_FILE адресно.
curl --cacert secrets/pki/operator/ca.crt https://localhost:18443/health/ready
make test-persistence ACTION_SCRIPT=scripts/restart.sh
python3 scripts/security_failover.py
make security-lifecycle
make security-track
make security-evidence
Lifecycle/track намеренно останавливают доступ/worker только этого учебного стенда. make down сохраняет volumes. make reset-data явно удаляет данные; для полного нового Bao bootstrap нужен новый operator directory, нельзя смешивать старые shares с новым Raft volume.
LAB7_OPERATOR_DIR задаёт operator directory; default ~/.local/share/mtusi2026lab7/operator. Для второго изолированного стенда нужны свои COMPOSE_PROJECT_NAME, operator directory и LB_HTTPS_PORT/GRAFANA_HTTPS_PORT/BAO_HTTPS_PORT/BAO_OPERATOR_URL. Самостоятельный clean-clone сценарий: sh scripts/clean-clone.sh; использует свободные19443/28300/29200 и новый project/CA/volumes, сохраняет volumes для осмотра. Проверка чистого клона коммита170a76a завершилась exit_code0: install/check/validate/lint, новый bootstrap, HTTPS smoke, внешний TLS,103внутренние проверки и hardening. Исходный стенд на время проверки был остановлен для освобождения RAM; его volumes сохранены.
Реализация и объявленные переходы
Сохранены пользователи/Argon2, PostgreSQL sessions и Valkey cache, ACL, optimistic idempotency, история/пагинация, S3 attachments, outbox→RabbitMQ→worker, fencing/lease/retry/DLQ и OTel metrics/logs/traces/Grafana. Новая миграция0008 добавляет общий login budget. На новой базе вся цепочка0001–0008; upgrade legacy проверяется собственными тестами.
Изменения ЛР7: HTTPS ingress; mTLS LB→каждая API; mTLS gateways dependencies/telemetry; PostgreSQL native TLS verify-full; persistent non-dev OpenBao2.7.2 Raft; cert auth/scoped KV; supervisor re-auth/expiry; отдельные DB роли и S3/Rabbit ACL; rehash слабого Argon2; общий login limiter; усиленный container runtime. API по-прежнему stateless, вся business/session state вне реплик.
Граница plaintext — loopback внутри одного namespace proxy/backend. Внешняя контейнерная сеть переносит TLS. Матрица перечисляет порты, role allowlist, локальные hop и проверки. Все leaf24ч; CA10лет. Автоматический leaf renewal/CA rollover не реализован — выбран трек1. До истечения leaf его перевыпускает оператор; scripts/pki.py issue <role> создаёт новый cert/key, сервисную роль надо заново привязать security_operator.py configure --role <role>, затем перезапустить соответствующие процессы/gateways. Для OpenBao restart нужен explicit unseal. Не запускать учебный PKI на месяцы без обслуживания.
Рабочие секреты — static KV с политикой read своего path. TokenTTL60с/max300с, re-auth10с. Supervisor хранит конфигурацию в памяти/окружении дочернего процесса и прекращает работу после истечения последнего допуска; секреты не передаются через Docker Compose env. Это не dynamic DB lease: скомпрометированный процесс может игнорировать supervisor, поэтому реальный revoke дополнен rotation пароля, CRL и закрытием соединений.
Миграции используют отдельный operator-only owner messenger; API/worker его credentials не получают. Runtime приложения: uid10001, readonly, no-new-privileges, cap_dropALL, tmpfs/tmp. Stateful data volumes остаются writable: PG/S3/Rabbit/Valkey/Bao/telemetry. bao-init — one-shot root только CHOWN, networknone, runtime Bao non-root. Worker2CPU/1GiB, concurrency2, renderer30с/448MiB на процесс, job60с; API1CPU/512MiB на реплику. Hardening.
Перенесённые скрипты старых нагрузочных исследований остаются исходным историческим материалом: их старые HTTP/host backend URLs и fault overlays не являются командами ЛР7. Действующий маршрут проверки ЛР7 приведён выше. Старые численные нагрузочные результаты не выдаются за новые HTTPS измерения.
Проверки и результаты
Реальный вывод — evidence/security, включая неуспешные первые запуски и исправления. Подтверждённый результат:
| Проверка | Результат |
|---|---|
| make check / validate / lint | PASS; Ruff+format+ty |
| Свои тесты | 997passed,2skipped,19deselected; stack tests вынесены в явные сценарии |
| HTTPS public smoke / external TLS | PASS, правильный CA принят, недоверенный отвергнут |
| Persistence | PASS: данные и уже выданная сессия после перезапуска |
| Public failover | 129 успешных записей,0failed, first recovery3.154с |
| Отдельный отказ каждой API | 30+30 успешных записей,0failed;2.756/2.734с; сессия, сообщение, original сохранены |
| Внутренняя matrix/ACL | 103проверки PASS: TLS, обе API, plaintext, Bao, DB/S3/Rabbit/Valkey, backend query/ingest |
| Shared login budget | 30 concurrent →20×401+10×429, обе реплики, Retry-After,0.320с |
| Bao sealed+restart | API прекратил обслуживание через56.955с; restart остаётся sealed; unseal восстановил за12.595с; сессия/сообщение сохранены |
| Telemetry | 3084metric series,1000log streams,20traces;26secret values/canaries,0exactmatches |
997 тестов прошли после исправления собственных fixtures: новая migration head0008, отдельный RabbitMQ fixture со своим loopback/port policy, очистка тестовой БД от outbox между тестами. Assertions публичных tests не менялись. Первая ошибка metadata сравнения выявила Integer/BigInteger несоответствие модели login_budget — исправлено.
В IAM логах S3 обнаружены3 access-key ID (идентификаторы principal), не secret access keys. Первый слишком широкий поиск учитывал их как секреты; исправленный audit явно считает идентификаторы отдельно. Проверка ограничена текущими Docker logs и конечной выборкой telemetry; она не является доказательством для всех будущих входов.
Стоимость паролей и login DoS
Argon2id19456KiB=19MiB,t2,p1, random salt. На отдельном контейнере1CPU/256MiB по100verify:
| Concurrent | median ms | p95 ms | CPU ms/verify | peak RSS KiB |
|---|---|---|---|---|
| 1 | 10.341 | 11.651 | 10.531 | 41632 |
| 2 | 11.587 | 65.264 | 11.647 | 61088 |
| 4 | 85.386 | 94.708 | 15.126 | 100000 |
Сырые данные. 20login/10с ограничивают среднюю стоимость KDF примерно21–30CPU-ms/с всего стенда при этом эксперименте; worst rehash добавляет ещё hash. Это оценка по measuredCPU, не гарантия latency под произвольной нагрузкой. SQL UPSERT одного bucket сериализует решение до KDF, DB clock исключает расхождение часов реплик. Fixed-window допускает до40попыток на стыке двух окон. Глобальный лимит ограничивает и добросовестных пользователей; для production нужна более детальная account/IP policy. Registration имеет отдельные concurrency/time bounds, не входит в этот budget.
Трек1: компрометация worker
Гипотеза: отдельные права ограничивают последствия захвата worker; полноценный отзыв identity+secret и восстановление сохраняют уже принятые задания.
Метод: на изолированном стенде оператор использует реальные worker credentials, проверяет DB/S3/queue allow/deny, сравнивает с broad operator правами. Затем удаляет worker cert-auth; ждёт bounded stop; API принимает3вложения, которые остаются queued. Оператор выдаёт новый leaf, отзывает предыдущий через CRL, меняет DB пароль, завершает PG sessions и перезапускает gateways/worker без build. Старые credentials испытываются новыми соединениями. Для каждой задачи проверяются ready, SHA256 оригинала и отсутствие дополнительных publication rows. Три повтора. Скрипт: make security-track.
| Операция | Broad operator | Worker |
|---|---|---|
| Читать users / создавать таблицу | allow | deny |
| Писать/удалять private prefix S3 | allow | deny |
| Читать staging/originals, писать originals/variants | allow | allow |
| Публиковать/создавать очередь | allow | deny |
| Читать/ack attachments.process | allow | allow |
| Читать migration KV / менять Bao policy | allow | deny |
Broad опыт создаёт отдельную тестовую очередь, откатывает DDL и удаляет тестовый объект; production права worker не расширяются. Broad evidence, worker scope.
Итоговая серия после добавления проверки publication rows:
| Повтор | Stop, с | Recovery, с | Queued→ready | Jobs / variants на вложение |
|---|---|---|---|---|
| 1 | 60.285 | 12.923 | 3→3 | 1 / 3, version1 |
| 2 | 56.717 | 20.992 | 3→3 | 1 / 3, version1 |
| 3 | 56.953 | 12.906 | 3→3 | 1 / 3, version1 |
9/9 originals совпадают по SHA256; 15/15 проверок старых credentials дали ожидаемый отказ. Итоговые измерения. Первая серия сохранена отдельно: recovery12.897/13.133/13.181с. Вторая серия имеет один более долгий restart20.992с; он не исключён из результата.
Ограничение вывода: задачам не причинялось преднамеренное повреждение разрешёнными worker операциями. Worker скомпрометированный действительно может менять доступные ему originals/variants/jobs, ack/удалять доступные сообщения. Least privilege уменьшает область ущерба, но не гарантирует сохранность от злонамеренного worker в собственной области. At-least-once может повторять вычисления; гарантируется единичная публикация DB-state на версию, не «ровно один запуск CPU».
Текст обучающего видео: docs/lab7-video.md. Все четыре вопроса защиты разобраны с фактическими результатами.
Ограничения и источники
Single-node зависимости и Bao — не HA. TLS proxies добавляют процессы/лимиты/точки отказа; CA/operator trusted. Статические KV пароли требуют явной rotation. После24ч leaf нужно обслужить. Ротация worker вызывает краткий reconnect других клиентов S3/broker/Collector при закрытии старых TLS sessions. Исследования на локальной VM не дают production SLO.
Scan не нулевой: triage, 1critical/49high/90medium/65low/5unknown package findings. Уязвимости и условия применимости не скрыты; образ не заявляется безопасным для публичного production. Inherited Unicode-surrogate JSON edge case может приводить к500; контракт публичных корректных запросов сохранён.
Источники: README/COURSE/contracts текущей ЛР7, собственная ЛР6 по указанному SHA; OpenBao cert auth, policies, TCP listener, OWASP Password Storage, официальная документация PostgreSQL/HAProxy/Docker и package advisories из scan. Context7 был вызван, но вернул исчерпанную месячную квоту; использованы официальные источники. Версии Python — uv.lock, images — digest в compose/Dockerfile.
Codex использован для планирования OpenSpec, переноса кода, реализации, запуска проверок, исправлений, анализа результатов и подготовки отчёта/сценария видео. Исходные неуспешные прогоны сохранены. Итоговая оценка принадлежит преподавателю, PASS тестов её автоматически не назначает.