Files
mtusi2026lab7/REPORT.md
2026-11-18 11:36:21 +03:00

22 KiB
Raw Permalink Blame History

Отчёт — лабораторная работа №7

Автор: Поликарпов Даниил Александрович. Группа: БПИ2303. Целевая оценка: 5, трек «Компрометация worker». Commit/PR не публиковались; доказательства относятся к рабочему дереву и идентификаторам образов из evidence/.

Запуск из чистого clone

Для локальных Go build/vet и source scanner нужен Go с поддержкой загрузки toolchain 1.27.4; Docker-сборка не зависит от host Go. Нужны Docker Engine/Desktop с Compose v2+, Python 3.9+, OpenSSL с поддержкой req -addext, доступ к container/module registries и свободные localhost-порты 8443, 13443, 18200. Для полного стенда рекомендуется выделить Docker не менее 8 GiB RAM. Приложение собирается из service/; Go toolchain 1.27.4 скачивается и проверяется штатным Go checksum mechanism. Базовый build image содержит Go 1.27.2, но GOTOOLCHAIN=go1.27.4 закрепляет фактически используемый компилятор. Сетевые загрузки имеют не более трёх попыток. Для публичных base images build использует временную Docker CLI config без keychain helper; пользовательские credentials/config не изменяются.

make up
make test test-security
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make check validate PYTHON=.venv/bin/python
make build vet test-go
make scan-dependencies scan-image
make test-internal-security

make up создаёт локальную CA и synthetic secrets, запускает persistent non-dev OpenBao, делает init/unseal, устанавливает policies и database engine, запускает миграции отдельным процессом, выдаёт DB privileges, создаёт приватный bucket и запускает две API-реплики, dispatcher и worker. .env с секретами не нужен. Реальные настройки находятся в compose.yaml; .env.example объясняет их соответствие. Повторный bootstrap сохраняет ключи, credentials и volumes; он не является автоматической ротацией.

HTTPS API: https://localhost:8443; Grafana: https://localhost:13443; OpenBao operator endpoint: https://localhost:18200. Публичный CA находится в secrets/lab7/lb/ca.crt. Не отключать проверку сертификатов. Пользователь Grafana — admin; пароль оператор читает из локального secrets/lab7/operator/grafana_password, не прикладывая его к отчёту.

# Остановка с сохранением данных:
make down
# После обычного рестарта sealed OpenBao оператор выполняет:
python3 scripts/bao.py unseal
# Полная последовательная приёмка на synthetic stand:
./scripts/final-checks.sh
# Проверка отдельного source-only snapshot с новыми CA/secrets/volumes:
python3 scripts/prove-clean-clone.py
# Намеренное удаление ВСЕХ учебных данных именно этого проекта:
./scripts/compose.sh down -v

Последняя команда разрушает учебные volumes. После неё старые operator unseal shares не подходят новому storage OpenBao: для полностью нового стенда также нужен новый локальный secrets-каталог; сохранённые secrets и storage должны восстанавливаться согласованно. Lab6 не затрагивается.

Архитектура и границы ответственности

Перенесены собственный Go-сервис, миграции 001–011, PostgreSQL/Redis, durable S3 staging, RabbitMQ/outbox, обработка изображений, сигналы OTel и Grafana provisioning. Публичные контракты и проверки lab7 сохранены. Исходные доказательства lab6 не переносились как результаты lab7.

Путь запроса: клиент → TLS → HAProxy → обязательное mTLS → API. Handler разбирает/валидирует вход; service проверяет доступ, выполняет use case и определяет транзакционные переходы; repository делает параметризованные SQL-операции и сохраняет результат. Новые transport/OpenBao/rate-limit интеграции находятся в internal/pkg. В PostgreSQL не добавлены HTTP processing, бизнес-процедуры или функции авторизации: DB roles и GRANT — инфраструктурное ограничение привилегий.

PostgreSQL остаётся источником истины. До upload 202 исходник записан в durable staging и зафиксированы metadata/job/outbox. Dispatcher публикует с confirm; worker подтверждает доставку после durable результата. At-least-once delivery компенсируется существующей идемпотентностью эффекта. Сессии и message idempotency хранятся в PostgreSQL, Redis используется как cache и общий rate limiter.

Роль Service / storage Проверка / сеть / credentials
API ×2 api, без локального persistent state Health через закрытый loopback; LB readiness по mTLS; DB dynamic lease, scoped KV
Worker / dispatcher отдельные worker/dispatcher процессы Разные DB roles и broker identities; worker CPU 1, RAM 1 GiB, concurrency 2, job timeout 60 s
DB postgres, postgres_data TLS verify-full :5432; migrator отдельно от app; pg_isready
Cache/limit redis, redis_data TLS :6380; ACL user api; AOF, noeviction; default user off
S3 SeaweedFS s3, s3_data mTLS Envoy :9443; backend loopback :9000; разные SigV4 prefixes
Broker RabbitMQ broker, broker_data Native mTLS :5671, EXTERNAL → CN user; producer/consumer ACL
Telemetry Collector + Prometheus/Loki/Tempo и их volumes mTLS boundaries, bounded SDK/Collector queues, native storage
UI grafana, grafana_data Только localhost HTTPS; anonymous off; TLS datasource provisioning создаётся локально
Secrets openbao, bao_data Non-dev, TLS, cert auth, scoped policies, audit в persistent volume

Точные версии/digests, CPU/RAM limits, user, capabilities, mounts и ports закреплены в Compose; фактический запуск сохранён в evidence/environment.json. Сеть зависимостей internal; только LB, Grafana и OpenBao имеют дополнительные ingress connections с localhost port mappings. Подробная матрица: contracts/trust-matrix.md.

App/worker/dispatcher работают как UID 65532, с read-only rootfs, drop ALL capabilities, no-new-privileges и tmpfs. OpenBao работает как UID 100:1000 с read-only rootfs; отдельный одноразовый helper меняет владельца только его data volume, не имеет сети и получает CHOWN/DAC_OVERRIDE. Collector и telemetry backends также используют read-only rootfs и выделенные writable volumes/tmpfs. PostgreSQL, Redis, RabbitMQ и SeaweedFS сохраняют writable stateful filesystem/штатный entrypoint: это исключение для инициализации, data/log paths и восстановления; privileged, host network и Docker socket не используются.

Пароли, сессии и lifecycle

Argon2id хранит version, memory/time/parallelism, случайную 16-byte salt и 32-byte результат в PHC-подобной строке. Текущий профиль — 64 MiB, t=3, p=1; сохранённые параметры ограничены до выделения памяти. Существующий профиль lab6 p=4 проверяется и заменяется при успешном входе через compare-and-swap UPDATE. Для отсутствующего пользователя выполняется dummy KDF. На процесс допускаются два вычисления KDF, включая регистрацию; очередь ограничивается request deadline. Общая RAM для двух одновременных KDF — около 128 MiB без учёта runtime, при API limit 512 MiB.

Login limit общий для реплик: 10/min по hash username и 60/min по hash IP. LB заменяет X-Forwarded-For; API доверяет ему только после проверки LB identity. При превышении — 429/Retry-After; при недоступности Redis login fail-closed с 503. JSON ограничен 1 MiB, upload — 10 MiB, decoded image — 40 млн pixels. Ошибки credentials одинаковые. Session fingerprints — SHA-256 высокоэнтропийных токенов, а не password hashes; logout/expiry проверяются по серверной записи.

Operator bootstrap создаёт CA и leaf certificates на 24 часа. Закрытый каталог оператора 0700 не монтируется ни одному приложению. Каждый сервис получает только свою identity. Root token после начального provisioning отзывается и удаляется из init.json. Unseal требует 2 из 3 shares; в учебном варианте shares хранятся вместе на защищённом operator host. Это доверие к операторскому компьютеру, не распределённое хранение custodians.

API/worker/dispatcher получают Bao token с TTL 300 s и max TTL 1800 s, DB lease 600 s/max 1800 s. Renewal выполняется раз в 15 s; независимый watchdog отменяет общий lifecycle context за 3 s до ближайшего token/DB/cert expiry, даже если HTTP renewal завис. Отмена останавливает HTTP/dependency операции и приём задач; рестарт требует новой успешной аутентификации. Изменение рабочего KV вызывает безопасный restart процесса без пересборки image. DB lease rotation ограничивает lifetime отдельных LOGIN roles.

# Новый leaf LB с отзывом старого serial, без пересборки:
python3 scripts/renew-leaf.py lb
# Полный incident response worker:
python3 scripts/rotate-worker.py
# Измерение password/expiry и sealed behavior:
python3 scripts/prove-auth.py
python3 scripts/prove-sealed.py

Ротация worker отзывает Bao auth/tokens/DB leases, закрывает DB sessions, удаляет старого broker CN user, заменяет S3 key и leaf, обновляет CRL и пересоздаёт proxies. Новая worker identity получает новый CN; восстановление нового пользователя не возвращает права старому сертификату. Static S3 key сам по себе не истекает: его фактический отзыв на S3 обязателен и проверяется отдельно.

Доказательства и методика

Фактические результаты и даты находятся в evidence/. Наличие скрипта не считается выполненным сценарием. Итоговый перечень проверок приведён в evidence/verification-summary.md; файлы с ошибками диагностических запусков не выдаются за PASS.

Критерий Команда Доказательство
Контракты, JSON Schema, build/vet, перенесённые Go checks make check validate; make build vet test-go contracts.txt, go-checks.txt, govulncheck.txt
HTTPS API и внешний недоверенный CA make test test-security public-checks.txt, final-smoke.txt
Каждая API replica, SAN/CA/no-cert, broker/Collector, backend matrix и Redis ACL make test-internal-security security.json, security-run.txt
Password rehash, измеренный KDF/login budget, logout/expiry, 429, body limit prove-auth.py; security.py auth.json, security.json
OpenBao policy allow/deny и bounded sealed behavior security.py; prove-sealed.py security.json, sealed.json
Leaf/secret rotation и старые identities renew-leaf.py; experiment-worker.py leaf-rotation.json, worker-experiment.json
Реальные три сигнала и отсутствие canary credentials/body prove-telemetry.py telemetry.json
Форматы/геометрия, EXIF/alpha, ACL и oversized image student-tests/images.py images.json
Staging/retention/restore/replay и broker volume student-tests/storage.py; broker_persistence.py storage.json, broker-persistence.json
Реальный restart stores и прежняя сессия test-persistence с restart.sh persistence-run.txt, restart-evidence.json
Последовательный отказ обеих API-реплик test-failover с stop-one.sh, restore между запусками failover-first.txt, failover-second.txt
Source/image scan и applicability govulncheck; scan-images.py image-scan.json; security/SCAN_TRIAGE.md
Независимый запуск без lab6/secrets/volumes prove-clean-clone.py clean-clone.json

Фактический итог 17 ноября 2026

Все строки итоговой сводки имеют выполненные команды и PASS. Source scan и scan OS/Go binaries application image дали 0 findings. Удалённый GitHub workflow только настроен; его запуск не заявляется.

Argon2id (12 samples, 64 MiB/t=3/p=1): p50 103,545 ms, p95/max 181,749 ms. Login probe: 24 заведомо неверных входа, concurrency 8, 1,490 s, p95 536,995 ms; все ответы — ожидаемые 401, без 5xx. Это примерно 16,1 negative authentication responses/s, не измерение максимальной пропускной способности. Отдельная brute-force проверка получила 429/Retry-After через общий limiter.

Sealed OpenBao с сокращённым token TTL 30 s привёл к fail-closed за 28,546 s; после operator unseal API восстановился. Публичные failover запуски подтвердили 122/123 успешных записей, по одному переходному отказу и first recovery 1,804/1,338 s. Дополнительный сценарий остановил каждый из двух физических контейнеров по очереди и проверил старую сессию и retry без дубля. Restart evidence подтвердил смену StartedAt всех девяти stores с сохранёнными volumes.

Worker incident response: три повтора по пять файлов; recovery 40,323 / 39,502 / 43,285 s. Во всех повторах: 5 accepted → 5 ready, потеря 0, duplicate jobs 0, ровно 20 manifest records, оригинальные SHA-256 совпали. Старые S3 key, broker CN и Bao leaf отклонены. Resource snapshots и scope широкого/restricted профиля находятся в JSON.

Source-only snapshot поднялся в отдельном проекте с новыми secrets/CA/volumes и отдельным image tag, прошёл HTTPS API/external trust. Независимая сборка дала побайтно одинаковые messenger/securityprobe binaries; Docker image manifest/provenance может иметь другой ID. Это зафиксировано отдельно в image-equivalence.json.

Исследовательский трек «Компрометация worker»

Гипотеза: отдельные worker credentials ограничивают доступ к DB/S3/broker, а последовательный отзыв и замена identity восстанавливают обработку устойчиво принятых доброкачественных задач без потерь и дублей.

Методика: synthetic stand, 3 повтора; в каждом worker остановлен, приняты пять PNG 320×200 из публичного fixture, проверены durable jobs. Одноразовые изолированные operator probes воспроизводят широкие права исходной lab6 и сравнивают их с restricted worker: DB password/session tables и DDL; S3 bucket-wide против prefix scope; broker configure/publish против consume. Широкие credentials не выдаются основным app/worker процессам. После incident response проверяются старый Bao leaf, broker CN, S3 key и новый mTLS access; worker восстанавливается. Сверяются IDs, пять ready, SHA-256 оригиналов и ровно 20 variant-manifest rows (original + три производных на файл).

Профиль — пять последовательных acceptance requests при остановленном consumer, worker concurrency 2, без прогрева и без заявления максимального RPS. Сохраняются acceptance latency, recovery seconds, observation errors и Docker CPU/RAM snapshot. Сценарий исследует recovery и permissions, а не производительность под production нагрузкой. Результаты всех повторов — worker-experiment.json; measured login concurrency/RPS/latency — auth.json.

Во время разработки обнаружен stale network namespace у Envoy после restart parent. Исправление: после рестарта родителя sidecar пересоздаётся. Диагностические попытки до исправления могли довести synthetic jobs до failed; они не включаются в успешные исследовательские повторы. Исправленный restart/rotation проходит отдельные проверки. Дополнительно для loopback GRPC listeners Loki/Tempo явно задан loopback advertised ring address; иначе их внутренний scheduler/ingester пытался обращаться к закрытому bridge address.

Проверка локальных generated secrets, private keys и unseal shares против файлов сдачи: python3 scripts/audit-secrets.py, результат — evidence/secret-audit.json. Она дополняет canary-проверку telemetry.

Ограничения и источники

Один Docker host, одна DB, один LB и один broker не защищают от потери host/storage. Worker с его законными правами способен испортить разрешённые job metadata и S3 prefixes; эксперимент не доказывает сохранность после произвольной злонамеренной порчи этих ресурсов. Leaf renewal в этом треке выполняет оператор; автоматический CA rollover не заявляется. Canaries проверяют записанные logs и выборочные backend signals, а не все возможные будущие потоки. Scan scope и остаточные findings явно перечислены в triage.

Собственная база перенесена из lab6. Использованы Go, pgx, AWS SDK for Go v2, amqp091-go, go-redis, OTel SDK, ImageMagick и закреплённые Docker images. Реализация, скрипты и документация подготовлены с помощью ИИ Codex; результаты должны быть объяснимы автором на защите.

Первичные источники: Argon2id и OWASP, OpenBao cert auth, OpenBao audit configuration, RabbitMQ TLS, RabbitMQ access control, SeaweedFS S3, OTel Collector configuration.