20 KiB
Отчёт — лабораторная 7
Автор: Нурлыгаянова Екатерина. Группа: БПИ2302. Целевая оценка: 3. Треки 4/5 не заявлены.
Использована собственная реализация из соседнего lab6: Go REST API, SQL migrations/outbox, Valkey sessions/Streams, Python image worker, SeaweedFS, OpenTelemetry и Grafana. Код перенесён в этот репозиторий полностью: соседние каталоги для запуска не нужны. TLS/mTLS, scoped roles, bootstrap, OpenBao и проверки безопасности добавлены в lab7. При подготовке тестов и документации использовался ИИ Codex;
Источники: OpenBao cert auth, policies, официальные образы, HAProxy TLS, исходники библиотек Echo и OTel (зависимости закреплены app/go.mod и worker/requirements.txt).
Запуск из чистого clone
Нужны Docker Desktop/Engine с Compose v2, Python3.9+ на host и OpenSSL/LibreSSL. Проверено на Docker Desktop29.2.1 linux/aarch64 VM, 12 CPU, 8 216 776 704 bytes RAM (evidence/runtime.txt). На host одновременно работали другие лабораторные; это ограничивает сравнимость измерений. Контейнеры собираются из исходников.
sh scripts/start.sh
make check
make test CA_FILE="$PWD/secrets/ca.crt"
make test-security CA_FILE="$PWD/secrets/ca.crt"
sh scripts/check-internal.sh
python3 student-tests/external.py
python3 student-tests/hardening.py
sh scripts/check-expiry.sh
make test-persistence CA_FILE="$PWD/secrets/ca.crt" ACTION_SCRIPT=scripts/restart.sh
make test-failover CA_FILE="$PWD/secrets/ca.crt" ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --wait
python3 student-tests/failover-each.py
python3 student-tests/secret-scan.py
start.sh: создаёт .env, CA, 30-дневные leaf и credentials, собирает images, запускает OpenBao, выполняет operator init/unseal и config, затем запускает остальные роли и ждёт HTTPS readiness. На повторном запуске identities и passwords не меняются; миграции goose повторно не применяются. Нужен сетевой доступ к registry/dependency repositories при первой сборке. Из Docker Hub OpenBao скачать не удалось (TLS timeout); использован официальный GHCR.
API: https://localhost:8443, Grafana Viewer: https://localhost:13007, Bao operator endpoint: https://localhost:18200. Все три доступны только с этого host. Для браузера можно импортировать публичный secrets/ca.crt. API UI не требуется и не реализован.
После отдельного restart OpenBao: python3 scripts/bao-setup.py --unseal-only. Операторские root token и 3 unseal shares находятся в operator/bao-init.json (0600, каталог0700), никогда не передаются сервисам. Для unseal используются 2 shares. В реальной эксплуатации их нужно хранить у отдельных держателей/офлайн; здесь это локальное operator хранилище на учебном host.
Остановка с сохранением данных: docker compose down. Повторный запуск — sh scripts/start.sh. Намеренное удаление учебных данных: docker compose down -v. После удаления volumes нужно архивировать/убрать старые secrets и operator и выполнить новый bootstrap; не смешивать новый SQL volume/новый Bao с прежними operator init keys. Не удалять файлы credentials при сохранённых volumes.
Проверка telemetry:
docker run --rm --network mtusi-lab7_default \
-v "$PWD:/audit:ro" -v "$PWD/evidence:/audit/evidence" \
--entrypoint python mtusi-lab7-worker /audit/student-tests/observability.py
Тестовый контейнер — временный operator probe. Только ему для отрицательных проверок монтируется полный проект; app/worker получают исключительно собственные leaf/CA и свои secrets из Bao. Probe никогда не печатает tokens/пароли/ключи.
Архитектура
flowchart LR
C[Клиент] -->|HTTPS| LB[HAProxy]
LB -->|mTLS: URI lb| A[2 Go API]
A -->|TLS, api role| DB[(PostgreSQL)]
A -->|TLS, session ACL| V[(Valkey sessions)]
A -->|HTTPS, staging key| S[(Private S3)]
DB --> O[SQL outbox dispatcher]
O -->|TLS, producer ACL| B[(Valkey Streams)]
B -->|TLS, consumer ACL| W[Python worker]
W -->|TLS| DB
W -->|HTTPS, worker key| S
A -->|cert auth| BAO[OpenBao Raft]
W -->|cert auth| BAO
A -->|mTLS| OT[OTel Collector]
W -->|mTLS| OT
OT -->|mTLS| T[Tempo / Loki]
P[Prometheus] -->|mTLS scrape| OT
G[Grafana] -->|mTLS| T
G -->|mTLS| P
Источник истины — PostgreSQL. Сессии общие, hashes Bearer хранятся в persistent Valkey с абсолютным TTL. Idempotency key и message фиксируются в одной SQL transaction. Upload до202 сохраняется в устойчивый S3 staging, trigger создаёт job в той же SQL transaction. Dispatcher публикует ID и trace context в Streams; worker с advisory lock идемпотентно создаёт original/thumbnail и фиксирует ready перед ACK. До60s ждёт публичный smoke; worker deadline60s, максимум5 попыток, CPU1/RAM1GiB, concurrency1. Thumbnail JPEG вписан в256×256 без увеличения, EXIF orientation применяется, alpha на белом.
Все app credentials получаются при запуске через реальную cert-auth в non-dev OpenBao. API, worker, dispatcher имеют разные SQL/S3/broker права. Scoped token TTL5m/max10m, read своего KV, немедленный revoke-self. Значения записываются в tmpfs0700, файлы0600. При sealed/unavailable Bao новый процесс завершается. Уже работающий процесс продолжает использовать static credentials — token TTL не отзывает пароль БД.
Матрица всех связей, модель угроз, operator runbook. Внешний API требует TLS1.2+, API внутри — обязательный client certificate плюс точный URI spiffe://lab7/lb, независимо от принадлежности CA. Alias X-Instance-Id — случайный UUID, без hostname/IP. Нет опубликованного API-порта.
Для S3/telemetry без native TLS используется sidecar: TLS termination → localhost в том же namespace; незашифрованный порт недоступен по адресу контейнера. S3 дополнительно в internal private network; TCP gateway передаёт только TLS9443 и закрывает служебные SeaweedFS ports. Restart hook после перезапуска backend пересоздаёт sidecar namespace: это исправлено после обнаружения в persistence тесте.
Версии, хранение и конфигурация
| Роль | Образ/runtime | Persistent volume / интерфейс |
|---|---|---|
| API и migration | Go1.26.10; Alpine3.24.3; goose3.26.0 | API stateless, tmpfs; api:8080 только mTLS |
| Worker/dispatcher | Python3.13.9-slim; Pillow12.0.0 | stateless, credentials tmpfs |
| TLS sidecar | Python3.13.9-alpine3.22 | stateless, readonly |
| LB/S3 TCP gateway | HAProxy3.2.9-alpine | TLS8443 / passthrough9443 |
| PostgreSQL | postgres17.6-alpine | pgdata; native TLS5432, hostnossl reject |
| Sessions/broker | Valkey8.1.3-alpine | valkeydata/brokerdata, AOF always; native TLS6379 |
| S3 | SeaweedFS4.00 | s3data, private network |
| OpenBao | GHCR OpenBao2.7.1 | baodata single-node Raft, TLS8200 |
| Collector | contrib0.137.0 | bounded queues, no durable signal storage |
| Prometheus/Loki/Tempo | 3.5.0 / 3.5.5 / 2.8.2 | prometheusdata/lokidata/tempodata, retention72h/3d |
| Grafana | 12.2.0 | grafanadata, provisioned dashboard |
Compose задаёт resource limits для всех ролей. API/worker/dispatcher: UID65534, CPU1/RAM1GiB, read_only, cap_drop ALL, no-new-privileges, tmpfs. Остальные по умолчанию CPU0.5/RAM256MiB, TLS sidecar CPU0.25/RAM64MiB. PostgreSQL initialization и Tempo используют root в своём контейнере; bao-volume-init одноразово меняет владельца каталога данных. Privileged/host network/socket отсутствуют.
.env.example соответствует реально читаемой конфигурации: DATABASE_URL_FILE/CACHE_URL_FILE/BROKER_URL_FILE/S3_FILE указывают в /run/app-secrets, а не на host; SESSION_STORE=valkey, HISTORY_CACHE=off; S3_ENDPOINT=https://s3:9443; OTLP=https://otel-collector:4438; SSL_CERT_FILE/REQUESTS_CA_BUNDLE/AWS_CA_BUNDLE и OTLP_CERTIFICATE обеспечивают проверку CA; OTLP_CLIENT_CERTIFICATE/KEY задают сервисную identity. TLS_CERT_FILE/KEY/CA включают API mTLS. BAO_ROLE задаётся отдельно Compose для каждой роли. Replicas2 и limits фиксируются compose.yaml. Argon2id параметры фиксированы в password.Default (переменных ARGON2 с неработающим override нет).
Доказательства оценки 3
| Критерий | Команда/сценарий | Результат | Доказательство |
|---|---|---|---|
| Предыдущий обязательный API через HTTPS | make test CA_FILE=... | PASS: chats, messages, paging, idempotency, ACL, attachment, thumbnail, logout | evidence/smoke.txt |
| Проверка внешнего CA | make test-security CA_FILE=... | доверенный HTTPS200; пустой trust store → verify failure | evidence/public-tls.txt |
| Argon2id19MiB/t2/p1 | Go benchmark, 3 повтора по3s при CPU1/RAM1GiB | 17.77–17.83ms/hash; ~19.93MB allocations/op | evidence/argon2-benchmark.txt |
| mTLS каждой API реплики | sh scripts/check-internal.sh | LB accepted; missing cert, foreign CA, same-CA wrong URI denied | evidence/internal-security.txt |
| TLS всей матрицы / без обхода | internal.py | проверенные SAN на12 endpoints; native DB TLS; plaintext ports недоступны | evidence/internal-security.txt |
| Отдельные identities/minimum rights | internal.py | DB DDL/password hashes denied worker; broker unrelated key denied; S3 List denied | evidence/internal-security.txt |
| OpenBao non-dev/persistent/scoped | internal.py + restart hook | cert login; own200/other403/admin403; revoked token403; unseal послеrestart | evidence/internal-security.txt, evidence/persistence-containers.txt |
| Non-root/limits/ports | python3 student-tests/hardening.py | actual Docker inspection PASS | evidence/hardening.txt |
| Login rate/body limits | python3 student-tests/external.py | 429+Retry-After и413 | evidence/external-security.txt |
| Logout/expiry/чужой доступ | smoke + sh scripts/check-expiry.sh | logout401, чужой доступ404, sessionTTL2s→401 | evidence/smoke.txt, evidence/session-expiry.txt |
| Сохранность при restart | make test-persistence ... | прежняя сессия, messages и original bytes сохранены | evidence/persistence.txt, evidence/persistence-containers.txt |
| Отказ API | два публичных failover прогона | каждый128 successful writes, 0 failed attempts; без дублей/потери | evidence/failover-1.txt, evidence/failover-2.txt |
| Последовательный отказ разных контейнеров | python3 student-tests/failover-each.py | api-1 и api-2 остановлены по очереди; session/data сохранены | evidence/failover-each.txt |
| Telemetry сохранена | observability.py | API/worker matching trace/log и4 SDK metrics | evidence/observability.txt, evidence/telemetry.json |
| Исходники и секреты | make check; Go tests; secret-scan.py | контракт не изменялся, проверки в evidence | evidence/check.txt, evidence/go-tests.txt, evidence/secret-scan.txt |
Измерения и ограничения
Argon2id PHC содержит random salt16bytes, version19, m19456/t2/p1, key32bytes. Три серии: 17.832 / 17.773 / 17.817ms на hash, allocations около19.93MB/op. Это microbenchmark Hash, не p95 login под атакой. Семафор KDF ограничивает одновременные вычисления четырьмя или GOMAXPROCS (меньшим); один ingress ограничивает login20/10s/IP с Retry-After10. На минимальных параметрах время умеренное, а лимиты отделяют KDF память от других запросов. Измерения не доказывают устойчивость к распределённому DoS.
HTTP load — closed-loop synthetic POST сообщений, duration30s, concurrency4, уникальные сообщения в одном тестовом чате. Отдельный итоговый прогон: 6962 успешных запросов, 0 ошибок, 231.974 successful RPS; p50/p95/p99 = 6.973/69.041/73.826ms (evidence/load.json). Percentiles только успешных HTTP подтверждений; client overhead/coordinated omission не позволяют называть это максимальной пропускной способностью. Docker ресурсы и моментальный snapshot — evidence/runtime.txt и evidence/resources.txt. Нагрузка не является исследовательским треком5.
Публичный failover1:128 writes/0 failed, first_recovery3.591s; failover2:128/0,3.421s. Это время от запуска hook до первого подтверждения после его завершения, включая штатный drain, а не длительность простоя. Сохранность проверялась по истории и побайтному original; явный restart hook перезапускает все используемые хранилища, включая PostgreSQL, Valkey, S3, Bao и telemetry. Times before/after в persistence-containers.txt подтверждают scope.
Одноузловые DB/S3/broker/Bao/LB и один Docker host остаются точками отказа. Автоматическая ротация, CRL/renewal, dynamic DB credentials, rehash при login, vulnerability scan triage и исследование на5 не заявлены. TLS/mTLS защищает transport, а membership/Bearer — действия пользователя. Grafana имеет локальный Viewer без пользовательского login, telemetry identities доверенные; полное разделение read/write HTTP методов backend и multi-tenant auth не реализовано.
До сдачи нужно изучить scripts и объяснить границу CA trust vs URI authorization, operator unseal и отличие TTL Bao token от срока действия static KV credentials.
Повторная проверка и краевые случаи (13.11.2026)
Автор: Нурлыгаянова Екатерина, БПИ2302. Целевая оценка — 3.
Исправлена обработка повреждённых Argon2id PHC-хешей: версия и параметры разбираются полностью, нулевые значения и чрезмерные затраты отвергаются до запуска KDF. Допустимый диапазон чтения: память от 8×parallelism до 64 MiB, iterations 1–10, parallelism 1–16, salt 8–64 bytes, digest 16–64 bytes. Новые пароли по-прежнему используют 19 MiB/t2/p1. Проверки покрывают нулевые параметры, переполнение, хвосты в полях, слишком длинную строку, короткую соль/digest и неверную конфигурацию Hash.
Повторно выполнены все Go-тесты текущих исходников: evidence/review-go-tests.txt. Среди покрытых сценариев — неверный/двойной JSON и UTF-8, границы body с Content-Length и chunked, неверные UUID/курсоры, конкурентная идемпотентность, logout/expiry, недоступность session store/S3, обрыв загрузки, ACL и ошибки фиксации метаданных. Это тесты отдельных сценариев, не доказательство отсутствия всех ошибок. Race detector не запускался успешно: тестовый образ использует CGO_ENABLED=0; итоговый успешный прогон выполнен без -race.
Worker: 6 тестов, включая 1×1, 1×1000, 1000×1, 256×256, отсутствие увеличения, прозрачность, EXIF, повреждённый файл и лимит пикселей ровно/выше границы (evidence/review-worker-tests.txt).
После пересборки и обновления API прошли HTTPS smoke, persistence с прежней сессией/файлом, последовательный отказ каждой конкретной API-реплики и telemetry (evidence/review-smoke.txt, evidence/review-persistence.txt, evidence/review-failover.txt, evidence/review-observability.txt). Обе реплики восстановлены. После docker compose up -d --wait api нужно также вызвать python3 scripts/wait-ready.py: готовность контейнеров не означает, что LB уже завершил DNS/health checks. Первые запросы сразу после пересоздания получили временный 503; после ожидания HTTPS readiness повторные проверки прошли.
Итоговые проверки структуры, внешнего TLS, внутренней матрицы, реальных Docker ограничений и секретов сохраняются в evidence/review-check.txt, evidence/review-public-tls.txt, evidence/review-internal.txt, evidence/review-hardening.txt, evidence/review-secret-scan.txt. Login rate/body limits и сессия TTL=2s также проверены на живом стенде. Полный чистый bootstrap с удалением volumes при этой повторной проверке не выполнялся, существующие данные сохранены.