Files
mtusi2026lab7/REPORT.md
T

20 KiB
Raw Blame History

Отчёт — лабораторная 7

Автор: Нурлыгаянова Екатерина. Группа: БПИ2302. Целевая оценка: 3. Треки 4/5 не заявлены.

Использована собственная реализация из соседнего lab6: Go REST API, SQL migrations/outbox, Valkey sessions/Streams, Python image worker, SeaweedFS, OpenTelemetry и Grafana. Код перенесён в этот репозиторий полностью: соседние каталоги для запуска не нужны. TLS/mTLS, scoped roles, bootstrap, OpenBao и проверки безопасности добавлены в lab7. При подготовке тестов и документации использовался ИИ Codex;

Источники: OpenBao cert auth, policies, официальные образы, HAProxy TLS, исходники библиотек Echo и OTel (зависимости закреплены app/go.mod и worker/requirements.txt).

Запуск из чистого clone

Нужны Docker Desktop/Engine с Compose v2, Python3.9+ на host и OpenSSL/LibreSSL. Проверено на Docker Desktop29.2.1 linux/aarch64 VM, 12 CPU, 8 216 776 704 bytes RAM (evidence/runtime.txt). На host одновременно работали другие лабораторные; это ограничивает сравнимость измерений. Контейнеры собираются из исходников.

sh scripts/start.sh
make check
make test CA_FILE="$PWD/secrets/ca.crt"
make test-security CA_FILE="$PWD/secrets/ca.crt"
sh scripts/check-internal.sh
python3 student-tests/external.py
python3 student-tests/hardening.py
sh scripts/check-expiry.sh
make test-persistence CA_FILE="$PWD/secrets/ca.crt" ACTION_SCRIPT=scripts/restart.sh
make test-failover CA_FILE="$PWD/secrets/ca.crt" ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --wait
python3 student-tests/failover-each.py
python3 student-tests/secret-scan.py

start.sh: создаёт .env, CA, 30-дневные leaf и credentials, собирает images, запускает OpenBao, выполняет operator init/unseal и config, затем запускает остальные роли и ждёт HTTPS readiness. На повторном запуске identities и passwords не меняются; миграции goose повторно не применяются. Нужен сетевой доступ к registry/dependency repositories при первой сборке. Из Docker Hub OpenBao скачать не удалось (TLS timeout); использован официальный GHCR.

API: https://localhost:8443, Grafana Viewer: https://localhost:13007, Bao operator endpoint: https://localhost:18200. Все три доступны только с этого host. Для браузера можно импортировать публичный secrets/ca.crt. API UI не требуется и не реализован.

После отдельного restart OpenBao: python3 scripts/bao-setup.py --unseal-only. Операторские root token и 3 unseal shares находятся в operator/bao-init.json (0600, каталог0700), никогда не передаются сервисам. Для unseal используются 2 shares. В реальной эксплуатации их нужно хранить у отдельных держателей/офлайн; здесь это локальное operator хранилище на учебном host.

Остановка с сохранением данных: docker compose down. Повторный запуск — sh scripts/start.sh. Намеренное удаление учебных данных: docker compose down -v. После удаления volumes нужно архивировать/убрать старые secrets и operator и выполнить новый bootstrap; не смешивать новый SQL volume/новый Bao с прежними operator init keys. Не удалять файлы credentials при сохранённых volumes.

Проверка telemetry:

docker run --rm --network mtusi-lab7_default \
  -v "$PWD:/audit:ro" -v "$PWD/evidence:/audit/evidence" \
  --entrypoint python mtusi-lab7-worker /audit/student-tests/observability.py

Тестовый контейнер — временный operator probe. Только ему для отрицательных проверок монтируется полный проект; app/worker получают исключительно собственные leaf/CA и свои secrets из Bao. Probe никогда не печатает tokens/пароли/ключи.

Архитектура

flowchart LR
    C[Клиент] -->|HTTPS| LB[HAProxy]
    LB -->|mTLS: URI lb| A[2 Go API]
    A -->|TLS, api role| DB[(PostgreSQL)]
    A -->|TLS, session ACL| V[(Valkey sessions)]
    A -->|HTTPS, staging key| S[(Private S3)]
    DB --> O[SQL outbox dispatcher]
    O -->|TLS, producer ACL| B[(Valkey Streams)]
    B -->|TLS, consumer ACL| W[Python worker]
    W -->|TLS| DB
    W -->|HTTPS, worker key| S
    A -->|cert auth| BAO[OpenBao Raft]
    W -->|cert auth| BAO
    A -->|mTLS| OT[OTel Collector]
    W -->|mTLS| OT
    OT -->|mTLS| T[Tempo / Loki]
    P[Prometheus] -->|mTLS scrape| OT
    G[Grafana] -->|mTLS| T
    G -->|mTLS| P

Источник истины — PostgreSQL. Сессии общие, hashes Bearer хранятся в persistent Valkey с абсолютным TTL. Idempotency key и message фиксируются в одной SQL transaction. Upload до202 сохраняется в устойчивый S3 staging, trigger создаёт job в той же SQL transaction. Dispatcher публикует ID и trace context в Streams; worker с advisory lock идемпотентно создаёт original/thumbnail и фиксирует ready перед ACK. До60s ждёт публичный smoke; worker deadline60s, максимум5 попыток, CPU1/RAM1GiB, concurrency1. Thumbnail JPEG вписан в256×256 без увеличения, EXIF orientation применяется, alpha на белом.

Все app credentials получаются при запуске через реальную cert-auth в non-dev OpenBao. API, worker, dispatcher имеют разные SQL/S3/broker права. Scoped token TTL5m/max10m, read своего KV, немедленный revoke-self. Значения записываются в tmpfs0700, файлы0600. При sealed/unavailable Bao новый процесс завершается. Уже работающий процесс продолжает использовать static credentials — token TTL не отзывает пароль БД.

Матрица всех связей, модель угроз, operator runbook. Внешний API требует TLS1.2+, API внутри — обязательный client certificate плюс точный URI spiffe://lab7/lb, независимо от принадлежности CA. Alias X-Instance-Id — случайный UUID, без hostname/IP. Нет опубликованного API-порта.

Для S3/telemetry без native TLS используется sidecar: TLS termination → localhost в том же namespace; незашифрованный порт недоступен по адресу контейнера. S3 дополнительно в internal private network; TCP gateway передаёт только TLS9443 и закрывает служебные SeaweedFS ports. Restart hook после перезапуска backend пересоздаёт sidecar namespace: это исправлено после обнаружения в persistence тесте.

Версии, хранение и конфигурация

Роль Образ/runtime Persistent volume / интерфейс
API и migration Go1.26.10; Alpine3.24.3; goose3.26.0 API stateless, tmpfs; api:8080 только mTLS
Worker/dispatcher Python3.13.9-slim; Pillow12.0.0 stateless, credentials tmpfs
TLS sidecar Python3.13.9-alpine3.22 stateless, readonly
LB/S3 TCP gateway HAProxy3.2.9-alpine TLS8443 / passthrough9443
PostgreSQL postgres17.6-alpine pgdata; native TLS5432, hostnossl reject
Sessions/broker Valkey8.1.3-alpine valkeydata/brokerdata, AOF always; native TLS6379
S3 SeaweedFS4.00 s3data, private network
OpenBao GHCR OpenBao2.7.1 baodata single-node Raft, TLS8200
Collector contrib0.137.0 bounded queues, no durable signal storage
Prometheus/Loki/Tempo 3.5.0 / 3.5.5 / 2.8.2 prometheusdata/lokidata/tempodata, retention72h/3d
Grafana 12.2.0 grafanadata, provisioned dashboard

Compose задаёт resource limits для всех ролей. API/worker/dispatcher: UID65534, CPU1/RAM1GiB, read_only, cap_drop ALL, no-new-privileges, tmpfs. Остальные по умолчанию CPU0.5/RAM256MiB, TLS sidecar CPU0.25/RAM64MiB. PostgreSQL initialization и Tempo используют root в своём контейнере; bao-volume-init одноразово меняет владельца каталога данных. Privileged/host network/socket отсутствуют.

.env.example соответствует реально читаемой конфигурации: DATABASE_URL_FILE/CACHE_URL_FILE/BROKER_URL_FILE/S3_FILE указывают в /run/app-secrets, а не на host; SESSION_STORE=valkey, HISTORY_CACHE=off; S3_ENDPOINT=https://s3:9443; OTLP=https://otel-collector:4438; SSL_CERT_FILE/REQUESTS_CA_BUNDLE/AWS_CA_BUNDLE и OTLP_CERTIFICATE обеспечивают проверку CA; OTLP_CLIENT_CERTIFICATE/KEY задают сервисную identity. TLS_CERT_FILE/KEY/CA включают API mTLS. BAO_ROLE задаётся отдельно Compose для каждой роли. Replicas2 и limits фиксируются compose.yaml. Argon2id параметры фиксированы в password.Default (переменных ARGON2 с неработающим override нет).

Доказательства оценки 3

Критерий Команда/сценарий Результат Доказательство
Предыдущий обязательный API через HTTPS make test CA_FILE=... PASS: chats, messages, paging, idempotency, ACL, attachment, thumbnail, logout evidence/smoke.txt
Проверка внешнего CA make test-security CA_FILE=... доверенный HTTPS200; пустой trust store → verify failure evidence/public-tls.txt
Argon2id19MiB/t2/p1 Go benchmark, 3 повтора по3s при CPU1/RAM1GiB 17.77–17.83ms/hash; ~19.93MB allocations/op evidence/argon2-benchmark.txt
mTLS каждой API реплики sh scripts/check-internal.sh LB accepted; missing cert, foreign CA, same-CA wrong URI denied evidence/internal-security.txt
TLS всей матрицы / без обхода internal.py проверенные SAN на12 endpoints; native DB TLS; plaintext ports недоступны evidence/internal-security.txt
Отдельные identities/minimum rights internal.py DB DDL/password hashes denied worker; broker unrelated key denied; S3 List denied evidence/internal-security.txt
OpenBao non-dev/persistent/scoped internal.py + restart hook cert login; own200/other403/admin403; revoked token403; unseal послеrestart evidence/internal-security.txt, evidence/persistence-containers.txt
Non-root/limits/ports python3 student-tests/hardening.py actual Docker inspection PASS evidence/hardening.txt
Login rate/body limits python3 student-tests/external.py 429+Retry-After и413 evidence/external-security.txt
Logout/expiry/чужой доступ smoke + sh scripts/check-expiry.sh logout401, чужой доступ404, sessionTTL2s→401 evidence/smoke.txt, evidence/session-expiry.txt
Сохранность при restart make test-persistence ... прежняя сессия, messages и original bytes сохранены evidence/persistence.txt, evidence/persistence-containers.txt
Отказ API два публичных failover прогона каждый128 successful writes, 0 failed attempts; без дублей/потери evidence/failover-1.txt, evidence/failover-2.txt
Последовательный отказ разных контейнеров python3 student-tests/failover-each.py api-1 и api-2 остановлены по очереди; session/data сохранены evidence/failover-each.txt
Telemetry сохранена observability.py API/worker matching trace/log и4 SDK metrics evidence/observability.txt, evidence/telemetry.json
Исходники и секреты make check; Go tests; secret-scan.py контракт не изменялся, проверки в evidence evidence/check.txt, evidence/go-tests.txt, evidence/secret-scan.txt

Измерения и ограничения

Argon2id PHC содержит random salt16bytes, version19, m19456/t2/p1, key32bytes. Три серии: 17.832 / 17.773 / 17.817ms на hash, allocations около19.93MB/op. Это microbenchmark Hash, не p95 login под атакой. Семафор KDF ограничивает одновременные вычисления четырьмя или GOMAXPROCS (меньшим); один ingress ограничивает login20/10s/IP с Retry-After10. На минимальных параметрах время умеренное, а лимиты отделяют KDF память от других запросов. Измерения не доказывают устойчивость к распределённому DoS.

HTTP load — closed-loop synthetic POST сообщений, duration30s, concurrency4, уникальные сообщения в одном тестовом чате. Отдельный итоговый прогон: 6962 успешных запросов, 0 ошибок, 231.974 successful RPS; p50/p95/p99 = 6.973/69.041/73.826ms (evidence/load.json). Percentiles только успешных HTTP подтверждений; client overhead/coordinated omission не позволяют называть это максимальной пропускной способностью. Docker ресурсы и моментальный snapshot — evidence/runtime.txt и evidence/resources.txt. Нагрузка не является исследовательским треком5.

Публичный failover1:128 writes/0 failed, first_recovery3.591s; failover2:128/0,3.421s. Это время от запуска hook до первого подтверждения после его завершения, включая штатный drain, а не длительность простоя. Сохранность проверялась по истории и побайтному original; явный restart hook перезапускает все используемые хранилища, включая PostgreSQL, Valkey, S3, Bao и telemetry. Times before/after в persistence-containers.txt подтверждают scope.

Одноузловые DB/S3/broker/Bao/LB и один Docker host остаются точками отказа. Автоматическая ротация, CRL/renewal, dynamic DB credentials, rehash при login, vulnerability scan triage и исследование на5 не заявлены. TLS/mTLS защищает transport, а membership/Bearer — действия пользователя. Grafana имеет локальный Viewer без пользовательского login, telemetry identities доверенные; полное разделение read/write HTTP методов backend и multi-tenant auth не реализовано.

До сдачи нужно изучить scripts и объяснить границу CA trust vs URI authorization, operator unseal и отличие TTL Bao token от срока действия static KV credentials.

Повторная проверка и краевые случаи (13.11.2026)

Автор: Нурлыгаянова Екатерина, БПИ2302. Целевая оценка — 3.

Исправлена обработка повреждённых Argon2id PHC-хешей: версия и параметры разбираются полностью, нулевые значения и чрезмерные затраты отвергаются до запуска KDF. Допустимый диапазон чтения: память от 8×parallelism до 64 MiB, iterations 1–10, parallelism 1–16, salt 8–64 bytes, digest 16–64 bytes. Новые пароли по-прежнему используют 19 MiB/t2/p1. Проверки покрывают нулевые параметры, переполнение, хвосты в полях, слишком длинную строку, короткую соль/digest и неверную конфигурацию Hash.

Повторно выполнены все Go-тесты текущих исходников: evidence/review-go-tests.txt. Среди покрытых сценариев — неверный/двойной JSON и UTF-8, границы body с Content-Length и chunked, неверные UUID/курсоры, конкурентная идемпотентность, logout/expiry, недоступность session store/S3, обрыв загрузки, ACL и ошибки фиксации метаданных. Это тесты отдельных сценариев, не доказательство отсутствия всех ошибок. Race detector не запускался успешно: тестовый образ использует CGO_ENABLED=0; итоговый успешный прогон выполнен без -race.

Worker: 6 тестов, включая 1×1, 1×1000, 1000×1, 256×256, отсутствие увеличения, прозрачность, EXIF, повреждённый файл и лимит пикселей ровно/выше границы (evidence/review-worker-tests.txt).

После пересборки и обновления API прошли HTTPS smoke, persistence с прежней сессией/файлом, последовательный отказ каждой конкретной API-реплики и telemetry (evidence/review-smoke.txt, evidence/review-persistence.txt, evidence/review-failover.txt, evidence/review-observability.txt). Обе реплики восстановлены. После docker compose up -d --wait api нужно также вызвать python3 scripts/wait-ready.py: готовность контейнеров не означает, что LB уже завершил DNS/health checks. Первые запросы сразу после пересоздания получили временный 503; после ожидания HTTPS readiness повторные проверки прошли.

Итоговые проверки структуры, внешнего TLS, внутренней матрицы, реальных Docker ограничений и секретов сохраняются в evidence/review-check.txt, evidence/review-public-tls.txt, evidence/review-internal.txt, evidence/review-hardening.txt, evidence/review-secret-scan.txt. Login rate/body limits и сессия TTL=2s также проверены на живом стенде. Полный чистый bootstrap с удалением volumes при этой повторной проверке не выполнялся, существующие данные сохранены.