Files
mtusi2026lab7/student-tests/telemetry_persistence.py
T
zemiles 9cc80d2529 ЛР 7 — БПИ2303 — Лазарев — на 3
Перенесена реализация lab6; бизнес-API без изменений, транспорт — HTTPS.

- Внешний HTTPS (public-ca) на 127.0.0.1:8443; HSTS, TLS >= 1.2.
- Обязательное mTLS LB -> каждая API-реплика: API проверяет цепочку
  internal-ca и SAN клиента (allowlist: lb); health только на 127.0.0.1.
- TLS с проверкой сервера ко всем зависимостям: PostgreSQL verify-full
  (pg_hba только hostssl), HTTPS S3, AMQPS, OTLP/HTTPS с client cert,
  mTLS Collector -> Prometheus/Loki/Tempo, Grafana -> datasources, scrape.
- OpenBao 2.7.2 не в dev-mode: Raft на volume, init/unseal оператором,
  auth/cert с ролью и policy на сервис, TTL 15 мин + renew/re-login.
- Отдельные роли PostgreSQL с грантами по таблицам; разные ключи S3 и
  пользователи брокера выдаются из OpenBao.
- Argon2id (m=19 MiB, t=2, p=1, замер на стенде) и rehash при входе.
- Случайный X-Instance-Id; hardening контейнеров (non-root, cap_drop ALL,
  no-new-privileges, read-only, лимиты); TCP_NODELAY на сокете API.
- Модель угроз, trust matrix, отрицательные тесты TLS/mTLS, API, OpenBao,
  hardening; evidence, в т.ч. прогон из чистого clone.
2026-11-18 23:59:35 +03:00

93 lines
4.4 KiB
Python

#!/usr/bin/env python3
"""Lab6, уровень 3: история телеметрии переживает перезапуск хранилищ (persistent volumes).
python3 student-tests/telemetry_persistence.py --output evidence/telemetry-persistence.json
До рестарта: контролируемое сообщение -> его trace (Tempo), лог по request_id (Loki), значение
счётчика запросов API в момент t1 (Prometheus). Затем scripts/restart.sh перезапускает ВСЕ
хранилища (данных и телеметрии) и процессы с теми же volumes. После: тот же trace, тот же лог и то
же историческое значение в момент t1 читаются снова; dashboard и datasources на месте.
"""
import argparse
import subprocess
import sys
import time
from lab5lib import ROOT, Client, Failure, Log, check, compose
import obslib
def started_at():
out = {}
for svc in ("db", "prometheus", "loki", "tempo", "otel-collector", "grafana"):
cid = compose("ps", "-q", svc).stdout.split()[0]
out[svc] = subprocess.run(["docker", "inspect", "-f", "{{.State.StartedAt}}", cid], capture_output=True,
text=True, cwd=ROOT).stdout.strip()
return out
def wait_backends(timeout=180):
deadline = time.monotonic() + timeout
while time.monotonic() < deadline:
try:
st = {u: (obslib.grafana("/api/datasources/uid/%s/health" % u) or {}).get("status")
for u in ("prometheus", "loki", "tempo")}
if all(v == "OK" for v in st.values()):
return st
except Exception:
pass
time.sleep(3)
raise Failure("telemetry backends not healthy after restart")
def main():
p = argparse.ArgumentParser()
p.add_argument("--output")
args = p.parse_args()
log = Log("telemetry history survives restart of all stores")
c = Client(timeout=30)
alice, _bob, _eve, chat = c.bootstrap()
r = c.message(alice, chat, "persistence probe")
rid, tid = r["headers"]["X-Request-Id"], r["headers"]["X-Trace-Id"]
t0 = time.time()
spans = obslib.wait_trace(tid, lambda s: any(x["name"] == "db add_message" for x in s))
check(spans, "trace before restart")
time.sleep(12) # метрика экспортируется раз в 10 с
t1 = time.time()
q = 'sum(http_server_request_duration_seconds_count{job="messenger-api", http_route="/api/v1/chats/{chat_id}/messages"})'
v1 = obslib.prom_value(q, at=t1)
lq = '{service_name="messenger-api"} | request_id="%s"' % rid
l1 = obslib.loki_query(lq, t0 - 60, t1 + 5)
check(l1 and v1, "log and metric before restart")
before = started_at()
log.step("before restart", trace_id=tid, spans=len(spans), request_id=rid, log_lines=len(l1),
metric_at_t1=v1, started_at=before)
proc = subprocess.run([str(ROOT / "scripts/restart.sh")], cwd=ROOT, capture_output=True, text=True, timeout=300)
check(proc.returncode == 0, "restart.sh failed")
health = wait_backends()
after = started_at()
check(all(after[k] != before[k] for k in before), "all stores really restarted")
log.step("restart.sh done", started_at=after, datasource_health=health)
spans2 = obslib.wait_trace(tid, timeout=60)
v2 = obslib.prom_value(q, at=t1)
l2 = obslib.loki_query(lq, t0 - 60, t1 + 5)
dash = obslib.grafana("/api/dashboards/uid/messenger-overview")
check(len(spans2) == len(spans), "same trace after restart (%d vs %d spans)" % (len(spans2), len(spans)))
check(v2 == v1, "same historical metric value at t1 (%s vs %s)" % (v2, v1))
check(len(l2) == len(l1) and l2[0]["labels"].get("trace_id") == tid, "same log line after restart")
check(dash and dash["meta"].get("provisioned"), "dashboard provisioned after restart")
log.step("after restart: history preserved", spans=len(spans2), metric_at_t1=v2, log_lines=len(l2),
log_trace_id=l2[0]["labels"].get("trace_id"), dashboard_provisioned=dash["meta"].get("provisioned"))
c.call("GET", "/health/ready")
log.save(args.output)
print("PASS: trace, log and metric history survived restart of all stores")
return 0
if __name__ == "__main__":
try:
sys.exit(main())
except Failure as exc:
print("FAIL:", exc)
sys.exit(1)