forked from mtusi2026/mtusi2026lab7
Перенесена реализация lab6; бизнес-API без изменений, транспорт — HTTPS. - Внешний HTTPS (public-ca) на 127.0.0.1:8443; HSTS, TLS >= 1.2. - Обязательное mTLS LB -> каждая API-реплика: API проверяет цепочку internal-ca и SAN клиента (allowlist: lb); health только на 127.0.0.1. - TLS с проверкой сервера ко всем зависимостям: PostgreSQL verify-full (pg_hba только hostssl), HTTPS S3, AMQPS, OTLP/HTTPS с client cert, mTLS Collector -> Prometheus/Loki/Tempo, Grafana -> datasources, scrape. - OpenBao 2.7.2 не в dev-mode: Raft на volume, init/unseal оператором, auth/cert с ролью и policy на сервис, TTL 15 мин + renew/re-login. - Отдельные роли PostgreSQL с грантами по таблицам; разные ключи S3 и пользователи брокера выдаются из OpenBao. - Argon2id (m=19 MiB, t=2, p=1, замер на стенде) и rehash при входе. - Случайный X-Instance-Id; hardening контейнеров (non-root, cap_drop ALL, no-new-privileges, read-only, лимиты); TCP_NODELAY на сокете API. - Модель угроз, trust matrix, отрицательные тесты TLS/mTLS, API, OpenBao, hardening; evidence, в т.ч. прогон из чистого clone.
93 lines
4.4 KiB
Python
93 lines
4.4 KiB
Python
#!/usr/bin/env python3
|
|
"""Lab6, уровень 3: история телеметрии переживает перезапуск хранилищ (persistent volumes).
|
|
|
|
python3 student-tests/telemetry_persistence.py --output evidence/telemetry-persistence.json
|
|
|
|
До рестарта: контролируемое сообщение -> его trace (Tempo), лог по request_id (Loki), значение
|
|
счётчика запросов API в момент t1 (Prometheus). Затем scripts/restart.sh перезапускает ВСЕ
|
|
хранилища (данных и телеметрии) и процессы с теми же volumes. После: тот же trace, тот же лог и то
|
|
же историческое значение в момент t1 читаются снова; dashboard и datasources на месте.
|
|
"""
|
|
import argparse
|
|
import subprocess
|
|
import sys
|
|
import time
|
|
|
|
from lab5lib import ROOT, Client, Failure, Log, check, compose
|
|
import obslib
|
|
|
|
|
|
def started_at():
|
|
out = {}
|
|
for svc in ("db", "prometheus", "loki", "tempo", "otel-collector", "grafana"):
|
|
cid = compose("ps", "-q", svc).stdout.split()[0]
|
|
out[svc] = subprocess.run(["docker", "inspect", "-f", "{{.State.StartedAt}}", cid], capture_output=True,
|
|
text=True, cwd=ROOT).stdout.strip()
|
|
return out
|
|
|
|
|
|
def wait_backends(timeout=180):
|
|
deadline = time.monotonic() + timeout
|
|
while time.monotonic() < deadline:
|
|
try:
|
|
st = {u: (obslib.grafana("/api/datasources/uid/%s/health" % u) or {}).get("status")
|
|
for u in ("prometheus", "loki", "tempo")}
|
|
if all(v == "OK" for v in st.values()):
|
|
return st
|
|
except Exception:
|
|
pass
|
|
time.sleep(3)
|
|
raise Failure("telemetry backends not healthy after restart")
|
|
|
|
|
|
def main():
|
|
p = argparse.ArgumentParser()
|
|
p.add_argument("--output")
|
|
args = p.parse_args()
|
|
log = Log("telemetry history survives restart of all stores")
|
|
c = Client(timeout=30)
|
|
alice, _bob, _eve, chat = c.bootstrap()
|
|
r = c.message(alice, chat, "persistence probe")
|
|
rid, tid = r["headers"]["X-Request-Id"], r["headers"]["X-Trace-Id"]
|
|
t0 = time.time()
|
|
spans = obslib.wait_trace(tid, lambda s: any(x["name"] == "db add_message" for x in s))
|
|
check(spans, "trace before restart")
|
|
time.sleep(12) # метрика экспортируется раз в 10 с
|
|
t1 = time.time()
|
|
q = 'sum(http_server_request_duration_seconds_count{job="messenger-api", http_route="/api/v1/chats/{chat_id}/messages"})'
|
|
v1 = obslib.prom_value(q, at=t1)
|
|
lq = '{service_name="messenger-api"} | request_id="%s"' % rid
|
|
l1 = obslib.loki_query(lq, t0 - 60, t1 + 5)
|
|
check(l1 and v1, "log and metric before restart")
|
|
before = started_at()
|
|
log.step("before restart", trace_id=tid, spans=len(spans), request_id=rid, log_lines=len(l1),
|
|
metric_at_t1=v1, started_at=before)
|
|
proc = subprocess.run([str(ROOT / "scripts/restart.sh")], cwd=ROOT, capture_output=True, text=True, timeout=300)
|
|
check(proc.returncode == 0, "restart.sh failed")
|
|
health = wait_backends()
|
|
after = started_at()
|
|
check(all(after[k] != before[k] for k in before), "all stores really restarted")
|
|
log.step("restart.sh done", started_at=after, datasource_health=health)
|
|
spans2 = obslib.wait_trace(tid, timeout=60)
|
|
v2 = obslib.prom_value(q, at=t1)
|
|
l2 = obslib.loki_query(lq, t0 - 60, t1 + 5)
|
|
dash = obslib.grafana("/api/dashboards/uid/messenger-overview")
|
|
check(len(spans2) == len(spans), "same trace after restart (%d vs %d spans)" % (len(spans2), len(spans)))
|
|
check(v2 == v1, "same historical metric value at t1 (%s vs %s)" % (v2, v1))
|
|
check(len(l2) == len(l1) and l2[0]["labels"].get("trace_id") == tid, "same log line after restart")
|
|
check(dash and dash["meta"].get("provisioned"), "dashboard provisioned after restart")
|
|
log.step("after restart: history preserved", spans=len(spans2), metric_at_t1=v2, log_lines=len(l2),
|
|
log_trace_id=l2[0]["labels"].get("trace_id"), dashboard_provisioned=dash["meta"].get("provisioned"))
|
|
c.call("GET", "/health/ready")
|
|
log.save(args.output)
|
|
print("PASS: trace, log and metric history survived restart of all stores")
|
|
return 0
|
|
|
|
|
|
if __name__ == "__main__":
|
|
try:
|
|
sys.exit(main())
|
|
except Failure as exc:
|
|
print("FAIL:", exc)
|
|
sys.exit(1)
|