Files
mtusi2026lab6-fork/scripts/generate_evidence.py
T

104 lines
7.2 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""Сбор воспроизводимых доказательств уровней 3–4."""
import argparse
from datetime import datetime, timezone
import json
from pathlib import Path
import re
import shlex
import subprocess
import sys
import time
ROOT = Path(__file__).resolve().parents[1]
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument("--base-url", default="http://127.0.0.1:8080")
parser.add_argument("--grafana-url", default="http://127.0.0.1:3000")
args = parser.parse_args()
probe = [sys.executable, "scripts/check_observability.py", "--base-url", args.base_url,
"--grafana-url", args.grafana_url]
incident = [sys.executable, "scripts/check_observability_incidents.py", "--base-url", args.base_url,
"--grafana-url", args.grafana_url]
checks = [
("grade3-stand", "Стенд, тома и provisioning",
[["docker", "compose", "config", "--quiet"],
["docker", "compose", "ps", "--all"],
["docker", "compose", "config", "--volumes"],
["docker", "compose", "run", "--rm", "--no-deps", "otel-collector", "validate", "--config=/etc/otelcol-contrib/config.yaml"],
probe + ["provisioning"]],
"Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. Collector принимает и маршрутизирует OTLP. Grafana читает данные и загружает dashboard из JSON."),
("grade3-smoke", "Совместимость API при включённой телеметрии",
[["make", "check"], ["make", "test", "BASE_URL=" + args.base_url]],
"Smoke проверяет сессии, сообщения, ACL, идемпотентность и готовность вложения с оригиналом и thumbnail."),
("grade3-signals", "Метрики, структурные логи и трассы API и worker",
[probe + ["signals"]],
"Контрольный POST сопоставляется с логом по X-Request-Id. Оба сервиса сопоставляются с Tempo по trace_id и span_id. Prometheus возвращает счётчики и histogram buckets. Проверка ищет утечки синтетических значений в полученных сигналах."),
("grade4-pipeline", "Сквозная трасса и повторная попытка",
[probe + ["pipeline"], incident + ["retry"]],
"Tempo подтверждает родительскую связь HTTP, producer и consumer, операции S3 и PostgreSQL и две попытки одной загрузки."),
("grade4-dashboard", "Метрики диагностики и SLO",
[probe + ["dashboard"], ["docker", "compose", "exec", "-T", "prometheus", "promtool", "check", "rules", "/etc/prometheus/alerts.yaml"]],
"Проверяются запросы панелей, SLI за 30 минут и синтаксис двух правил."),
("grade4-queue", "Остановка и восстановление worker",
[incident + ["worker"]],
"Возраст незавершённой работы вызывает firing. Вложение достигает ready после восстановления worker, алерт переходит в resolved."),
("grade4-database", "Задержка PostgreSQL и восстановление",
[incident + ["database"]],
"При блокировке таблицы растёт доля 5xx и алерт срабатывает. Задержку показывает дочерний спан PostgreSQL. После снятия блокировки алерт переходит в resolved."),
("grade4-telemetry", "Недоступность Tempo",
[incident + ["telemetry"]],
"Проверяются сообщения и готовность вложения при остановленном Tempo, снимок памяти Collector и число отброшенных спанов по его журналу."),
("grade4-load", "Короткая нагрузка на API",
[["lscpu"], ["free", "-h"], ["docker", "compose", "version"],
[sys.executable, "tests/load.py", "--base-url", args.base_url, "--duration", "30", "--concurrency", "4"],
["docker", "compose", "stats", "--no-stream"]],
"Один closed-loop прогон POST сообщений с четырьмя клиентами, отдельно от инцидентов. Снимок ресурсов сделан сразу после прогона."),
]
output_root = ROOT / "evidence/criteria"
stamp = datetime.now(timezone.utc).strftime("%Y%m%dT%H%M%S.%fZ")
run = output_root / "runs" / stamp
run.mkdir(parents=True)
summary = {}
failed = False
for name, title, commands, explanation in checks:
lines = [f"# {title}", "", "Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.",
"", explanation, ""]
results = []
summary[name] = results
for index, command in enumerate(commands, 1):
started = time.monotonic()
try:
result = subprocess.run(command, cwd=ROOT, stdout=subprocess.PIPE, stderr=subprocess.STDOUT,
text=True, timeout=240)
code, output = result.returncode, result.stdout
except subprocess.TimeoutExpired:
code, output = 124, "Истёк лимит времени."
except OSError:
code, output = 127, "Команда недоступна."
failed |= code != 0
output = re.sub(r"(https?://[^\s?]+)\?[^\s]+", r"\1?[redacted]", output).strip()
output = "\n".join(line.rstrip() for line in output.splitlines())
raw = f"{name}-{index}.txt"
(run / raw).write_text(output + "\n", encoding="utf-8")
seconds = round(time.monotonic() - started, 2)
results.append(dict(command=shlex.join(command), exit_code=code, seconds=seconds, output=raw))
lines.extend([f"Команда `{shlex.join(command)}`. Код выхода **{code}**. Время {seconds} с.",
"", f"[Вывод](runs/{stamp}/{raw})", "", "````text", output or "(пусто)", "````", ""])
path = output_root / (name + ".md")
path.write_text("\n".join(lines), encoding="utf-8")
print(path.relative_to(ROOT), flush=True)
index = ["# Доказательства критериев", "", f"[Сводка прогона {stamp}](runs/{stamp}/summary.json)", ""]
for name, results in summary.items():
state = "PASS" if all(result["exit_code"] == 0 for result in results) else "FAIL"
index.append(f"- [{name}]({name}.md) — {state}")
(output_root / "README.md").write_text("\n".join(index) + "\n", encoding="utf-8")
(run / "summary.json").write_text(json.dumps(summary, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
return int(failed)
if __name__ == "__main__":
sys.exit(main())