104 lines
7.2 KiB
Python
104 lines
7.2 KiB
Python
#!/usr/bin/env python3
|
||
"""Сбор воспроизводимых доказательств уровней 3–4."""
|
||
import argparse
|
||
from datetime import datetime, timezone
|
||
import json
|
||
from pathlib import Path
|
||
import re
|
||
import shlex
|
||
import subprocess
|
||
import sys
|
||
import time
|
||
|
||
ROOT = Path(__file__).resolve().parents[1]
|
||
|
||
|
||
def main():
|
||
parser = argparse.ArgumentParser(description=__doc__)
|
||
parser.add_argument("--base-url", default="http://127.0.0.1:8080")
|
||
parser.add_argument("--grafana-url", default="http://127.0.0.1:3000")
|
||
args = parser.parse_args()
|
||
probe = [sys.executable, "scripts/check_observability.py", "--base-url", args.base_url,
|
||
"--grafana-url", args.grafana_url]
|
||
incident = [sys.executable, "scripts/check_observability_incidents.py", "--base-url", args.base_url,
|
||
"--grafana-url", args.grafana_url]
|
||
checks = [
|
||
("grade3-stand", "Стенд, тома и provisioning",
|
||
[["docker", "compose", "config", "--quiet"],
|
||
["docker", "compose", "ps", "--all"],
|
||
["docker", "compose", "config", "--volumes"],
|
||
["docker", "compose", "run", "--rm", "--no-deps", "otel-collector", "validate", "--config=/etc/otelcol-contrib/config.yaml"],
|
||
probe + ["provisioning"]],
|
||
"Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. Collector принимает и маршрутизирует OTLP. Grafana читает данные и загружает dashboard из JSON."),
|
||
("grade3-smoke", "Совместимость API при включённой телеметрии",
|
||
[["make", "check"], ["make", "test", "BASE_URL=" + args.base_url]],
|
||
"Smoke проверяет сессии, сообщения, ACL, идемпотентность и готовность вложения с оригиналом и thumbnail."),
|
||
("grade3-signals", "Метрики, структурные логи и трассы API и worker",
|
||
[probe + ["signals"]],
|
||
"Контрольный POST сопоставляется с логом по X-Request-Id. Оба сервиса сопоставляются с Tempo по trace_id и span_id. Prometheus возвращает счётчики и histogram buckets. Проверка ищет утечки синтетических значений в полученных сигналах."),
|
||
("grade4-pipeline", "Сквозная трасса и повторная попытка",
|
||
[probe + ["pipeline"], incident + ["retry"]],
|
||
"Tempo подтверждает родительскую связь HTTP, producer и consumer, операции S3 и PostgreSQL и две попытки одной загрузки."),
|
||
("grade4-dashboard", "Метрики диагностики и SLO",
|
||
[probe + ["dashboard"], ["docker", "compose", "exec", "-T", "prometheus", "promtool", "check", "rules", "/etc/prometheus/alerts.yaml"]],
|
||
"Проверяются запросы панелей, SLI за 30 минут и синтаксис двух правил."),
|
||
("grade4-queue", "Остановка и восстановление worker",
|
||
[incident + ["worker"]],
|
||
"Возраст незавершённой работы вызывает firing. Вложение достигает ready после восстановления worker, алерт переходит в resolved."),
|
||
("grade4-database", "Задержка PostgreSQL и восстановление",
|
||
[incident + ["database"]],
|
||
"При блокировке таблицы растёт доля 5xx и алерт срабатывает. Задержку показывает дочерний спан PostgreSQL. После снятия блокировки алерт переходит в resolved."),
|
||
("grade4-telemetry", "Недоступность Tempo",
|
||
[incident + ["telemetry"]],
|
||
"Проверяются сообщения и готовность вложения при остановленном Tempo, снимок памяти Collector и число отброшенных спанов по его журналу."),
|
||
("grade4-load", "Короткая нагрузка на API",
|
||
[["lscpu"], ["free", "-h"], ["docker", "compose", "version"],
|
||
[sys.executable, "tests/load.py", "--base-url", args.base_url, "--duration", "30", "--concurrency", "4"],
|
||
["docker", "compose", "stats", "--no-stream"]],
|
||
"Один closed-loop прогон POST сообщений с четырьмя клиентами, отдельно от инцидентов. Снимок ресурсов сделан сразу после прогона."),
|
||
]
|
||
output_root = ROOT / "evidence/criteria"
|
||
stamp = datetime.now(timezone.utc).strftime("%Y%m%dT%H%M%S.%fZ")
|
||
run = output_root / "runs" / stamp
|
||
run.mkdir(parents=True)
|
||
summary = {}
|
||
failed = False
|
||
for name, title, commands, explanation in checks:
|
||
lines = [f"# {title}", "", "Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.",
|
||
"", explanation, ""]
|
||
results = []
|
||
summary[name] = results
|
||
for index, command in enumerate(commands, 1):
|
||
started = time.monotonic()
|
||
try:
|
||
result = subprocess.run(command, cwd=ROOT, stdout=subprocess.PIPE, stderr=subprocess.STDOUT,
|
||
text=True, timeout=240)
|
||
code, output = result.returncode, result.stdout
|
||
except subprocess.TimeoutExpired:
|
||
code, output = 124, "Истёк лимит времени."
|
||
except OSError:
|
||
code, output = 127, "Команда недоступна."
|
||
failed |= code != 0
|
||
output = re.sub(r"(https?://[^\s?]+)\?[^\s]+", r"\1?[redacted]", output).strip()
|
||
output = "\n".join(line.rstrip() for line in output.splitlines())
|
||
raw = f"{name}-{index}.txt"
|
||
(run / raw).write_text(output + "\n", encoding="utf-8")
|
||
seconds = round(time.monotonic() - started, 2)
|
||
results.append(dict(command=shlex.join(command), exit_code=code, seconds=seconds, output=raw))
|
||
lines.extend([f"Команда `{shlex.join(command)}`. Код выхода **{code}**. Время {seconds} с.",
|
||
"", f"[Вывод](runs/{stamp}/{raw})", "", "````text", output or "(пусто)", "````", ""])
|
||
path = output_root / (name + ".md")
|
||
path.write_text("\n".join(lines), encoding="utf-8")
|
||
print(path.relative_to(ROOT), flush=True)
|
||
index = ["# Доказательства критериев", "", f"[Сводка прогона {stamp}](runs/{stamp}/summary.json)", ""]
|
||
for name, results in summary.items():
|
||
state = "PASS" if all(result["exit_code"] == 0 for result in results) else "FAIL"
|
||
index.append(f"- [{name}]({name}.md) — {state}")
|
||
(output_root / "README.md").write_text("\n".join(index) + "\n", encoding="utf-8")
|
||
(run / "summary.json").write_text(json.dumps(summary, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
|
||
return int(failed)
|
||
|
||
|
||
if __name__ == "__main__":
|
||
sys.exit(main())
|