#!/usr/bin/env python3 """Сбор воспроизводимых доказательств уровней 3–4.""" import argparse from datetime import datetime, timezone import json from pathlib import Path import re import shlex import subprocess import sys import time ROOT = Path(__file__).resolve().parents[1] def main(): parser = argparse.ArgumentParser(description=__doc__) parser.add_argument("--base-url", default="http://127.0.0.1:8080") parser.add_argument("--grafana-url", default="http://127.0.0.1:3000") args = parser.parse_args() probe = [sys.executable, "scripts/check_observability.py", "--base-url", args.base_url, "--grafana-url", args.grafana_url] incident = [sys.executable, "scripts/check_observability_incidents.py", "--base-url", args.base_url, "--grafana-url", args.grafana_url] checks = [ ("grade3-stand", "Стенд, тома и provisioning", [["docker", "compose", "config", "--quiet"], ["docker", "compose", "ps", "--all"], ["docker", "compose", "config", "--volumes"], ["docker", "compose", "run", "--rm", "--no-deps", "otel-collector", "validate", "--config=/etc/otelcol-contrib/config.yaml"], probe + ["provisioning"]], "Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. Collector принимает и маршрутизирует OTLP. Grafana читает данные и загружает dashboard из JSON."), ("grade3-smoke", "Совместимость API при включённой телеметрии", [["make", "check"], ["make", "test", "BASE_URL=" + args.base_url]], "Smoke проверяет сессии, сообщения, ACL, идемпотентность и готовность вложения с оригиналом и thumbnail."), ("grade3-signals", "Метрики, структурные логи и трассы API и worker", [probe + ["signals"]], "Контрольный POST сопоставляется с логом по X-Request-Id. Оба сервиса сопоставляются с Tempo по trace_id и span_id. Prometheus возвращает счётчики и histogram buckets. Проверка ищет утечки синтетических значений в полученных сигналах."), ("grade4-pipeline", "Сквозная трасса и повторная попытка", [probe + ["pipeline"], incident + ["retry"]], "Tempo подтверждает родительскую связь HTTP, producer и consumer, операции S3 и PostgreSQL и две попытки одной загрузки."), ("grade4-dashboard", "Метрики диагностики и SLO", [probe + ["dashboard"], ["docker", "compose", "exec", "-T", "prometheus", "promtool", "check", "rules", "/etc/prometheus/alerts.yaml"]], "Проверяются запросы панелей, SLI за 30 минут и синтаксис двух правил."), ("grade4-queue", "Остановка и восстановление worker", [incident + ["worker"]], "Возраст незавершённой работы вызывает firing. Вложение достигает ready после восстановления worker, алерт переходит в resolved."), ("grade4-database", "Задержка PostgreSQL и восстановление", [incident + ["database"]], "При блокировке таблицы растёт доля 5xx и алерт срабатывает. Задержку показывает дочерний спан PostgreSQL. После снятия блокировки алерт переходит в resolved."), ("grade4-telemetry", "Недоступность Tempo", [incident + ["telemetry"]], "Проверяются сообщения и готовность вложения при остановленном Tempo, снимок памяти Collector и число отброшенных спанов по его журналу."), ("grade4-load", "Короткая нагрузка на API", [["lscpu"], ["free", "-h"], ["docker", "compose", "version"], [sys.executable, "tests/load.py", "--base-url", args.base_url, "--duration", "30", "--concurrency", "4"], ["docker", "compose", "stats", "--no-stream"]], "Один closed-loop прогон POST сообщений с четырьмя клиентами, отдельно от инцидентов. Снимок ресурсов сделан сразу после прогона."), ] output_root = ROOT / "evidence/criteria" stamp = datetime.now(timezone.utc).strftime("%Y%m%dT%H%M%S.%fZ") run = output_root / "runs" / stamp run.mkdir(parents=True) summary = {} failed = False for name, title, commands, explanation in checks: lines = [f"# {title}", "", "Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.", "", explanation, ""] results = [] summary[name] = results for index, command in enumerate(commands, 1): started = time.monotonic() try: result = subprocess.run(command, cwd=ROOT, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True, timeout=240) code, output = result.returncode, result.stdout except subprocess.TimeoutExpired: code, output = 124, "Истёк лимит времени." except OSError: code, output = 127, "Команда недоступна." failed |= code != 0 output = re.sub(r"(https?://[^\s?]+)\?[^\s]+", r"\1?[redacted]", output).strip() output = "\n".join(line.rstrip() for line in output.splitlines()) raw = f"{name}-{index}.txt" (run / raw).write_text(output + "\n", encoding="utf-8") seconds = round(time.monotonic() - started, 2) results.append(dict(command=shlex.join(command), exit_code=code, seconds=seconds, output=raw)) lines.extend([f"Команда `{shlex.join(command)}`. Код выхода **{code}**. Время {seconds} с.", "", f"[Вывод](runs/{stamp}/{raw})", "", "````text", output or "(пусто)", "````", ""]) path = output_root / (name + ".md") path.write_text("\n".join(lines), encoding="utf-8") print(path.relative_to(ROOT), flush=True) index = ["# Доказательства критериев", "", f"[Сводка прогона {stamp}](runs/{stamp}/summary.json)", ""] for name, results in summary.items(): state = "PASS" if all(result["exit_code"] == 0 for result in results) else "FAIL" index.append(f"- [{name}]({name}.md) — {state}") (output_root / "README.md").write_text("\n".join(index) + "\n", encoding="utf-8") (run / "summary.json").write_text(json.dumps(summary, ensure_ascii=False, indent=2) + "\n", encoding="utf-8") return int(failed) if __name__ == "__main__": sys.exit(main())