#!/usr/bin/env python3 """Create CSV and Markdown from completed diagnostic runs (can run during a sweep).""" import argparse import csv import json from pathlib import Path import statistics import importlib.util def main(): parser = argparse.ArgumentParser(description=__doc__) parser.add_argument("directory", type=Path) parser.add_argument("--refresh", action="store_true", help="Recompute summaries from raw records") args = parser.parse_args() manifest = json.loads((args.directory / "manifest.json").read_text(encoding="utf-8")) results = [] raw_summaries = [] if args.refresh: spec = importlib.util.spec_from_file_location("diagnostics", Path(__file__).with_name("run-scaling-diagnostics.py")) diagnostics = importlib.util.module_from_spec(spec) spec.loader.exec_module(diagnostics) for label in manifest["runs"]: path = args.directory / label / "summary.json" if not path.exists(): continue s = json.loads(path.read_text(encoding="utf-8")) if args.refresh: benchmark = json.loads((path.parent / "benchmark.json").read_text(encoding="utf-8")) refreshed = diagnostics.summarize(path.parent, benchmark) refreshed["diagnostics_complete"] = s.get("diagnostics_complete", False) s = refreshed path.write_text(json.dumps(s, indent=2) + "\n", encoding="utf-8") raw_summaries.append(s) m, p, r = s["measurement"], s["pools"], s["resources"] acquisitions = sum(v["acquisitions"] for v in p.values()) results.append({ "label": label, "replicas": s["profile"]["expected_instances"], "configuration": next((profile for profile in manifest.get("profiles", []) if label.startswith(profile + "-r")), str(s["profile"]["expected_instances"])), "phase": s["profile"].get("phase", "measurement"), "delivery_valid": s.get("criterion", {}).get("delivery_valid"), "duration_seconds": s["profile"]["duration_seconds"], "offered_rps": s["profile"]["offered_rps"], "successful_rps": m["all"]["successful_rps"], "attempted_rps": m["all"]["attempted"] / s["profile"]["duration_seconds"], "p50_ms": m["all"]["successful_latency_ms"]["p50"], "p95_ms": m["all"]["successful_latency_ms"]["p95"], "all_request_p95_ms": s.get("all_latency_ms", {}).get("p95"), "p99_ms": m["all"]["successful_latency_ms"]["p99"], "errors": m["all"]["errors"], "dropped": m["client_dropped_slots"], "drop_percent": 100*m["client_dropped_slots"]/m["scheduled_slots"], "late_percent": 100*m["scheduler_late_slots"]/m["scheduled_slots"], "acquisition_mean_ms": sum(v["mean_acquisition_ms"]*v["acquisitions"] for v in p.values()) / max(acquisitions, 1), "acquisition_max_ms": max((v["max_acquisition_ms"] for v in p.values()), default=0), "pool_max_waiting": max((v["max_waiting"] for v in p.values()), default=0), "pool_observed_connection_increases": sum(v.get("observed_connection_increases", 0) for v in p.values()), "pool_observed_connection_decreases": sum(v.get("observed_connection_decreases", 0) for v in p.values()), "api_cpu_cores": sum(v.get("mean_cpu_cores", 0) for k, v in r.items() if k.startswith("api-")), "api_max_throttle_percent": 100*max((v.get("throttled_period_fraction", 0) for k, v in r.items() if k.startswith("api-")), default=0), "pg_cpu_cores": r["postgres"].get("mean_cpu_cores"), "pg_throttle_percent": 100*r["postgres"].get("throttled_period_fraction", 0), "nginx_cpu_cores": r["nginx"].get("mean_cpu_cores"), "redis_cpu_cores": r["redis"].get("mean_cpu_cores"), "host_cpu_pressure_percent": 100*s.get("host", {}).get("cpu_some_fraction", 0) if s.get("host", {}).get("samples", 0) > 1 else None, "host_memory_pressure_percent": 100*s.get("host", {}).get("memory_full_fraction", 0) if s.get("host", {}).get("samples", 0) > 1 else None, "host_io_pressure_percent": 100*s.get("host", {}).get("io_full_fraction", 0) if s.get("host", {}).get("samples", 0) > 1 else None, "host_min_available_mib": s.get("host", {}).get("min_available_mib"), "host_max_swap_used_mib": s.get("host", {}).get("max_swap_used_mib"), "pg_max_active": s["postgres"]["max_active"], "pg_max_idle_tx": s["postgres"]["max_idle_in_transaction"], "pg_active_wait_observations": json.dumps(s["postgres"]["active_wait_observations"], sort_keys=True), "nginx_min_ready": s["nginx"]["min_ready"], "nginx_changes": s["nginx"]["upstream_changes"], "min_resource_coverage_seconds": min(v.get("coverage_seconds", 0) for v in r.values()), }) if not results: print("No completed runs yet") return with (args.directory / "results.csv").open("w", encoding="utf-8", newline="") as output: writer = csv.DictWriter(output, fieldnames=results[0].keys()) writer.writeheader() writer.writerows(results) pg_limits = next((c for containers in manifest.get("containers", {}).values() for c in containers if "-postgres-" in c.get("name", "")), None) pg_description = (f"PostgreSQL — {pg_limits['nano_cpus']/1e9:g} CPU/{pg_limits['memory_bytes']/1024**2:g} МиБ." if pg_limits else "Лимиты PostgreSQL не записаны в manifest.") pool_descriptions = [f"{profile}: " + "/".join(sorted({str(c['pool_max']) for c in containers if "-api-" in c.get("name", "") and c.get("pool_max") is not None})) for profile, containers in manifest.get("containers", {}).items()] pool_description = "; ".join(pool_descriptions) or "см. manifest" api_budgets = [] for profile, containers in manifest.get("containers", {}).items(): apis = [c for c in containers if "-api-" in c.get("name", "")] if apis: cpu = sum(c['nano_cpus'] for c in apis) / 1e9 memory = sum(c['memory_bytes'] for c in apis) / 1024**2 api_budgets.append(f"{profile}: {cpu:g} CPU/{memory:g} МиБ") api_description = "; ".join(api_budgets) or "см. manifest" probe_description = (f"Разведочные прогоны: {manifest['probe_duration_seconds']} с после " f"{manifest['probe_warmup_seconds']} с прогрева. Указанная ниже длительность " "относится к подтверждающим прогонам. " if "probe_duration_seconds" in manifest else "") lines = ["# Диагностическая серия масштабирования", "", probe_description + f"Завершено прогонов: {len(results)}. Длительность измерения — {manifest['duration_seconds']} с, " f"прогрев — {manifest['warmup_seconds']} с. Пул на реплику — {pool_description}. Общий бюджет API — {api_description}; " + pg_description, "", ("Клиент: Linux-контейнер через внутренний адрес Nginx; разделяет ресурсы Docker VM." if manifest.get("client") == "container" else "Клиент: Windows-хост через опубликованный порт Nginx."), f"Версия SQL-наблюдателя: {manifest.get('observer_version', '1/2, первоначальная серия')}. " "Серия с версиями 1/2 имеет повышенные накладные расходы наблюдения; см. калибровку в итоговой интерпретации.", "", "Методика и повторение: [scripts/diagnostics/README.md](../../../scripts/diagnostics/README.md). " "Исходные HTTP-данные, временные ряды и summary каждого прогона находятся в его подкаталоге. " "Полная таблица метрик: [results.csv](results.csv). Все настройки и причины остановки нагрузки: [manifest.json](manifest.json).", "", "Показатели ниже — результаты каждого прогона. CPU выражен в долях одного ядра; " "throttle — доля периодов CPU, в которых cgroup ограничивала выполнение. Получение соединения " "включает установку новых соединений и задержки event loop. Очередь наблюдалась каждые 100 мс. " "Наблюдатели имеют собственные накладные расходы; результаты не являются ненаблюдаемой максимальной ёмкостью API.", "", "| Прогон | Успешные RPS | p95, мс | Ошибки | Пропуски, % | Пул: среднее / max, мс | Max очередь | CPU API / PG | Throttle API max / PG, % | Upstream min / изменений |", "| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: |"] for r in results: lines.append(f"| [{r['label']}]({r['label']}/summary.json) | {r['successful_rps']:.2f} | " f"{r['p95_ms']:.0f} | {r['errors']} | {r['drop_percent']:.1f} | " f"{r['acquisition_mean_ms']:.2f} / {r['acquisition_max_ms']:.0f} | {r['pool_max_waiting']} | " f"{r['api_cpu_cores']:.2f} / {r['pg_cpu_cores'] or 0:.2f} | " f"{r['api_max_throttle_percent']:.1f} / {r['pg_throttle_percent']:.1f} | " f"{r['nginx_min_ready']} / {r['nginx_changes']} |") lines += ["", "## Повторы на одном уровне нагрузки", "", "Здесь показаны медианы результатов отдельных прогонов. Медиана p95 не является p95 объединённых запросов.", "", "| Профиль | Задано RPS | Повторов | Медиана отправленных RPS | Медиана успешных RPS | Медиана p95, мс | Всего ошибок | Медиана пропусков, % |", "| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |"] for key in sorted({(r["configuration"], r["offered_rps"]) for r in results}): group = [r for r in results if (r["configuration"], r["offered_rps"]) == key] lines.append(f"| {key[0]} | {key[1]} | {len(group)} | " f"{statistics.median(r['attempted_rps'] for r in group):.2f} | " f"{statistics.median(r['successful_rps'] for r in group):.2f} | " f"{statistics.median(r['p95_ms'] for r in group):.0f} | " f"{sum(r['errors'] for r in group)} | " f"{statistics.median(r['drop_percent'] for r in group):.1f} |") lines += ["", "## Границы серии", ""] for profile, stop in manifest["stopped_profiles"].items(): lines.append(f"- {profile}: повышение остановлено после {stop['rate']} запросов/с: {', '.join(stop['reasons'])}.") if manifest.get("full_matrix"): lines.append("Режим полной матрицы: превышения порогов не останавливают повышение нагрузки; все перечисленные точки запланированы к выполнению.") for profile, crossings in manifest.get("threshold_crossings", {}).items(): for crossing in crossings: lines.append(f"- {profile}, {crossing['rate']} запросов/с: {', '.join(crossing['reasons'])}.") lines += ["", "Превышение порога задержки или пропусков не доказывает насыщение конкретного компонента. " "Для интерпретации необходимо сопоставить очередь пула, ограничения CPU, ожидания PostgreSQL и изменения upstream. " "SQL-тексты, токены и пароли в этой серии не сохраняются.", ""] if (args.directory / "findings.md").exists(): lines += ["## Итоговая интерпретация", "", "[Выводы и графики](findings.md). Проверка полноты серии: [audit.json](audit.json).", ""] (args.directory / "README.md").write_text("\n".join(lines), encoding="utf-8") print(f"Wrote {len(results)} runs to {args.directory / 'results.csv'}") if __name__ == "__main__": main()