Files
mtusi2026lab3-fork/scripts/summarize-scaling-diagnostics.py
T
qrtx c1fec73ccc perf(bench): add scaling experiments and saturation diagnostics
Compare API and PostgreSQL CPU budgets and connection pool limits. Collect repeatable measurements and generate report aggregates and graphs.
2026-10-29 11:49:51 +03:00

156 lines
13 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""Create CSV and Markdown from completed diagnostic runs (can run during a sweep)."""
import argparse
import csv
import json
from pathlib import Path
import statistics
import importlib.util
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument("directory", type=Path)
parser.add_argument("--refresh", action="store_true", help="Recompute summaries from raw records")
args = parser.parse_args()
manifest = json.loads((args.directory / "manifest.json").read_text(encoding="utf-8"))
results = []
raw_summaries = []
if args.refresh:
spec = importlib.util.spec_from_file_location("diagnostics", Path(__file__).with_name("run-scaling-diagnostics.py"))
diagnostics = importlib.util.module_from_spec(spec)
spec.loader.exec_module(diagnostics)
for label in manifest["runs"]:
path = args.directory / label / "summary.json"
if not path.exists():
continue
s = json.loads(path.read_text(encoding="utf-8"))
if args.refresh:
benchmark = json.loads((path.parent / "benchmark.json").read_text(encoding="utf-8"))
refreshed = diagnostics.summarize(path.parent, benchmark)
refreshed["diagnostics_complete"] = s.get("diagnostics_complete", False)
s = refreshed
path.write_text(json.dumps(s, indent=2) + "\n", encoding="utf-8")
raw_summaries.append(s)
m, p, r = s["measurement"], s["pools"], s["resources"]
acquisitions = sum(v["acquisitions"] for v in p.values())
results.append({
"label": label, "replicas": s["profile"]["expected_instances"],
"configuration": next((profile for profile in manifest.get("profiles", [])
if label.startswith(profile + "-r")), str(s["profile"]["expected_instances"])),
"phase": s["profile"].get("phase", "measurement"),
"delivery_valid": s.get("criterion", {}).get("delivery_valid"),
"duration_seconds": s["profile"]["duration_seconds"],
"offered_rps": s["profile"]["offered_rps"], "successful_rps": m["all"]["successful_rps"],
"attempted_rps": m["all"]["attempted"] / s["profile"]["duration_seconds"],
"p50_ms": m["all"]["successful_latency_ms"]["p50"],
"p95_ms": m["all"]["successful_latency_ms"]["p95"],
"all_request_p95_ms": s.get("all_latency_ms", {}).get("p95"),
"p99_ms": m["all"]["successful_latency_ms"]["p99"],
"errors": m["all"]["errors"], "dropped": m["client_dropped_slots"],
"drop_percent": 100*m["client_dropped_slots"]/m["scheduled_slots"],
"late_percent": 100*m["scheduler_late_slots"]/m["scheduled_slots"],
"acquisition_mean_ms": sum(v["mean_acquisition_ms"]*v["acquisitions"] for v in p.values()) / max(acquisitions, 1),
"acquisition_max_ms": max((v["max_acquisition_ms"] for v in p.values()), default=0),
"pool_max_waiting": max((v["max_waiting"] for v in p.values()), default=0),
"pool_observed_connection_increases": sum(v.get("observed_connection_increases", 0) for v in p.values()),
"pool_observed_connection_decreases": sum(v.get("observed_connection_decreases", 0) for v in p.values()),
"api_cpu_cores": sum(v.get("mean_cpu_cores", 0) for k, v in r.items() if k.startswith("api-")),
"api_max_throttle_percent": 100*max((v.get("throttled_period_fraction", 0) for k, v in r.items() if k.startswith("api-")), default=0),
"pg_cpu_cores": r["postgres"].get("mean_cpu_cores"),
"pg_throttle_percent": 100*r["postgres"].get("throttled_period_fraction", 0),
"nginx_cpu_cores": r["nginx"].get("mean_cpu_cores"),
"redis_cpu_cores": r["redis"].get("mean_cpu_cores"),
"host_cpu_pressure_percent": 100*s.get("host", {}).get("cpu_some_fraction", 0) if s.get("host", {}).get("samples", 0) > 1 else None,
"host_memory_pressure_percent": 100*s.get("host", {}).get("memory_full_fraction", 0) if s.get("host", {}).get("samples", 0) > 1 else None,
"host_io_pressure_percent": 100*s.get("host", {}).get("io_full_fraction", 0) if s.get("host", {}).get("samples", 0) > 1 else None,
"host_min_available_mib": s.get("host", {}).get("min_available_mib"),
"host_max_swap_used_mib": s.get("host", {}).get("max_swap_used_mib"),
"pg_max_active": s["postgres"]["max_active"],
"pg_max_idle_tx": s["postgres"]["max_idle_in_transaction"],
"pg_active_wait_observations": json.dumps(s["postgres"]["active_wait_observations"], sort_keys=True),
"nginx_min_ready": s["nginx"]["min_ready"], "nginx_changes": s["nginx"]["upstream_changes"],
"min_resource_coverage_seconds": min(v.get("coverage_seconds", 0) for v in r.values()),
})
if not results:
print("No completed runs yet")
return
with (args.directory / "results.csv").open("w", encoding="utf-8", newline="") as output:
writer = csv.DictWriter(output, fieldnames=results[0].keys())
writer.writeheader()
writer.writerows(results)
pg_limits = next((c for containers in manifest.get("containers", {}).values()
for c in containers if "-postgres-" in c.get("name", "")), None)
pg_description = (f"PostgreSQL — {pg_limits['nano_cpus']/1e9:g} CPU/{pg_limits['memory_bytes']/1024**2:g} МиБ."
if pg_limits else "Лимиты PostgreSQL не записаны в manifest.")
pool_descriptions = [f"{profile}: " + "/".join(sorted({str(c['pool_max']) for c in containers
if "-api-" in c.get("name", "") and c.get("pool_max") is not None}))
for profile, containers in manifest.get("containers", {}).items()]
pool_description = "; ".join(pool_descriptions) or "см. manifest"
api_budgets = []
for profile, containers in manifest.get("containers", {}).items():
apis = [c for c in containers if "-api-" in c.get("name", "")]
if apis:
cpu = sum(c['nano_cpus'] for c in apis) / 1e9
memory = sum(c['memory_bytes'] for c in apis) / 1024**2
api_budgets.append(f"{profile}: {cpu:g} CPU/{memory:g} МиБ")
api_description = "; ".join(api_budgets) or "см. manifest"
probe_description = (f"Разведочные прогоны: {manifest['probe_duration_seconds']} с после "
f"{manifest['probe_warmup_seconds']} с прогрева. Указанная ниже длительность "
"относится к подтверждающим прогонам. " if "probe_duration_seconds" in manifest else "")
lines = ["# Диагностическая серия масштабирования", "",
probe_description + f"Завершено прогонов: {len(results)}. Длительность измерения — {manifest['duration_seconds']} с, "
f"прогрев — {manifest['warmup_seconds']} с. Пул на реплику — {pool_description}. Общий бюджет API — {api_description}; " + pg_description, "",
("Клиент: Linux-контейнер через внутренний адрес Nginx; разделяет ресурсы Docker VM." if manifest.get("client") == "container"
else "Клиент: Windows-хост через опубликованный порт Nginx."),
f"Версия SQL-наблюдателя: {manifest.get('observer_version', '1/2, первоначальная серия')}. "
"Серия с версиями 1/2 имеет повышенные накладные расходы наблюдения; см. калибровку в итоговой интерпретации.", "",
"Методика и повторение: [scripts/diagnostics/README.md](../../../scripts/diagnostics/README.md). "
"Исходные HTTP-данные, временные ряды и summary каждого прогона находятся в его подкаталоге. "
"Полная таблица метрик: [results.csv](results.csv). Все настройки и причины остановки нагрузки: [manifest.json](manifest.json).", "",
"Показатели ниже — результаты каждого прогона. CPU выражен в долях одного ядра; "
"throttle — доля периодов CPU, в которых cgroup ограничивала выполнение. Получение соединения "
"включает установку новых соединений и задержки event loop. Очередь наблюдалась каждые 100 мс. "
"Наблюдатели имеют собственные накладные расходы; результаты не являются ненаблюдаемой максимальной ёмкостью API.", "",
"| Прогон | Успешные RPS | p95, мс | Ошибки | Пропуски, % | Пул: среднее / max, мс | Max очередь | CPU API / PG | Throttle API max / PG, % | Upstream min / изменений |",
"| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: |"]
for r in results:
lines.append(f"| [{r['label']}]({r['label']}/summary.json) | {r['successful_rps']:.2f} | "
f"{r['p95_ms']:.0f} | {r['errors']} | {r['drop_percent']:.1f} | "
f"{r['acquisition_mean_ms']:.2f} / {r['acquisition_max_ms']:.0f} | {r['pool_max_waiting']} | "
f"{r['api_cpu_cores']:.2f} / {r['pg_cpu_cores'] or 0:.2f} | "
f"{r['api_max_throttle_percent']:.1f} / {r['pg_throttle_percent']:.1f} | "
f"{r['nginx_min_ready']} / {r['nginx_changes']} |")
lines += ["", "## Повторы на одном уровне нагрузки", "",
"Здесь показаны медианы результатов отдельных прогонов. Медиана p95 не является p95 объединённых запросов.", "",
"| Профиль | Задано RPS | Повторов | Медиана отправленных RPS | Медиана успешных RPS | Медиана p95, мс | Всего ошибок | Медиана пропусков, % |",
"| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |"]
for key in sorted({(r["configuration"], r["offered_rps"]) for r in results}):
group = [r for r in results if (r["configuration"], r["offered_rps"]) == key]
lines.append(f"| {key[0]} | {key[1]} | {len(group)} | "
f"{statistics.median(r['attempted_rps'] for r in group):.2f} | "
f"{statistics.median(r['successful_rps'] for r in group):.2f} | "
f"{statistics.median(r['p95_ms'] for r in group):.0f} | "
f"{sum(r['errors'] for r in group)} | "
f"{statistics.median(r['drop_percent'] for r in group):.1f} |")
lines += ["", "## Границы серии", ""]
for profile, stop in manifest["stopped_profiles"].items():
lines.append(f"- {profile}: повышение остановлено после {stop['rate']} запросов/с: {', '.join(stop['reasons'])}.")
if manifest.get("full_matrix"):
lines.append("Режим полной матрицы: превышения порогов не останавливают повышение нагрузки; все перечисленные точки запланированы к выполнению.")
for profile, crossings in manifest.get("threshold_crossings", {}).items():
for crossing in crossings:
lines.append(f"- {profile}, {crossing['rate']} запросов/с: {', '.join(crossing['reasons'])}.")
lines += ["", "Превышение порога задержки или пропусков не доказывает насыщение конкретного компонента. "
"Для интерпретации необходимо сопоставить очередь пула, ограничения CPU, ожидания PostgreSQL и изменения upstream. "
"SQL-тексты, токены и пароли в этой серии не сохраняются.", ""]
if (args.directory / "findings.md").exists():
lines += ["## Итоговая интерпретация", "",
"[Выводы и графики](findings.md). Проверка полноты серии: [audit.json](audit.json).", ""]
(args.directory / "README.md").write_text("\n".join(lines), encoding="utf-8")
print(f"Wrote {len(results)} runs to {args.directory / 'results.csv'}")
if __name__ == "__main__":
main()