forked from mtusi2026/mtusi2026lab3
Compare API and PostgreSQL CPU budgets and connection pool limits. Collect repeatable measurements and generate report aggregates and graphs.
156 lines
13 KiB
Python
156 lines
13 KiB
Python
#!/usr/bin/env python3
|
||
"""Create CSV and Markdown from completed diagnostic runs (can run during a sweep)."""
|
||
import argparse
|
||
import csv
|
||
import json
|
||
from pathlib import Path
|
||
import statistics
|
||
import importlib.util
|
||
|
||
|
||
def main():
|
||
parser = argparse.ArgumentParser(description=__doc__)
|
||
parser.add_argument("directory", type=Path)
|
||
parser.add_argument("--refresh", action="store_true", help="Recompute summaries from raw records")
|
||
args = parser.parse_args()
|
||
manifest = json.loads((args.directory / "manifest.json").read_text(encoding="utf-8"))
|
||
results = []
|
||
raw_summaries = []
|
||
if args.refresh:
|
||
spec = importlib.util.spec_from_file_location("diagnostics", Path(__file__).with_name("run-scaling-diagnostics.py"))
|
||
diagnostics = importlib.util.module_from_spec(spec)
|
||
spec.loader.exec_module(diagnostics)
|
||
for label in manifest["runs"]:
|
||
path = args.directory / label / "summary.json"
|
||
if not path.exists():
|
||
continue
|
||
s = json.loads(path.read_text(encoding="utf-8"))
|
||
if args.refresh:
|
||
benchmark = json.loads((path.parent / "benchmark.json").read_text(encoding="utf-8"))
|
||
refreshed = diagnostics.summarize(path.parent, benchmark)
|
||
refreshed["diagnostics_complete"] = s.get("diagnostics_complete", False)
|
||
s = refreshed
|
||
path.write_text(json.dumps(s, indent=2) + "\n", encoding="utf-8")
|
||
raw_summaries.append(s)
|
||
m, p, r = s["measurement"], s["pools"], s["resources"]
|
||
acquisitions = sum(v["acquisitions"] for v in p.values())
|
||
results.append({
|
||
"label": label, "replicas": s["profile"]["expected_instances"],
|
||
"configuration": next((profile for profile in manifest.get("profiles", [])
|
||
if label.startswith(profile + "-r")), str(s["profile"]["expected_instances"])),
|
||
"phase": s["profile"].get("phase", "measurement"),
|
||
"delivery_valid": s.get("criterion", {}).get("delivery_valid"),
|
||
"duration_seconds": s["profile"]["duration_seconds"],
|
||
"offered_rps": s["profile"]["offered_rps"], "successful_rps": m["all"]["successful_rps"],
|
||
"attempted_rps": m["all"]["attempted"] / s["profile"]["duration_seconds"],
|
||
"p50_ms": m["all"]["successful_latency_ms"]["p50"],
|
||
"p95_ms": m["all"]["successful_latency_ms"]["p95"],
|
||
"all_request_p95_ms": s.get("all_latency_ms", {}).get("p95"),
|
||
"p99_ms": m["all"]["successful_latency_ms"]["p99"],
|
||
"errors": m["all"]["errors"], "dropped": m["client_dropped_slots"],
|
||
"drop_percent": 100*m["client_dropped_slots"]/m["scheduled_slots"],
|
||
"late_percent": 100*m["scheduler_late_slots"]/m["scheduled_slots"],
|
||
"acquisition_mean_ms": sum(v["mean_acquisition_ms"]*v["acquisitions"] for v in p.values()) / max(acquisitions, 1),
|
||
"acquisition_max_ms": max((v["max_acquisition_ms"] for v in p.values()), default=0),
|
||
"pool_max_waiting": max((v["max_waiting"] for v in p.values()), default=0),
|
||
"pool_observed_connection_increases": sum(v.get("observed_connection_increases", 0) for v in p.values()),
|
||
"pool_observed_connection_decreases": sum(v.get("observed_connection_decreases", 0) for v in p.values()),
|
||
"api_cpu_cores": sum(v.get("mean_cpu_cores", 0) for k, v in r.items() if k.startswith("api-")),
|
||
"api_max_throttle_percent": 100*max((v.get("throttled_period_fraction", 0) for k, v in r.items() if k.startswith("api-")), default=0),
|
||
"pg_cpu_cores": r["postgres"].get("mean_cpu_cores"),
|
||
"pg_throttle_percent": 100*r["postgres"].get("throttled_period_fraction", 0),
|
||
"nginx_cpu_cores": r["nginx"].get("mean_cpu_cores"),
|
||
"redis_cpu_cores": r["redis"].get("mean_cpu_cores"),
|
||
"host_cpu_pressure_percent": 100*s.get("host", {}).get("cpu_some_fraction", 0) if s.get("host", {}).get("samples", 0) > 1 else None,
|
||
"host_memory_pressure_percent": 100*s.get("host", {}).get("memory_full_fraction", 0) if s.get("host", {}).get("samples", 0) > 1 else None,
|
||
"host_io_pressure_percent": 100*s.get("host", {}).get("io_full_fraction", 0) if s.get("host", {}).get("samples", 0) > 1 else None,
|
||
"host_min_available_mib": s.get("host", {}).get("min_available_mib"),
|
||
"host_max_swap_used_mib": s.get("host", {}).get("max_swap_used_mib"),
|
||
"pg_max_active": s["postgres"]["max_active"],
|
||
"pg_max_idle_tx": s["postgres"]["max_idle_in_transaction"],
|
||
"pg_active_wait_observations": json.dumps(s["postgres"]["active_wait_observations"], sort_keys=True),
|
||
"nginx_min_ready": s["nginx"]["min_ready"], "nginx_changes": s["nginx"]["upstream_changes"],
|
||
"min_resource_coverage_seconds": min(v.get("coverage_seconds", 0) for v in r.values()),
|
||
})
|
||
if not results:
|
||
print("No completed runs yet")
|
||
return
|
||
with (args.directory / "results.csv").open("w", encoding="utf-8", newline="") as output:
|
||
writer = csv.DictWriter(output, fieldnames=results[0].keys())
|
||
writer.writeheader()
|
||
writer.writerows(results)
|
||
pg_limits = next((c for containers in manifest.get("containers", {}).values()
|
||
for c in containers if "-postgres-" in c.get("name", "")), None)
|
||
pg_description = (f"PostgreSQL — {pg_limits['nano_cpus']/1e9:g} CPU/{pg_limits['memory_bytes']/1024**2:g} МиБ."
|
||
if pg_limits else "Лимиты PostgreSQL не записаны в manifest.")
|
||
pool_descriptions = [f"{profile}: " + "/".join(sorted({str(c['pool_max']) for c in containers
|
||
if "-api-" in c.get("name", "") and c.get("pool_max") is not None}))
|
||
for profile, containers in manifest.get("containers", {}).items()]
|
||
pool_description = "; ".join(pool_descriptions) or "см. manifest"
|
||
api_budgets = []
|
||
for profile, containers in manifest.get("containers", {}).items():
|
||
apis = [c for c in containers if "-api-" in c.get("name", "")]
|
||
if apis:
|
||
cpu = sum(c['nano_cpus'] for c in apis) / 1e9
|
||
memory = sum(c['memory_bytes'] for c in apis) / 1024**2
|
||
api_budgets.append(f"{profile}: {cpu:g} CPU/{memory:g} МиБ")
|
||
api_description = "; ".join(api_budgets) or "см. manifest"
|
||
probe_description = (f"Разведочные прогоны: {manifest['probe_duration_seconds']} с после "
|
||
f"{manifest['probe_warmup_seconds']} с прогрева. Указанная ниже длительность "
|
||
"относится к подтверждающим прогонам. " if "probe_duration_seconds" in manifest else "")
|
||
lines = ["# Диагностическая серия масштабирования", "",
|
||
probe_description + f"Завершено прогонов: {len(results)}. Длительность измерения — {manifest['duration_seconds']} с, "
|
||
f"прогрев — {manifest['warmup_seconds']} с. Пул на реплику — {pool_description}. Общий бюджет API — {api_description}; " + pg_description, "",
|
||
("Клиент: Linux-контейнер через внутренний адрес Nginx; разделяет ресурсы Docker VM." if manifest.get("client") == "container"
|
||
else "Клиент: Windows-хост через опубликованный порт Nginx."),
|
||
f"Версия SQL-наблюдателя: {manifest.get('observer_version', '1/2, первоначальная серия')}. "
|
||
"Серия с версиями 1/2 имеет повышенные накладные расходы наблюдения; см. калибровку в итоговой интерпретации.", "",
|
||
"Методика и повторение: [scripts/diagnostics/README.md](../../../scripts/diagnostics/README.md). "
|
||
"Исходные HTTP-данные, временные ряды и summary каждого прогона находятся в его подкаталоге. "
|
||
"Полная таблица метрик: [results.csv](results.csv). Все настройки и причины остановки нагрузки: [manifest.json](manifest.json).", "",
|
||
"Показатели ниже — результаты каждого прогона. CPU выражен в долях одного ядра; "
|
||
"throttle — доля периодов CPU, в которых cgroup ограничивала выполнение. Получение соединения "
|
||
"включает установку новых соединений и задержки event loop. Очередь наблюдалась каждые 100 мс. "
|
||
"Наблюдатели имеют собственные накладные расходы; результаты не являются ненаблюдаемой максимальной ёмкостью API.", "",
|
||
"| Прогон | Успешные RPS | p95, мс | Ошибки | Пропуски, % | Пул: среднее / max, мс | Max очередь | CPU API / PG | Throttle API max / PG, % | Upstream min / изменений |",
|
||
"| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: |"]
|
||
for r in results:
|
||
lines.append(f"| [{r['label']}]({r['label']}/summary.json) | {r['successful_rps']:.2f} | "
|
||
f"{r['p95_ms']:.0f} | {r['errors']} | {r['drop_percent']:.1f} | "
|
||
f"{r['acquisition_mean_ms']:.2f} / {r['acquisition_max_ms']:.0f} | {r['pool_max_waiting']} | "
|
||
f"{r['api_cpu_cores']:.2f} / {r['pg_cpu_cores'] or 0:.2f} | "
|
||
f"{r['api_max_throttle_percent']:.1f} / {r['pg_throttle_percent']:.1f} | "
|
||
f"{r['nginx_min_ready']} / {r['nginx_changes']} |")
|
||
lines += ["", "## Повторы на одном уровне нагрузки", "",
|
||
"Здесь показаны медианы результатов отдельных прогонов. Медиана p95 не является p95 объединённых запросов.", "",
|
||
"| Профиль | Задано RPS | Повторов | Медиана отправленных RPS | Медиана успешных RPS | Медиана p95, мс | Всего ошибок | Медиана пропусков, % |",
|
||
"| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |"]
|
||
for key in sorted({(r["configuration"], r["offered_rps"]) for r in results}):
|
||
group = [r for r in results if (r["configuration"], r["offered_rps"]) == key]
|
||
lines.append(f"| {key[0]} | {key[1]} | {len(group)} | "
|
||
f"{statistics.median(r['attempted_rps'] for r in group):.2f} | "
|
||
f"{statistics.median(r['successful_rps'] for r in group):.2f} | "
|
||
f"{statistics.median(r['p95_ms'] for r in group):.0f} | "
|
||
f"{sum(r['errors'] for r in group)} | "
|
||
f"{statistics.median(r['drop_percent'] for r in group):.1f} |")
|
||
lines += ["", "## Границы серии", ""]
|
||
for profile, stop in manifest["stopped_profiles"].items():
|
||
lines.append(f"- {profile}: повышение остановлено после {stop['rate']} запросов/с: {', '.join(stop['reasons'])}.")
|
||
if manifest.get("full_matrix"):
|
||
lines.append("Режим полной матрицы: превышения порогов не останавливают повышение нагрузки; все перечисленные точки запланированы к выполнению.")
|
||
for profile, crossings in manifest.get("threshold_crossings", {}).items():
|
||
for crossing in crossings:
|
||
lines.append(f"- {profile}, {crossing['rate']} запросов/с: {', '.join(crossing['reasons'])}.")
|
||
lines += ["", "Превышение порога задержки или пропусков не доказывает насыщение конкретного компонента. "
|
||
"Для интерпретации необходимо сопоставить очередь пула, ограничения CPU, ожидания PostgreSQL и изменения upstream. "
|
||
"SQL-тексты, токены и пароли в этой серии не сохраняются.", ""]
|
||
if (args.directory / "findings.md").exists():
|
||
lines += ["## Итоговая интерпретация", "",
|
||
"[Выводы и графики](findings.md). Проверка полноты серии: [audit.json](audit.json).", ""]
|
||
(args.directory / "README.md").write_text("\n".join(lines), encoding="utf-8")
|
||
print(f"Wrote {len(results)} runs to {args.directory / 'results.csv'}")
|
||
|
||
|
||
if __name__ == "__main__":
|
||
main()
|