From 1e50a4a3fc48080fddf924204c22d9b6107a4e82 Mon Sep 17 00:00:00 2001 From: roman Date: Sun, 11 Oct 2026 13:23:12 +0300 Subject: [PATCH] feat: compare PostgreSQL sessions and connections in track 1 series Co-Authored-By: Claude Opus 5.5 --- .claude/rules/bench.md | 29 +++++++--- Makefile | 6 +- bench/compare.py | 55 ++++++++++++++++++- bench/scaling.py | 28 ++++++++++ openspec/changes/scaling-improvement/tasks.md | 10 ++-- 5 files changed, 109 insertions(+), 19 deletions(-) diff --git a/.claude/rules/bench.md b/.claude/rules/bench.md index 70e0ccd4..c3461236 100644 --- a/.claude/rules/bench.md +++ b/.claude/rules/bench.md @@ -290,9 +290,11 @@ paths: взята, значит, прогона нет); прочие профили по-прежнему отказывают. - **Сравнение и «до/после»:** `make bench_compare` у серий — по общим конфигурациям (R*, задержки на фиксированных уровнях, CPU на запрос, - CPU PostgreSQL на R*; шум `AA` — наибольшее |Δ медианы R*|); серия - против матрицы — отказ. `make bench_ab … SERIES=ab` снимает серию - вместо матрицы. + CPU PostgreSQL на R*; шум `AA` — наибольшее |Δ медианы R*|), и вторая + таблица «PostgreSQL на R* и первой нарушившей ступени» (уровень, CPU + PostgreSQL на запрос, новые сессии за окно, соединения; поля + `config_stats` `*_r` / `*_f`). Серия против матрицы — отказ. `make + bench_ab … SERIES=ab` снимает серию вместо матрицы. - **Графики:** `make bench_plots LABELS="scaling-a scaling-b"` — `evidence/plots/scaling/`; пробные `quick-*` — в `.gitignore`. @@ -396,12 +398,21 @@ paths: - Ячейки сценария, который изменение не затрагивает, — контроль: они тоже показываются в отчёте. - У серий трека 1 R* дискретен: шаг сетки поиска после двух делений — - около 5,7 %, и шум A/A `scaling-aa` (5,4–5,7 %) — одна ступень. Сдвиг - R* на одну ступень при непересекающихся разбросах команда назовёт - эффектом, но он в пределах разрешения. Эффект R* засчитывается при - сдвиге медианы не меньше двух ступеней (≥ 12 %), иначе — с явной - оговоркой о разрешении (verify change `scaling-bench`, S6). Шум - оценён по двум конфигурациям × 3 повтора. + 1,25^¼ ≈ 5,7 %, и шум A/A `scaling-aa` (5,4–5,7 %) — одна ступень. + Сдвиг R* на одну ступень при непересекающихся разбросах команда + назовёт эффектом, но он в пределах разрешения. Эффект R* + засчитывается при сдвиге медианы не меньше двух ступеней сетки: R* + после / R* до ≥ √1,25 ≈ 1,118 (+11,8 %; например, 931 → 1 041), иначе + — с явной оговоркой о разрешении (verify change `scaling-bench`, S6; + порог уточнён до замеров change `scaling-improvement`, решение 5). + Шум `scaling-aa` оценён по двум конфигурациям × 3 повтора. +- `CHANGE=` у `make bench_compare` пишет change в шапку + сравнения серий (по умолчанию `scaling-bench`). +- Пул приложения в метке — дефолт `src/config/settings.py`, а не + окружение стенда: окружение приложения пишется в `stand.app_env`, и + сравнение меток с разным пулом из окружения откажет как «разная + методика» (design change `scaling-improvement`, решение 2). Изменение + пула для «до/после» — правка дефолта в коде. - Метка A/A годится как `AA`, только пока код приложения тот же: после правки `src` (например, 53300 в `68edc66` после `scaling-aa`) A/A снимается заново на коде «до». diff --git a/Makefile b/Makefile index 20a3588f..c7c72ca8 100644 --- a/Makefile +++ b/Makefile @@ -306,10 +306,12 @@ bench_plots: # дельта двух меток по ячейкам матрицы или, у серий трека 1, по общим # конфигурациям: BEFORE и AFTER обязательны, AA — метка того же кода, что -# BEFORE, для уровня шума; результат — evidence/compare/$(BEFORE)__$(AFTER).md +# BEFORE, для уровня шума; CHANGE — change, к которому относится сравнение +# серий (шапка таблицы, по умолчанию scaling-bench); +# результат — evidence/compare/$(BEFORE)__$(AFTER).md .PHONY: bench_compare bench_compare: - uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" --aa "$(AA)" + uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" --aa "$(AA)" $(if $(CHANGE),--change "$(CHANGE)") # «до» и «после» подряд в одной сессии, два прогона bench: bench для # BEFORE, commit доказательств, git revert commit REAPPLY (возврат diff --git a/bench/compare.py b/bench/compare.py index 15f620fd..5f9d8119 100644 --- a/bench/compare.py +++ b/bench/compare.py @@ -573,9 +573,11 @@ def render_series( after: Label, aa: Label | None, command: str, + change: str = "scaling-bench", ) -> str: """Сравнение меток серий трека 1 по общим конфигурациям (решение 11 - design change `scaling-bench`).""" + design change `scaling-bench`); раздел PostgreSQL на R* и первой + нарушившей ступени — решение 7 change `scaling-improvement`.""" first, second = series_stats(before), series_stats(after) common = [key for key in first if key in second] if not common: @@ -614,7 +616,7 @@ def render_series( f"# Сравнение серий: `{before.name}` → `{after.name}`", "", f"- Команда: `{command}`", - "- Спек: `load-benchmark` (сравнение меток), change `scaling-bench`; " + f"- Спек: `load-benchmark` (сравнение меток), change `{change}`; " "даты, commit и хост — таблица «Метки»", "- Метки серий трека 1 сравниваются по общим конфигурациям. R* — " "медиана повторов, в скобках min–max; Δ R* — отношение медиан " @@ -699,14 +701,59 @@ def render_series( f"Δ R* по конфигурациям: от {min(deltas):+.1f}% до " f"{max(deltas):+.1f}%.", ] + lines += pg_section(first, second, common) return "\n".join(lines) + "\n" +def pg_section( + first: dict[str, dict[str, Any]], + second: dict[str, dict[str, Any]], + common: list[str], +) -> list[str]: + """PostgreSQL на ступени R* и первой нарушившей выше неё: медианы по + повторам, «до → после».""" + + def pair(a: Any, b: Any) -> str: + return f"{scaling.fmt(a)} → {scaling.fmt(b)}" + + lines = [ + "", + "## PostgreSQL на R* и первой нарушившей ступени", + "", + "Медианы по завершённым ячейкам, «до → после». Уровень R* — медиана " + "R*; первая нарушившая — ближайшая ступень выше R* ячейки, " + "нарушившая SLO. CPU PostgreSQL — на успешный запрос; новые сессии " + "— прирост `pg_stat_database.sessions` за окно; соединения — " + "наибольшее число соединений с PostgreSQL в окне. Нет значения — " + "«—».", + "", + "| Конфигурация | Ступень | Уровень, запросов/с | CPU PostgreSQL " + "на запрос, мкс | Новых сессий за окно | Соединений PostgreSQL |", + "|---|---|---|---|---|---|", + ] + for key in common: + a, b = first[key], second[key] + lines += [ + f"| {key} | R* | {pair(a['r_star'], b['r_star'])} | " + f"{pair(a['db_us_r'], b['db_us_r'])} | " + f"{pair(a['sessions_r'], b['sessions_r'])} | " + f"{pair(a['conn_r'], b['conn_r'])} |", + f"| {key} | первая нарушившая | " + f"{pair(a['level_f'], b['level_f'])} | " + f"{pair(a['db_us_f'], b['db_us_f'])} | " + f"{pair(a['sessions_f'], b['sessions_f'])} | " + f"{pair(a['conn_f'], b['conn_f'])} |", + ] + return lines + + def main(argv: list[str]) -> int: parser = argparse.ArgumentParser(description=__doc__.splitlines()[0]) parser.add_argument("--before", default="") parser.add_argument("--after", default="") parser.add_argument("--aa", default="") + # change, к которому относится сравнение серий (строка шапки) + parser.add_argument("--change", default="scaling-bench") args = parser.parse_args(argv) if not args.before or not args.after: print( @@ -718,6 +765,8 @@ def main(argv: list[str]) -> int: command = f"make bench_compare BEFORE={args.before} AFTER={args.after}" if args.aa: command += f" AA={args.aa}" + if args.change != parser.get_default("change"): + command += f" CHANGE={args.change}" try: before, after = load(args.before), load(args.after) aa = load(args.aa) if args.aa else None @@ -725,7 +774,7 @@ def main(argv: list[str]) -> int: for other in (after, aa): if other is not None: check_methodology(before, other, set()) - text = render_series(before, after, aa, command) + text = render_series(before, after, aa, command, args.change) else: text = render(before, after, aa, command) except CompareError as exc: diff --git a/bench/scaling.py b/bench/scaling.py index c45d98e6..830a2a28 100644 --- a/bench/scaling.py +++ b/bench/scaling.py @@ -1186,6 +1186,20 @@ def config_stats( reasons = [] db_at_r = [] db_thr_at_r: list[float | None] = [] + # PostgreSQL на R* и первой нарушившей ступени (change + # scaling-improvement, решение 7): уровень, CPU на запрос, новые + # сессии за окно, соединения + pg_r: dict[str, list[float | None]] = { + "db_us": [], + "sessions": [], + "conn": [], + } + pg_f: dict[str, list[float | None]] = { + "level": [], + "db_us": [], + "sessions": [], + "conn": [], + } app_at_r = [] app_sec = [] marginals: list[float | None] = [] @@ -1216,9 +1230,16 @@ def config_stats( db_at_r.append(num(r_row.get("db_cpu_cores"))) db_thr_at_r.append(num(r_row.get("db_throttled_ratio"))) app_at_r.append(num(r_row.get("app_cpu_cores"))) + pg_r["db_us"].append(num(r_row.get("db_us_per_request"))) + pg_r["sessions"].append(num(r_row.get("db_sessions_new"))) + pg_r["conn"].append(num(r_row.get("db_conn_max"))) if f_row is not None: at_f.append((f_row.get("signs") or "").split()) reasons.append(f_row.get("fail_reason") or "") + pg_f["level"].append(num(f_row.get("level"))) + pg_f["db_us"].append(num(f_row.get("db_us_per_request"))) + pg_f["sessions"].append(num(f_row.get("db_sessions_new"))) + pg_f["conn"].append(num(f_row.get("db_conn_max"))) app_sec.extend(num(x.get("app_cpu_second_max")) for x in steps) marginals.append(marginal_us(steps)) replicas = int(cells[0]["replicas"]) @@ -1268,6 +1289,13 @@ def config_stats( "signs_f": majority(at_f), "db_cpu_r": median(db_at_r), "db_throttled_r": median(db_thr_at_r), + "db_us_r": median(pg_r["db_us"]), + "sessions_r": median(pg_r["sessions"]), + "conn_r": median(pg_r["conn"]), + "level_f": median(pg_f["level"]), + "db_us_f": median(pg_f["db_us"]), + "sessions_f": median(pg_f["sessions"]), + "conn_f": median(pg_f["conn"]), "db_cpus": db_limits.get(key, ""), "app_cpu_r": median(app_at_r), "app_cpu_second_max": max( diff --git a/openspec/changes/scaling-improvement/tasks.md b/openspec/changes/scaling-improvement/tasks.md index 355f3467..6be7205b 100644 --- a/openspec/changes/scaling-improvement/tasks.md +++ b/openspec/changes/scaling-improvement/tasks.md @@ -67,7 +67,7 @@ Monitor, не дольше 30 мин на вызов, по истечении ## 1. Инструменты сравнения серий (до замеров) -- [ ] 1.1 `bench/scaling.py`, `config_stats` (решение 7). +- [x] 1.1 `bench/scaling.py`, `config_stats` (решение 7). - Новые поля по каждой конфигурации — медианы по завершённым ячейкам на ступени R* (`step_at`) и на ближайшей нарушившей выше неё (`fail_step`), тем же отбором, что у `db_cpu_r`: @@ -80,7 +80,7 @@ Monitor, не дольше 30 мин на вызов, по истечении Проверка: `uv run python bench/scaling.py --selftest` печатает `selftest ok`. -- [ ] 1.2 `bench/compare.py`, `render_series` (решение 7). +- [x] 1.2 `bench/compare.py`, `render_series` (решение 7). - После таблицы «R* по общим конфигурациям» и строки «Δ R*…» — раздел `## PostgreSQL на R* и первой нарушившей ступени`. - Строка — конфигурация × ступень (`R*`, `первая нарушившая`). @@ -91,13 +91,13 @@ Monitor, не дольше 30 мин на вызов, по истечении - Сравнение матрицы не меняется. Проверка — задача 1.5. -- [ ] 1.3 `Makefile`, цель `bench_compare`: добавить `$(if +- [x] 1.3 `Makefile`, цель `bench_compare`: добавить `$(if $(CHANGE),--change "$(CHANGE)")` и строку о `CHANGE` в комментарий цели. Цели skeleton не трогать (`run-modes.md`). Проверка: - `make -n bench_compare BEFORE=a AFTER=b CHANGE=x` печатает `--change "x"`; - без `CHANGE` аргумента нет. -- [ ] 1.4 `.claude/rules/bench.md`, раздел «Сравнение меток»: +- [x] 1.4 `.claude/rules/bench.md`, раздел «Сравнение меток»: - вторая таблица серий (PostgreSQL на R* и первой нарушившей) и параметр `CHANGE`; - порог эффекта R* — «не меньше двух ступеней сетки: R* после / R* до @@ -107,7 +107,7 @@ Monitor, не дольше 30 мин на вызов, по истечении откажет (решение 2). Проверка: правило не противоречит коду 1.1–1.3. -- [ ] 1.5 Самопроверки, вывод — в +- [x] 1.5 Самопроверки, вывод — в `/scaling-improvement/compare-checks.log` для 9.1. - `make lint`. - `make bench_compare BEFORE=scaling-db AFTER=scaling-db