feat: compare PostgreSQL sessions and connections in track 1 series

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 13:23:12 +03:00
co-authored by Claude Opus 5.5
parent 029aa3be82
commit 1e50a4a3fc
5 changed files with 109 additions and 19 deletions
+20 -9
View File
@@ -290,9 +290,11 @@ paths:
взята, значит, прогона нет); прочие профили по-прежнему отказывают.
- **Сравнение и «до/после»:** `make bench_compare` у серий — по общим
конфигурациям (R*, задержки на фиксированных уровнях, CPU на запрос,
CPU PostgreSQL на R*; шум `AA` — наибольшее |Δ медианы R*|); серия
против матрицы — отказ. `make bench_ab … SERIES=ab` снимает серию
вместо матрицы.
CPU PostgreSQL на R*; шум `AA` — наибольшее |Δ медианы R*|), и вторая
таблица «PostgreSQL на R* и первой нарушившей ступени» (уровень, CPU
PostgreSQL на запрос, новые сессии за окно, соединения; поля
`config_stats` `*_r` / `*_f`). Серия против матрицы — отказ. `make
bench_ab … SERIES=ab` снимает серию вместо матрицы.
- **Графики:** `make bench_plots LABELS="scaling-a scaling-b"` —
`evidence/plots/scaling/`; пробные `quick-*` — в `.gitignore`.
@@ -396,12 +398,21 @@ paths:
- Ячейки сценария, который изменение не затрагивает, — контроль: они
тоже показываются в отчёте.
- У серий трека 1 R* дискретен: шаг сетки поиска после двух делений —
около 5,7 %, и шум A/A `scaling-aa` (5,4–5,7 %) — одна ступень. Сдвиг
R* на одну ступень при непересекающихся разбросах команда назовёт
эффектом, но он в пределах разрешения. Эффект R* засчитывается при
сдвиге медианы не меньше двух ступеней (≥ 12 %), иначе — с явной
оговоркой о разрешении (verify change `scaling-bench`, S6). Шум
оценён по двум конфигурациям × 3 повтора.
1,25^¼ ≈ 5,7 %, и шум A/A `scaling-aa` (5,4–5,7 %) — одна ступень.
Сдвиг R* на одну ступень при непересекающихся разбросах команда
назовёт эффектом, но он в пределах разрешения. Эффект R*
засчитывается при сдвиге медианы не меньше двух ступеней сетки: R*
после / R* до ≥ √1,25 ≈ 1,118 (+11,8 %; например, 931 → 1 041), иначе
— с явной оговоркой о разрешении (verify change `scaling-bench`, S6;
порог уточнён до замеров change `scaling-improvement`, решение 5).
Шум `scaling-aa` оценён по двум конфигурациям × 3 повтора.
- `CHANGE=<change>` у `make bench_compare` пишет change в шапку
сравнения серий (по умолчанию `scaling-bench`).
- Пул приложения в метке — дефолт `src/config/settings.py`, а не
окружение стенда: окружение приложения пишется в `stand.app_env`, и
сравнение меток с разным пулом из окружения откажет как «разная
методика» (design change `scaling-improvement`, решение 2). Изменение
пула для «до/после» — правка дефолта в коде.
- Метка A/A годится как `AA`, только пока код приложения тот же: после
правки `src` (например, 53300 в `68edc66` после `scaling-aa`) A/A
снимается заново на коде «до».
+4 -2
View File
@@ -306,10 +306,12 @@ bench_plots:
# дельта двух меток по ячейкам матрицы или, у серий трека 1, по общим
# конфигурациям: BEFORE и AFTER обязательны, AA — метка того же кода, что
# BEFORE, для уровня шума; результат — evidence/compare/$(BEFORE)__$(AFTER).md
# BEFORE, для уровня шума; CHANGE — change, к которому относится сравнение
# серий (шапка таблицы, по умолчанию scaling-bench);
# результат — evidence/compare/$(BEFORE)__$(AFTER).md
.PHONY: bench_compare
bench_compare:
uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" --aa "$(AA)"
uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" --aa "$(AA)" $(if $(CHANGE),--change "$(CHANGE)")
# «до» и «после» подряд в одной сессии, два прогона bench: bench для
# BEFORE, commit доказательств, git revert commit REAPPLY (возврат
+52 -3
View File
@@ -573,9 +573,11 @@ def render_series(
after: Label,
aa: Label | None,
command: str,
change: str = "scaling-bench",
) -> str:
"""Сравнение меток серий трека 1 по общим конфигурациям (решение 11
design change `scaling-bench`)."""
design change `scaling-bench`); раздел PostgreSQL на R* и первой
нарушившей ступени — решение 7 change `scaling-improvement`."""
first, second = series_stats(before), series_stats(after)
common = [key for key in first if key in second]
if not common:
@@ -614,7 +616,7 @@ def render_series(
f"# Сравнение серий: `{before.name}` → `{after.name}`",
"",
f"- Команда: `{command}`",
"- Спек: `load-benchmark` (сравнение меток), change `scaling-bench`; "
f"- Спек: `load-benchmark` (сравнение меток), change `{change}`; "
"даты, commit и хост — таблица «Метки»",
"- Метки серий трека 1 сравниваются по общим конфигурациям. R* — "
"медиана повторов, в скобках min–max; Δ R* — отношение медиан "
@@ -699,14 +701,59 @@ def render_series(
f"Δ R* по конфигурациям: от {min(deltas):+.1f}% до "
f"{max(deltas):+.1f}%.",
]
lines += pg_section(first, second, common)
return "\n".join(lines) + "\n"
def pg_section(
first: dict[str, dict[str, Any]],
second: dict[str, dict[str, Any]],
common: list[str],
) -> list[str]:
"""PostgreSQL на ступени R* и первой нарушившей выше неё: медианы по
повторам, «до → после»."""
def pair(a: Any, b: Any) -> str:
return f"{scaling.fmt(a)} → {scaling.fmt(b)}"
lines = [
"",
"## PostgreSQL на R* и первой нарушившей ступени",
"",
"Медианы по завершённым ячейкам, «до → после». Уровень R* — медиана "
"R*; первая нарушившая — ближайшая ступень выше R* ячейки, "
"нарушившая SLO. CPU PostgreSQL — на успешный запрос; новые сессии "
"— прирост `pg_stat_database.sessions` за окно; соединения — "
"наибольшее число соединений с PostgreSQL в окне. Нет значения — "
"«—».",
"",
"| Конфигурация | Ступень | Уровень, запросов/с | CPU PostgreSQL "
"на запрос, мкс | Новых сессий за окно | Соединений PostgreSQL |",
"|---|---|---|---|---|---|",
]
for key in common:
a, b = first[key], second[key]
lines += [
f"| {key} | R* | {pair(a['r_star'], b['r_star'])} | "
f"{pair(a['db_us_r'], b['db_us_r'])} | "
f"{pair(a['sessions_r'], b['sessions_r'])} | "
f"{pair(a['conn_r'], b['conn_r'])} |",
f"| {key} | первая нарушившая | "
f"{pair(a['level_f'], b['level_f'])} | "
f"{pair(a['db_us_f'], b['db_us_f'])} | "
f"{pair(a['sessions_f'], b['sessions_f'])} | "
f"{pair(a['conn_f'], b['conn_f'])} |",
]
return lines
def main(argv: list[str]) -> int:
parser = argparse.ArgumentParser(description=__doc__.splitlines()[0])
parser.add_argument("--before", default="")
parser.add_argument("--after", default="")
parser.add_argument("--aa", default="")
# change, к которому относится сравнение серий (строка шапки)
parser.add_argument("--change", default="scaling-bench")
args = parser.parse_args(argv)
if not args.before or not args.after:
print(
@@ -718,6 +765,8 @@ def main(argv: list[str]) -> int:
command = f"make bench_compare BEFORE={args.before} AFTER={args.after}"
if args.aa:
command += f" AA={args.aa}"
if args.change != parser.get_default("change"):
command += f" CHANGE={args.change}"
try:
before, after = load(args.before), load(args.after)
aa = load(args.aa) if args.aa else None
@@ -725,7 +774,7 @@ def main(argv: list[str]) -> int:
for other in (after, aa):
if other is not None:
check_methodology(before, other, set())
text = render_series(before, after, aa, command)
text = render_series(before, after, aa, command, args.change)
else:
text = render(before, after, aa, command)
except CompareError as exc:
+28
View File
@@ -1186,6 +1186,20 @@ def config_stats(
reasons = []
db_at_r = []
db_thr_at_r: list[float | None] = []
# PostgreSQL на R* и первой нарушившей ступени (change
# scaling-improvement, решение 7): уровень, CPU на запрос, новые
# сессии за окно, соединения
pg_r: dict[str, list[float | None]] = {
"db_us": [],
"sessions": [],
"conn": [],
}
pg_f: dict[str, list[float | None]] = {
"level": [],
"db_us": [],
"sessions": [],
"conn": [],
}
app_at_r = []
app_sec = []
marginals: list[float | None] = []
@@ -1216,9 +1230,16 @@ def config_stats(
db_at_r.append(num(r_row.get("db_cpu_cores")))
db_thr_at_r.append(num(r_row.get("db_throttled_ratio")))
app_at_r.append(num(r_row.get("app_cpu_cores")))
pg_r["db_us"].append(num(r_row.get("db_us_per_request")))
pg_r["sessions"].append(num(r_row.get("db_sessions_new")))
pg_r["conn"].append(num(r_row.get("db_conn_max")))
if f_row is not None:
at_f.append((f_row.get("signs") or "").split())
reasons.append(f_row.get("fail_reason") or "")
pg_f["level"].append(num(f_row.get("level")))
pg_f["db_us"].append(num(f_row.get("db_us_per_request")))
pg_f["sessions"].append(num(f_row.get("db_sessions_new")))
pg_f["conn"].append(num(f_row.get("db_conn_max")))
app_sec.extend(num(x.get("app_cpu_second_max")) for x in steps)
marginals.append(marginal_us(steps))
replicas = int(cells[0]["replicas"])
@@ -1268,6 +1289,13 @@ def config_stats(
"signs_f": majority(at_f),
"db_cpu_r": median(db_at_r),
"db_throttled_r": median(db_thr_at_r),
"db_us_r": median(pg_r["db_us"]),
"sessions_r": median(pg_r["sessions"]),
"conn_r": median(pg_r["conn"]),
"level_f": median(pg_f["level"]),
"db_us_f": median(pg_f["db_us"]),
"sessions_f": median(pg_f["sessions"]),
"conn_f": median(pg_f["conn"]),
"db_cpus": db_limits.get(key, ""),
"app_cpu_r": median(app_at_r),
"app_cpu_second_max": max(
@@ -67,7 +67,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
## 1. Инструменты сравнения серий (до замеров)
- [ ] 1.1 `bench/scaling.py`, `config_stats` (решение 7).
- [x] 1.1 `bench/scaling.py`, `config_stats` (решение 7).
- Новые поля по каждой конфигурации — медианы по завершённым ячейкам
на ступени R* (`step_at`) и на ближайшей нарушившей выше неё
(`fail_step`), тем же отбором, что у `db_cpu_r`:
@@ -80,7 +80,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
Проверка: `uv run python bench/scaling.py --selftest` печатает
`selftest ok`.
- [ ] 1.2 `bench/compare.py`, `render_series` (решение 7).
- [x] 1.2 `bench/compare.py`, `render_series` (решение 7).
- После таблицы «R* по общим конфигурациям» и строки «Δ R*…» —
раздел `## PostgreSQL на R* и первой нарушившей ступени`.
- Строка — конфигурация × ступень (`R*`, `первая нарушившая`).
@@ -91,13 +91,13 @@ Monitor, не дольше 30 мин на вызов, по истечении
- Сравнение матрицы не меняется.
Проверка — задача 1.5.
- [ ] 1.3 `Makefile`, цель `bench_compare`: добавить `$(if
- [x] 1.3 `Makefile`, цель `bench_compare`: добавить `$(if
$(CHANGE),--change "$(CHANGE)")` и строку о `CHANGE` в комментарий
цели. Цели skeleton не трогать (`run-modes.md`). Проверка:
- `make -n bench_compare BEFORE=a AFTER=b CHANGE=x` печатает
`--change "x"`;
- без `CHANGE` аргумента нет.
- [ ] 1.4 `.claude/rules/bench.md`, раздел «Сравнение меток»:
- [x] 1.4 `.claude/rules/bench.md`, раздел «Сравнение меток»:
- вторая таблица серий (PostgreSQL на R* и первой нарушившей) и
параметр `CHANGE`;
- порог эффекта R* — «не меньше двух ступеней сетки: R* после / R* до
@@ -107,7 +107,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
откажет (решение 2).
Проверка: правило не противоречит коду 1.1–1.3.
- [ ] 1.5 Самопроверки, вывод — в
- [x] 1.5 Самопроверки, вывод — в
`<scratchpad>/scaling-improvement/compare-checks.log` для 9.1.
- `make lint`.
- `make bench_compare BEFORE=scaling-db AFTER=scaling-db