feat: compare PostgreSQL sessions and connections in track 1 series
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+20
-9
@@ -290,9 +290,11 @@ paths:
|
||||
взята, значит, прогона нет); прочие профили по-прежнему отказывают.
|
||||
- **Сравнение и «до/после»:** `make bench_compare` у серий — по общим
|
||||
конфигурациям (R*, задержки на фиксированных уровнях, CPU на запрос,
|
||||
CPU PostgreSQL на R*; шум `AA` — наибольшее |Δ медианы R*|); серия
|
||||
против матрицы — отказ. `make bench_ab … SERIES=ab` снимает серию
|
||||
вместо матрицы.
|
||||
CPU PostgreSQL на R*; шум `AA` — наибольшее |Δ медианы R*|), и вторая
|
||||
таблица «PostgreSQL на R* и первой нарушившей ступени» (уровень, CPU
|
||||
PostgreSQL на запрос, новые сессии за окно, соединения; поля
|
||||
`config_stats` `*_r` / `*_f`). Серия против матрицы — отказ. `make
|
||||
bench_ab … SERIES=ab` снимает серию вместо матрицы.
|
||||
- **Графики:** `make bench_plots LABELS="scaling-a scaling-b"` —
|
||||
`evidence/plots/scaling/`; пробные `quick-*` — в `.gitignore`.
|
||||
|
||||
@@ -396,12 +398,21 @@ paths:
|
||||
- Ячейки сценария, который изменение не затрагивает, — контроль: они
|
||||
тоже показываются в отчёте.
|
||||
- У серий трека 1 R* дискретен: шаг сетки поиска после двух делений —
|
||||
около 5,7 %, и шум A/A `scaling-aa` (5,4–5,7 %) — одна ступень. Сдвиг
|
||||
R* на одну ступень при непересекающихся разбросах команда назовёт
|
||||
эффектом, но он в пределах разрешения. Эффект R* засчитывается при
|
||||
сдвиге медианы не меньше двух ступеней (≥ 12 %), иначе — с явной
|
||||
оговоркой о разрешении (verify change `scaling-bench`, S6). Шум
|
||||
оценён по двум конфигурациям × 3 повтора.
|
||||
1,25^¼ ≈ 5,7 %, и шум A/A `scaling-aa` (5,4–5,7 %) — одна ступень.
|
||||
Сдвиг R* на одну ступень при непересекающихся разбросах команда
|
||||
назовёт эффектом, но он в пределах разрешения. Эффект R*
|
||||
засчитывается при сдвиге медианы не меньше двух ступеней сетки: R*
|
||||
после / R* до ≥ √1,25 ≈ 1,118 (+11,8 %; например, 931 → 1 041), иначе
|
||||
— с явной оговоркой о разрешении (verify change `scaling-bench`, S6;
|
||||
порог уточнён до замеров change `scaling-improvement`, решение 5).
|
||||
Шум `scaling-aa` оценён по двум конфигурациям × 3 повтора.
|
||||
- `CHANGE=<change>` у `make bench_compare` пишет change в шапку
|
||||
сравнения серий (по умолчанию `scaling-bench`).
|
||||
- Пул приложения в метке — дефолт `src/config/settings.py`, а не
|
||||
окружение стенда: окружение приложения пишется в `stand.app_env`, и
|
||||
сравнение меток с разным пулом из окружения откажет как «разная
|
||||
методика» (design change `scaling-improvement`, решение 2). Изменение
|
||||
пула для «до/после» — правка дефолта в коде.
|
||||
- Метка A/A годится как `AA`, только пока код приложения тот же: после
|
||||
правки `src` (например, 53300 в `68edc66` после `scaling-aa`) A/A
|
||||
снимается заново на коде «до».
|
||||
|
||||
@@ -306,10 +306,12 @@ bench_plots:
|
||||
|
||||
# дельта двух меток по ячейкам матрицы или, у серий трека 1, по общим
|
||||
# конфигурациям: BEFORE и AFTER обязательны, AA — метка того же кода, что
|
||||
# BEFORE, для уровня шума; результат — evidence/compare/$(BEFORE)__$(AFTER).md
|
||||
# BEFORE, для уровня шума; CHANGE — change, к которому относится сравнение
|
||||
# серий (шапка таблицы, по умолчанию scaling-bench);
|
||||
# результат — evidence/compare/$(BEFORE)__$(AFTER).md
|
||||
.PHONY: bench_compare
|
||||
bench_compare:
|
||||
uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" --aa "$(AA)"
|
||||
uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" --aa "$(AA)" $(if $(CHANGE),--change "$(CHANGE)")
|
||||
|
||||
# «до» и «после» подряд в одной сессии, два прогона bench: bench для
|
||||
# BEFORE, commit доказательств, git revert commit REAPPLY (возврат
|
||||
|
||||
+52
-3
@@ -573,9 +573,11 @@ def render_series(
|
||||
after: Label,
|
||||
aa: Label | None,
|
||||
command: str,
|
||||
change: str = "scaling-bench",
|
||||
) -> str:
|
||||
"""Сравнение меток серий трека 1 по общим конфигурациям (решение 11
|
||||
design change `scaling-bench`)."""
|
||||
design change `scaling-bench`); раздел PostgreSQL на R* и первой
|
||||
нарушившей ступени — решение 7 change `scaling-improvement`."""
|
||||
first, second = series_stats(before), series_stats(after)
|
||||
common = [key for key in first if key in second]
|
||||
if not common:
|
||||
@@ -614,7 +616,7 @@ def render_series(
|
||||
f"# Сравнение серий: `{before.name}` → `{after.name}`",
|
||||
"",
|
||||
f"- Команда: `{command}`",
|
||||
"- Спек: `load-benchmark` (сравнение меток), change `scaling-bench`; "
|
||||
f"- Спек: `load-benchmark` (сравнение меток), change `{change}`; "
|
||||
"даты, commit и хост — таблица «Метки»",
|
||||
"- Метки серий трека 1 сравниваются по общим конфигурациям. R* — "
|
||||
"медиана повторов, в скобках min–max; Δ R* — отношение медиан "
|
||||
@@ -699,14 +701,59 @@ def render_series(
|
||||
f"Δ R* по конфигурациям: от {min(deltas):+.1f}% до "
|
||||
f"{max(deltas):+.1f}%.",
|
||||
]
|
||||
lines += pg_section(first, second, common)
|
||||
return "\n".join(lines) + "\n"
|
||||
|
||||
|
||||
def pg_section(
|
||||
first: dict[str, dict[str, Any]],
|
||||
second: dict[str, dict[str, Any]],
|
||||
common: list[str],
|
||||
) -> list[str]:
|
||||
"""PostgreSQL на ступени R* и первой нарушившей выше неё: медианы по
|
||||
повторам, «до → после»."""
|
||||
|
||||
def pair(a: Any, b: Any) -> str:
|
||||
return f"{scaling.fmt(a)} → {scaling.fmt(b)}"
|
||||
|
||||
lines = [
|
||||
"",
|
||||
"## PostgreSQL на R* и первой нарушившей ступени",
|
||||
"",
|
||||
"Медианы по завершённым ячейкам, «до → после». Уровень R* — медиана "
|
||||
"R*; первая нарушившая — ближайшая ступень выше R* ячейки, "
|
||||
"нарушившая SLO. CPU PostgreSQL — на успешный запрос; новые сессии "
|
||||
"— прирост `pg_stat_database.sessions` за окно; соединения — "
|
||||
"наибольшее число соединений с PostgreSQL в окне. Нет значения — "
|
||||
"«—».",
|
||||
"",
|
||||
"| Конфигурация | Ступень | Уровень, запросов/с | CPU PostgreSQL "
|
||||
"на запрос, мкс | Новых сессий за окно | Соединений PostgreSQL |",
|
||||
"|---|---|---|---|---|---|",
|
||||
]
|
||||
for key in common:
|
||||
a, b = first[key], second[key]
|
||||
lines += [
|
||||
f"| {key} | R* | {pair(a['r_star'], b['r_star'])} | "
|
||||
f"{pair(a['db_us_r'], b['db_us_r'])} | "
|
||||
f"{pair(a['sessions_r'], b['sessions_r'])} | "
|
||||
f"{pair(a['conn_r'], b['conn_r'])} |",
|
||||
f"| {key} | первая нарушившая | "
|
||||
f"{pair(a['level_f'], b['level_f'])} | "
|
||||
f"{pair(a['db_us_f'], b['db_us_f'])} | "
|
||||
f"{pair(a['sessions_f'], b['sessions_f'])} | "
|
||||
f"{pair(a['conn_f'], b['conn_f'])} |",
|
||||
]
|
||||
return lines
|
||||
|
||||
|
||||
def main(argv: list[str]) -> int:
|
||||
parser = argparse.ArgumentParser(description=__doc__.splitlines()[0])
|
||||
parser.add_argument("--before", default="")
|
||||
parser.add_argument("--after", default="")
|
||||
parser.add_argument("--aa", default="")
|
||||
# change, к которому относится сравнение серий (строка шапки)
|
||||
parser.add_argument("--change", default="scaling-bench")
|
||||
args = parser.parse_args(argv)
|
||||
if not args.before or not args.after:
|
||||
print(
|
||||
@@ -718,6 +765,8 @@ def main(argv: list[str]) -> int:
|
||||
command = f"make bench_compare BEFORE={args.before} AFTER={args.after}"
|
||||
if args.aa:
|
||||
command += f" AA={args.aa}"
|
||||
if args.change != parser.get_default("change"):
|
||||
command += f" CHANGE={args.change}"
|
||||
try:
|
||||
before, after = load(args.before), load(args.after)
|
||||
aa = load(args.aa) if args.aa else None
|
||||
@@ -725,7 +774,7 @@ def main(argv: list[str]) -> int:
|
||||
for other in (after, aa):
|
||||
if other is not None:
|
||||
check_methodology(before, other, set())
|
||||
text = render_series(before, after, aa, command)
|
||||
text = render_series(before, after, aa, command, args.change)
|
||||
else:
|
||||
text = render(before, after, aa, command)
|
||||
except CompareError as exc:
|
||||
|
||||
@@ -1186,6 +1186,20 @@ def config_stats(
|
||||
reasons = []
|
||||
db_at_r = []
|
||||
db_thr_at_r: list[float | None] = []
|
||||
# PostgreSQL на R* и первой нарушившей ступени (change
|
||||
# scaling-improvement, решение 7): уровень, CPU на запрос, новые
|
||||
# сессии за окно, соединения
|
||||
pg_r: dict[str, list[float | None]] = {
|
||||
"db_us": [],
|
||||
"sessions": [],
|
||||
"conn": [],
|
||||
}
|
||||
pg_f: dict[str, list[float | None]] = {
|
||||
"level": [],
|
||||
"db_us": [],
|
||||
"sessions": [],
|
||||
"conn": [],
|
||||
}
|
||||
app_at_r = []
|
||||
app_sec = []
|
||||
marginals: list[float | None] = []
|
||||
@@ -1216,9 +1230,16 @@ def config_stats(
|
||||
db_at_r.append(num(r_row.get("db_cpu_cores")))
|
||||
db_thr_at_r.append(num(r_row.get("db_throttled_ratio")))
|
||||
app_at_r.append(num(r_row.get("app_cpu_cores")))
|
||||
pg_r["db_us"].append(num(r_row.get("db_us_per_request")))
|
||||
pg_r["sessions"].append(num(r_row.get("db_sessions_new")))
|
||||
pg_r["conn"].append(num(r_row.get("db_conn_max")))
|
||||
if f_row is not None:
|
||||
at_f.append((f_row.get("signs") or "").split())
|
||||
reasons.append(f_row.get("fail_reason") or "")
|
||||
pg_f["level"].append(num(f_row.get("level")))
|
||||
pg_f["db_us"].append(num(f_row.get("db_us_per_request")))
|
||||
pg_f["sessions"].append(num(f_row.get("db_sessions_new")))
|
||||
pg_f["conn"].append(num(f_row.get("db_conn_max")))
|
||||
app_sec.extend(num(x.get("app_cpu_second_max")) for x in steps)
|
||||
marginals.append(marginal_us(steps))
|
||||
replicas = int(cells[0]["replicas"])
|
||||
@@ -1268,6 +1289,13 @@ def config_stats(
|
||||
"signs_f": majority(at_f),
|
||||
"db_cpu_r": median(db_at_r),
|
||||
"db_throttled_r": median(db_thr_at_r),
|
||||
"db_us_r": median(pg_r["db_us"]),
|
||||
"sessions_r": median(pg_r["sessions"]),
|
||||
"conn_r": median(pg_r["conn"]),
|
||||
"level_f": median(pg_f["level"]),
|
||||
"db_us_f": median(pg_f["db_us"]),
|
||||
"sessions_f": median(pg_f["sessions"]),
|
||||
"conn_f": median(pg_f["conn"]),
|
||||
"db_cpus": db_limits.get(key, ""),
|
||||
"app_cpu_r": median(app_at_r),
|
||||
"app_cpu_second_max": max(
|
||||
|
||||
@@ -67,7 +67,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
|
||||
## 1. Инструменты сравнения серий (до замеров)
|
||||
|
||||
- [ ] 1.1 `bench/scaling.py`, `config_stats` (решение 7).
|
||||
- [x] 1.1 `bench/scaling.py`, `config_stats` (решение 7).
|
||||
- Новые поля по каждой конфигурации — медианы по завершённым ячейкам
|
||||
на ступени R* (`step_at`) и на ближайшей нарушившей выше неё
|
||||
(`fail_step`), тем же отбором, что у `db_cpu_r`:
|
||||
@@ -80,7 +80,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
|
||||
Проверка: `uv run python bench/scaling.py --selftest` печатает
|
||||
`selftest ok`.
|
||||
- [ ] 1.2 `bench/compare.py`, `render_series` (решение 7).
|
||||
- [x] 1.2 `bench/compare.py`, `render_series` (решение 7).
|
||||
- После таблицы «R* по общим конфигурациям» и строки «Δ R*…» —
|
||||
раздел `## PostgreSQL на R* и первой нарушившей ступени`.
|
||||
- Строка — конфигурация × ступень (`R*`, `первая нарушившая`).
|
||||
@@ -91,13 +91,13 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
- Сравнение матрицы не меняется.
|
||||
|
||||
Проверка — задача 1.5.
|
||||
- [ ] 1.3 `Makefile`, цель `bench_compare`: добавить `$(if
|
||||
- [x] 1.3 `Makefile`, цель `bench_compare`: добавить `$(if
|
||||
$(CHANGE),--change "$(CHANGE)")` и строку о `CHANGE` в комментарий
|
||||
цели. Цели skeleton не трогать (`run-modes.md`). Проверка:
|
||||
- `make -n bench_compare BEFORE=a AFTER=b CHANGE=x` печатает
|
||||
`--change "x"`;
|
||||
- без `CHANGE` аргумента нет.
|
||||
- [ ] 1.4 `.claude/rules/bench.md`, раздел «Сравнение меток»:
|
||||
- [x] 1.4 `.claude/rules/bench.md`, раздел «Сравнение меток»:
|
||||
- вторая таблица серий (PostgreSQL на R* и первой нарушившей) и
|
||||
параметр `CHANGE`;
|
||||
- порог эффекта R* — «не меньше двух ступеней сетки: R* после / R* до
|
||||
@@ -107,7 +107,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
откажет (решение 2).
|
||||
|
||||
Проверка: правило не противоречит коду 1.1–1.3.
|
||||
- [ ] 1.5 Самопроверки, вывод — в
|
||||
- [x] 1.5 Самопроверки, вывод — в
|
||||
`<scratchpad>/scaling-improvement/compare-checks.log` для 9.1.
|
||||
- `make lint`.
|
||||
- `make bench_compare BEFORE=scaling-db AFTER=scaling-db
|
||||
|
||||
Reference in New Issue
Block a user