From a42dd27c24b944efee1691c4c3e66098837d08f2 Mon Sep 17 00:00:00 2001 From: roman Date: Fri, 23 Oct 2026 07:55:42 +0300 Subject: [PATCH] fix: count bg lines in k6 so SIGINT-interrupted iterations do not fail the check Co-Authored-By: Claude Opus 5.5 --- .claude/rules/bench.md | 11 ++- PLAN.md | 8 ++ bench/k6/background.js | 15 +++- bench/reconcile.py | 90 +++++++++++++++++++ bench/run.py | 28 +++--- .../changes/track2-reconcile-cost/design.md | 23 ++++- 6 files changed, 157 insertions(+), 18 deletions(-) diff --git a/.claude/rules/bench.md b/.claude/rules/bench.md index 7bc7e1aa..2b216548 100644 --- a/.claude/rules/bench.md +++ b/.claude/rules/bench.md @@ -459,8 +459,15 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод 50 записей и 50 чтений истории в секунду; тихие окна 30 с перед первым проходом и после каждого; окна «до» и «после» — по старту и выходу контейнера, окно прохода — по итогу. k6 останавливается `pkill -INT -f - background.js` в контейнере k6 (итог он пишет и тогда); строк `bg,…` - столько же, сколько итераций сценариев, иначе отказ. `r` = p95 прохода + background.js` в контейнере k6 (итог он пишет и тогда). Полнота строк + (`reconcile.line_problems`): строк `bg,…` сценария ровно столько, + сколько насчитал счётчик k6 `bg_lines_<сценарий>` (его увеличивает тот + же код перед строкой — пропавшая строка видна точно), и не меньше + итераций сценария; лишние против итераций — итерации, прерванные + SIGINT уже после строки (k6 их в `iterations` не считает; метка + `aaf3fa3` упала на 264 071 строке против 264 070 итераций), их не + больше VU сценария (`reconcile_bg_max_vus`), число — в + `meta.reconcile.bg_interrupted`. Иначе отказ. `r` = p95 прохода / p95 тихих, `a` = p95 до / p95 после; 5xx — пометка `bg_5xx`. - **Сравнение:** все варианты — внутри одной метки; второй метки A/A нет (шум — разброс повторов и `a`). `make bench_compare` метки сверки не diff --git a/PLAN.md b/PLAN.md index 5435727f..bd3ee93f 100644 --- a/PLAN.md +++ b/PLAN.md @@ -1566,6 +1566,14 @@ design, «Уточнения apply», пп. 1–13): BASE_URL=http://localhost:8090` — 198 passed. Гипотезы H1–H4 и ожидание S4 — `REPORT.md`, «Стоимость сверки: гипотезы», отдельным commit до метки; H1 и H2 по памяти — в форме п. 17. +25. Гипотезы — `aaf3fa3`. Первая метка `baseline` на нём упала на 39/51 + (37 мин): «D: 264071 k6 lines of download, 264070 iterations» — + итерация, прерванная остановкой k6 SIGINT уже после строки, в + `iterations` не входит. Полнота строк теперь — точно по счётчику + `bg_lines_<сценарий>` k6 и снизу по итерациям, прерванных не больше + VU (design, «Уточнения apply», п. 15). Каталог неполной метки + перенесён в scratchpad (`baseline-failed-aaf3fa3/`), метка + переснимается целиком после commit правки. #### Вопросы diff --git a/bench/k6/background.js b/bench/k6/background.js index 3ac72c99..ba97c264 100644 --- a/bench/k6/background.js +++ b/bench/k6/background.js @@ -5,12 +5,14 @@ // сообщений в чат записи и чтение его первой страницы истории. Каждый // запрос — строка «bg,,<отправка мс>,<длительность мс>,<статус>» в // файл консоли k6; run.py делит их на окна до, во время и после прохода -// сверки и сверяет число строк с итерациями сценариев. Оркестратор +// сверки и сверяет число строк со счётчиком bg_lines_<сценарий> (точно) и +// с итерациями сценариев (снизу). Оркестратор // останавливает прогон сигналом SIGINT, когда блок проходов закончен: // итог (handleSummary) k6 пишет и тогда. import exec from "k6/execution"; import http from "k6/http"; import { SharedArray } from "k6/data"; +import { Counter } from "k6/metrics"; import { API, @@ -34,6 +36,16 @@ const PRE_VUS = Number(__ENV.PRE_VUS || 100); const MAX_VUS = Number(__ENV.MAX_VUS || 600); const TIMEOUT = __ENV.TIMEOUT || "15s"; const READER = authHeaders(fixture.tokens[fixture.readerId]); +// счёт строк bg,… тем же кодом, что их пишет: итерация, которую остановка +// SIGINT прервала уже после строки, в iterations не входит, а в этот +// счётчик — входит. run.py сверяет строки файла консоли с ним точно, а с +// iterations — снизу (design change track2-reconcile-cost, «Уточнения +// apply», п. 15) +const LINES = { + d: new Counter("bg_lines_download"), + w: new Counter("bg_lines_write"), + r: new Counter("bg_lines_read"), +}; const WRITE_URL = `${API}/chats/${fixture.writeChatId}/messages`; function scenario(fn, rate) { @@ -76,6 +88,7 @@ function report(kind, start, res) { 0, Math.round((res.status === 0 ? Date.now() - start : measured) * 100) / 100, ); + LINES[kind].add(1); console.log(`bg,${kind},${start},${duration},${res.status}`); } diff --git a/bench/reconcile.py b/bench/reconcile.py index 691c5278..5e54b94b 100644 --- a/bench/reconcile.py +++ b/bench/reconcile.py @@ -531,6 +531,54 @@ def parse_background(text: str) -> list[Request]: return out +def summary_count(k6_data: dict[str, Any], name: str) -> int | None: + value = k6_data.get("metrics", {}).get(name, {}).get("values", {}) + count = value.get("count") + return None if count is None else int(count) + + +def line_problems( + requests: list[Request], + k6_data: dict[str, Any], + *, + max_vus: int, +) -> tuple[list[str], dict[str, int]]: + """Полнота строк `bg,…` по итогу k6 (design, «Уточнения apply», п. + 15): строк каждого сценария ровно столько, сколько насчитал счётчик + `bg_lines_<сценарий>` (его увеличивает тот же код, что пишет строку, — + пропавшая строка видна точно), и не меньше итераций. Строк больше + итераций — итерации, прерванные остановкой SIGINT уже после строки: + их не больше VU сценария. Возвращает расхождения и число прерванных по + сценариям.""" + problems = [] + interrupted: dict[str, int] = {} + for kind, scenario in SCENARIOS.items(): + lines = sum(1 for r in requests if r.kind == kind) + counted = summary_count(k6_data, f"bg_lines_{scenario}") + iterations = summary_count( + k6_data, + f"iterations{{scenario:{scenario}}}", + ) + if counted is None or iterations is None: + problems.append( + f"{scenario}: no bg_lines or iterations in the k6 summary", + ) + continue + if lines != counted: + problems.append( + f"{scenario}: {lines} k6 lines, {counted} counted by " + "bg_lines (lines lost)", + ) + extra = lines - iterations + interrupted[scenario] = extra + if not 0 <= extra <= max_vus: + problems.append( + f"{scenario}: {lines} k6 lines, {iterations} iterations " + f"(interrupted must be 0–{max_vus})", + ) + return problems, interrupted + + def percentile(values: list[float], q: float) -> float | None: """Перцентиль ближайшего ранга, как у k6 (p(95)).""" if not values: @@ -1723,6 +1771,48 @@ def selftest() -> int: ) parsed = parse_background(console + "\nnoise\nbg,x,1,2,3\n") expect("bg parsed", len(parsed), len(reqs)) + # полнота строк: точное равенство со счётчиком, прерванные — сверху + counts = { + kind: sum(1 for r in parsed if r.kind == kind) for kind in SCENARIOS + } + + def summary(extra: int, lost: int) -> dict[str, Any]: + metrics = {} + for kind, scenario in SCENARIOS.items(): + metrics[f"bg_lines_{scenario}"] = { + "values": { + "count": counts[kind] + (lost if kind == "d" else 0), + }, + } + metrics[f"iterations{{scenario:{scenario}}}"] = { + "values": { + "count": counts[kind] - (extra if kind == "d" else 0), + }, + } + return {"metrics": metrics} + + expect("lines ok", line_problems(parsed, summary(0, 0), max_vus=5)[0], []) + problems, interrupted = line_problems(parsed, summary(1, 0), max_vus=5) + expect( + "lines interrupted ok", + (problems, interrupted["download"]), + ([], 1), + ) + expect( + "lines lost", + len(line_problems(parsed, summary(0, 1), max_vus=5)[0]), + 1, + ) + expect( + "lines too many interrupted", + len(line_problems(parsed, summary(6, 0), max_vus=5)[0]), + 1, + ) + expect( + "lines no counter", + len(line_problems(parsed, {"metrics": {}}, max_vus=5)[0]), + 3, + ) bounds = {"before": (0, 10), "pass": (10, 20), "after": (20, 30)} rows, ratios_one = windows_of(parsed, bounds) expect("window rows", len(rows), 12) diff --git a/bench/run.py b/bench/run.py index 76e35694..9032fee8 100644 --- a/bench/run.py +++ b/bench/run.py @@ -389,6 +389,9 @@ class Profile: ("read", 50), ) reconcile_downloads: int = 5000 + # предел VU сценария фоновой нагрузки (MAX_VUS background.js): им же + # ограничено число итераций, прерванных остановкой SIGINT + reconcile_bg_max_vus: int = 600 reconcile_quiet_s: int = 30 reconcile_fill_processes: int = 3 reconcile_fill_threads: int = 24 @@ -6417,6 +6420,7 @@ class Bench: "WRITE_RATE": rates["write"], "READ_RATE": rates["read"], "DURATION": "6h", + "MAX_VUS": p.reconcile_bg_max_vus, "NAME": "h4-k6", }, log_name, @@ -6463,19 +6467,17 @@ class Bench: ), ) k6_data = json.loads(summary.read_text(encoding="utf-8")) - for kind, scenario in reconcile.SCENARIOS.items(): - iterations = ( - k6_data["metrics"] - .get(f"iterations{{scenario:{scenario}}}", {}) - .get("values", {}) - .get("count") - ) - lines = sum(1 for r in requests if r.kind == kind) - if iterations != lines: - raise BenchError( - f"{stage}: {lines} k6 lines of {scenario}, {iterations} " - "iterations", - ) + problems, interrupted = reconcile.line_problems( + requests, + k6_data, + max_vus=p.reconcile_bg_max_vus, + ) + self.results.meta["reconcile"].setdefault("bg_interrupted", {})[ + stage + ] = interrupted + self.results.write_meta() + if problems: + raise BenchError(f"{stage}: " + "; ".join(problems)) for entry, result in done: bounds = { "before": (result["started_at"] - quiet, result["started_at"]), diff --git a/openspec/changes/track2-reconcile-cost/design.md b/openspec/changes/track2-reconcile-cost/design.md index f408ef22..a4e09b66 100644 --- a/openspec/changes/track2-reconcile-cost/design.md +++ b/openspec/changes/track2-reconcile-cost/design.md @@ -822,8 +822,8 @@ change» → описано в нём. `--apply`, и найденное у «до» и «после» разошлось бы с моделью. Цена — ~40 с. 9. **Остановка k6 блока H4** — `docker exec mtusi-bench-k6 pkill -INT -f - background.js`: по SIGINT k6 завершает сценарии и пишет итог; строки - `bg,…` сверяются с итерациями так же, как у `failover`. Длительность — + background.js`: по SIGINT k6 завершает сценарии и пишет итог; полнота + строк `bg,…` — п. 15. Длительность — с точностью 0,01 мс: p95 чтения истории — единицы миллисекунд, и целые мс огрубляли `r` (быстрый профиль: `r` чтения 3,0 из 1 и 3 мс). 10. **Память в H1 и H2** (решение 12): выборка «в начале прохода» по @@ -856,6 +856,25 @@ change» → описано в нём. моменту закрыты, записи уже в stdout. После правки — 0,22 с от сигнала до выхода. Ошибки argparse и непредвиденные исключения выходят как раньше (до `os._exit` не доходят). +15. **Полнота строк фоновой нагрузки при остановке SIGINT** (решение 10). + Первая метка `baseline` на `aaf3fa3` упала на проходе 39/51: «D: + 264071 k6 lines of download, 264070 iterations». Причина: строку + пишет конец итерации (`report` после ответа), а итерацию, которую + SIGINT прервал уже после строки, k6 в `iterations` не считает (в итоге + k6 нет ни `interrupted`, ни другого счёта прерванных — только + `iterations{scenario:…}`). Строгое «строк = итераций» поэтому + случайно ломалось на гонке остановки, хотя ни одна строка не + пропала. Отвергнуто: ослабить до «± немного» — пропавшая строка + могла бы спрятаться за прерванной. Выбрано: `background.js` считает + строки сам — счётчик `bg_lines_<сценарий>`, `add(1)` прямо перед + `console.log` в том же коде; `reconcile.line_problems` требует + **строк ровно столько, сколько насчитал счётчик** (пропажа строки + видна точно, как раньше), и `0 ≤ строк − итераций ≤ MAX_VUS` + сценария (прерванных не больше VU, `Profile.reconcile_bg_max_vus` + 600 — тот же `MAX_VUS` у k6). Число прерванных по сценариям — в + `meta.reconcile.bg_interrupted`. Сырьё упавшей метки — вне + репозитория (scratchpad `baseline-failed-aaf3fa3/`), метка + переснимается целиком. ## Risks / Trade-offs