diff --git a/.claude/rules/bench.md b/.claude/rules/bench.md index 2b216548..4f8b0f7a 100644 --- a/.claude/rules/bench.md +++ b/.claude/rules/bench.md @@ -460,14 +460,16 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод проходом и после каждого; окна «до» и «после» — по старту и выходу контейнера, окно прохода — по итогу. k6 останавливается `pkill -INT -f background.js` в контейнере k6 (итог он пишет и тогда). Полнота строк - (`reconcile.line_problems`): строк `bg,…` сценария ровно столько, - сколько насчитал счётчик k6 `bg_lines_<сценарий>` (его увеличивает тот - же код перед строкой — пропавшая строка видна точно), и не меньше - итераций сценария; лишние против итераций — итерации, прерванные - SIGINT уже после строки (k6 их в `iterations` не считает; метка - `aaf3fa3` упала на 264 071 строке против 264 070 итераций), их не - больше VU сценария (`reconcile_bg_max_vus`), число — в - `meta.reconcile.bg_interrupted`. Иначе отказ. `r` = p95 прохода + (`reconcile.line_problems`): строк `bg,…` сценария не меньше итераций + сценария и не меньше счётчика k6 `bg_lines_<сценарий>` (его + увеличивает тот же код перед строкой; меньше — «lines lost», отказ), а + лишних против каждого — не больше VU сценария (`reconcile_bg_max_vus`). + Лишние — итерации, прерванные SIGINT уже после строки: k6 их в + `iterations` не считает, а их отсчёт счётчика может не принять (метка + `aaf3fa3` упала на 264 071 строке download против 264 070 итераций, + `a42dd27` — на 43 997 строках write против 43 996 и итераций, и + отсчётов). Число прерванных — в `meta.reconcile.bg_interrupted`. + Точного равенства нет ни с одним счётом. `r` = p95 прохода / p95 тихих, `a` = p95 до / p95 после; 5xx — пометка `bg_5xx`. - **Сравнение:** все варианты — внутри одной метки; второй метки A/A нет (шум — разброс повторов и `a`). `make bench_compare` метки сверки не diff --git a/PLAN.md b/PLAN.md index bd3ee93f..c15a5ca8 100644 --- a/PLAN.md +++ b/PLAN.md @@ -1569,11 +1569,18 @@ design, «Уточнения apply», пп. 1–13): 25. Гипотезы — `aaf3fa3`. Первая метка `baseline` на нём упала на 39/51 (37 мин): «D: 264071 k6 lines of download, 264070 iterations» — итерация, прерванная остановкой k6 SIGINT уже после строки, в - `iterations` не входит. Полнота строк теперь — точно по счётчику - `bg_lines_<сценарий>` k6 и снизу по итерациям, прерванных не больше - VU (design, «Уточнения apply», п. 15). Каталог неполной метки - перенесён в scratchpad (`baseline-failed-aaf3fa3/`), метка - переснимается целиком после commit правки. + `iterations` не входит. Правка `a42dd27` — счётчик + `bg_lines_<сценарий>` k6 и точное «строк = счётчику»; вторая метка + на ней упала там же (39/51): «D: write: 43997 k6 lines, 43996 counted + by bg_lines (lines lost)» — у прерванной итерации k6 теряет и отсчёт + счётчика. Полнота строк теперь — снизу по итерациям и по счётчику + (меньше — «lines lost»), сверху — лишних против каждого не больше VU + сценария (design, «Уточнения apply», п. 15). Офлайн на итогах k6 обеих + упавших меток проверка проходит (download 1 и write 1 прерванная). + Хост в обеих — `swapouts_delta` 0, `host_warnings` пусты. Каталоги + неполных меток — в scratchpad (`baseline-failed-aaf3fa3/`, + `baseline-failed-a42dd27/`), метка переснимается целиком после + commit правки. #### Вопросы diff --git a/bench/k6/background.js b/bench/k6/background.js index ba97c264..c9ad4490 100644 --- a/bench/k6/background.js +++ b/bench/k6/background.js @@ -5,8 +5,8 @@ // сообщений в чат записи и чтение его первой страницы истории. Каждый // запрос — строка «bg,,<отправка мс>,<длительность мс>,<статус>» в // файл консоли k6; run.py делит их на окна до, во время и после прохода -// сверки и сверяет число строк со счётчиком bg_lines_<сценарий> (точно) и -// с итерациями сценариев (снизу). Оркестратор +// сверки и сверяет число строк со счётчиком bg_lines_<сценарий> и с +// итерациями сценариев: снизу, а сверху — с запасом на VU. Оркестратор // останавливает прогон сигналом SIGINT, когда блок проходов закончен: // итог (handleSummary) k6 пишет и тогда. import exec from "k6/execution"; @@ -36,11 +36,11 @@ const PRE_VUS = Number(__ENV.PRE_VUS || 100); const MAX_VUS = Number(__ENV.MAX_VUS || 600); const TIMEOUT = __ENV.TIMEOUT || "15s"; const READER = authHeaders(fixture.tokens[fixture.readerId]); -// счёт строк bg,… тем же кодом, что их пишет: итерация, которую остановка -// SIGINT прервала уже после строки, в iterations не входит, а в этот -// счётчик — входит. run.py сверяет строки файла консоли с ним точно, а с -// iterations — снизу (design change track2-reconcile-cost, «Уточнения -// apply», п. 15) +// счёт строк bg,… тем же кодом, что их пишет. Итерация, которую остановка +// SIGINT прервала уже после строки, в iterations не входит, а её отсчёт +// здесь k6 может не принять (контекст итерации уже отменён). run.py +// требует строк не меньше счётчика и итераций, а лишних — не больше VU +// сценария (design change track2-reconcile-cost, «Уточнения apply», п. 15) const LINES = { d: new Counter("bg_lines_download"), w: new Counter("bg_lines_write"), diff --git a/bench/reconcile.py b/bench/reconcile.py index 5e54b94b..f2befd21 100644 --- a/bench/reconcile.py +++ b/bench/reconcile.py @@ -544,12 +544,14 @@ def line_problems( max_vus: int, ) -> tuple[list[str], dict[str, int]]: """Полнота строк `bg,…` по итогу k6 (design, «Уточнения apply», п. - 15): строк каждого сценария ровно столько, сколько насчитал счётчик - `bg_lines_<сценарий>` (его увеличивает тот же код, что пишет строку, — - пропавшая строка видна точно), и не меньше итераций. Строк больше - итераций — итерации, прерванные остановкой SIGINT уже после строки: - их не больше VU сценария. Возвращает расхождения и число прерванных по - сценариям.""" + 15). Итерацию, которую остановка SIGINT прервала уже после строки, k6 + не считает ни в `iterations`, ни (если прервал до сброса отсчёта) в + счётчике `bg_lines_<сценарий>`: у прерванной строка может быть, а + отсчётов нет. Поэтому снизу — строк не меньше итераций и не меньше + счётчика (у каждой завершённой итерации строка есть: пропажу видно), + сверху — лишних строк против каждого из них не больше VU сценария + (столько итераций может быть в полёте). Возвращает расхождения и число + прерванных (строк сверх итераций) по сценариям.""" problems = [] interrupted: dict[str, int] = {} for kind, scenario in SCENARIOS.items(): @@ -564,18 +566,18 @@ def line_problems( f"{scenario}: no bg_lines or iterations in the k6 summary", ) continue - if lines != counted: - problems.append( - f"{scenario}: {lines} k6 lines, {counted} counted by " - "bg_lines (lines lost)", - ) - extra = lines - iterations - interrupted[scenario] = extra - if not 0 <= extra <= max_vus: - problems.append( - f"{scenario}: {lines} k6 lines, {iterations} iterations " - f"(interrupted must be 0–{max_vus})", - ) + interrupted[scenario] = lines - iterations + for name, value in (("iterations", iterations), ("bg_lines", counted)): + if lines < value: + problems.append( + f"{scenario}: {lines} k6 lines, {value} {name} " + f"(lines lost: {value - lines})", + ) + elif lines - value > max_vus: + problems.append( + f"{scenario}: {lines} k6 lines, {value} {name} (extra " + f"{lines - value} > {max_vus} VU: not interruptions)", + ) return problems, interrupted @@ -1771,43 +1773,51 @@ def selftest() -> int: ) parsed = parse_background(console + "\nnoise\nbg,x,1,2,3\n") expect("bg parsed", len(parsed), len(reqs)) - # полнота строк: точное равенство со счётчиком, прерванные — сверху + # полнота строк: снизу — итерации и счётчик, сверху — прерванные ≤ VU counts = { kind: sum(1 for r in parsed if r.kind == kind) for kind in SCENARIOS } - def summary(extra: int, lost: int) -> dict[str, Any]: + def summary(iterations_less: int, counter_less: int) -> dict[str, Any]: + """Итог k6, где у скачиваний итераций и отсчётов счётчика на + столько меньше строк (отрицательное — больше).""" metrics = {} for kind, scenario in SCENARIOS.items(): + shift = (iterations_less, counter_less) if kind == "d" else (0, 0) metrics[f"bg_lines_{scenario}"] = { - "values": { - "count": counts[kind] + (lost if kind == "d" else 0), - }, + "values": {"count": counts[kind] - shift[1]}, } metrics[f"iterations{{scenario:{scenario}}}"] = { - "values": { - "count": counts[kind] - (extra if kind == "d" else 0), - }, + "values": {"count": counts[kind] - shift[0]}, } return {"metrics": metrics} - expect("lines ok", line_problems(parsed, summary(0, 0), max_vus=5)[0], []) + def problems_of(iterations_less: int, counter_less: int) -> list[str]: + return line_problems( + parsed, + summary(iterations_less, counter_less), + max_vus=5, + )[0] + + expect("lines ok", problems_of(0, 0), []) + # метка aaf3fa3: строка прерванной итерации, отсчёт счётчика есть problems, interrupted = line_problems(parsed, summary(1, 0), max_vus=5) expect( - "lines interrupted ok", + "lines interrupted, counted", (problems, interrupted["download"]), ([], 1), ) + # метка a42dd27: строка на 1 больше и счётчика, и итераций + expect("lines interrupted, not counted", problems_of(1, 1), []) + expect("lines lost vs counter", len(problems_of(0, -1)), 1) + expect("lines lost vs iterations", len(problems_of(-1, 0)), 1) expect( - "lines lost", - len(line_problems(parsed, summary(0, 1), max_vus=5)[0]), - 1, - ) - expect( - "lines too many interrupted", - len(line_problems(parsed, summary(6, 0), max_vus=5)[0]), - 1, + "lost message names direction", + "lines lost" in problems_of(-1, 0)[0], + True, ) + expect("lines too many interrupted", len(problems_of(6, 0)), 1) + expect("lines too many over both", len(problems_of(6, 6)), 2) expect( "lines no counter", len(line_problems(parsed, {"metrics": {}}, max_vus=5)[0]), diff --git a/openspec/changes/track2-reconcile-cost/design.md b/openspec/changes/track2-reconcile-cost/design.md index a4e09b66..aad8e2cd 100644 --- a/openspec/changes/track2-reconcile-cost/design.md +++ b/openspec/changes/track2-reconcile-cost/design.md @@ -867,13 +867,36 @@ change» → описано в нём. пропала. Отвергнуто: ослабить до «± немного» — пропавшая строка могла бы спрятаться за прерванной. Выбрано: `background.js` считает строки сам — счётчик `bg_lines_<сценарий>`, `add(1)` прямо перед - `console.log` в том же коде; `reconcile.line_problems` требует - **строк ровно столько, сколько насчитал счётчик** (пропажа строки - видна точно, как раньше), и `0 ≤ строк − итераций ≤ MAX_VUS` - сценария (прерванных не больше VU, `Profile.reconcile_bg_max_vus` - 600 — тот же `MAX_VUS` у k6). Число прерванных по сценариям — в - `meta.reconcile.bg_interrupted`. Сырьё упавшей метки — вне - репозитория (scratchpad `baseline-failed-aaf3fa3/`), метка + `console.log` в том же коде (`a42dd27`), и сначала требовалось + строк ровно столько, сколько насчитал счётчик. + + Вторая метка на `a42dd27` упала там же: «D: write: 43997 k6 lines, + 43996 counted by bg_lines (lines lost)», итераций write — тоже + 43 996. У прерванной итерации k6 теряет и отсчёт счётчика: + `add(1)` после отмены контекста итерации k6 в метрики не принимает, + а `console.log` строку пишет. Точное равенство со счётчиком поэтому + так же случайно, а текст «lines lost» называл обратное направление + (строка лишняя, а не пропавшая). Выбрано: `reconcile.line_problems` + проверяет строки сценария против итераций и против счётчика: + - снизу — строк не меньше каждого (у завершённой итерации есть и + отсчёт, и строка; меньше — «lines lost: N», отказ); + - сверху — лишних строк против каждого не больше VU сценария + (`Profile.reconcile_bg_max_vus` 600 — тот же `MAX_VUS` у k6: + столько итераций может быть в полёте; больше — «not + interruptions», отказ). + + Пропажа строки, совпавшая с таким же числом прерванных итераций того + же сценария, этим счётом не видна. Прерванные бывают только в + последние миллисекунды перед SIGINT, пропажа — в любой момент блока, + поэтому совпадение принято как риск. Число прерванных (строк сверх + итераций) по сценариям — в `meta.reconcile.bg_interrupted`. Офлайн + на итогах k6 обеих упавших меток (`raw/h4-k6.json`; файлы строк + удалила уборка стенда, их число восстановлено из текста отказа и + `bg_interrupted`) новая проверка проходит: `aaf3fa3` — download 1 + прерванная (счётчика в том скрипте нет, проверено с отсчётом и без), + `a42dd27` — write 1; на минус одной строке write — «lines lost: 1». + Сырьё упавших меток — вне репозитория (scratchpad + `baseline-failed-aaf3fa3/`, `baseline-failed-a42dd27/`), метка переснимается целиком. ## Risks / Trade-offs