fix: check bg k6 lines from below and allow interrupted extras
An iteration interrupted by SIGINT after its line loses both the iteration count and the bg_lines counter sample, so neither can match the console lines exactly. line_problems now requires lines >= each count (fewer: "lines lost") and at most MAX_VUS extra lines over each. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+10
-8
@@ -460,14 +460,16 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод
|
||||
проходом и после каждого; окна «до» и «после» — по старту и выходу
|
||||
контейнера, окно прохода — по итогу. k6 останавливается `pkill -INT -f
|
||||
background.js` в контейнере k6 (итог он пишет и тогда). Полнота строк
|
||||
(`reconcile.line_problems`): строк `bg,…` сценария ровно столько,
|
||||
сколько насчитал счётчик k6 `bg_lines_<сценарий>` (его увеличивает тот
|
||||
же код перед строкой — пропавшая строка видна точно), и не меньше
|
||||
итераций сценария; лишние против итераций — итерации, прерванные
|
||||
SIGINT уже после строки (k6 их в `iterations` не считает; метка
|
||||
`aaf3fa3` упала на 264 071 строке против 264 070 итераций), их не
|
||||
больше VU сценария (`reconcile_bg_max_vus`), число — в
|
||||
`meta.reconcile.bg_interrupted`. Иначе отказ. `r` = p95 прохода
|
||||
(`reconcile.line_problems`): строк `bg,…` сценария не меньше итераций
|
||||
сценария и не меньше счётчика k6 `bg_lines_<сценарий>` (его
|
||||
увеличивает тот же код перед строкой; меньше — «lines lost», отказ), а
|
||||
лишних против каждого — не больше VU сценария (`reconcile_bg_max_vus`).
|
||||
Лишние — итерации, прерванные SIGINT уже после строки: k6 их в
|
||||
`iterations` не считает, а их отсчёт счётчика может не принять (метка
|
||||
`aaf3fa3` упала на 264 071 строке download против 264 070 итераций,
|
||||
`a42dd27` — на 43 997 строках write против 43 996 и итераций, и
|
||||
отсчётов). Число прерванных — в `meta.reconcile.bg_interrupted`.
|
||||
Точного равенства нет ни с одним счётом. `r` = p95 прохода
|
||||
/ p95 тихих, `a` = p95 до / p95 после; 5xx — пометка `bg_5xx`.
|
||||
- **Сравнение:** все варианты — внутри одной метки; второй метки A/A нет
|
||||
(шум — разброс повторов и `a`). `make bench_compare` метки сверки не
|
||||
|
||||
@@ -1569,11 +1569,18 @@ design, «Уточнения apply», пп. 1–13):
|
||||
25. Гипотезы — `aaf3fa3`. Первая метка `baseline` на нём упала на 39/51
|
||||
(37 мин): «D: 264071 k6 lines of download, 264070 iterations» —
|
||||
итерация, прерванная остановкой k6 SIGINT уже после строки, в
|
||||
`iterations` не входит. Полнота строк теперь — точно по счётчику
|
||||
`bg_lines_<сценарий>` k6 и снизу по итерациям, прерванных не больше
|
||||
VU (design, «Уточнения apply», п. 15). Каталог неполной метки
|
||||
перенесён в scratchpad (`baseline-failed-aaf3fa3/`), метка
|
||||
переснимается целиком после commit правки.
|
||||
`iterations` не входит. Правка `a42dd27` — счётчик
|
||||
`bg_lines_<сценарий>` k6 и точное «строк = счётчику»; вторая метка
|
||||
на ней упала там же (39/51): «D: write: 43997 k6 lines, 43996 counted
|
||||
by bg_lines (lines lost)» — у прерванной итерации k6 теряет и отсчёт
|
||||
счётчика. Полнота строк теперь — снизу по итерациям и по счётчику
|
||||
(меньше — «lines lost»), сверху — лишних против каждого не больше VU
|
||||
сценария (design, «Уточнения apply», п. 15). Офлайн на итогах k6 обеих
|
||||
упавших меток проверка проходит (download 1 и write 1 прерванная).
|
||||
Хост в обеих — `swapouts_delta` 0, `host_warnings` пусты. Каталоги
|
||||
неполных меток — в scratchpad (`baseline-failed-aaf3fa3/`,
|
||||
`baseline-failed-a42dd27/`), метка переснимается целиком после
|
||||
commit правки.
|
||||
|
||||
#### Вопросы
|
||||
|
||||
|
||||
@@ -5,8 +5,8 @@
|
||||
// сообщений в чат записи и чтение его первой страницы истории. Каждый
|
||||
// запрос — строка «bg,<d|w|r>,<отправка мс>,<длительность мс>,<статус>» в
|
||||
// файл консоли k6; run.py делит их на окна до, во время и после прохода
|
||||
// сверки и сверяет число строк со счётчиком bg_lines_<сценарий> (точно) и
|
||||
// с итерациями сценариев (снизу). Оркестратор
|
||||
// сверки и сверяет число строк со счётчиком bg_lines_<сценарий> и с
|
||||
// итерациями сценариев: снизу, а сверху — с запасом на VU. Оркестратор
|
||||
// останавливает прогон сигналом SIGINT, когда блок проходов закончен:
|
||||
// итог (handleSummary) k6 пишет и тогда.
|
||||
import exec from "k6/execution";
|
||||
@@ -36,11 +36,11 @@ const PRE_VUS = Number(__ENV.PRE_VUS || 100);
|
||||
const MAX_VUS = Number(__ENV.MAX_VUS || 600);
|
||||
const TIMEOUT = __ENV.TIMEOUT || "15s";
|
||||
const READER = authHeaders(fixture.tokens[fixture.readerId]);
|
||||
// счёт строк bg,… тем же кодом, что их пишет: итерация, которую остановка
|
||||
// SIGINT прервала уже после строки, в iterations не входит, а в этот
|
||||
// счётчик — входит. run.py сверяет строки файла консоли с ним точно, а с
|
||||
// iterations — снизу (design change track2-reconcile-cost, «Уточнения
|
||||
// apply», п. 15)
|
||||
// счёт строк bg,… тем же кодом, что их пишет. Итерация, которую остановка
|
||||
// SIGINT прервала уже после строки, в iterations не входит, а её отсчёт
|
||||
// здесь k6 может не принять (контекст итерации уже отменён). run.py
|
||||
// требует строк не меньше счётчика и итераций, а лишних — не больше VU
|
||||
// сценария (design change track2-reconcile-cost, «Уточнения apply», п. 15)
|
||||
const LINES = {
|
||||
d: new Counter("bg_lines_download"),
|
||||
w: new Counter("bg_lines_write"),
|
||||
|
||||
+46
-36
@@ -544,12 +544,14 @@ def line_problems(
|
||||
max_vus: int,
|
||||
) -> tuple[list[str], dict[str, int]]:
|
||||
"""Полнота строк `bg,…` по итогу k6 (design, «Уточнения apply», п.
|
||||
15): строк каждого сценария ровно столько, сколько насчитал счётчик
|
||||
`bg_lines_<сценарий>` (его увеличивает тот же код, что пишет строку, —
|
||||
пропавшая строка видна точно), и не меньше итераций. Строк больше
|
||||
итераций — итерации, прерванные остановкой SIGINT уже после строки:
|
||||
их не больше VU сценария. Возвращает расхождения и число прерванных по
|
||||
сценариям."""
|
||||
15). Итерацию, которую остановка SIGINT прервала уже после строки, k6
|
||||
не считает ни в `iterations`, ни (если прервал до сброса отсчёта) в
|
||||
счётчике `bg_lines_<сценарий>`: у прерванной строка может быть, а
|
||||
отсчётов нет. Поэтому снизу — строк не меньше итераций и не меньше
|
||||
счётчика (у каждой завершённой итерации строка есть: пропажу видно),
|
||||
сверху — лишних строк против каждого из них не больше VU сценария
|
||||
(столько итераций может быть в полёте). Возвращает расхождения и число
|
||||
прерванных (строк сверх итераций) по сценариям."""
|
||||
problems = []
|
||||
interrupted: dict[str, int] = {}
|
||||
for kind, scenario in SCENARIOS.items():
|
||||
@@ -564,18 +566,18 @@ def line_problems(
|
||||
f"{scenario}: no bg_lines or iterations in the k6 summary",
|
||||
)
|
||||
continue
|
||||
if lines != counted:
|
||||
problems.append(
|
||||
f"{scenario}: {lines} k6 lines, {counted} counted by "
|
||||
"bg_lines (lines lost)",
|
||||
)
|
||||
extra = lines - iterations
|
||||
interrupted[scenario] = extra
|
||||
if not 0 <= extra <= max_vus:
|
||||
problems.append(
|
||||
f"{scenario}: {lines} k6 lines, {iterations} iterations "
|
||||
f"(interrupted must be 0–{max_vus})",
|
||||
)
|
||||
interrupted[scenario] = lines - iterations
|
||||
for name, value in (("iterations", iterations), ("bg_lines", counted)):
|
||||
if lines < value:
|
||||
problems.append(
|
||||
f"{scenario}: {lines} k6 lines, {value} {name} "
|
||||
f"(lines lost: {value - lines})",
|
||||
)
|
||||
elif lines - value > max_vus:
|
||||
problems.append(
|
||||
f"{scenario}: {lines} k6 lines, {value} {name} (extra "
|
||||
f"{lines - value} > {max_vus} VU: not interruptions)",
|
||||
)
|
||||
return problems, interrupted
|
||||
|
||||
|
||||
@@ -1771,43 +1773,51 @@ def selftest() -> int:
|
||||
)
|
||||
parsed = parse_background(console + "\nnoise\nbg,x,1,2,3\n")
|
||||
expect("bg parsed", len(parsed), len(reqs))
|
||||
# полнота строк: точное равенство со счётчиком, прерванные — сверху
|
||||
# полнота строк: снизу — итерации и счётчик, сверху — прерванные ≤ VU
|
||||
counts = {
|
||||
kind: sum(1 for r in parsed if r.kind == kind) for kind in SCENARIOS
|
||||
}
|
||||
|
||||
def summary(extra: int, lost: int) -> dict[str, Any]:
|
||||
def summary(iterations_less: int, counter_less: int) -> dict[str, Any]:
|
||||
"""Итог k6, где у скачиваний итераций и отсчётов счётчика на
|
||||
столько меньше строк (отрицательное — больше)."""
|
||||
metrics = {}
|
||||
for kind, scenario in SCENARIOS.items():
|
||||
shift = (iterations_less, counter_less) if kind == "d" else (0, 0)
|
||||
metrics[f"bg_lines_{scenario}"] = {
|
||||
"values": {
|
||||
"count": counts[kind] + (lost if kind == "d" else 0),
|
||||
},
|
||||
"values": {"count": counts[kind] - shift[1]},
|
||||
}
|
||||
metrics[f"iterations{{scenario:{scenario}}}"] = {
|
||||
"values": {
|
||||
"count": counts[kind] - (extra if kind == "d" else 0),
|
||||
},
|
||||
"values": {"count": counts[kind] - shift[0]},
|
||||
}
|
||||
return {"metrics": metrics}
|
||||
|
||||
expect("lines ok", line_problems(parsed, summary(0, 0), max_vus=5)[0], [])
|
||||
def problems_of(iterations_less: int, counter_less: int) -> list[str]:
|
||||
return line_problems(
|
||||
parsed,
|
||||
summary(iterations_less, counter_less),
|
||||
max_vus=5,
|
||||
)[0]
|
||||
|
||||
expect("lines ok", problems_of(0, 0), [])
|
||||
# метка aaf3fa3: строка прерванной итерации, отсчёт счётчика есть
|
||||
problems, interrupted = line_problems(parsed, summary(1, 0), max_vus=5)
|
||||
expect(
|
||||
"lines interrupted ok",
|
||||
"lines interrupted, counted",
|
||||
(problems, interrupted["download"]),
|
||||
([], 1),
|
||||
)
|
||||
# метка a42dd27: строка на 1 больше и счётчика, и итераций
|
||||
expect("lines interrupted, not counted", problems_of(1, 1), [])
|
||||
expect("lines lost vs counter", len(problems_of(0, -1)), 1)
|
||||
expect("lines lost vs iterations", len(problems_of(-1, 0)), 1)
|
||||
expect(
|
||||
"lines lost",
|
||||
len(line_problems(parsed, summary(0, 1), max_vus=5)[0]),
|
||||
1,
|
||||
)
|
||||
expect(
|
||||
"lines too many interrupted",
|
||||
len(line_problems(parsed, summary(6, 0), max_vus=5)[0]),
|
||||
1,
|
||||
"lost message names direction",
|
||||
"lines lost" in problems_of(-1, 0)[0],
|
||||
True,
|
||||
)
|
||||
expect("lines too many interrupted", len(problems_of(6, 0)), 1)
|
||||
expect("lines too many over both", len(problems_of(6, 6)), 2)
|
||||
expect(
|
||||
"lines no counter",
|
||||
len(line_problems(parsed, {"metrics": {}}, max_vus=5)[0]),
|
||||
|
||||
@@ -867,13 +867,36 @@ change» → описано в нём.
|
||||
пропала. Отвергнуто: ослабить до «± немного» — пропавшая строка
|
||||
могла бы спрятаться за прерванной. Выбрано: `background.js` считает
|
||||
строки сам — счётчик `bg_lines_<сценарий>`, `add(1)` прямо перед
|
||||
`console.log` в том же коде; `reconcile.line_problems` требует
|
||||
**строк ровно столько, сколько насчитал счётчик** (пропажа строки
|
||||
видна точно, как раньше), и `0 ≤ строк − итераций ≤ MAX_VUS`
|
||||
сценария (прерванных не больше VU, `Profile.reconcile_bg_max_vus`
|
||||
600 — тот же `MAX_VUS` у k6). Число прерванных по сценариям — в
|
||||
`meta.reconcile.bg_interrupted`. Сырьё упавшей метки — вне
|
||||
репозитория (scratchpad `baseline-failed-aaf3fa3/`), метка
|
||||
`console.log` в том же коде (`a42dd27`), и сначала требовалось
|
||||
строк ровно столько, сколько насчитал счётчик.
|
||||
|
||||
Вторая метка на `a42dd27` упала там же: «D: write: 43997 k6 lines,
|
||||
43996 counted by bg_lines (lines lost)», итераций write — тоже
|
||||
43 996. У прерванной итерации k6 теряет и отсчёт счётчика:
|
||||
`add(1)` после отмены контекста итерации k6 в метрики не принимает,
|
||||
а `console.log` строку пишет. Точное равенство со счётчиком поэтому
|
||||
так же случайно, а текст «lines lost» называл обратное направление
|
||||
(строка лишняя, а не пропавшая). Выбрано: `reconcile.line_problems`
|
||||
проверяет строки сценария против итераций и против счётчика:
|
||||
- снизу — строк не меньше каждого (у завершённой итерации есть и
|
||||
отсчёт, и строка; меньше — «lines lost: N», отказ);
|
||||
- сверху — лишних строк против каждого не больше VU сценария
|
||||
(`Profile.reconcile_bg_max_vus` 600 — тот же `MAX_VUS` у k6:
|
||||
столько итераций может быть в полёте; больше — «not
|
||||
interruptions», отказ).
|
||||
|
||||
Пропажа строки, совпавшая с таким же числом прерванных итераций того
|
||||
же сценария, этим счётом не видна. Прерванные бывают только в
|
||||
последние миллисекунды перед SIGINT, пропажа — в любой момент блока,
|
||||
поэтому совпадение принято как риск. Число прерванных (строк сверх
|
||||
итераций) по сценариям — в `meta.reconcile.bg_interrupted`. Офлайн
|
||||
на итогах k6 обеих упавших меток (`raw/h4-k6.json`; файлы строк
|
||||
удалила уборка стенда, их число восстановлено из текста отказа и
|
||||
`bg_interrupted`) новая проверка проходит: `aaf3fa3` — download 1
|
||||
прерванная (счётчика в том скрипте нет, проверено с отсчётом и без),
|
||||
`a42dd27` — write 1; на минус одной строке write — «lines lost: 1».
|
||||
Сырьё упавших меток — вне репозитория (scratchpad
|
||||
`baseline-failed-aaf3fa3/`, `baseline-failed-a42dd27/`), метка
|
||||
переснимается целиком.
|
||||
|
||||
## Risks / Trade-offs
|
||||
|
||||
Reference in New Issue
Block a user