fix(bench): clear stale k6 console files and check telemetry storages around lookup

k6 --console-output appends, so a run killed before cleanup left
<run>.warm.k6 in .work and the resumed warmup counted 24 of 12.
Remove the console file before each k6 run and a stale .work at
start; ignore evidence/**/.work/.

A telemetry storage that exits during the lookup (Tempo in
metrics-r3: name no longer resolvable) now fails the run with the
container state, OOMKilled flag and its log tail saved to raw/;
Tempo requests of the lookup are limited to 3 at a time and
memory peaks after the lookup are recorded.

Raise the light classes of the telemetry cost load by 15 % (read
126.5, write 23, me 34.5, card 34.5 per second): on a quiet host
`full` kept the replicas at 28-29.5 % CPU, below the 30 %
calibration bound.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-11-14 23:42:53 +03:00
co-authored by Claude Opus 5.5
parent 509afca89e
commit 68e14b6ddf
8 changed files with 194 additions and 26 deletions
+13 -1
View File
@@ -649,7 +649,13 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод
конце), ряды по `job`, `status/tsdb`, `status/config`, квантили из buckets против конце), ряды по `job`, `status/tsdb`, `status/config`, квантили из buckets против
`quantile_over_time` Loki. Предел результатов — 4 × ожидаемого; равен пределу — отказ «lookup `quantile_over_time` Loki. Предел результатов — 4 × ожидаемого; равен пределу — отказ «lookup
truncated». Повторы — только на обрыв соединения и 5xx (Tempo с 0,5 CPU под пулом запросов truncated». Повторы — только на обрыв соединения и 5xx (Tempo с 0,5 CPU под пулом запросов
изредка закрывает соединение). изредка закрывает соединение). К Tempo — не больше 3 запросов разом (`TEMPO_REQUESTS`): в метке
`baseline` (`509afca`) Tempo завершился посреди выборки, вероятно OOM по лимиту 640m под её
запросами (design, «Уточнения apply», п. 16). Перед выборкой и при её отказе
`Bench.telemetry_alive` проверяет сервисы телеметрии (работает, код выхода, `OOMKilled`,
перезапуски): погибший — отказ с его состоянием и хвост журнала в `raw/<прогон>-<сервис>.log`
(уборка удаляет контейнер); после выборки `memory.peak` сервисов — `raw/<прогон>-peaks.json`
(запас до лимита, контейнер `mtusi-bench-du` с `--cgroupns host`).
- **Ожидание после нагрузки:** незавершённых заданий 0 (не дольше `telemetry_drain_s`, иначе - **Ожидание после нагрузки:** незавершённых заданий 0 (не дольше `telemetry_drain_s`, иначе
`not_drained`), обход метаданных `queue_sweep.js` (без байтов), затем `telemetry_cost.wait_after` `not_drained`), обход метаданных `queue_sweep.js` (без байтов), затем `telemetry_cost.wait_after`
от конца нагрузки — последние отправки метрик и решения выбора трасс доходят до хранилищ. от конца нагрузки — последние отправки метрик и решения выбора трасс доходят до хранилищ.
@@ -821,6 +827,12 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод
останавливает. Уборка своих — в `finally` и по Ctrl+C. Остатки останавливает. Уборка своих — в `finally` и по Ctrl+C. Остатки
прерванного прогона `run.py` не удаляет сам: он отказывается прерванного прогона `run.py` не удаляет сам: он отказывается
стартовать и печатает команды уборки. стартовать и печатает команды уборки.
- Рабочий каталог `.work/` лежит в каталоге метки (`evidence/**/.work/` —
в `.gitignore`) и удаляется в `finally`; процесс, убитый сигналом без
перехвата, его оставляет, поэтому запуск под блокировкой удаляет
оставшийся `.work` сам. Файл консоли k6 (`--console-output`) k6
дописывает, а не перезаписывает: `Stand.k6_console` удаляет его до
старта (метка `baseline` профиля telemetry: разогрев 24 из 12).
- Случайность только через свой генератор с зерном из профиля - Случайность только через свой генератор с зерном из профиля
(`seed + номер VU`), не `Math.random`. (`seed + номер VU`), не `Math.random`.
+3
View File
@@ -50,6 +50,9 @@ evidence/compare/*quick-*
evidence/plots/quick-*/ evidence/plots/quick-*/
# блокировка стенда bench/ (один прогон любого профиля) # блокировка стенда bench/ (один прогон любого профиля)
bench/.bench.lock bench/.bench.lock
# рабочий каталог прогона bench/ (файлы k6, fixture.json с токенами): после
# процесса, убитого до уборки, остаётся в каталоге метки
evidence/**/.work/
# журналы меток (LB, скрипт замены, 5xx серий): небольшие, без секретов, # журналы меток (LB, скрипт замены, 5xx серий): небольшие, без секретов,
# на них ссылается REPORT.md; у пробных quick-* каталог исключён выше # на них ссылается REPORT.md; у пробных quick-* каталог исключён выше
!evidence/**/raw/*.log !evidence/**/raw/*.log
+8 -1
View File
@@ -445,7 +445,8 @@ Change `openspec/changes/track1-telemetry-cost/` (propose 2026-11-14). Номе
### Решения apply ### Решения apply
Подробно — design, «Уточнения apply» (номера в скобках); всё — до коммита гипотез, пороги не менялись. Подробно — design, «Уточнения apply» (номера в скобках); всё, кроме интенсивностей (16), — до коммита гипотез, пороги не
менялись.
- Регистрация на стенде — ~85 мс, а не 0,3–1 с (Argon2id параметров кода): редкий **быстрый** маршрут. Правила выбора трасс - Регистрация на стенде — ~85 мс, а не 0,3–1 с (Argon2id параметров кода): редкий **быстрый** маршрут. Правила выбора трасс
решают по span, поэтому полнота в B1, H3 и H5 (`tail`, `balanced`) требуется у 500, записей, **медленных по серверу** решают по span, поэтому полнота в B1, H3 и H5 (`tail`, `balanced`) требуется у 500, записей, **медленных по серверу**
@@ -459,6 +460,12 @@ Change `openspec/changes/track1-telemetry-cost/` (propose 2026-11-14). Номе
- Счёт в метрике — значение в конце прогона; у регистраций в нём ещё пользователи `prepare.js` (8). - Счёт в метрике — значение в конце прогона; у регистраций в нём ещё пользователи `prepare.js` (8).
- Выборка — пачки по 40 id, повтор на обрыв соединения и 5xx (Tempo под пулом запросов закрывал соединение) (9). - Выборка — пачки по 40 id, повтор на обрыв соединения и 5xx (Tempo под пулом запросов закрывал соединение) (9).
- `plots.py` самопроверки не имеет — в 9.1 проверяются шесть модулей (11). - `plots.py` самопроверки не имеет — в 9.1 проверяются шесть модулей (11).
- Метка `baseline` на `509afca` не снята (20 из 21), каталог удалён, новая — `baseline2` (16): разогрев «24 из 12» — файл
консоли k6 от убитого процесса (k6 дописывает; правка — удаление до старта, уборка `.work` в начале запуска,
`evidence/**/.work/` в `.gitignore`); DNS в выборке metrics-r3 — Tempo завершился посреди выборки, вероятно OOM под её
запросами, не доказано (правка — проверка сервисов телеметрии до и после выборки с журналом погибшего в `raw/`, не больше
3 запросов к Tempo разом, пики памяти после выборки). Интенсивности лёгких классов +15 % (`full` на тихом хосте — 28–29,5 %
при границе 30 %) — после коммита гипотез, но до первой метки, решение основной сессии; пороги не менялись.
### Вопросы ### Вопросы
+6 -5
View File
@@ -544,14 +544,15 @@ Prometheus совпадает с рабочей вне размеченных б
**Нагрузка** (8) — открытая модель (`k6/telemetry.js`, `constant-arrival-rate`, VU заранее, ответ не повторяется), одинаковая **Нагрузка** (8) — открытая модель (`k6/telemetry.js`, `constant-arrival-rate`, VU заранее, ответ не повторяется), одинаковая
во всех вариантах, ниже насыщения (калибровка до гипотез: в `full` реплика занята 30–60 % CPU, Collector, Tempo и worker — во всех вариантах, ниже насыщения (калибровка до гипотез: в `full` реплика занята 30–60 % CPU, Collector, Tempo и worker —
меньше 70 %, недосланных нет, p95 времени до `ready` < 5 с): меньше 70 %, недосланных нет, p95 времени до `ready` < 5 с). Лёгкие классы подняты на 15 % после неснятой метки
`baseline`: на тихом хосте `full` занимал реплику на 28–29,5 %, ниже границы 30 % (design, «Уточнения apply», п. 16):
| Класс | Запрос | В секунду | | Класс | Запрос | В секунду |
| --- | --- | --- | | --- | --- | --- |
| `read` | первая страница истории чата записи (50) | 110 | | `read` | первая страница истории чата записи (50) | 126,5 |
| `write` | сообщение с новым `Idempotency-Key` | 20 | | `write` | сообщение с новым `Idempotency-Key` | 23 |
| `me` | `GET /users/me` | 30 | | `me` | `GET /users/me` | 34,5 |
| `card` | карточка чата (кэш Valkey) | 30 | | `card` | карточка чата (кэш Valkey) | 34,5 |
| `download` | оригинал готового вложения | 10 | | `download` | оригинал готового вложения | 10 |
| `upload` | JPEG 1600 × 1200, 0,48 МиБ → `ready` (API → relay → worker) | 1 | | `upload` | JPEG 1600 × 1200, 0,48 МиБ → `ready` (API → relay → worker) | 1 |
| `upload_bad` | тот же JPEG с 12 битами точности в SOF: 202, затем `failed` `invalid_image` | 0,1 | | `upload_bad` | тот же JPEG с 12 битами точности в SOF: 202, затем `failed` `invalid_image` | 0,1 |
+113 -7
View File
@@ -128,6 +128,9 @@ TELEMETRY_NETWORK = "mtusi-bench-telemetry"
LOOKUP = "mtusi-bench-lookup" LOOKUP = "mtusi-bench-lookup"
DU = "mtusi-bench-du" DU = "mtusi-bench-du"
LOOKUP_SCRIPT = "/bench/telemetry_lookup.py" LOOKUP_SCRIPT = "/bench/telemetry_lookup.py"
# строк журнала погибшего сервиса телеметрии в raw/ (до уборки стенда)
TELEMETRY_LOG_TAIL = 200
MIB = 1024 * 1024
# профили, которые принимают выключатель телеметрии (решение 13) # профили, которые принимают выключатель телеметрии (решение 13)
TELEMETRY_SWITCH_PROFILES = ( TELEMETRY_SWITCH_PROFILES = (
"uploads", "uploads",
@@ -517,13 +520,15 @@ class Profile:
# классов (в секунду), окна (разогрев, чистое, отказов), моменты # классов (в секунду), окна (разогрев, чистое, отказов), моменты
# блокировок от начала окна отказов и их длительность, порог медленного # блокировок от начала окна отказов и их длительность, порог медленного
# запроса, доля head, интервал metrics, выборка GET /users/me, ожидание # запроса, доля head, интервал metrics, выборка GET /users/me, ожидание
# незавершённых заданий # незавершённых заданий. Лёгкие классы — +15 % к калибровке (110, 20, 30,
# 30): на тихом хосте `full` метки baseline дал 28–29,5 % CPU реплики при
# нижней границе 30 % (design, «Уточнения apply», п. 16)
telemetry_variants: tuple[str, ...] = () telemetry_variants: tuple[str, ...] = ()
telemetry_rates: tuple[tuple[str, float], ...] = ( telemetry_rates: tuple[tuple[str, float], ...] = (
("read", 110), ("read", 126.5),
("write", 20), ("write", 23),
("me", 30), ("me", 34.5),
("card", 30), ("card", 34.5),
("download", 10), ("download", 10),
("upload", 1), ("upload", 1),
("upload_bad", 0.1), ("upload_bad", 0.1),
@@ -2536,6 +2541,50 @@ class Stand:
) )
return telemetry_cost.parse_du(proc.stdout) return telemetry_cost.parse_du(proc.stdout)
def telemetry_peaks(self) -> dict[str, float | None]:
"""`memory.peak` сервисов телеметрии в MiB после выборки — пик за
жизнь контейнера вместе с запросами выборки, запас до лимита
(design, «Уточнения apply», п. 16). Контейнер `mtusi-bench-du` на
образе PostgreSQL стенда, `--cgroupns host`, без сети; нет cgroup
(контейнер завершён) — `None`."""
image = sh("docker", "inspect", "-f", "{{.Config.Image}}", DB)
ids = {
service: sh("docker", "inspect", "-f", "{{.Id}}", name)
for service, name in TELEMETRY_CONTAINERS.items()
}
script = "".join(
f"echo {service} $(cat /sys/fs/cgroup/docker/{cid}/memory.peak "
"2>/dev/null || echo -);"
for service, cid in ids.items()
)
proc = subprocess.run(
[
"docker",
"run",
"--rm",
"--name",
DU,
"--cgroupns",
"host",
"--network",
"none",
"--entrypoint",
"sh",
image,
"-c",
script,
],
capture_output=True,
text=True,
check=False,
)
peaks: dict[str, float | None] = dict.fromkeys(ids)
for line in proc.stdout.splitlines():
service, _, value = line.partition(" ")
if service in peaks and value.strip().isdigit():
peaks[service] = round(int(value) / MIB, 1)
return peaks
def telemetry_passport(self) -> dict[str, Any]: def telemetry_passport(self) -> dict[str, Any]:
"""Образы, лимиты и SHA-256 конфигураций сервисов телеметрии (решение """Образы, лимиты и SHA-256 конфигураций сервисов телеметрии (решение
13; спек `load-benchmark`, «Сервисы телеметрии на стенде»).""" 13; спек `load-benchmark`, «Сервисы телеметрии на стенде»)."""
@@ -3610,6 +3659,7 @@ class Stand:
"running": state.get("Running"), "running": state.get("Running"),
"oom": state.get("OOMKilled"), "oom": state.get("OOMKilled"),
"restarts": int(restarts or 0), "restarts": int(restarts or 0),
"exit_code": state.get("ExitCode"),
} }
def down_storages(self) -> list[str]: def down_storages(self) -> list[str]:
@@ -3986,6 +4036,10 @@ class Stand:
в самопроверке пропали две строки из 4 601 (вероятно, склеились в самопроверке пропали две строки из 4 601 (вероятно, склеились
строки разных VU), поэтому файл пишет k6, а не docker. строки разных VU), поэтому файл пишет k6, а не docker.
""" """
# k6 дописывает в существующий файл консоли: файл запуска с тем же
# именем от убитого процесса удвоил бы строки (метка `baseline`
# профиля telemetry: разогрев 24 из 12)
(self.work_dir / name).unlink(missing_ok=True)
with (self.work_dir / f"{name}.out").open("w") as out: with (self.work_dir / f"{name}.out").open("w") as out:
return subprocess.Popen( return subprocess.Popen(
self.k6_args( self.k6_args(
@@ -7947,7 +8001,18 @@ class Bench:
- time.monotonic(), - time.monotonic(),
), ),
) )
lookup = self.telemetry_lookup(name, reqs, t0) self.telemetry_alive(name, "before the lookup")
try:
lookup = self.telemetry_lookup(name, reqs, t0)
except BenchError as exc:
# погибшее посреди выборки хранилище — понятный отказ с его
# состоянием и журналом, а не трассировка запроса
self.telemetry_alive(name, "during the lookup", cause=exc)
raise
(self.results.dir / "raw" / f"{name}-peaks.json").write_text(
json.dumps(stand.telemetry_peaks(), indent=2) + "\n",
encoding="utf-8",
)
problems += telemetry_cost.layer_problems( problems += telemetry_cost.layer_problems(
lookup.get("layers", {}), lookup.get("layers", {}),
variant, variant,
@@ -8186,9 +8251,13 @@ class Bench:
f"/work/{name}.lookup.json", f"/work/{name}.lookup.json",
) )
if proc.returncode != 0: if proc.returncode != 0:
output = (proc.stdout + proc.stderr).strip()
# первая строка отказа идёт в `meta.reason` и `progress.json`:
# последняя строка вывода (исключение), а не середина стека
last = output.splitlines()[-1] if output else ""
raise BenchError( raise BenchError(
f"{name}: telemetry lookup failed (exit {proc.returncode}): " f"{name}: telemetry lookup failed (exit {proc.returncode}): "
+ (proc.stdout + proc.stderr)[-2000:], f"{last}\n" + output[-2000:],
) )
text = stand.read_work(f"{name}.lookup.json") text = stand.read_work(f"{name}.lookup.json")
(self.results.dir / "raw" / f"{name}-lookup.json").write_text( (self.results.dir / "raw" / f"{name}-lookup.json").write_text(
@@ -8197,6 +8266,38 @@ class Bench:
) )
return json.loads(text) return json.loads(text)
def telemetry_alive(
self,
name: str,
when: str,
cause: BenchError | None = None,
) -> None:
"""Сервисы телеметрии работают, без OOM и перезапусков; иначе —
хвост журнала погибшего в `raw/<прогон>-<сервис>.log` (до уборки
стенда, которая удаляет контейнер) и отказ с его состоянием (design,
«Уточнения apply», п. 16)."""
dead = []
for service, container in TELEMETRY_CONTAINERS.items():
state = self.stand.state(container)
if state["running"] and not state["oom"] and not state["restarts"]:
continue
tail = self.queue_log(container).splitlines()[-TELEMETRY_LOG_TAIL:]
(self.results.dir / "raw" / f"{name}-{service}.log").write_text(
"\n".join(tail) + "\n",
encoding="utf-8",
)
dead.append(
f"{container} (running {state['running']}, exit "
f"{state['exit_code']}, OOMKilled {state['oom']}, restarts "
f"{state['restarts']})",
)
if dead:
raise BenchError(
f"{name}: telemetry storage down {when}: "
+ ", ".join(dead)
+ f"; log tail in raw/{name}-<service>.log",
) from cause
def telemetry_storage_down(self) -> bool: def telemetry_storage_down(self) -> bool:
"""Хранилище, брокер или сервис телеметрии завершался за прогон.""" """Хранилище, брокер или сервис телеметрии завершался за прогон."""
names = [DB, CACHE, S3, BROKER] names = [DB, CACHE, S3, BROKER]
@@ -9881,6 +9982,11 @@ def main(argv: list[str]) -> int:
bench = Bench(profile, args.label, results) bench = Bench(profile, args.label, results)
bench.started = started bench.started = started
bench.resume = args.resume bench.resume = args.resume
if bench.stand.work_dir.exists():
# блокировка взята: `.work` остался от процесса, убитого до уборки
# (в нём файлы консоли k6 и fixture.json с токенами)
say(f"removing stale {bench.stand.work_dir.relative_to(ROOT)}")
shutil.rmtree(bench.stand.work_dir, ignore_errors=True)
code = 0 code = 0
def terminate(*_: object) -> None: def terminate(*_: object) -> None:
+18 -3
View File
@@ -4,7 +4,7 @@ Design change `track1-telemetry-cost`, решение 9. Только в кон
`mtusi-bench-lookup` на образе стенда, в сети хранилищ `mtusi-bench-telemetry`; `mtusi-bench-lookup` на образе стенда, в сети хранилищ `mtusi-bench-telemetry`;
только stdlib (`urllib`), `src` не импортирует, `bench/` — на чтение. Запросы только stdlib (`urllib`), `src` не импортирует, `bench/` — на чтение. Запросы
— HTTP API Tempo, Loki, Prometheus и метрики Collector, пулом из восьми — HTTP API Tempo, Loki, Prometheus и метрики Collector, пулом из восьми
потоков. потоков; к Tempo — не больше трёх запросов одновременно.
python telemetry_lookup.py wait-ready [--timeout 90] python telemetry_lookup.py wait-ready [--timeout 90]
python telemetry_lookup.py collect <события.json> <итог.json> python telemetry_lookup.py collect <события.json> <итог.json>
@@ -20,9 +20,11 @@ Prometheus, квантили из buckets против журнала. Резу
не выдаётся за полный. не выдаётся за полный.
""" """
import contextlib
import json import json
import math import math
import sys import sys
import threading
import time import time
import urllib.error import urllib.error
import urllib.parse import urllib.parse
@@ -43,6 +45,12 @@ READY = (
THREADS = 8 THREADS = 8
# переходы журнал → трасса: потоков на класс (классы идут параллельно) # переходы журнал → трасса: потоков на класс (классы идут параллельно)
LINK_THREADS = 2 LINK_THREADS = 2
# одновременных запросов к Tempo (поиски классов и переходы журнал → трасса):
# под восемью поисками и загрузками трасс сразу Tempo с лимитом рабочего
# стенда (640m без swap) завершился посреди выборки metrics-r3 метки baseline
# (design, «Уточнения apply», п. 16); выборка идёт после окон замера
TEMPO_REQUESTS = 3
TEMPO_GATE = threading.BoundedSemaphore(TEMPO_REQUESTS)
TIMEOUT_S = 60 TIMEOUT_S = 60
ATTEMPTS = 4 ATTEMPTS = 4
RETRY_PAUSE_S = 1.0 RETRY_PAUSE_S = 1.0
@@ -195,10 +203,17 @@ def collector_name(expr: str) -> str:
def fetch(url: str) -> bytes: def fetch(url: str) -> bytes:
"""GET с повтором на обрыв соединения и 5xx: хранилище с 0,5 CPU под """GET с повтором на обрыв соединения и 5xx: хранилище с 0,5 CPU под
пулом запросов изредка закрывает соединение без ответа. 4xx — сразу.""" пулом запросов изредка закрывает соединение без ответа. 4xx — сразу.
Запрос к Tempo ждёт места `TEMPO_GATE`; пауза повтора места не держит."""
for attempt in range(1, ATTEMPTS + 1): for attempt in range(1, ATTEMPTS + 1):
gate = (
TEMPO_GATE if url.startswith(TEMPO) else contextlib.nullcontext()
)
try: try:
with urllib.request.urlopen(url, timeout=TIMEOUT_S) as response: with (
gate,
urllib.request.urlopen(url, timeout=TIMEOUT_S) as response,
):
return response.read() return response.read()
except urllib.error.HTTPError as exc: except urllib.error.HTTPError as exc:
if exc.code < 500 or attempt == ATTEMPTS: if exc.code < 500 or attempt == ATTEMPTS:
@@ -279,17 +279,17 @@ Prometheus не сливает конфигурации, поэтому файл
| Класс | Запрос | По умолчанию, /с | Роль | | Класс | Запрос | По умолчанию, /с | Роль |
|---|---|---|---| |---|---|---|---|
| `read` | первая страница истории чата записи (50) | 110 | лёгкий | | `read` | первая страница истории чата записи (50) | 126,5 (было 110, «Уточнения apply», п. 16) | лёгкий |
| `write` | отправка с новым ключом в чат записи | 20 | лёгкий; в окне отказов — медленный под блокировкой | | `write` | отправка с новым ключом в чат записи | 23 (было 20) | лёгкий; в окне отказов — медленный под блокировкой |
| `me` | `GET /users/me` | 30 | лёгкий | | `me` | `GET /users/me` | 34,5 (было 30) | лёгкий |
| `card` | карточка чата записи (кэш) | 30 | лёгкий | | `card` | карточка чата записи (кэш) | 34,5 (было 30) | лёгкий |
| `download` | оригинал готового вложения разогрева | 10 | байты | | `download` | оригинал готового вложения разогрева | 10 | байты |
| `upload` | класс `s` (JPEG 1600 × 1200, 0,48 MiB) | 1 | цепочка API → relay → worker | | `upload` | класс `s` (JPEG 1600 × 1200, 0,48 MiB) | 1 | цепочка API → relay → worker |
| `upload_bad` | класс `bad`: `s` с точностью 12 бит в SOF — структура верна, Pillow не декодирует | 0,1 | неудачное задание, `failed`, `invalid_image` | | `upload_bad` | класс `bad`: `s` с точностью 12 бит в SOF — структура верна, Pillow не декодирует | 0,1 | неудачное задание, `failed`, `invalid_image` |
| `broken` | оригинал вложения без объекта | 0,2 | 500 API, span S3 и server span с ошибкой | | `broken` | оригинал вложения без объекта | 0,2 | 500 API, span S3 и server span с ошибкой |
| `register` | регистрация с паролем из `crypto.randomUUID()`, сразу выброшенным | 0,2 | редкий маршрут; ждали медленный (Argon2id, 0,3–1 с), на стенде ~85 мс — редкий быстрый («Уточнения apply», п. 1) | | `register` | регистрация с паролем из `crypto.randomUUID()`, сразу выброшенным | 0,2 | редкий маршрут; ждали медленный (Argon2id, 0,3–1 с), на стенде ~85 мс — редкий быстрый («Уточнения apply», п. 1) |
- **Чат записи читается с первой страницы**, как в `background.js`: страница из 50 полна уже в разогреве (20 записей/с). - **Чат записи читается с первой страницы**, как в `background.js`: страница из 50 полна уже в разогреве (23 записи/с).
- **Регистрация, а не вход:** вход требует пароля, а пароли стенда живут только в памяти `prepare.js` (`bench.md`); регистрация - **Регистрация, а не вход:** вход требует пароля, а пароли стенда живут только в памяти `prepare.js` (`bench.md`); регистрация
создаёт своего пользователя на запрос. создаёт своего пользователя на запрос.
- **Вложение без объекта** — одна строка `\copy attachments` до нагрузки (`reconcile.rows_csv(..., force=FORCE_MISSING)`: `ready`, - **Вложение без объекта** — одна строка `\copy attachments` до нагрузки (`reconcile.rows_csv(..., force=FORCE_MISSING)`: `ready`,
@@ -300,8 +300,8 @@ Prometheus не сливает конфигурации, поэтому файл
как `images.jpeg_precision_12()` тестов. как `images.jpeg_precision_12()` тестов.
- **Блокировка**: в окне отказов на +5, +15, +25 с — `BEGIN; LOCK TABLE messages IN SHARE MODE; SELECT pg_sleep(0.6); COMMIT;` в - **Блокировка**: в окне отказов на +5, +15, +25 с — `BEGIN; LOCK TABLE messages IN SHARE MODE; SELECT pg_sleep(0.6); COMMIT;` в
своей сессии `docker exec -i … psql`, `clock_timestamp()` до и после захвата — моменты на часах ВМ. `SHARE` держит только своей сессии `docker exec -i … psql`, `clock_timestamp()` до и после захвата — моменты на часах ВМ. `SHARE` держит только
вставки, чтение истории идёт; при 20 записях/с одна блокировка занимает до 12 соединений пулов двух реплик из 20 — пул не вставки, чтение истории идёт; при 23 записях/с одна блокировка занимает до 14 соединений пулов двух реплик из 20 — пул не
исчерпан. Медленными (≥ 250 мс) по клиенту становятся записи первых ~0,35 с блокировки — ~7 на блокировку. исчерпан. Медленными (≥ 250 мс) по клиенту становятся записи первых ~0,35 с блокировки — ~8 на блокировку.
- **Окна**: полный — разогрев 30 с, чистое окно 90 с, окно отказов 30 с; быстрый — 10, 30, 15 с. Цена — только по чистому окну: - **Окна**: полный — разогрев 30 с, чистое окно 90 с, окно отказов 30 с; быстрый — 10, 30, 15 с. Цена — только по чистому окну:
блокировки в нём не вносятся, и хвост лёгких запросов не смешан с ожиданием пула. Редкие 500, `bad` и регистрации идут во всех блокировки в нём не вносятся, и хвост лёгких запросов не смешан с ожиданием пула. Редкие 500, `bad` и регистрации идут во всех
окнах (их цена одинакова во всех вариантах), разбор потерь — по всем трём. окнах (их цена одинакова во всех вариантах), разбор потерь — по всем трём.
@@ -490,7 +490,7 @@ commit кода; файлы `bench/` от рабочего стенда не з
## Уточнения apply ## Уточнения apply
Решения, принятые в apply без пользователя (дублируются в `QUESTIONS.md`, `## track1-telemetry-cost`, «Решения apply»), — Решения, принятые в apply без пользователя (дублируются в `QUESTIONS.md`, `## track1-telemetry-cost`, «Решения apply»), —
до коммита гипотез; пороги H1–H8 и B2–B5 не менялись. до коммита гипотез (п. 16 — после него, до первой метки); пороги H1–H8 и B2–B5 не менялись.
1. **Регистрация — редкий быстрый маршрут, медленные записи — по серверу.** Пробные прогоны (`quick-telemetry-debug1/2`, в git 1. **Регистрация — редкий быстрый маршрут, медленные записи — по серверу.** Пробные прогоны (`quick-telemetry-debug1/2`, в git
не идут): регистрация на стенде — p50 ~85 мс, p95 ~90 мс (Argon2id параметров кода, 1 CPU реплики), а не 0,3–1 с, как ждал не идут): регистрация на стенде — p50 ~85 мс, p95 ~90 мс (Argon2id параметров кода, 1 CPU реплики), а не 0,3–1 с, как ждал
@@ -535,3 +535,27 @@ commit кода; файлы `bench/` от рабочего стенда не з
15. **Калибровка (10.1)**: у `full` реплики заняты ~37 % CPU (граница 30–60 %), Collector и Tempo — 3–4 % своего лимита, 15. **Калибровка (10.1)**: у `full` реплики заняты ~37 % CPU (граница 30–60 %), Collector и Tempo — 3–4 % своего лимита,
worker ~41 %, недосланных нет, p95 времени до `ready` 0,8 с — интенсивности не меняются, множитель 1. Хост во время worker ~41 %, недосланных нет, p95 времени до `ready` 0,8 с — интенсивности не меняются, множитель 1. Хост во время
калибровки выгружал память в swap (`host_swap` у прогонов с телеметрией) — числа быстрой метки только проверяют стенд. калибровки выгружал память в swap (`host_swap` у прогонов с телеметрией) — числа быстрой метки только проверяют стенд.
16. **Метка `baseline` на `509afca` не снята (20 из 21 прогона), каталог удалён; три правки до новой метки (`baseline2`).**
- *Разогрев «24 из 12» (balanced-r2, первое продолжение) — дефект кода профиля.* Процесс метки убили сигналом, который не
перехватить; `finally` не удалил `.work`, и в нём остался файл консоли k6 прерванной попытки. k6 `--console-output`
дописывает в существующий файл, а `queue_warm` считает весь файл: 12 + 12. Правка: `Stand.k6_console` удаляет файл
консоли до старта (все профили); оставшийся `.work` удаляется в начале запуска (блокировка взята); `evidence/**/.work/` —
в `.gitignore` (там `fixture.json` с токенами).
- *`[Errno -2] Name or service not known` в выборке metrics-r3 (второе продолжение) — на стенде завершился Tempo; первопричина
не доказана.* Поиск трасс в Tempo в начале выборки прошёл, а переход журнал → трасса (`GET /api/v2/traces/<id>`) — уже нет:
имя `tempo` пропало из DNS сети, то есть контейнер (`restart: "no"`) завершился посреди выборки; выгрузка хоста в swap так
не проявляется. Состояние контейнера уборка удалила, буфер событий Docker пуст. Вероятнее всего — OOM по лимиту 640m без
swap под запросами самой выборки (8 поисков и до 16 загрузок трасс разом; пик Tempo в нагрузке у вариантов со всеми
трассами — 270–326 MiB; 8 из 9 таких выборок прошли). Правки: перед выборкой и при её отказе `telemetry_alive` проверяет
сервисы телеметрии (работает, код выхода, `OOMKilled`, перезапуски) и при гибели отказывает с состоянием, сохранив хвост
журнала в `raw/<прогон>-<сервис>.log`; в сообщении отказа выборки первой идёт последняя строка вывода (она же
`meta.reason`); к Tempo — не больше 3 запросов одновременно (`TEMPO_REQUESTS`; выборка идёт после окон замера, меняется
только её длительность); после выборки `memory.peak` сервисов телеметрии — `raw/<прогон>-peaks.json` (запас до лимита).
Лимит Tempo — рабочего стенда, не меняется.
- *Калибровка: интенсивности лёгких классов +15 %* (`read` 126,5, `write` 23, `me` 34,5, `card` 34,5; редкие, загрузки и
скачивания — прежние). На тихом хосте все три `full` метки дали 28,1–29,5 % CPU реплики при нижней границе 30 % (пометка
`saturated` у каждого: на шумном хосте калибровки п. 15 выходило ~37 %); +15 % — ~33–34 %. Правило раздела «Risks»
(интенсивности — только до коммита гипотез) нарушено сознательно: гипотезы закоммичены, но ни одной метки ещё нет, пороги
H1–H8 и B1–B5 относительные и не менялись; решение основной сессии. Новые значения — в `meta.telemetry_cost.rates`.
- Хост метки: выгрузка в swap 39 488 страниц за второе продолжение (`host_swap` у 4 прогонов) — новая метка снимается на
освобождённом хосте.
@@ -156,7 +156,7 @@
правило шума, правило «если `balanced` не прошёл», методика (стенд, лимиты, варианты, нагрузка и окна, редкие события, источники правило шума, правило «если `balanced` не прошёл», методика (стенд, лимиты, варианты, нагрузка и окна, редкие события, источники
измерений), рабочий стенд остаётся со 100 % трасс; чисел метки нет. Вопросы `QUESTIONS.md` к преподавателю — в «Открытые вопросы измерений), рабочий стенд остаётся со 100 % трасс; чисел метки нет. Вопросы `QUESTIONS.md` к преподавателю — в «Открытые вопросы
преподавателю». Проверка: у каждой гипотезы и критерия — порог; `make check`. преподавателю». Проверка: у каждой гипотезы и критерия — порог; `make check`.
- [ ] 11.2 Коммит кода, правил и гипотез на ветке `feat/track1-telemetry-cost` — основная сессия. Проверка: `git status` чист; - [x] 11.2 Коммит кода, правил и гипотез на ветке `feat/track1-telemetry-cost` — основная сессия. Проверка: `git status` чист;
commit с гипотезами раньше первой метки в `git log`. commit с гипотезами раньше первой метки в `git log`.
## 12. Метка и отчёт (после коммита 11.2) ## 12. Метка и отчёт (после коммита 11.2)