fix(bench): clear stale k6 console files and check telemetry storages around lookup
k6 --console-output appends, so a run killed before cleanup left <run>.warm.k6 in .work and the resumed warmup counted 24 of 12. Remove the console file before each k6 run and a stale .work at start; ignore evidence/**/.work/. A telemetry storage that exits during the lookup (Tempo in metrics-r3: name no longer resolvable) now fails the run with the container state, OOMKilled flag and its log tail saved to raw/; Tempo requests of the lookup are limited to 3 at a time and memory peaks after the lookup are recorded. Raise the light classes of the telemetry cost load by 15 % (read 126.5, write 23, me 34.5, card 34.5 per second): on a quiet host `full` kept the replicas at 28-29.5 % CPU, below the 30 % calibration bound. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+13
-1
@@ -649,7 +649,13 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод
|
||||
конце), ряды по `job`, `status/tsdb`, `status/config`, квантили из buckets против
|
||||
`quantile_over_time` Loki. Предел результатов — 4 × ожидаемого; равен пределу — отказ «lookup
|
||||
truncated». Повторы — только на обрыв соединения и 5xx (Tempo с 0,5 CPU под пулом запросов
|
||||
изредка закрывает соединение).
|
||||
изредка закрывает соединение). К Tempo — не больше 3 запросов разом (`TEMPO_REQUESTS`): в метке
|
||||
`baseline` (`509afca`) Tempo завершился посреди выборки, вероятно OOM по лимиту 640m под её
|
||||
запросами (design, «Уточнения apply», п. 16). Перед выборкой и при её отказе
|
||||
`Bench.telemetry_alive` проверяет сервисы телеметрии (работает, код выхода, `OOMKilled`,
|
||||
перезапуски): погибший — отказ с его состоянием и хвост журнала в `raw/<прогон>-<сервис>.log`
|
||||
(уборка удаляет контейнер); после выборки `memory.peak` сервисов — `raw/<прогон>-peaks.json`
|
||||
(запас до лимита, контейнер `mtusi-bench-du` с `--cgroupns host`).
|
||||
- **Ожидание после нагрузки:** незавершённых заданий 0 (не дольше `telemetry_drain_s`, иначе
|
||||
`not_drained`), обход метаданных `queue_sweep.js` (без байтов), затем `telemetry_cost.wait_after`
|
||||
от конца нагрузки — последние отправки метрик и решения выбора трасс доходят до хранилищ.
|
||||
@@ -821,6 +827,12 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод
|
||||
останавливает. Уборка своих — в `finally` и по Ctrl+C. Остатки
|
||||
прерванного прогона `run.py` не удаляет сам: он отказывается
|
||||
стартовать и печатает команды уборки.
|
||||
- Рабочий каталог `.work/` лежит в каталоге метки (`evidence/**/.work/` —
|
||||
в `.gitignore`) и удаляется в `finally`; процесс, убитый сигналом без
|
||||
перехвата, его оставляет, поэтому запуск под блокировкой удаляет
|
||||
оставшийся `.work` сам. Файл консоли k6 (`--console-output`) k6
|
||||
дописывает, а не перезаписывает: `Stand.k6_console` удаляет его до
|
||||
старта (метка `baseline` профиля telemetry: разогрев 24 из 12).
|
||||
- Случайность только через свой генератор с зерном из профиля
|
||||
(`seed + номер VU`), не `Math.random`.
|
||||
|
||||
|
||||
@@ -50,6 +50,9 @@ evidence/compare/*quick-*
|
||||
evidence/plots/quick-*/
|
||||
# блокировка стенда bench/ (один прогон любого профиля)
|
||||
bench/.bench.lock
|
||||
# рабочий каталог прогона bench/ (файлы k6, fixture.json с токенами): после
|
||||
# процесса, убитого до уборки, остаётся в каталоге метки
|
||||
evidence/**/.work/
|
||||
# журналы меток (LB, скрипт замены, 5xx серий): небольшие, без секретов,
|
||||
# на них ссылается REPORT.md; у пробных quick-* каталог исключён выше
|
||||
!evidence/**/raw/*.log
|
||||
|
||||
+8
-1
@@ -445,7 +445,8 @@ Change `openspec/changes/track1-telemetry-cost/` (propose 2026-11-14). Номе
|
||||
|
||||
### Решения apply
|
||||
|
||||
Подробно — design, «Уточнения apply» (номера в скобках); всё — до коммита гипотез, пороги не менялись.
|
||||
Подробно — design, «Уточнения apply» (номера в скобках); всё, кроме интенсивностей (16), — до коммита гипотез, пороги не
|
||||
менялись.
|
||||
|
||||
- Регистрация на стенде — ~85 мс, а не 0,3–1 с (Argon2id параметров кода): редкий **быстрый** маршрут. Правила выбора трасс
|
||||
решают по span, поэтому полнота в B1, H3 и H5 (`tail`, `balanced`) требуется у 500, записей, **медленных по серверу**
|
||||
@@ -459,6 +460,12 @@ Change `openspec/changes/track1-telemetry-cost/` (propose 2026-11-14). Номе
|
||||
- Счёт в метрике — значение в конце прогона; у регистраций в нём ещё пользователи `prepare.js` (8).
|
||||
- Выборка — пачки по 40 id, повтор на обрыв соединения и 5xx (Tempo под пулом запросов закрывал соединение) (9).
|
||||
- `plots.py` самопроверки не имеет — в 9.1 проверяются шесть модулей (11).
|
||||
- Метка `baseline` на `509afca` не снята (20 из 21), каталог удалён, новая — `baseline2` (16): разогрев «24 из 12» — файл
|
||||
консоли k6 от убитого процесса (k6 дописывает; правка — удаление до старта, уборка `.work` в начале запуска,
|
||||
`evidence/**/.work/` в `.gitignore`); DNS в выборке metrics-r3 — Tempo завершился посреди выборки, вероятно OOM под её
|
||||
запросами, не доказано (правка — проверка сервисов телеметрии до и после выборки с журналом погибшего в `raw/`, не больше
|
||||
3 запросов к Tempo разом, пики памяти после выборки). Интенсивности лёгких классов +15 % (`full` на тихом хосте — 28–29,5 %
|
||||
при границе 30 %) — после коммита гипотез, но до первой метки, решение основной сессии; пороги не менялись.
|
||||
|
||||
### Вопросы
|
||||
|
||||
|
||||
@@ -544,14 +544,15 @@ Prometheus совпадает с рабочей вне размеченных б
|
||||
|
||||
**Нагрузка** (8) — открытая модель (`k6/telemetry.js`, `constant-arrival-rate`, VU заранее, ответ не повторяется), одинаковая
|
||||
во всех вариантах, ниже насыщения (калибровка до гипотез: в `full` реплика занята 30–60 % CPU, Collector, Tempo и worker —
|
||||
меньше 70 %, недосланных нет, p95 времени до `ready` < 5 с):
|
||||
меньше 70 %, недосланных нет, p95 времени до `ready` < 5 с). Лёгкие классы подняты на 15 % после неснятой метки
|
||||
`baseline`: на тихом хосте `full` занимал реплику на 28–29,5 %, ниже границы 30 % (design, «Уточнения apply», п. 16):
|
||||
|
||||
| Класс | Запрос | В секунду |
|
||||
| --- | --- | --- |
|
||||
| `read` | первая страница истории чата записи (50) | 110 |
|
||||
| `write` | сообщение с новым `Idempotency-Key` | 20 |
|
||||
| `me` | `GET /users/me` | 30 |
|
||||
| `card` | карточка чата (кэш Valkey) | 30 |
|
||||
| `read` | первая страница истории чата записи (50) | 126,5 |
|
||||
| `write` | сообщение с новым `Idempotency-Key` | 23 |
|
||||
| `me` | `GET /users/me` | 34,5 |
|
||||
| `card` | карточка чата (кэш Valkey) | 34,5 |
|
||||
| `download` | оригинал готового вложения | 10 |
|
||||
| `upload` | JPEG 1600 × 1200, 0,48 МиБ → `ready` (API → relay → worker) | 1 |
|
||||
| `upload_bad` | тот же JPEG с 12 битами точности в SOF: 202, затем `failed` `invalid_image` | 0,1 |
|
||||
|
||||
+113
-7
@@ -128,6 +128,9 @@ TELEMETRY_NETWORK = "mtusi-bench-telemetry"
|
||||
LOOKUP = "mtusi-bench-lookup"
|
||||
DU = "mtusi-bench-du"
|
||||
LOOKUP_SCRIPT = "/bench/telemetry_lookup.py"
|
||||
# строк журнала погибшего сервиса телеметрии в raw/ (до уборки стенда)
|
||||
TELEMETRY_LOG_TAIL = 200
|
||||
MIB = 1024 * 1024
|
||||
# профили, которые принимают выключатель телеметрии (решение 13)
|
||||
TELEMETRY_SWITCH_PROFILES = (
|
||||
"uploads",
|
||||
@@ -517,13 +520,15 @@ class Profile:
|
||||
# классов (в секунду), окна (разогрев, чистое, отказов), моменты
|
||||
# блокировок от начала окна отказов и их длительность, порог медленного
|
||||
# запроса, доля head, интервал metrics, выборка GET /users/me, ожидание
|
||||
# незавершённых заданий
|
||||
# незавершённых заданий. Лёгкие классы — +15 % к калибровке (110, 20, 30,
|
||||
# 30): на тихом хосте `full` метки baseline дал 28–29,5 % CPU реплики при
|
||||
# нижней границе 30 % (design, «Уточнения apply», п. 16)
|
||||
telemetry_variants: tuple[str, ...] = ()
|
||||
telemetry_rates: tuple[tuple[str, float], ...] = (
|
||||
("read", 110),
|
||||
("write", 20),
|
||||
("me", 30),
|
||||
("card", 30),
|
||||
("read", 126.5),
|
||||
("write", 23),
|
||||
("me", 34.5),
|
||||
("card", 34.5),
|
||||
("download", 10),
|
||||
("upload", 1),
|
||||
("upload_bad", 0.1),
|
||||
@@ -2536,6 +2541,50 @@ class Stand:
|
||||
)
|
||||
return telemetry_cost.parse_du(proc.stdout)
|
||||
|
||||
def telemetry_peaks(self) -> dict[str, float | None]:
|
||||
"""`memory.peak` сервисов телеметрии в MiB после выборки — пик за
|
||||
жизнь контейнера вместе с запросами выборки, запас до лимита
|
||||
(design, «Уточнения apply», п. 16). Контейнер `mtusi-bench-du` на
|
||||
образе PostgreSQL стенда, `--cgroupns host`, без сети; нет cgroup
|
||||
(контейнер завершён) — `None`."""
|
||||
image = sh("docker", "inspect", "-f", "{{.Config.Image}}", DB)
|
||||
ids = {
|
||||
service: sh("docker", "inspect", "-f", "{{.Id}}", name)
|
||||
for service, name in TELEMETRY_CONTAINERS.items()
|
||||
}
|
||||
script = "".join(
|
||||
f"echo {service} $(cat /sys/fs/cgroup/docker/{cid}/memory.peak "
|
||||
"2>/dev/null || echo -);"
|
||||
for service, cid in ids.items()
|
||||
)
|
||||
proc = subprocess.run(
|
||||
[
|
||||
"docker",
|
||||
"run",
|
||||
"--rm",
|
||||
"--name",
|
||||
DU,
|
||||
"--cgroupns",
|
||||
"host",
|
||||
"--network",
|
||||
"none",
|
||||
"--entrypoint",
|
||||
"sh",
|
||||
image,
|
||||
"-c",
|
||||
script,
|
||||
],
|
||||
capture_output=True,
|
||||
text=True,
|
||||
check=False,
|
||||
)
|
||||
peaks: dict[str, float | None] = dict.fromkeys(ids)
|
||||
for line in proc.stdout.splitlines():
|
||||
service, _, value = line.partition(" ")
|
||||
if service in peaks and value.strip().isdigit():
|
||||
peaks[service] = round(int(value) / MIB, 1)
|
||||
return peaks
|
||||
|
||||
def telemetry_passport(self) -> dict[str, Any]:
|
||||
"""Образы, лимиты и SHA-256 конфигураций сервисов телеметрии (решение
|
||||
13; спек `load-benchmark`, «Сервисы телеметрии на стенде»)."""
|
||||
@@ -3610,6 +3659,7 @@ class Stand:
|
||||
"running": state.get("Running"),
|
||||
"oom": state.get("OOMKilled"),
|
||||
"restarts": int(restarts or 0),
|
||||
"exit_code": state.get("ExitCode"),
|
||||
}
|
||||
|
||||
def down_storages(self) -> list[str]:
|
||||
@@ -3986,6 +4036,10 @@ class Stand:
|
||||
в самопроверке пропали две строки из 4 601 (вероятно, склеились
|
||||
строки разных VU), поэтому файл пишет k6, а не docker.
|
||||
"""
|
||||
# k6 дописывает в существующий файл консоли: файл запуска с тем же
|
||||
# именем от убитого процесса удвоил бы строки (метка `baseline`
|
||||
# профиля telemetry: разогрев 24 из 12)
|
||||
(self.work_dir / name).unlink(missing_ok=True)
|
||||
with (self.work_dir / f"{name}.out").open("w") as out:
|
||||
return subprocess.Popen(
|
||||
self.k6_args(
|
||||
@@ -7947,7 +8001,18 @@ class Bench:
|
||||
- time.monotonic(),
|
||||
),
|
||||
)
|
||||
lookup = self.telemetry_lookup(name, reqs, t0)
|
||||
self.telemetry_alive(name, "before the lookup")
|
||||
try:
|
||||
lookup = self.telemetry_lookup(name, reqs, t0)
|
||||
except BenchError as exc:
|
||||
# погибшее посреди выборки хранилище — понятный отказ с его
|
||||
# состоянием и журналом, а не трассировка запроса
|
||||
self.telemetry_alive(name, "during the lookup", cause=exc)
|
||||
raise
|
||||
(self.results.dir / "raw" / f"{name}-peaks.json").write_text(
|
||||
json.dumps(stand.telemetry_peaks(), indent=2) + "\n",
|
||||
encoding="utf-8",
|
||||
)
|
||||
problems += telemetry_cost.layer_problems(
|
||||
lookup.get("layers", {}),
|
||||
variant,
|
||||
@@ -8186,9 +8251,13 @@ class Bench:
|
||||
f"/work/{name}.lookup.json",
|
||||
)
|
||||
if proc.returncode != 0:
|
||||
output = (proc.stdout + proc.stderr).strip()
|
||||
# первая строка отказа идёт в `meta.reason` и `progress.json`:
|
||||
# последняя строка вывода (исключение), а не середина стека
|
||||
last = output.splitlines()[-1] if output else ""
|
||||
raise BenchError(
|
||||
f"{name}: telemetry lookup failed (exit {proc.returncode}): "
|
||||
+ (proc.stdout + proc.stderr)[-2000:],
|
||||
f"{last}\n" + output[-2000:],
|
||||
)
|
||||
text = stand.read_work(f"{name}.lookup.json")
|
||||
(self.results.dir / "raw" / f"{name}-lookup.json").write_text(
|
||||
@@ -8197,6 +8266,38 @@ class Bench:
|
||||
)
|
||||
return json.loads(text)
|
||||
|
||||
def telemetry_alive(
|
||||
self,
|
||||
name: str,
|
||||
when: str,
|
||||
cause: BenchError | None = None,
|
||||
) -> None:
|
||||
"""Сервисы телеметрии работают, без OOM и перезапусков; иначе —
|
||||
хвост журнала погибшего в `raw/<прогон>-<сервис>.log` (до уборки
|
||||
стенда, которая удаляет контейнер) и отказ с его состоянием (design,
|
||||
«Уточнения apply», п. 16)."""
|
||||
dead = []
|
||||
for service, container in TELEMETRY_CONTAINERS.items():
|
||||
state = self.stand.state(container)
|
||||
if state["running"] and not state["oom"] and not state["restarts"]:
|
||||
continue
|
||||
tail = self.queue_log(container).splitlines()[-TELEMETRY_LOG_TAIL:]
|
||||
(self.results.dir / "raw" / f"{name}-{service}.log").write_text(
|
||||
"\n".join(tail) + "\n",
|
||||
encoding="utf-8",
|
||||
)
|
||||
dead.append(
|
||||
f"{container} (running {state['running']}, exit "
|
||||
f"{state['exit_code']}, OOMKilled {state['oom']}, restarts "
|
||||
f"{state['restarts']})",
|
||||
)
|
||||
if dead:
|
||||
raise BenchError(
|
||||
f"{name}: telemetry storage down {when}: "
|
||||
+ ", ".join(dead)
|
||||
+ f"; log tail in raw/{name}-<service>.log",
|
||||
) from cause
|
||||
|
||||
def telemetry_storage_down(self) -> bool:
|
||||
"""Хранилище, брокер или сервис телеметрии завершался за прогон."""
|
||||
names = [DB, CACHE, S3, BROKER]
|
||||
@@ -9881,6 +9982,11 @@ def main(argv: list[str]) -> int:
|
||||
bench = Bench(profile, args.label, results)
|
||||
bench.started = started
|
||||
bench.resume = args.resume
|
||||
if bench.stand.work_dir.exists():
|
||||
# блокировка взята: `.work` остался от процесса, убитого до уборки
|
||||
# (в нём файлы консоли k6 и fixture.json с токенами)
|
||||
say(f"removing stale {bench.stand.work_dir.relative_to(ROOT)}")
|
||||
shutil.rmtree(bench.stand.work_dir, ignore_errors=True)
|
||||
code = 0
|
||||
|
||||
def terminate(*_: object) -> None:
|
||||
|
||||
@@ -4,7 +4,7 @@ Design change `track1-telemetry-cost`, решение 9. Только в кон
|
||||
`mtusi-bench-lookup` на образе стенда, в сети хранилищ `mtusi-bench-telemetry`;
|
||||
только stdlib (`urllib`), `src` не импортирует, `bench/` — на чтение. Запросы
|
||||
— HTTP API Tempo, Loki, Prometheus и метрики Collector, пулом из восьми
|
||||
потоков.
|
||||
потоков; к Tempo — не больше трёх запросов одновременно.
|
||||
|
||||
python telemetry_lookup.py wait-ready [--timeout 90]
|
||||
python telemetry_lookup.py collect <события.json> <итог.json>
|
||||
@@ -20,9 +20,11 @@ Prometheus, квантили из buckets против журнала. Резу
|
||||
не выдаётся за полный.
|
||||
"""
|
||||
|
||||
import contextlib
|
||||
import json
|
||||
import math
|
||||
import sys
|
||||
import threading
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.parse
|
||||
@@ -43,6 +45,12 @@ READY = (
|
||||
THREADS = 8
|
||||
# переходы журнал → трасса: потоков на класс (классы идут параллельно)
|
||||
LINK_THREADS = 2
|
||||
# одновременных запросов к Tempo (поиски классов и переходы журнал → трасса):
|
||||
# под восемью поисками и загрузками трасс сразу Tempo с лимитом рабочего
|
||||
# стенда (640m без swap) завершился посреди выборки metrics-r3 метки baseline
|
||||
# (design, «Уточнения apply», п. 16); выборка идёт после окон замера
|
||||
TEMPO_REQUESTS = 3
|
||||
TEMPO_GATE = threading.BoundedSemaphore(TEMPO_REQUESTS)
|
||||
TIMEOUT_S = 60
|
||||
ATTEMPTS = 4
|
||||
RETRY_PAUSE_S = 1.0
|
||||
@@ -195,10 +203,17 @@ def collector_name(expr: str) -> str:
|
||||
|
||||
def fetch(url: str) -> bytes:
|
||||
"""GET с повтором на обрыв соединения и 5xx: хранилище с 0,5 CPU под
|
||||
пулом запросов изредка закрывает соединение без ответа. 4xx — сразу."""
|
||||
пулом запросов изредка закрывает соединение без ответа. 4xx — сразу.
|
||||
Запрос к Tempo ждёт места `TEMPO_GATE`; пауза повтора места не держит."""
|
||||
for attempt in range(1, ATTEMPTS + 1):
|
||||
gate = (
|
||||
TEMPO_GATE if url.startswith(TEMPO) else contextlib.nullcontext()
|
||||
)
|
||||
try:
|
||||
with urllib.request.urlopen(url, timeout=TIMEOUT_S) as response:
|
||||
with (
|
||||
gate,
|
||||
urllib.request.urlopen(url, timeout=TIMEOUT_S) as response,
|
||||
):
|
||||
return response.read()
|
||||
except urllib.error.HTTPError as exc:
|
||||
if exc.code < 500 or attempt == ATTEMPTS:
|
||||
|
||||
@@ -279,17 +279,17 @@ Prometheus не сливает конфигурации, поэтому файл
|
||||
|
||||
| Класс | Запрос | По умолчанию, /с | Роль |
|
||||
|---|---|---|---|
|
||||
| `read` | первая страница истории чата записи (50) | 110 | лёгкий |
|
||||
| `write` | отправка с новым ключом в чат записи | 20 | лёгкий; в окне отказов — медленный под блокировкой |
|
||||
| `me` | `GET /users/me` | 30 | лёгкий |
|
||||
| `card` | карточка чата записи (кэш) | 30 | лёгкий |
|
||||
| `read` | первая страница истории чата записи (50) | 126,5 (было 110, «Уточнения apply», п. 16) | лёгкий |
|
||||
| `write` | отправка с новым ключом в чат записи | 23 (было 20) | лёгкий; в окне отказов — медленный под блокировкой |
|
||||
| `me` | `GET /users/me` | 34,5 (было 30) | лёгкий |
|
||||
| `card` | карточка чата записи (кэш) | 34,5 (было 30) | лёгкий |
|
||||
| `download` | оригинал готового вложения разогрева | 10 | байты |
|
||||
| `upload` | класс `s` (JPEG 1600 × 1200, 0,48 MiB) | 1 | цепочка API → relay → worker |
|
||||
| `upload_bad` | класс `bad`: `s` с точностью 12 бит в SOF — структура верна, Pillow не декодирует | 0,1 | неудачное задание, `failed`, `invalid_image` |
|
||||
| `broken` | оригинал вложения без объекта | 0,2 | 500 API, span S3 и server span с ошибкой |
|
||||
| `register` | регистрация с паролем из `crypto.randomUUID()`, сразу выброшенным | 0,2 | редкий маршрут; ждали медленный (Argon2id, 0,3–1 с), на стенде ~85 мс — редкий быстрый («Уточнения apply», п. 1) |
|
||||
|
||||
- **Чат записи читается с первой страницы**, как в `background.js`: страница из 50 полна уже в разогреве (20 записей/с).
|
||||
- **Чат записи читается с первой страницы**, как в `background.js`: страница из 50 полна уже в разогреве (23 записи/с).
|
||||
- **Регистрация, а не вход:** вход требует пароля, а пароли стенда живут только в памяти `prepare.js` (`bench.md`); регистрация
|
||||
создаёт своего пользователя на запрос.
|
||||
- **Вложение без объекта** — одна строка `\copy attachments` до нагрузки (`reconcile.rows_csv(..., force=FORCE_MISSING)`: `ready`,
|
||||
@@ -300,8 +300,8 @@ Prometheus не сливает конфигурации, поэтому файл
|
||||
как `images.jpeg_precision_12()` тестов.
|
||||
- **Блокировка**: в окне отказов на +5, +15, +25 с — `BEGIN; LOCK TABLE messages IN SHARE MODE; SELECT pg_sleep(0.6); COMMIT;` в
|
||||
своей сессии `docker exec -i … psql`, `clock_timestamp()` до и после захвата — моменты на часах ВМ. `SHARE` держит только
|
||||
вставки, чтение истории идёт; при 20 записях/с одна блокировка занимает до 12 соединений пулов двух реплик из 20 — пул не
|
||||
исчерпан. Медленными (≥ 250 мс) по клиенту становятся записи первых ~0,35 с блокировки — ~7 на блокировку.
|
||||
вставки, чтение истории идёт; при 23 записях/с одна блокировка занимает до 14 соединений пулов двух реплик из 20 — пул не
|
||||
исчерпан. Медленными (≥ 250 мс) по клиенту становятся записи первых ~0,35 с блокировки — ~8 на блокировку.
|
||||
- **Окна**: полный — разогрев 30 с, чистое окно 90 с, окно отказов 30 с; быстрый — 10, 30, 15 с. Цена — только по чистому окну:
|
||||
блокировки в нём не вносятся, и хвост лёгких запросов не смешан с ожиданием пула. Редкие 500, `bad` и регистрации идут во всех
|
||||
окнах (их цена одинакова во всех вариантах), разбор потерь — по всем трём.
|
||||
@@ -490,7 +490,7 @@ commit кода; файлы `bench/` от рабочего стенда не з
|
||||
## Уточнения apply
|
||||
|
||||
Решения, принятые в apply без пользователя (дублируются в `QUESTIONS.md`, `## track1-telemetry-cost`, «Решения apply»), —
|
||||
до коммита гипотез; пороги H1–H8 и B2–B5 не менялись.
|
||||
до коммита гипотез (п. 16 — после него, до первой метки); пороги H1–H8 и B2–B5 не менялись.
|
||||
|
||||
1. **Регистрация — редкий быстрый маршрут, медленные записи — по серверу.** Пробные прогоны (`quick-telemetry-debug1/2`, в git
|
||||
не идут): регистрация на стенде — p50 ~85 мс, p95 ~90 мс (Argon2id параметров кода, 1 CPU реплики), а не 0,3–1 с, как ждал
|
||||
@@ -535,3 +535,27 @@ commit кода; файлы `bench/` от рабочего стенда не з
|
||||
15. **Калибровка (10.1)**: у `full` реплики заняты ~37 % CPU (граница 30–60 %), Collector и Tempo — 3–4 % своего лимита,
|
||||
worker ~41 %, недосланных нет, p95 времени до `ready` 0,8 с — интенсивности не меняются, множитель 1. Хост во время
|
||||
калибровки выгружал память в swap (`host_swap` у прогонов с телеметрией) — числа быстрой метки только проверяют стенд.
|
||||
16. **Метка `baseline` на `509afca` не снята (20 из 21 прогона), каталог удалён; три правки до новой метки (`baseline2`).**
|
||||
- *Разогрев «24 из 12» (balanced-r2, первое продолжение) — дефект кода профиля.* Процесс метки убили сигналом, который не
|
||||
перехватить; `finally` не удалил `.work`, и в нём остался файл консоли k6 прерванной попытки. k6 `--console-output`
|
||||
дописывает в существующий файл, а `queue_warm` считает весь файл: 12 + 12. Правка: `Stand.k6_console` удаляет файл
|
||||
консоли до старта (все профили); оставшийся `.work` удаляется в начале запуска (блокировка взята); `evidence/**/.work/` —
|
||||
в `.gitignore` (там `fixture.json` с токенами).
|
||||
- *`[Errno -2] Name or service not known` в выборке metrics-r3 (второе продолжение) — на стенде завершился Tempo; первопричина
|
||||
не доказана.* Поиск трасс в Tempo в начале выборки прошёл, а переход журнал → трасса (`GET /api/v2/traces/<id>`) — уже нет:
|
||||
имя `tempo` пропало из DNS сети, то есть контейнер (`restart: "no"`) завершился посреди выборки; выгрузка хоста в swap так
|
||||
не проявляется. Состояние контейнера уборка удалила, буфер событий Docker пуст. Вероятнее всего — OOM по лимиту 640m без
|
||||
swap под запросами самой выборки (8 поисков и до 16 загрузок трасс разом; пик Tempo в нагрузке у вариантов со всеми
|
||||
трассами — 270–326 MiB; 8 из 9 таких выборок прошли). Правки: перед выборкой и при её отказе `telemetry_alive` проверяет
|
||||
сервисы телеметрии (работает, код выхода, `OOMKilled`, перезапуски) и при гибели отказывает с состоянием, сохранив хвост
|
||||
журнала в `raw/<прогон>-<сервис>.log`; в сообщении отказа выборки первой идёт последняя строка вывода (она же
|
||||
`meta.reason`); к Tempo — не больше 3 запросов одновременно (`TEMPO_REQUESTS`; выборка идёт после окон замера, меняется
|
||||
только её длительность); после выборки `memory.peak` сервисов телеметрии — `raw/<прогон>-peaks.json` (запас до лимита).
|
||||
Лимит Tempo — рабочего стенда, не меняется.
|
||||
- *Калибровка: интенсивности лёгких классов +15 %* (`read` 126,5, `write` 23, `me` 34,5, `card` 34,5; редкие, загрузки и
|
||||
скачивания — прежние). На тихом хосте все три `full` метки дали 28,1–29,5 % CPU реплики при нижней границе 30 % (пометка
|
||||
`saturated` у каждого: на шумном хосте калибровки п. 15 выходило ~37 %); +15 % — ~33–34 %. Правило раздела «Risks»
|
||||
(интенсивности — только до коммита гипотез) нарушено сознательно: гипотезы закоммичены, но ни одной метки ещё нет, пороги
|
||||
H1–H8 и B1–B5 относительные и не менялись; решение основной сессии. Новые значения — в `meta.telemetry_cost.rates`.
|
||||
- Хост метки: выгрузка в swap 39 488 страниц за второе продолжение (`host_swap` у 4 прогонов) — новая метка снимается на
|
||||
освобождённом хосте.
|
||||
|
||||
@@ -156,7 +156,7 @@
|
||||
правило шума, правило «если `balanced` не прошёл», методика (стенд, лимиты, варианты, нагрузка и окна, редкие события, источники
|
||||
измерений), рабочий стенд остаётся со 100 % трасс; чисел метки нет. Вопросы `QUESTIONS.md` к преподавателю — в «Открытые вопросы
|
||||
преподавателю». Проверка: у каждой гипотезы и критерия — порог; `make check`.
|
||||
- [ ] 11.2 Коммит кода, правил и гипотез на ветке `feat/track1-telemetry-cost` — основная сессия. Проверка: `git status` чист;
|
||||
- [x] 11.2 Коммит кода, правил и гипотез на ветке `feat/track1-telemetry-cost` — основная сессия. Проверка: `git status` чист;
|
||||
commit с гипотезами раньше первой метки в `git log`.
|
||||
|
||||
## 12. Метка и отчёт (после коммита 11.2)
|
||||
|
||||
Reference in New Issue
Block a user