fix(bench): clear stale k6 console files and check telemetry storages around lookup
k6 --console-output appends, so a run killed before cleanup left <run>.warm.k6 in .work and the resumed warmup counted 24 of 12. Remove the console file before each k6 run and a stale .work at start; ignore evidence/**/.work/. A telemetry storage that exits during the lookup (Tempo in metrics-r3: name no longer resolvable) now fails the run with the container state, OOMKilled flag and its log tail saved to raw/; Tempo requests of the lookup are limited to 3 at a time and memory peaks after the lookup are recorded. Raise the light classes of the telemetry cost load by 15 % (read 126.5, write 23, me 34.5, card 34.5 per second): on a quiet host `full` kept the replicas at 28-29.5 % CPU, below the 30 % calibration bound. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+13
-1
@@ -649,7 +649,13 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод
|
|||||||
конце), ряды по `job`, `status/tsdb`, `status/config`, квантили из buckets против
|
конце), ряды по `job`, `status/tsdb`, `status/config`, квантили из buckets против
|
||||||
`quantile_over_time` Loki. Предел результатов — 4 × ожидаемого; равен пределу — отказ «lookup
|
`quantile_over_time` Loki. Предел результатов — 4 × ожидаемого; равен пределу — отказ «lookup
|
||||||
truncated». Повторы — только на обрыв соединения и 5xx (Tempo с 0,5 CPU под пулом запросов
|
truncated». Повторы — только на обрыв соединения и 5xx (Tempo с 0,5 CPU под пулом запросов
|
||||||
изредка закрывает соединение).
|
изредка закрывает соединение). К Tempo — не больше 3 запросов разом (`TEMPO_REQUESTS`): в метке
|
||||||
|
`baseline` (`509afca`) Tempo завершился посреди выборки, вероятно OOM по лимиту 640m под её
|
||||||
|
запросами (design, «Уточнения apply», п. 16). Перед выборкой и при её отказе
|
||||||
|
`Bench.telemetry_alive` проверяет сервисы телеметрии (работает, код выхода, `OOMKilled`,
|
||||||
|
перезапуски): погибший — отказ с его состоянием и хвост журнала в `raw/<прогон>-<сервис>.log`
|
||||||
|
(уборка удаляет контейнер); после выборки `memory.peak` сервисов — `raw/<прогон>-peaks.json`
|
||||||
|
(запас до лимита, контейнер `mtusi-bench-du` с `--cgroupns host`).
|
||||||
- **Ожидание после нагрузки:** незавершённых заданий 0 (не дольше `telemetry_drain_s`, иначе
|
- **Ожидание после нагрузки:** незавершённых заданий 0 (не дольше `telemetry_drain_s`, иначе
|
||||||
`not_drained`), обход метаданных `queue_sweep.js` (без байтов), затем `telemetry_cost.wait_after`
|
`not_drained`), обход метаданных `queue_sweep.js` (без байтов), затем `telemetry_cost.wait_after`
|
||||||
от конца нагрузки — последние отправки метрик и решения выбора трасс доходят до хранилищ.
|
от конца нагрузки — последние отправки метрик и решения выбора трасс доходят до хранилищ.
|
||||||
@@ -821,6 +827,12 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод
|
|||||||
останавливает. Уборка своих — в `finally` и по Ctrl+C. Остатки
|
останавливает. Уборка своих — в `finally` и по Ctrl+C. Остатки
|
||||||
прерванного прогона `run.py` не удаляет сам: он отказывается
|
прерванного прогона `run.py` не удаляет сам: он отказывается
|
||||||
стартовать и печатает команды уборки.
|
стартовать и печатает команды уборки.
|
||||||
|
- Рабочий каталог `.work/` лежит в каталоге метки (`evidence/**/.work/` —
|
||||||
|
в `.gitignore`) и удаляется в `finally`; процесс, убитый сигналом без
|
||||||
|
перехвата, его оставляет, поэтому запуск под блокировкой удаляет
|
||||||
|
оставшийся `.work` сам. Файл консоли k6 (`--console-output`) k6
|
||||||
|
дописывает, а не перезаписывает: `Stand.k6_console` удаляет его до
|
||||||
|
старта (метка `baseline` профиля telemetry: разогрев 24 из 12).
|
||||||
- Случайность только через свой генератор с зерном из профиля
|
- Случайность только через свой генератор с зерном из профиля
|
||||||
(`seed + номер VU`), не `Math.random`.
|
(`seed + номер VU`), не `Math.random`.
|
||||||
|
|
||||||
|
|||||||
@@ -50,6 +50,9 @@ evidence/compare/*quick-*
|
|||||||
evidence/plots/quick-*/
|
evidence/plots/quick-*/
|
||||||
# блокировка стенда bench/ (один прогон любого профиля)
|
# блокировка стенда bench/ (один прогон любого профиля)
|
||||||
bench/.bench.lock
|
bench/.bench.lock
|
||||||
|
# рабочий каталог прогона bench/ (файлы k6, fixture.json с токенами): после
|
||||||
|
# процесса, убитого до уборки, остаётся в каталоге метки
|
||||||
|
evidence/**/.work/
|
||||||
# журналы меток (LB, скрипт замены, 5xx серий): небольшие, без секретов,
|
# журналы меток (LB, скрипт замены, 5xx серий): небольшие, без секретов,
|
||||||
# на них ссылается REPORT.md; у пробных quick-* каталог исключён выше
|
# на них ссылается REPORT.md; у пробных quick-* каталог исключён выше
|
||||||
!evidence/**/raw/*.log
|
!evidence/**/raw/*.log
|
||||||
|
|||||||
+8
-1
@@ -445,7 +445,8 @@ Change `openspec/changes/track1-telemetry-cost/` (propose 2026-11-14). Номе
|
|||||||
|
|
||||||
### Решения apply
|
### Решения apply
|
||||||
|
|
||||||
Подробно — design, «Уточнения apply» (номера в скобках); всё — до коммита гипотез, пороги не менялись.
|
Подробно — design, «Уточнения apply» (номера в скобках); всё, кроме интенсивностей (16), — до коммита гипотез, пороги не
|
||||||
|
менялись.
|
||||||
|
|
||||||
- Регистрация на стенде — ~85 мс, а не 0,3–1 с (Argon2id параметров кода): редкий **быстрый** маршрут. Правила выбора трасс
|
- Регистрация на стенде — ~85 мс, а не 0,3–1 с (Argon2id параметров кода): редкий **быстрый** маршрут. Правила выбора трасс
|
||||||
решают по span, поэтому полнота в B1, H3 и H5 (`tail`, `balanced`) требуется у 500, записей, **медленных по серверу**
|
решают по span, поэтому полнота в B1, H3 и H5 (`tail`, `balanced`) требуется у 500, записей, **медленных по серверу**
|
||||||
@@ -459,6 +460,12 @@ Change `openspec/changes/track1-telemetry-cost/` (propose 2026-11-14). Номе
|
|||||||
- Счёт в метрике — значение в конце прогона; у регистраций в нём ещё пользователи `prepare.js` (8).
|
- Счёт в метрике — значение в конце прогона; у регистраций в нём ещё пользователи `prepare.js` (8).
|
||||||
- Выборка — пачки по 40 id, повтор на обрыв соединения и 5xx (Tempo под пулом запросов закрывал соединение) (9).
|
- Выборка — пачки по 40 id, повтор на обрыв соединения и 5xx (Tempo под пулом запросов закрывал соединение) (9).
|
||||||
- `plots.py` самопроверки не имеет — в 9.1 проверяются шесть модулей (11).
|
- `plots.py` самопроверки не имеет — в 9.1 проверяются шесть модулей (11).
|
||||||
|
- Метка `baseline` на `509afca` не снята (20 из 21), каталог удалён, новая — `baseline2` (16): разогрев «24 из 12» — файл
|
||||||
|
консоли k6 от убитого процесса (k6 дописывает; правка — удаление до старта, уборка `.work` в начале запуска,
|
||||||
|
`evidence/**/.work/` в `.gitignore`); DNS в выборке metrics-r3 — Tempo завершился посреди выборки, вероятно OOM под её
|
||||||
|
запросами, не доказано (правка — проверка сервисов телеметрии до и после выборки с журналом погибшего в `raw/`, не больше
|
||||||
|
3 запросов к Tempo разом, пики памяти после выборки). Интенсивности лёгких классов +15 % (`full` на тихом хосте — 28–29,5 %
|
||||||
|
при границе 30 %) — после коммита гипотез, но до первой метки, решение основной сессии; пороги не менялись.
|
||||||
|
|
||||||
### Вопросы
|
### Вопросы
|
||||||
|
|
||||||
|
|||||||
@@ -544,14 +544,15 @@ Prometheus совпадает с рабочей вне размеченных б
|
|||||||
|
|
||||||
**Нагрузка** (8) — открытая модель (`k6/telemetry.js`, `constant-arrival-rate`, VU заранее, ответ не повторяется), одинаковая
|
**Нагрузка** (8) — открытая модель (`k6/telemetry.js`, `constant-arrival-rate`, VU заранее, ответ не повторяется), одинаковая
|
||||||
во всех вариантах, ниже насыщения (калибровка до гипотез: в `full` реплика занята 30–60 % CPU, Collector, Tempo и worker —
|
во всех вариантах, ниже насыщения (калибровка до гипотез: в `full` реплика занята 30–60 % CPU, Collector, Tempo и worker —
|
||||||
меньше 70 %, недосланных нет, p95 времени до `ready` < 5 с):
|
меньше 70 %, недосланных нет, p95 времени до `ready` < 5 с). Лёгкие классы подняты на 15 % после неснятой метки
|
||||||
|
`baseline`: на тихом хосте `full` занимал реплику на 28–29,5 %, ниже границы 30 % (design, «Уточнения apply», п. 16):
|
||||||
|
|
||||||
| Класс | Запрос | В секунду |
|
| Класс | Запрос | В секунду |
|
||||||
| --- | --- | --- |
|
| --- | --- | --- |
|
||||||
| `read` | первая страница истории чата записи (50) | 110 |
|
| `read` | первая страница истории чата записи (50) | 126,5 |
|
||||||
| `write` | сообщение с новым `Idempotency-Key` | 20 |
|
| `write` | сообщение с новым `Idempotency-Key` | 23 |
|
||||||
| `me` | `GET /users/me` | 30 |
|
| `me` | `GET /users/me` | 34,5 |
|
||||||
| `card` | карточка чата (кэш Valkey) | 30 |
|
| `card` | карточка чата (кэш Valkey) | 34,5 |
|
||||||
| `download` | оригинал готового вложения | 10 |
|
| `download` | оригинал готового вложения | 10 |
|
||||||
| `upload` | JPEG 1600 × 1200, 0,48 МиБ → `ready` (API → relay → worker) | 1 |
|
| `upload` | JPEG 1600 × 1200, 0,48 МиБ → `ready` (API → relay → worker) | 1 |
|
||||||
| `upload_bad` | тот же JPEG с 12 битами точности в SOF: 202, затем `failed` `invalid_image` | 0,1 |
|
| `upload_bad` | тот же JPEG с 12 битами точности в SOF: 202, затем `failed` `invalid_image` | 0,1 |
|
||||||
|
|||||||
+113
-7
@@ -128,6 +128,9 @@ TELEMETRY_NETWORK = "mtusi-bench-telemetry"
|
|||||||
LOOKUP = "mtusi-bench-lookup"
|
LOOKUP = "mtusi-bench-lookup"
|
||||||
DU = "mtusi-bench-du"
|
DU = "mtusi-bench-du"
|
||||||
LOOKUP_SCRIPT = "/bench/telemetry_lookup.py"
|
LOOKUP_SCRIPT = "/bench/telemetry_lookup.py"
|
||||||
|
# строк журнала погибшего сервиса телеметрии в raw/ (до уборки стенда)
|
||||||
|
TELEMETRY_LOG_TAIL = 200
|
||||||
|
MIB = 1024 * 1024
|
||||||
# профили, которые принимают выключатель телеметрии (решение 13)
|
# профили, которые принимают выключатель телеметрии (решение 13)
|
||||||
TELEMETRY_SWITCH_PROFILES = (
|
TELEMETRY_SWITCH_PROFILES = (
|
||||||
"uploads",
|
"uploads",
|
||||||
@@ -517,13 +520,15 @@ class Profile:
|
|||||||
# классов (в секунду), окна (разогрев, чистое, отказов), моменты
|
# классов (в секунду), окна (разогрев, чистое, отказов), моменты
|
||||||
# блокировок от начала окна отказов и их длительность, порог медленного
|
# блокировок от начала окна отказов и их длительность, порог медленного
|
||||||
# запроса, доля head, интервал metrics, выборка GET /users/me, ожидание
|
# запроса, доля head, интервал metrics, выборка GET /users/me, ожидание
|
||||||
# незавершённых заданий
|
# незавершённых заданий. Лёгкие классы — +15 % к калибровке (110, 20, 30,
|
||||||
|
# 30): на тихом хосте `full` метки baseline дал 28–29,5 % CPU реплики при
|
||||||
|
# нижней границе 30 % (design, «Уточнения apply», п. 16)
|
||||||
telemetry_variants: tuple[str, ...] = ()
|
telemetry_variants: tuple[str, ...] = ()
|
||||||
telemetry_rates: tuple[tuple[str, float], ...] = (
|
telemetry_rates: tuple[tuple[str, float], ...] = (
|
||||||
("read", 110),
|
("read", 126.5),
|
||||||
("write", 20),
|
("write", 23),
|
||||||
("me", 30),
|
("me", 34.5),
|
||||||
("card", 30),
|
("card", 34.5),
|
||||||
("download", 10),
|
("download", 10),
|
||||||
("upload", 1),
|
("upload", 1),
|
||||||
("upload_bad", 0.1),
|
("upload_bad", 0.1),
|
||||||
@@ -2536,6 +2541,50 @@ class Stand:
|
|||||||
)
|
)
|
||||||
return telemetry_cost.parse_du(proc.stdout)
|
return telemetry_cost.parse_du(proc.stdout)
|
||||||
|
|
||||||
|
def telemetry_peaks(self) -> dict[str, float | None]:
|
||||||
|
"""`memory.peak` сервисов телеметрии в MiB после выборки — пик за
|
||||||
|
жизнь контейнера вместе с запросами выборки, запас до лимита
|
||||||
|
(design, «Уточнения apply», п. 16). Контейнер `mtusi-bench-du` на
|
||||||
|
образе PostgreSQL стенда, `--cgroupns host`, без сети; нет cgroup
|
||||||
|
(контейнер завершён) — `None`."""
|
||||||
|
image = sh("docker", "inspect", "-f", "{{.Config.Image}}", DB)
|
||||||
|
ids = {
|
||||||
|
service: sh("docker", "inspect", "-f", "{{.Id}}", name)
|
||||||
|
for service, name in TELEMETRY_CONTAINERS.items()
|
||||||
|
}
|
||||||
|
script = "".join(
|
||||||
|
f"echo {service} $(cat /sys/fs/cgroup/docker/{cid}/memory.peak "
|
||||||
|
"2>/dev/null || echo -);"
|
||||||
|
for service, cid in ids.items()
|
||||||
|
)
|
||||||
|
proc = subprocess.run(
|
||||||
|
[
|
||||||
|
"docker",
|
||||||
|
"run",
|
||||||
|
"--rm",
|
||||||
|
"--name",
|
||||||
|
DU,
|
||||||
|
"--cgroupns",
|
||||||
|
"host",
|
||||||
|
"--network",
|
||||||
|
"none",
|
||||||
|
"--entrypoint",
|
||||||
|
"sh",
|
||||||
|
image,
|
||||||
|
"-c",
|
||||||
|
script,
|
||||||
|
],
|
||||||
|
capture_output=True,
|
||||||
|
text=True,
|
||||||
|
check=False,
|
||||||
|
)
|
||||||
|
peaks: dict[str, float | None] = dict.fromkeys(ids)
|
||||||
|
for line in proc.stdout.splitlines():
|
||||||
|
service, _, value = line.partition(" ")
|
||||||
|
if service in peaks and value.strip().isdigit():
|
||||||
|
peaks[service] = round(int(value) / MIB, 1)
|
||||||
|
return peaks
|
||||||
|
|
||||||
def telemetry_passport(self) -> dict[str, Any]:
|
def telemetry_passport(self) -> dict[str, Any]:
|
||||||
"""Образы, лимиты и SHA-256 конфигураций сервисов телеметрии (решение
|
"""Образы, лимиты и SHA-256 конфигураций сервисов телеметрии (решение
|
||||||
13; спек `load-benchmark`, «Сервисы телеметрии на стенде»)."""
|
13; спек `load-benchmark`, «Сервисы телеметрии на стенде»)."""
|
||||||
@@ -3610,6 +3659,7 @@ class Stand:
|
|||||||
"running": state.get("Running"),
|
"running": state.get("Running"),
|
||||||
"oom": state.get("OOMKilled"),
|
"oom": state.get("OOMKilled"),
|
||||||
"restarts": int(restarts or 0),
|
"restarts": int(restarts or 0),
|
||||||
|
"exit_code": state.get("ExitCode"),
|
||||||
}
|
}
|
||||||
|
|
||||||
def down_storages(self) -> list[str]:
|
def down_storages(self) -> list[str]:
|
||||||
@@ -3986,6 +4036,10 @@ class Stand:
|
|||||||
в самопроверке пропали две строки из 4 601 (вероятно, склеились
|
в самопроверке пропали две строки из 4 601 (вероятно, склеились
|
||||||
строки разных VU), поэтому файл пишет k6, а не docker.
|
строки разных VU), поэтому файл пишет k6, а не docker.
|
||||||
"""
|
"""
|
||||||
|
# k6 дописывает в существующий файл консоли: файл запуска с тем же
|
||||||
|
# именем от убитого процесса удвоил бы строки (метка `baseline`
|
||||||
|
# профиля telemetry: разогрев 24 из 12)
|
||||||
|
(self.work_dir / name).unlink(missing_ok=True)
|
||||||
with (self.work_dir / f"{name}.out").open("w") as out:
|
with (self.work_dir / f"{name}.out").open("w") as out:
|
||||||
return subprocess.Popen(
|
return subprocess.Popen(
|
||||||
self.k6_args(
|
self.k6_args(
|
||||||
@@ -7947,7 +8001,18 @@ class Bench:
|
|||||||
- time.monotonic(),
|
- time.monotonic(),
|
||||||
),
|
),
|
||||||
)
|
)
|
||||||
lookup = self.telemetry_lookup(name, reqs, t0)
|
self.telemetry_alive(name, "before the lookup")
|
||||||
|
try:
|
||||||
|
lookup = self.telemetry_lookup(name, reqs, t0)
|
||||||
|
except BenchError as exc:
|
||||||
|
# погибшее посреди выборки хранилище — понятный отказ с его
|
||||||
|
# состоянием и журналом, а не трассировка запроса
|
||||||
|
self.telemetry_alive(name, "during the lookup", cause=exc)
|
||||||
|
raise
|
||||||
|
(self.results.dir / "raw" / f"{name}-peaks.json").write_text(
|
||||||
|
json.dumps(stand.telemetry_peaks(), indent=2) + "\n",
|
||||||
|
encoding="utf-8",
|
||||||
|
)
|
||||||
problems += telemetry_cost.layer_problems(
|
problems += telemetry_cost.layer_problems(
|
||||||
lookup.get("layers", {}),
|
lookup.get("layers", {}),
|
||||||
variant,
|
variant,
|
||||||
@@ -8186,9 +8251,13 @@ class Bench:
|
|||||||
f"/work/{name}.lookup.json",
|
f"/work/{name}.lookup.json",
|
||||||
)
|
)
|
||||||
if proc.returncode != 0:
|
if proc.returncode != 0:
|
||||||
|
output = (proc.stdout + proc.stderr).strip()
|
||||||
|
# первая строка отказа идёт в `meta.reason` и `progress.json`:
|
||||||
|
# последняя строка вывода (исключение), а не середина стека
|
||||||
|
last = output.splitlines()[-1] if output else ""
|
||||||
raise BenchError(
|
raise BenchError(
|
||||||
f"{name}: telemetry lookup failed (exit {proc.returncode}): "
|
f"{name}: telemetry lookup failed (exit {proc.returncode}): "
|
||||||
+ (proc.stdout + proc.stderr)[-2000:],
|
f"{last}\n" + output[-2000:],
|
||||||
)
|
)
|
||||||
text = stand.read_work(f"{name}.lookup.json")
|
text = stand.read_work(f"{name}.lookup.json")
|
||||||
(self.results.dir / "raw" / f"{name}-lookup.json").write_text(
|
(self.results.dir / "raw" / f"{name}-lookup.json").write_text(
|
||||||
@@ -8197,6 +8266,38 @@ class Bench:
|
|||||||
)
|
)
|
||||||
return json.loads(text)
|
return json.loads(text)
|
||||||
|
|
||||||
|
def telemetry_alive(
|
||||||
|
self,
|
||||||
|
name: str,
|
||||||
|
when: str,
|
||||||
|
cause: BenchError | None = None,
|
||||||
|
) -> None:
|
||||||
|
"""Сервисы телеметрии работают, без OOM и перезапусков; иначе —
|
||||||
|
хвост журнала погибшего в `raw/<прогон>-<сервис>.log` (до уборки
|
||||||
|
стенда, которая удаляет контейнер) и отказ с его состоянием (design,
|
||||||
|
«Уточнения apply», п. 16)."""
|
||||||
|
dead = []
|
||||||
|
for service, container in TELEMETRY_CONTAINERS.items():
|
||||||
|
state = self.stand.state(container)
|
||||||
|
if state["running"] and not state["oom"] and not state["restarts"]:
|
||||||
|
continue
|
||||||
|
tail = self.queue_log(container).splitlines()[-TELEMETRY_LOG_TAIL:]
|
||||||
|
(self.results.dir / "raw" / f"{name}-{service}.log").write_text(
|
||||||
|
"\n".join(tail) + "\n",
|
||||||
|
encoding="utf-8",
|
||||||
|
)
|
||||||
|
dead.append(
|
||||||
|
f"{container} (running {state['running']}, exit "
|
||||||
|
f"{state['exit_code']}, OOMKilled {state['oom']}, restarts "
|
||||||
|
f"{state['restarts']})",
|
||||||
|
)
|
||||||
|
if dead:
|
||||||
|
raise BenchError(
|
||||||
|
f"{name}: telemetry storage down {when}: "
|
||||||
|
+ ", ".join(dead)
|
||||||
|
+ f"; log tail in raw/{name}-<service>.log",
|
||||||
|
) from cause
|
||||||
|
|
||||||
def telemetry_storage_down(self) -> bool:
|
def telemetry_storage_down(self) -> bool:
|
||||||
"""Хранилище, брокер или сервис телеметрии завершался за прогон."""
|
"""Хранилище, брокер или сервис телеметрии завершался за прогон."""
|
||||||
names = [DB, CACHE, S3, BROKER]
|
names = [DB, CACHE, S3, BROKER]
|
||||||
@@ -9881,6 +9982,11 @@ def main(argv: list[str]) -> int:
|
|||||||
bench = Bench(profile, args.label, results)
|
bench = Bench(profile, args.label, results)
|
||||||
bench.started = started
|
bench.started = started
|
||||||
bench.resume = args.resume
|
bench.resume = args.resume
|
||||||
|
if bench.stand.work_dir.exists():
|
||||||
|
# блокировка взята: `.work` остался от процесса, убитого до уборки
|
||||||
|
# (в нём файлы консоли k6 и fixture.json с токенами)
|
||||||
|
say(f"removing stale {bench.stand.work_dir.relative_to(ROOT)}")
|
||||||
|
shutil.rmtree(bench.stand.work_dir, ignore_errors=True)
|
||||||
code = 0
|
code = 0
|
||||||
|
|
||||||
def terminate(*_: object) -> None:
|
def terminate(*_: object) -> None:
|
||||||
|
|||||||
@@ -4,7 +4,7 @@ Design change `track1-telemetry-cost`, решение 9. Только в кон
|
|||||||
`mtusi-bench-lookup` на образе стенда, в сети хранилищ `mtusi-bench-telemetry`;
|
`mtusi-bench-lookup` на образе стенда, в сети хранилищ `mtusi-bench-telemetry`;
|
||||||
только stdlib (`urllib`), `src` не импортирует, `bench/` — на чтение. Запросы
|
только stdlib (`urllib`), `src` не импортирует, `bench/` — на чтение. Запросы
|
||||||
— HTTP API Tempo, Loki, Prometheus и метрики Collector, пулом из восьми
|
— HTTP API Tempo, Loki, Prometheus и метрики Collector, пулом из восьми
|
||||||
потоков.
|
потоков; к Tempo — не больше трёх запросов одновременно.
|
||||||
|
|
||||||
python telemetry_lookup.py wait-ready [--timeout 90]
|
python telemetry_lookup.py wait-ready [--timeout 90]
|
||||||
python telemetry_lookup.py collect <события.json> <итог.json>
|
python telemetry_lookup.py collect <события.json> <итог.json>
|
||||||
@@ -20,9 +20,11 @@ Prometheus, квантили из buckets против журнала. Резу
|
|||||||
не выдаётся за полный.
|
не выдаётся за полный.
|
||||||
"""
|
"""
|
||||||
|
|
||||||
|
import contextlib
|
||||||
import json
|
import json
|
||||||
import math
|
import math
|
||||||
import sys
|
import sys
|
||||||
|
import threading
|
||||||
import time
|
import time
|
||||||
import urllib.error
|
import urllib.error
|
||||||
import urllib.parse
|
import urllib.parse
|
||||||
@@ -43,6 +45,12 @@ READY = (
|
|||||||
THREADS = 8
|
THREADS = 8
|
||||||
# переходы журнал → трасса: потоков на класс (классы идут параллельно)
|
# переходы журнал → трасса: потоков на класс (классы идут параллельно)
|
||||||
LINK_THREADS = 2
|
LINK_THREADS = 2
|
||||||
|
# одновременных запросов к Tempo (поиски классов и переходы журнал → трасса):
|
||||||
|
# под восемью поисками и загрузками трасс сразу Tempo с лимитом рабочего
|
||||||
|
# стенда (640m без swap) завершился посреди выборки metrics-r3 метки baseline
|
||||||
|
# (design, «Уточнения apply», п. 16); выборка идёт после окон замера
|
||||||
|
TEMPO_REQUESTS = 3
|
||||||
|
TEMPO_GATE = threading.BoundedSemaphore(TEMPO_REQUESTS)
|
||||||
TIMEOUT_S = 60
|
TIMEOUT_S = 60
|
||||||
ATTEMPTS = 4
|
ATTEMPTS = 4
|
||||||
RETRY_PAUSE_S = 1.0
|
RETRY_PAUSE_S = 1.0
|
||||||
@@ -195,10 +203,17 @@ def collector_name(expr: str) -> str:
|
|||||||
|
|
||||||
def fetch(url: str) -> bytes:
|
def fetch(url: str) -> bytes:
|
||||||
"""GET с повтором на обрыв соединения и 5xx: хранилище с 0,5 CPU под
|
"""GET с повтором на обрыв соединения и 5xx: хранилище с 0,5 CPU под
|
||||||
пулом запросов изредка закрывает соединение без ответа. 4xx — сразу."""
|
пулом запросов изредка закрывает соединение без ответа. 4xx — сразу.
|
||||||
|
Запрос к Tempo ждёт места `TEMPO_GATE`; пауза повтора места не держит."""
|
||||||
for attempt in range(1, ATTEMPTS + 1):
|
for attempt in range(1, ATTEMPTS + 1):
|
||||||
|
gate = (
|
||||||
|
TEMPO_GATE if url.startswith(TEMPO) else contextlib.nullcontext()
|
||||||
|
)
|
||||||
try:
|
try:
|
||||||
with urllib.request.urlopen(url, timeout=TIMEOUT_S) as response:
|
with (
|
||||||
|
gate,
|
||||||
|
urllib.request.urlopen(url, timeout=TIMEOUT_S) as response,
|
||||||
|
):
|
||||||
return response.read()
|
return response.read()
|
||||||
except urllib.error.HTTPError as exc:
|
except urllib.error.HTTPError as exc:
|
||||||
if exc.code < 500 or attempt == ATTEMPTS:
|
if exc.code < 500 or attempt == ATTEMPTS:
|
||||||
|
|||||||
@@ -279,17 +279,17 @@ Prometheus не сливает конфигурации, поэтому файл
|
|||||||
|
|
||||||
| Класс | Запрос | По умолчанию, /с | Роль |
|
| Класс | Запрос | По умолчанию, /с | Роль |
|
||||||
|---|---|---|---|
|
|---|---|---|---|
|
||||||
| `read` | первая страница истории чата записи (50) | 110 | лёгкий |
|
| `read` | первая страница истории чата записи (50) | 126,5 (было 110, «Уточнения apply», п. 16) | лёгкий |
|
||||||
| `write` | отправка с новым ключом в чат записи | 20 | лёгкий; в окне отказов — медленный под блокировкой |
|
| `write` | отправка с новым ключом в чат записи | 23 (было 20) | лёгкий; в окне отказов — медленный под блокировкой |
|
||||||
| `me` | `GET /users/me` | 30 | лёгкий |
|
| `me` | `GET /users/me` | 34,5 (было 30) | лёгкий |
|
||||||
| `card` | карточка чата записи (кэш) | 30 | лёгкий |
|
| `card` | карточка чата записи (кэш) | 34,5 (было 30) | лёгкий |
|
||||||
| `download` | оригинал готового вложения разогрева | 10 | байты |
|
| `download` | оригинал готового вложения разогрева | 10 | байты |
|
||||||
| `upload` | класс `s` (JPEG 1600 × 1200, 0,48 MiB) | 1 | цепочка API → relay → worker |
|
| `upload` | класс `s` (JPEG 1600 × 1200, 0,48 MiB) | 1 | цепочка API → relay → worker |
|
||||||
| `upload_bad` | класс `bad`: `s` с точностью 12 бит в SOF — структура верна, Pillow не декодирует | 0,1 | неудачное задание, `failed`, `invalid_image` |
|
| `upload_bad` | класс `bad`: `s` с точностью 12 бит в SOF — структура верна, Pillow не декодирует | 0,1 | неудачное задание, `failed`, `invalid_image` |
|
||||||
| `broken` | оригинал вложения без объекта | 0,2 | 500 API, span S3 и server span с ошибкой |
|
| `broken` | оригинал вложения без объекта | 0,2 | 500 API, span S3 и server span с ошибкой |
|
||||||
| `register` | регистрация с паролем из `crypto.randomUUID()`, сразу выброшенным | 0,2 | редкий маршрут; ждали медленный (Argon2id, 0,3–1 с), на стенде ~85 мс — редкий быстрый («Уточнения apply», п. 1) |
|
| `register` | регистрация с паролем из `crypto.randomUUID()`, сразу выброшенным | 0,2 | редкий маршрут; ждали медленный (Argon2id, 0,3–1 с), на стенде ~85 мс — редкий быстрый («Уточнения apply», п. 1) |
|
||||||
|
|
||||||
- **Чат записи читается с первой страницы**, как в `background.js`: страница из 50 полна уже в разогреве (20 записей/с).
|
- **Чат записи читается с первой страницы**, как в `background.js`: страница из 50 полна уже в разогреве (23 записи/с).
|
||||||
- **Регистрация, а не вход:** вход требует пароля, а пароли стенда живут только в памяти `prepare.js` (`bench.md`); регистрация
|
- **Регистрация, а не вход:** вход требует пароля, а пароли стенда живут только в памяти `prepare.js` (`bench.md`); регистрация
|
||||||
создаёт своего пользователя на запрос.
|
создаёт своего пользователя на запрос.
|
||||||
- **Вложение без объекта** — одна строка `\copy attachments` до нагрузки (`reconcile.rows_csv(..., force=FORCE_MISSING)`: `ready`,
|
- **Вложение без объекта** — одна строка `\copy attachments` до нагрузки (`reconcile.rows_csv(..., force=FORCE_MISSING)`: `ready`,
|
||||||
@@ -300,8 +300,8 @@ Prometheus не сливает конфигурации, поэтому файл
|
|||||||
как `images.jpeg_precision_12()` тестов.
|
как `images.jpeg_precision_12()` тестов.
|
||||||
- **Блокировка**: в окне отказов на +5, +15, +25 с — `BEGIN; LOCK TABLE messages IN SHARE MODE; SELECT pg_sleep(0.6); COMMIT;` в
|
- **Блокировка**: в окне отказов на +5, +15, +25 с — `BEGIN; LOCK TABLE messages IN SHARE MODE; SELECT pg_sleep(0.6); COMMIT;` в
|
||||||
своей сессии `docker exec -i … psql`, `clock_timestamp()` до и после захвата — моменты на часах ВМ. `SHARE` держит только
|
своей сессии `docker exec -i … psql`, `clock_timestamp()` до и после захвата — моменты на часах ВМ. `SHARE` держит только
|
||||||
вставки, чтение истории идёт; при 20 записях/с одна блокировка занимает до 12 соединений пулов двух реплик из 20 — пул не
|
вставки, чтение истории идёт; при 23 записях/с одна блокировка занимает до 14 соединений пулов двух реплик из 20 — пул не
|
||||||
исчерпан. Медленными (≥ 250 мс) по клиенту становятся записи первых ~0,35 с блокировки — ~7 на блокировку.
|
исчерпан. Медленными (≥ 250 мс) по клиенту становятся записи первых ~0,35 с блокировки — ~8 на блокировку.
|
||||||
- **Окна**: полный — разогрев 30 с, чистое окно 90 с, окно отказов 30 с; быстрый — 10, 30, 15 с. Цена — только по чистому окну:
|
- **Окна**: полный — разогрев 30 с, чистое окно 90 с, окно отказов 30 с; быстрый — 10, 30, 15 с. Цена — только по чистому окну:
|
||||||
блокировки в нём не вносятся, и хвост лёгких запросов не смешан с ожиданием пула. Редкие 500, `bad` и регистрации идут во всех
|
блокировки в нём не вносятся, и хвост лёгких запросов не смешан с ожиданием пула. Редкие 500, `bad` и регистрации идут во всех
|
||||||
окнах (их цена одинакова во всех вариантах), разбор потерь — по всем трём.
|
окнах (их цена одинакова во всех вариантах), разбор потерь — по всем трём.
|
||||||
@@ -490,7 +490,7 @@ commit кода; файлы `bench/` от рабочего стенда не з
|
|||||||
## Уточнения apply
|
## Уточнения apply
|
||||||
|
|
||||||
Решения, принятые в apply без пользователя (дублируются в `QUESTIONS.md`, `## track1-telemetry-cost`, «Решения apply»), —
|
Решения, принятые в apply без пользователя (дублируются в `QUESTIONS.md`, `## track1-telemetry-cost`, «Решения apply»), —
|
||||||
до коммита гипотез; пороги H1–H8 и B2–B5 не менялись.
|
до коммита гипотез (п. 16 — после него, до первой метки); пороги H1–H8 и B2–B5 не менялись.
|
||||||
|
|
||||||
1. **Регистрация — редкий быстрый маршрут, медленные записи — по серверу.** Пробные прогоны (`quick-telemetry-debug1/2`, в git
|
1. **Регистрация — редкий быстрый маршрут, медленные записи — по серверу.** Пробные прогоны (`quick-telemetry-debug1/2`, в git
|
||||||
не идут): регистрация на стенде — p50 ~85 мс, p95 ~90 мс (Argon2id параметров кода, 1 CPU реплики), а не 0,3–1 с, как ждал
|
не идут): регистрация на стенде — p50 ~85 мс, p95 ~90 мс (Argon2id параметров кода, 1 CPU реплики), а не 0,3–1 с, как ждал
|
||||||
@@ -535,3 +535,27 @@ commit кода; файлы `bench/` от рабочего стенда не з
|
|||||||
15. **Калибровка (10.1)**: у `full` реплики заняты ~37 % CPU (граница 30–60 %), Collector и Tempo — 3–4 % своего лимита,
|
15. **Калибровка (10.1)**: у `full` реплики заняты ~37 % CPU (граница 30–60 %), Collector и Tempo — 3–4 % своего лимита,
|
||||||
worker ~41 %, недосланных нет, p95 времени до `ready` 0,8 с — интенсивности не меняются, множитель 1. Хост во время
|
worker ~41 %, недосланных нет, p95 времени до `ready` 0,8 с — интенсивности не меняются, множитель 1. Хост во время
|
||||||
калибровки выгружал память в swap (`host_swap` у прогонов с телеметрией) — числа быстрой метки только проверяют стенд.
|
калибровки выгружал память в swap (`host_swap` у прогонов с телеметрией) — числа быстрой метки только проверяют стенд.
|
||||||
|
16. **Метка `baseline` на `509afca` не снята (20 из 21 прогона), каталог удалён; три правки до новой метки (`baseline2`).**
|
||||||
|
- *Разогрев «24 из 12» (balanced-r2, первое продолжение) — дефект кода профиля.* Процесс метки убили сигналом, который не
|
||||||
|
перехватить; `finally` не удалил `.work`, и в нём остался файл консоли k6 прерванной попытки. k6 `--console-output`
|
||||||
|
дописывает в существующий файл, а `queue_warm` считает весь файл: 12 + 12. Правка: `Stand.k6_console` удаляет файл
|
||||||
|
консоли до старта (все профили); оставшийся `.work` удаляется в начале запуска (блокировка взята); `evidence/**/.work/` —
|
||||||
|
в `.gitignore` (там `fixture.json` с токенами).
|
||||||
|
- *`[Errno -2] Name or service not known` в выборке metrics-r3 (второе продолжение) — на стенде завершился Tempo; первопричина
|
||||||
|
не доказана.* Поиск трасс в Tempo в начале выборки прошёл, а переход журнал → трасса (`GET /api/v2/traces/<id>`) — уже нет:
|
||||||
|
имя `tempo` пропало из DNS сети, то есть контейнер (`restart: "no"`) завершился посреди выборки; выгрузка хоста в swap так
|
||||||
|
не проявляется. Состояние контейнера уборка удалила, буфер событий Docker пуст. Вероятнее всего — OOM по лимиту 640m без
|
||||||
|
swap под запросами самой выборки (8 поисков и до 16 загрузок трасс разом; пик Tempo в нагрузке у вариантов со всеми
|
||||||
|
трассами — 270–326 MiB; 8 из 9 таких выборок прошли). Правки: перед выборкой и при её отказе `telemetry_alive` проверяет
|
||||||
|
сервисы телеметрии (работает, код выхода, `OOMKilled`, перезапуски) и при гибели отказывает с состоянием, сохранив хвост
|
||||||
|
журнала в `raw/<прогон>-<сервис>.log`; в сообщении отказа выборки первой идёт последняя строка вывода (она же
|
||||||
|
`meta.reason`); к Tempo — не больше 3 запросов одновременно (`TEMPO_REQUESTS`; выборка идёт после окон замера, меняется
|
||||||
|
только её длительность); после выборки `memory.peak` сервисов телеметрии — `raw/<прогон>-peaks.json` (запас до лимита).
|
||||||
|
Лимит Tempo — рабочего стенда, не меняется.
|
||||||
|
- *Калибровка: интенсивности лёгких классов +15 %* (`read` 126,5, `write` 23, `me` 34,5, `card` 34,5; редкие, загрузки и
|
||||||
|
скачивания — прежние). На тихом хосте все три `full` метки дали 28,1–29,5 % CPU реплики при нижней границе 30 % (пометка
|
||||||
|
`saturated` у каждого: на шумном хосте калибровки п. 15 выходило ~37 %); +15 % — ~33–34 %. Правило раздела «Risks»
|
||||||
|
(интенсивности — только до коммита гипотез) нарушено сознательно: гипотезы закоммичены, но ни одной метки ещё нет, пороги
|
||||||
|
H1–H8 и B1–B5 относительные и не менялись; решение основной сессии. Новые значения — в `meta.telemetry_cost.rates`.
|
||||||
|
- Хост метки: выгрузка в swap 39 488 страниц за второе продолжение (`host_swap` у 4 прогонов) — новая метка снимается на
|
||||||
|
освобождённом хосте.
|
||||||
|
|||||||
@@ -156,7 +156,7 @@
|
|||||||
правило шума, правило «если `balanced` не прошёл», методика (стенд, лимиты, варианты, нагрузка и окна, редкие события, источники
|
правило шума, правило «если `balanced` не прошёл», методика (стенд, лимиты, варианты, нагрузка и окна, редкие события, источники
|
||||||
измерений), рабочий стенд остаётся со 100 % трасс; чисел метки нет. Вопросы `QUESTIONS.md` к преподавателю — в «Открытые вопросы
|
измерений), рабочий стенд остаётся со 100 % трасс; чисел метки нет. Вопросы `QUESTIONS.md` к преподавателю — в «Открытые вопросы
|
||||||
преподавателю». Проверка: у каждой гипотезы и критерия — порог; `make check`.
|
преподавателю». Проверка: у каждой гипотезы и критерия — порог; `make check`.
|
||||||
- [ ] 11.2 Коммит кода, правил и гипотез на ветке `feat/track1-telemetry-cost` — основная сессия. Проверка: `git status` чист;
|
- [x] 11.2 Коммит кода, правил и гипотез на ветке `feat/track1-telemetry-cost` — основная сессия. Проверка: `git status` чист;
|
||||||
commit с гипотезами раньше первой метки в `git log`.
|
commit с гипотезами раньше первой метки в `git log`.
|
||||||
|
|
||||||
## 12. Метка и отчёт (после коммита 11.2)
|
## 12. Метка и отчёт (после коммита 11.2)
|
||||||
|
|||||||
Reference in New Issue
Block a user