From 68e14b6ddfe270c9d6d57e81c787e55b6a0ce607 Mon Sep 17 00:00:00 2001 From: roman Date: Sat, 14 Nov 2026 23:42:53 +0300 Subject: [PATCH] fix(bench): clear stale k6 console files and check telemetry storages around lookup k6 --console-output appends, so a run killed before cleanup left .warm.k6 in .work and the resumed warmup counted 24 of 12. Remove the console file before each k6 run and a stale .work at start; ignore evidence/**/.work/. A telemetry storage that exits during the lookup (Tempo in metrics-r3: name no longer resolvable) now fails the run with the container state, OOMKilled flag and its log tail saved to raw/; Tempo requests of the lookup are limited to 3 at a time and memory peaks after the lookup are recorded. Raise the light classes of the telemetry cost load by 15 % (read 126.5, write 23, me 34.5, card 34.5 per second): on a quiet host `full` kept the replicas at 28-29.5 % CPU, below the 30 % calibration bound. Co-Authored-By: Claude Opus 5.5 --- .claude/rules/bench.md | 14 +- .gitignore | 3 + QUESTIONS.md | 9 +- REPORT.md | 11 +- bench/run.py | 120 +++++++++++++++++- bench/telemetry_lookup.py | 21 ++- .../changes/track1-telemetry-cost/design.md | 40 ++++-- .../changes/track1-telemetry-cost/tasks.md | 2 +- 8 files changed, 194 insertions(+), 26 deletions(-) diff --git a/.claude/rules/bench.md b/.claude/rules/bench.md index 78f49c9..8f3a3d0 100644 --- a/.claude/rules/bench.md +++ b/.claude/rules/bench.md @@ -649,7 +649,13 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод конце), ряды по `job`, `status/tsdb`, `status/config`, квантили из buckets против `quantile_over_time` Loki. Предел результатов — 4 × ожидаемого; равен пределу — отказ «lookup truncated». Повторы — только на обрыв соединения и 5xx (Tempo с 0,5 CPU под пулом запросов - изредка закрывает соединение). + изредка закрывает соединение). К Tempo — не больше 3 запросов разом (`TEMPO_REQUESTS`): в метке + `baseline` (`509afca`) Tempo завершился посреди выборки, вероятно OOM по лимиту 640m под её + запросами (design, «Уточнения apply», п. 16). Перед выборкой и при её отказе + `Bench.telemetry_alive` проверяет сервисы телеметрии (работает, код выхода, `OOMKilled`, + перезапуски): погибший — отказ с его состоянием и хвост журнала в `raw/<прогон>-<сервис>.log` + (уборка удаляет контейнер); после выборки `memory.peak` сервисов — `raw/<прогон>-peaks.json` + (запас до лимита, контейнер `mtusi-bench-du` с `--cgroupns host`). - **Ожидание после нагрузки:** незавершённых заданий 0 (не дольше `telemetry_drain_s`, иначе `not_drained`), обход метаданных `queue_sweep.js` (без байтов), затем `telemetry_cost.wait_after` от конца нагрузки — последние отправки метрик и решения выбора трасс доходят до хранилищ. @@ -821,6 +827,12 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод останавливает. Уборка своих — в `finally` и по Ctrl+C. Остатки прерванного прогона `run.py` не удаляет сам: он отказывается стартовать и печатает команды уборки. +- Рабочий каталог `.work/` лежит в каталоге метки (`evidence/**/.work/` — + в `.gitignore`) и удаляется в `finally`; процесс, убитый сигналом без + перехвата, его оставляет, поэтому запуск под блокировкой удаляет + оставшийся `.work` сам. Файл консоли k6 (`--console-output`) k6 + дописывает, а не перезаписывает: `Stand.k6_console` удаляет его до + старта (метка `baseline` профиля telemetry: разогрев 24 из 12). - Случайность только через свой генератор с зерном из профиля (`seed + номер VU`), не `Math.random`. diff --git a/.gitignore b/.gitignore index 6508432..d4f05b3 100644 --- a/.gitignore +++ b/.gitignore @@ -50,6 +50,9 @@ evidence/compare/*quick-* evidence/plots/quick-*/ # блокировка стенда bench/ (один прогон любого профиля) bench/.bench.lock +# рабочий каталог прогона bench/ (файлы k6, fixture.json с токенами): после +# процесса, убитого до уборки, остаётся в каталоге метки +evidence/**/.work/ # журналы меток (LB, скрипт замены, 5xx серий): небольшие, без секретов, # на них ссылается REPORT.md; у пробных quick-* каталог исключён выше !evidence/**/raw/*.log diff --git a/QUESTIONS.md b/QUESTIONS.md index 10e33c2..e667575 100644 --- a/QUESTIONS.md +++ b/QUESTIONS.md @@ -445,7 +445,8 @@ Change `openspec/changes/track1-telemetry-cost/` (propose 2026-11-14). Номе ### Решения apply -Подробно — design, «Уточнения apply» (номера в скобках); всё — до коммита гипотез, пороги не менялись. +Подробно — design, «Уточнения apply» (номера в скобках); всё, кроме интенсивностей (16), — до коммита гипотез, пороги не +менялись. - Регистрация на стенде — ~85 мс, а не 0,3–1 с (Argon2id параметров кода): редкий **быстрый** маршрут. Правила выбора трасс решают по span, поэтому полнота в B1, H3 и H5 (`tail`, `balanced`) требуется у 500, записей, **медленных по серверу** @@ -459,6 +460,12 @@ Change `openspec/changes/track1-telemetry-cost/` (propose 2026-11-14). Номе - Счёт в метрике — значение в конце прогона; у регистраций в нём ещё пользователи `prepare.js` (8). - Выборка — пачки по 40 id, повтор на обрыв соединения и 5xx (Tempo под пулом запросов закрывал соединение) (9). - `plots.py` самопроверки не имеет — в 9.1 проверяются шесть модулей (11). +- Метка `baseline` на `509afca` не снята (20 из 21), каталог удалён, новая — `baseline2` (16): разогрев «24 из 12» — файл + консоли k6 от убитого процесса (k6 дописывает; правка — удаление до старта, уборка `.work` в начале запуска, + `evidence/**/.work/` в `.gitignore`); DNS в выборке metrics-r3 — Tempo завершился посреди выборки, вероятно OOM под её + запросами, не доказано (правка — проверка сервисов телеметрии до и после выборки с журналом погибшего в `raw/`, не больше + 3 запросов к Tempo разом, пики памяти после выборки). Интенсивности лёгких классов +15 % (`full` на тихом хосте — 28–29,5 % + при границе 30 %) — после коммита гипотез, но до первой метки, решение основной сессии; пороги не менялись. ### Вопросы diff --git a/REPORT.md b/REPORT.md index 7a8abdd..d518ae2 100644 --- a/REPORT.md +++ b/REPORT.md @@ -544,14 +544,15 @@ Prometheus совпадает с рабочей вне размеченных б **Нагрузка** (8) — открытая модель (`k6/telemetry.js`, `constant-arrival-rate`, VU заранее, ответ не повторяется), одинаковая во всех вариантах, ниже насыщения (калибровка до гипотез: в `full` реплика занята 30–60 % CPU, Collector, Tempo и worker — -меньше 70 %, недосланных нет, p95 времени до `ready` < 5 с): +меньше 70 %, недосланных нет, p95 времени до `ready` < 5 с). Лёгкие классы подняты на 15 % после неснятой метки +`baseline`: на тихом хосте `full` занимал реплику на 28–29,5 %, ниже границы 30 % (design, «Уточнения apply», п. 16): | Класс | Запрос | В секунду | | --- | --- | --- | -| `read` | первая страница истории чата записи (50) | 110 | -| `write` | сообщение с новым `Idempotency-Key` | 20 | -| `me` | `GET /users/me` | 30 | -| `card` | карточка чата (кэш Valkey) | 30 | +| `read` | первая страница истории чата записи (50) | 126,5 | +| `write` | сообщение с новым `Idempotency-Key` | 23 | +| `me` | `GET /users/me` | 34,5 | +| `card` | карточка чата (кэш Valkey) | 34,5 | | `download` | оригинал готового вложения | 10 | | `upload` | JPEG 1600 × 1200, 0,48 МиБ → `ready` (API → relay → worker) | 1 | | `upload_bad` | тот же JPEG с 12 битами точности в SOF: 202, затем `failed` `invalid_image` | 0,1 | diff --git a/bench/run.py b/bench/run.py index 33d9a0a..62da58e 100644 --- a/bench/run.py +++ b/bench/run.py @@ -128,6 +128,9 @@ TELEMETRY_NETWORK = "mtusi-bench-telemetry" LOOKUP = "mtusi-bench-lookup" DU = "mtusi-bench-du" LOOKUP_SCRIPT = "/bench/telemetry_lookup.py" +# строк журнала погибшего сервиса телеметрии в raw/ (до уборки стенда) +TELEMETRY_LOG_TAIL = 200 +MIB = 1024 * 1024 # профили, которые принимают выключатель телеметрии (решение 13) TELEMETRY_SWITCH_PROFILES = ( "uploads", @@ -517,13 +520,15 @@ class Profile: # классов (в секунду), окна (разогрев, чистое, отказов), моменты # блокировок от начала окна отказов и их длительность, порог медленного # запроса, доля head, интервал metrics, выборка GET /users/me, ожидание - # незавершённых заданий + # незавершённых заданий. Лёгкие классы — +15 % к калибровке (110, 20, 30, + # 30): на тихом хосте `full` метки baseline дал 28–29,5 % CPU реплики при + # нижней границе 30 % (design, «Уточнения apply», п. 16) telemetry_variants: tuple[str, ...] = () telemetry_rates: tuple[tuple[str, float], ...] = ( - ("read", 110), - ("write", 20), - ("me", 30), - ("card", 30), + ("read", 126.5), + ("write", 23), + ("me", 34.5), + ("card", 34.5), ("download", 10), ("upload", 1), ("upload_bad", 0.1), @@ -2536,6 +2541,50 @@ class Stand: ) return telemetry_cost.parse_du(proc.stdout) + def telemetry_peaks(self) -> dict[str, float | None]: + """`memory.peak` сервисов телеметрии в MiB после выборки — пик за + жизнь контейнера вместе с запросами выборки, запас до лимита + (design, «Уточнения apply», п. 16). Контейнер `mtusi-bench-du` на + образе PostgreSQL стенда, `--cgroupns host`, без сети; нет cgroup + (контейнер завершён) — `None`.""" + image = sh("docker", "inspect", "-f", "{{.Config.Image}}", DB) + ids = { + service: sh("docker", "inspect", "-f", "{{.Id}}", name) + for service, name in TELEMETRY_CONTAINERS.items() + } + script = "".join( + f"echo {service} $(cat /sys/fs/cgroup/docker/{cid}/memory.peak " + "2>/dev/null || echo -);" + for service, cid in ids.items() + ) + proc = subprocess.run( + [ + "docker", + "run", + "--rm", + "--name", + DU, + "--cgroupns", + "host", + "--network", + "none", + "--entrypoint", + "sh", + image, + "-c", + script, + ], + capture_output=True, + text=True, + check=False, + ) + peaks: dict[str, float | None] = dict.fromkeys(ids) + for line in proc.stdout.splitlines(): + service, _, value = line.partition(" ") + if service in peaks and value.strip().isdigit(): + peaks[service] = round(int(value) / MIB, 1) + return peaks + def telemetry_passport(self) -> dict[str, Any]: """Образы, лимиты и SHA-256 конфигураций сервисов телеметрии (решение 13; спек `load-benchmark`, «Сервисы телеметрии на стенде»).""" @@ -3610,6 +3659,7 @@ class Stand: "running": state.get("Running"), "oom": state.get("OOMKilled"), "restarts": int(restarts or 0), + "exit_code": state.get("ExitCode"), } def down_storages(self) -> list[str]: @@ -3986,6 +4036,10 @@ class Stand: в самопроверке пропали две строки из 4 601 (вероятно, склеились строки разных VU), поэтому файл пишет k6, а не docker. """ + # k6 дописывает в существующий файл консоли: файл запуска с тем же + # именем от убитого процесса удвоил бы строки (метка `baseline` + # профиля telemetry: разогрев 24 из 12) + (self.work_dir / name).unlink(missing_ok=True) with (self.work_dir / f"{name}.out").open("w") as out: return subprocess.Popen( self.k6_args( @@ -7947,7 +8001,18 @@ class Bench: - time.monotonic(), ), ) - lookup = self.telemetry_lookup(name, reqs, t0) + self.telemetry_alive(name, "before the lookup") + try: + lookup = self.telemetry_lookup(name, reqs, t0) + except BenchError as exc: + # погибшее посреди выборки хранилище — понятный отказ с его + # состоянием и журналом, а не трассировка запроса + self.telemetry_alive(name, "during the lookup", cause=exc) + raise + (self.results.dir / "raw" / f"{name}-peaks.json").write_text( + json.dumps(stand.telemetry_peaks(), indent=2) + "\n", + encoding="utf-8", + ) problems += telemetry_cost.layer_problems( lookup.get("layers", {}), variant, @@ -8186,9 +8251,13 @@ class Bench: f"/work/{name}.lookup.json", ) if proc.returncode != 0: + output = (proc.stdout + proc.stderr).strip() + # первая строка отказа идёт в `meta.reason` и `progress.json`: + # последняя строка вывода (исключение), а не середина стека + last = output.splitlines()[-1] if output else "" raise BenchError( f"{name}: telemetry lookup failed (exit {proc.returncode}): " - + (proc.stdout + proc.stderr)[-2000:], + f"{last}\n" + output[-2000:], ) text = stand.read_work(f"{name}.lookup.json") (self.results.dir / "raw" / f"{name}-lookup.json").write_text( @@ -8197,6 +8266,38 @@ class Bench: ) return json.loads(text) + def telemetry_alive( + self, + name: str, + when: str, + cause: BenchError | None = None, + ) -> None: + """Сервисы телеметрии работают, без OOM и перезапусков; иначе — + хвост журнала погибшего в `raw/<прогон>-<сервис>.log` (до уборки + стенда, которая удаляет контейнер) и отказ с его состоянием (design, + «Уточнения apply», п. 16).""" + dead = [] + for service, container in TELEMETRY_CONTAINERS.items(): + state = self.stand.state(container) + if state["running"] and not state["oom"] and not state["restarts"]: + continue + tail = self.queue_log(container).splitlines()[-TELEMETRY_LOG_TAIL:] + (self.results.dir / "raw" / f"{name}-{service}.log").write_text( + "\n".join(tail) + "\n", + encoding="utf-8", + ) + dead.append( + f"{container} (running {state['running']}, exit " + f"{state['exit_code']}, OOMKilled {state['oom']}, restarts " + f"{state['restarts']})", + ) + if dead: + raise BenchError( + f"{name}: telemetry storage down {when}: " + + ", ".join(dead) + + f"; log tail in raw/{name}-.log", + ) from cause + def telemetry_storage_down(self) -> bool: """Хранилище, брокер или сервис телеметрии завершался за прогон.""" names = [DB, CACHE, S3, BROKER] @@ -9881,6 +9982,11 @@ def main(argv: list[str]) -> int: bench = Bench(profile, args.label, results) bench.started = started bench.resume = args.resume + if bench.stand.work_dir.exists(): + # блокировка взята: `.work` остался от процесса, убитого до уборки + # (в нём файлы консоли k6 и fixture.json с токенами) + say(f"removing stale {bench.stand.work_dir.relative_to(ROOT)}") + shutil.rmtree(bench.stand.work_dir, ignore_errors=True) code = 0 def terminate(*_: object) -> None: diff --git a/bench/telemetry_lookup.py b/bench/telemetry_lookup.py index 55be008..1d40a72 100644 --- a/bench/telemetry_lookup.py +++ b/bench/telemetry_lookup.py @@ -4,7 +4,7 @@ Design change `track1-telemetry-cost`, решение 9. Только в кон `mtusi-bench-lookup` на образе стенда, в сети хранилищ `mtusi-bench-telemetry`; только stdlib (`urllib`), `src` не импортирует, `bench/` — на чтение. Запросы — HTTP API Tempo, Loki, Prometheus и метрики Collector, пулом из восьми -потоков. +потоков; к Tempo — не больше трёх запросов одновременно. python telemetry_lookup.py wait-ready [--timeout 90] python telemetry_lookup.py collect <события.json> <итог.json> @@ -20,9 +20,11 @@ Prometheus, квантили из buckets против журнала. Резу не выдаётся за полный. """ +import contextlib import json import math import sys +import threading import time import urllib.error import urllib.parse @@ -43,6 +45,12 @@ READY = ( THREADS = 8 # переходы журнал → трасса: потоков на класс (классы идут параллельно) LINK_THREADS = 2 +# одновременных запросов к Tempo (поиски классов и переходы журнал → трасса): +# под восемью поисками и загрузками трасс сразу Tempo с лимитом рабочего +# стенда (640m без swap) завершился посреди выборки metrics-r3 метки baseline +# (design, «Уточнения apply», п. 16); выборка идёт после окон замера +TEMPO_REQUESTS = 3 +TEMPO_GATE = threading.BoundedSemaphore(TEMPO_REQUESTS) TIMEOUT_S = 60 ATTEMPTS = 4 RETRY_PAUSE_S = 1.0 @@ -195,10 +203,17 @@ def collector_name(expr: str) -> str: def fetch(url: str) -> bytes: """GET с повтором на обрыв соединения и 5xx: хранилище с 0,5 CPU под - пулом запросов изредка закрывает соединение без ответа. 4xx — сразу.""" + пулом запросов изредка закрывает соединение без ответа. 4xx — сразу. + Запрос к Tempo ждёт места `TEMPO_GATE`; пауза повтора места не держит.""" for attempt in range(1, ATTEMPTS + 1): + gate = ( + TEMPO_GATE if url.startswith(TEMPO) else contextlib.nullcontext() + ) try: - with urllib.request.urlopen(url, timeout=TIMEOUT_S) as response: + with ( + gate, + urllib.request.urlopen(url, timeout=TIMEOUT_S) as response, + ): return response.read() except urllib.error.HTTPError as exc: if exc.code < 500 or attempt == ATTEMPTS: diff --git a/openspec/changes/track1-telemetry-cost/design.md b/openspec/changes/track1-telemetry-cost/design.md index b4d6cc2..61c36fc 100644 --- a/openspec/changes/track1-telemetry-cost/design.md +++ b/openspec/changes/track1-telemetry-cost/design.md @@ -279,17 +279,17 @@ Prometheus не сливает конфигурации, поэтому файл | Класс | Запрос | По умолчанию, /с | Роль | |---|---|---|---| -| `read` | первая страница истории чата записи (50) | 110 | лёгкий | -| `write` | отправка с новым ключом в чат записи | 20 | лёгкий; в окне отказов — медленный под блокировкой | -| `me` | `GET /users/me` | 30 | лёгкий | -| `card` | карточка чата записи (кэш) | 30 | лёгкий | +| `read` | первая страница истории чата записи (50) | 126,5 (было 110, «Уточнения apply», п. 16) | лёгкий | +| `write` | отправка с новым ключом в чат записи | 23 (было 20) | лёгкий; в окне отказов — медленный под блокировкой | +| `me` | `GET /users/me` | 34,5 (было 30) | лёгкий | +| `card` | карточка чата записи (кэш) | 34,5 (было 30) | лёгкий | | `download` | оригинал готового вложения разогрева | 10 | байты | | `upload` | класс `s` (JPEG 1600 × 1200, 0,48 MiB) | 1 | цепочка API → relay → worker | | `upload_bad` | класс `bad`: `s` с точностью 12 бит в SOF — структура верна, Pillow не декодирует | 0,1 | неудачное задание, `failed`, `invalid_image` | | `broken` | оригинал вложения без объекта | 0,2 | 500 API, span S3 и server span с ошибкой | | `register` | регистрация с паролем из `crypto.randomUUID()`, сразу выброшенным | 0,2 | редкий маршрут; ждали медленный (Argon2id, 0,3–1 с), на стенде ~85 мс — редкий быстрый («Уточнения apply», п. 1) | -- **Чат записи читается с первой страницы**, как в `background.js`: страница из 50 полна уже в разогреве (20 записей/с). +- **Чат записи читается с первой страницы**, как в `background.js`: страница из 50 полна уже в разогреве (23 записи/с). - **Регистрация, а не вход:** вход требует пароля, а пароли стенда живут только в памяти `prepare.js` (`bench.md`); регистрация создаёт своего пользователя на запрос. - **Вложение без объекта** — одна строка `\copy attachments` до нагрузки (`reconcile.rows_csv(..., force=FORCE_MISSING)`: `ready`, @@ -300,8 +300,8 @@ Prometheus не сливает конфигурации, поэтому файл как `images.jpeg_precision_12()` тестов. - **Блокировка**: в окне отказов на +5, +15, +25 с — `BEGIN; LOCK TABLE messages IN SHARE MODE; SELECT pg_sleep(0.6); COMMIT;` в своей сессии `docker exec -i … psql`, `clock_timestamp()` до и после захвата — моменты на часах ВМ. `SHARE` держит только - вставки, чтение истории идёт; при 20 записях/с одна блокировка занимает до 12 соединений пулов двух реплик из 20 — пул не - исчерпан. Медленными (≥ 250 мс) по клиенту становятся записи первых ~0,35 с блокировки — ~7 на блокировку. + вставки, чтение истории идёт; при 23 записях/с одна блокировка занимает до 14 соединений пулов двух реплик из 20 — пул не + исчерпан. Медленными (≥ 250 мс) по клиенту становятся записи первых ~0,35 с блокировки — ~8 на блокировку. - **Окна**: полный — разогрев 30 с, чистое окно 90 с, окно отказов 30 с; быстрый — 10, 30, 15 с. Цена — только по чистому окну: блокировки в нём не вносятся, и хвост лёгких запросов не смешан с ожиданием пула. Редкие 500, `bad` и регистрации идут во всех окнах (их цена одинакова во всех вариантах), разбор потерь — по всем трём. @@ -490,7 +490,7 @@ commit кода; файлы `bench/` от рабочего стенда не з ## Уточнения apply Решения, принятые в apply без пользователя (дублируются в `QUESTIONS.md`, `## track1-telemetry-cost`, «Решения apply»), — -до коммита гипотез; пороги H1–H8 и B2–B5 не менялись. +до коммита гипотез (п. 16 — после него, до первой метки); пороги H1–H8 и B2–B5 не менялись. 1. **Регистрация — редкий быстрый маршрут, медленные записи — по серверу.** Пробные прогоны (`quick-telemetry-debug1/2`, в git не идут): регистрация на стенде — p50 ~85 мс, p95 ~90 мс (Argon2id параметров кода, 1 CPU реплики), а не 0,3–1 с, как ждал @@ -535,3 +535,27 @@ commit кода; файлы `bench/` от рабочего стенда не з 15. **Калибровка (10.1)**: у `full` реплики заняты ~37 % CPU (граница 30–60 %), Collector и Tempo — 3–4 % своего лимита, worker ~41 %, недосланных нет, p95 времени до `ready` 0,8 с — интенсивности не меняются, множитель 1. Хост во время калибровки выгружал память в swap (`host_swap` у прогонов с телеметрией) — числа быстрой метки только проверяют стенд. +16. **Метка `baseline` на `509afca` не снята (20 из 21 прогона), каталог удалён; три правки до новой метки (`baseline2`).** + - *Разогрев «24 из 12» (balanced-r2, первое продолжение) — дефект кода профиля.* Процесс метки убили сигналом, который не + перехватить; `finally` не удалил `.work`, и в нём остался файл консоли k6 прерванной попытки. k6 `--console-output` + дописывает в существующий файл, а `queue_warm` считает весь файл: 12 + 12. Правка: `Stand.k6_console` удаляет файл + консоли до старта (все профили); оставшийся `.work` удаляется в начале запуска (блокировка взята); `evidence/**/.work/` — + в `.gitignore` (там `fixture.json` с токенами). + - *`[Errno -2] Name or service not known` в выборке metrics-r3 (второе продолжение) — на стенде завершился Tempo; первопричина + не доказана.* Поиск трасс в Tempo в начале выборки прошёл, а переход журнал → трасса (`GET /api/v2/traces/`) — уже нет: + имя `tempo` пропало из DNS сети, то есть контейнер (`restart: "no"`) завершился посреди выборки; выгрузка хоста в swap так + не проявляется. Состояние контейнера уборка удалила, буфер событий Docker пуст. Вероятнее всего — OOM по лимиту 640m без + swap под запросами самой выборки (8 поисков и до 16 загрузок трасс разом; пик Tempo в нагрузке у вариантов со всеми + трассами — 270–326 MiB; 8 из 9 таких выборок прошли). Правки: перед выборкой и при её отказе `telemetry_alive` проверяет + сервисы телеметрии (работает, код выхода, `OOMKilled`, перезапуски) и при гибели отказывает с состоянием, сохранив хвост + журнала в `raw/<прогон>-<сервис>.log`; в сообщении отказа выборки первой идёт последняя строка вывода (она же + `meta.reason`); к Tempo — не больше 3 запросов одновременно (`TEMPO_REQUESTS`; выборка идёт после окон замера, меняется + только её длительность); после выборки `memory.peak` сервисов телеметрии — `raw/<прогон>-peaks.json` (запас до лимита). + Лимит Tempo — рабочего стенда, не меняется. + - *Калибровка: интенсивности лёгких классов +15 %* (`read` 126,5, `write` 23, `me` 34,5, `card` 34,5; редкие, загрузки и + скачивания — прежние). На тихом хосте все три `full` метки дали 28,1–29,5 % CPU реплики при нижней границе 30 % (пометка + `saturated` у каждого: на шумном хосте калибровки п. 15 выходило ~37 %); +15 % — ~33–34 %. Правило раздела «Risks» + (интенсивности — только до коммита гипотез) нарушено сознательно: гипотезы закоммичены, но ни одной метки ещё нет, пороги + H1–H8 и B1–B5 относительные и не менялись; решение основной сессии. Новые значения — в `meta.telemetry_cost.rates`. + - Хост метки: выгрузка в swap 39 488 страниц за второе продолжение (`host_swap` у 4 прогонов) — новая метка снимается на + освобождённом хосте. diff --git a/openspec/changes/track1-telemetry-cost/tasks.md b/openspec/changes/track1-telemetry-cost/tasks.md index 2d7f33f..b952247 100644 --- a/openspec/changes/track1-telemetry-cost/tasks.md +++ b/openspec/changes/track1-telemetry-cost/tasks.md @@ -156,7 +156,7 @@ правило шума, правило «если `balanced` не прошёл», методика (стенд, лимиты, варианты, нагрузка и окна, редкие события, источники измерений), рабочий стенд остаётся со 100 % трасс; чисел метки нет. Вопросы `QUESTIONS.md` к преподавателю — в «Открытые вопросы преподавателю». Проверка: у каждой гипотезы и критерия — порог; `make check`. -- [ ] 11.2 Коммит кода, правил и гипотез на ветке `feat/track1-telemetry-cost` — основная сессия. Проверка: `git status` чист; +- [x] 11.2 Коммит кода, правил и гипотез на ветке `feat/track1-telemetry-cost` — основная сессия. Проверка: `git status` чист; commit с гипотезами раньше первой метки в `git log`. ## 12. Метка и отчёт (после коммита 11.2)