From 613cceb69dab0cb48076dc8b462467c44336817f Mon Sep 17 00:00:00 2001 From: roman Date: Sun, 15 Nov 2026 05:52:37 +0300 Subject: [PATCH] docs: report telemetry cost results from baseline2 Fill the track 1 section of REPORT.md from evidence/telemetry-cost/ baseline2/summary.md: latency and CPU per variant, ingest with per-day and 7-day projections, losses by hop, what each variant keeps, quantile accuracy, H1-H8 and B1-B5 verdicts (B4 and H7 fail; H3 and H5 fail on one missing slow-write trace under typical tail sampling), the saturated full-r3 run, Tempo memory at its limit, recommendation with conditions and limits. Point the lab 6 defense step at bench_telemetry_quick and close tasks 12.3-12.5. Co-Authored-By: Claude Opus 5.5 --- .claude/rules/bench.md | 3 +- .claude/skills/run-mtusi-messenger/SKILL.md | 3 +- AGENTS.md | 2 +- REPORT.md | 129 +++++++++++++++++- .../changes/track1-telemetry-cost/tasks.md | 6 +- 5 files changed, 133 insertions(+), 10 deletions(-) diff --git a/.claude/rules/bench.md b/.claude/rules/bench.md index 8f3a3d0..75598b6 100644 --- a/.claude/rules/bench.md +++ b/.claude/rules/bench.md @@ -671,7 +671,8 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод `runs.csv`, `components.csv`, `classes.csv` (новые столбцы — только в конец), `summary.md`, четыре SVG, `raw/` — итоги k6 и выборки (идентификаторы синтетические). `quick-telemetry-*` — в `.gitignore`. -- **Время:** полный профиль — 21 прогон, ~1 ч 50 мин; быстрый — шесть вариантов, ~20 мин; +- **Время:** полный профиль — 21 прогон, ~1 ч 25 мин (метка `baseline2`, оценка была ~1 ч 50 мин); быстрый — шесть + вариантов, ~20 мин; `VARIANTS=off,full,tail` — ~10 мин (защита «для 5»). Рабочий стенд — `make stop`. ## Серии трека 1 (`scaling_*`) diff --git a/.claude/skills/run-mtusi-messenger/SKILL.md b/.claude/skills/run-mtusi-messenger/SKILL.md index 4497b7c..0982bfa 100644 --- a/.claude/skills/run-mtusi-messenger/SKILL.md +++ b/.claude/skills/run-mtusi-messenger/SKILL.md @@ -212,7 +212,8 @@ python3 $D --port 8080 s3-idle # клиент S3 после ска python3 $D lb-upload-timeouts # сроки LB пути загрузки на заглушке: 202 после 12 с молчания, 504 через 10/30 с, 400 в формате контракта; ~35 с python3 $D --port 8080 defense-scenario # защита лабы 5: worker стоит, 202, 201, 409, 201, сообщение в очереди, рестарт, worker, ready, оригинал и три варианта; ~1,5 мин python3 $D --port 8080 defense-faults # шаг 4 защиты: crash до фиксации и до ack, relay убит до публикации и до отметки, replay; ~4 мин -make bench_queue_quick # шаг защиты «для 5 — выбранный эксперимент»: очередь под перегрузкой, ~11 мин (рабочий стенд — make stop); разбор — evidence/queue/baseline4/summary.md +make bench_telemetry_quick VARIANTS=off,full,tail # шаг защиты «для 5» лабы 6: цена наблюдаемости, ~10 мин (рабочий стенд — make stop); разбор — evidence/telemetry-cost/baseline2/summary.md +make bench_queue_quick # шаг защиты «для 5» лабы 5: очередь под перегрузкой, ~11 мин (рабочий стенд — make stop); метка baseline4 — в репозитории лабы 5 python3 $D broker-check # брокер: образ, volume, порт, предел памяти, очередь, пароль только у rabbitmq, relay, worker, остановка с кодом 0; ~30 с python3 $D --port 8080 worker-process # процесс worker: PID 1, лимиты, Pillow, журнал, неверные настройки, остановка, рестарт хранилищ, остановка под нагрузкой; ~5 мин python3 $D --port 8080 relay-process # процесс relay: то же, окружение без S3 и Valkey; ~2 мин diff --git a/AGENTS.md b/AGENTS.md index f5d481d..2af411a 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -601,7 +601,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore | `make bench_queue [QUEUE_LABEL=...] [RESUME=1]` | уровень 5, трек 1, очередь под перегрузкой (~2 ч 10 мин, метка `baseline` по умолчанию; заняты `baseline`…`baseline4`, основная — `baseline4`, новый прогон — со своей `QUEUE_LABEL`; change `track1-queue-overload`): стенд `mtusi-bench` с S3, брокером, relay, worker и уборщиком, настройки (1, 1), (2, 2), (4, 4), (2, 256) × классы `s`, `m`, `lj`, `lp` × 3 повтора и блоки предела, приёма, второго worker, KILL worker, рестарта брокера; на ячейку — свежий стенд, открытая модель, контрольный поток, разбор очереди, обход метаданных; `evidence/queue/<метка>/` (`meta.json`, `cells.csv`, `timeline.csv`, `summary.md` с H1–H9 и рекомендацией, SVG). Рабочий стенд — `make stop`, гипотезы закоммичены раньше метки | | `make bench_queue_quick` | то же короче (~11 мин): `s` (2, 2), `lp` (4, 4), предел 40 и без него, `kill-worker`, `w2-p256`, один повтор, метка `quick-queue-<время>`, в git не идёт; шаг защиты «для 5» лабы 5 | | `TELEMETRY=on` у `make bench_uploads`, `bench_uploads_quick`, `bench_queue`, `bench_queue_quick` | выключатель телеметрии стенда (change `track1-telemetry-cost`, по умолчанию `off` — методика прежняя): Collector, Prometheus, Loki и Tempo рабочего стенда (`bench/telemetry.compose.yml`, без Grafana) и SDK реплик, worker и relay с настройками рабочего стенда; режим — в паспорте и сводке, `RESUME=1` — только в том же режиме; у очереди — столбцы `tel_*` в конце `cells.csv` и предупреждение о сумме лимитов CPU (12,25 при 12 у ВМ) вместо кода 2; у других профилей `--telemetry on` — код 2 до стенда | -| `make bench_telemetry [TELEMETRY_LABEL=...] [RESUME=1] [VARIANTS=...]` | уровень 5, трек 1 «Цена наблюдаемости» (~1 ч 50 мин, метка `baseline`; change `track1-telemetry-cost`): проверка конфигураций до стенда (лимиты телеметрии против `docker-compose.yml`, слои Collector `validate` и `print-config`, `prometheus-lean.yml` построчно и `promtool`) — иначе код 2; стенд `mtusi-bench` профиля очереди и, в вариантах с телеметрией, сервисы телеметрии рабочего стенда; варианты `off`, `full`, `full-aa`, `head` (доля 0,1), `tail` (типовой tail sampling), `metrics` (30 с, `coarse`, отбор рядов), `balanced` × 3 повтора кругами, свежий стенд на прогон; открытая нагрузка `k6/telemetry.js` (окна 30 + 90 + 30 с) и редкие события: 500 вложения без объекта, недекодируемый JPEG, регистрация, медленные записи под блокировкой; выборка из Tempo, Loki и Prometheus (`telemetry_lookup.py`), сэмплер `cost`, размер volume; вариант не применён (записи о старте, слои) — отказ; `evidence/telemetry-cost/<метка>/` (`meta.json`, `runs.csv`, `components.csv`, `classes.csv`, `summary.md` с H1–H8 и B1–B5, SVG, `raw/`); `VARIANTS` — отладка. Рабочий стенд — `make stop`, гипотезы закоммичены раньше метки | +| `make bench_telemetry [TELEMETRY_LABEL=...] [RESUME=1] [VARIANTS=...]` | уровень 5, трек 1 «Цена наблюдаемости» (~1 ч 25 мин, метка по умолчанию `baseline`: её первая попытка не снята, каталог удалён; основная — `baseline2`, код `68e14b6`, метка в `0f5dbfc`; change `track1-telemetry-cost`): проверка конфигураций до стенда (лимиты телеметрии против `docker-compose.yml`, слои Collector `validate` и `print-config`, `prometheus-lean.yml` построчно и `promtool`) — иначе код 2; стенд `mtusi-bench` профиля очереди и, в вариантах с телеметрией, сервисы телеметрии рабочего стенда; варианты `off`, `full`, `full-aa`, `head` (доля 0,1), `tail` (типовой tail sampling), `metrics` (30 с, `coarse`, отбор рядов), `balanced` × 3 повтора кругами, свежий стенд на прогон; открытая нагрузка `k6/telemetry.js` (окна 30 + 90 + 30 с) и редкие события: 500 вложения без объекта, недекодируемый JPEG, регистрация, медленные записи под блокировкой; выборка из Tempo, Loki и Prometheus (`telemetry_lookup.py`), сэмплер `cost`, размер volume; вариант не применён (записи о старте, слои) — отказ; `evidence/telemetry-cost/<метка>/` (`meta.json`, `runs.csv`, `components.csv`, `classes.csv`, `summary.md` с H1–H8 и B1–B5, SVG, `raw/`); `VARIANTS` — отладка. Рабочий стенд — `make stop`, гипотезы закоммичены раньше метки | | `make bench_telemetry_quick [VARIANTS=...]` | то же короче (~20 мин): шесть вариантов без `full-aa`, один повтор, окна 10 + 30 + 15 с, метка `quick-telemetry-<время>`, в git не идёт; калибровка до гипотез; шаг защиты «для 5» — `VARIANTS=off,full,tail` (~10 мин) | | `make bench_plots LABELS="..." [PLOTS=scaling]` | графики SVG и сводка серий трека 1 из меток: R* от числа реплик, p95 от интенсивности, CPU по компонентам, эффективность и точка насыщения — `evidence/plots//` | | `make bench_ab BEFORE=... AFTER=... REAPPLY= [SERIES=...]` | «до» и «после» одного изменения подряд (два прогона `bench`): `bench` для `BEFORE`, commit доказательств, `git revert` commit отката `REAPPLY`, `bench` для `AFTER`; с `SERIES` — серия трека 1 вместо матрицы (`make bench_scaling`). Нужно чистое рабочее дерево; сама делает два коммита | diff --git a/REPORT.md b/REPORT.md index d518ae2..66ba88b 100644 --- a/REPORT.md +++ b/REPORT.md @@ -510,9 +510,11 @@ Collector без времени начала (их закрывает прави ## Цена наблюдаемости (трек 1) Change `track1-telemetry-cost` (design — `openspec/changes/track1-telemetry-cost/design.md`, номера решений в скобках). -Раздел записан **до метки**: гипотезы и критерии с порогами, методика и правила вывода фиксируются commit раньше -`evidence/telemetry-cost/baseline/`; числа метки, вывод по каждой гипотезе, рекомендация и ограничения добавляются после неё -из `summary.md` метки, не пересчитываются вручную. Команда: `make stop`, затем `make bench_telemetry` (~1 ч 50 мин); защита — +Методика, гипотезы и критерии с порогами записаны **до метки** (commit `509afca`). Метка — `evidence/telemetry-cost/baseline2/`: +код `68e14b6`, каталог метки — commit `0f5dbfc`, 21 прогон из 21, `dirty: false`. Числа раздела «Результаты» взяты из её +`summary.md`. Пересчёт на сутки и неделю — единственная арифметика поверх сводки, по её правилу: приём × 86 400 и × 604 800. +Первая метка `baseline` (`509afca`) не снята: два сбоя профиля, правка и +15 % к лёгким классам — +design, «Уточнения apply», п. 16. Команда: `make stop`, затем `make bench_telemetry` (~1 ч 25 мин); защита — `make bench_telemetry_quick VARIANTS=off,full,tail` (~10 мин). ### Методика @@ -628,6 +630,125 @@ B2 — `probabilistic` 5 %; B3 — `decision_wait` 5 с и `num_traces` 10 000; `alerts-check`) ищут свой запрос и задание по сохранённым наблюдениям; сбалансированная конфигурация — проверяемая рекомендация (вопрос пользователю — `QUESTIONS.md`, `## track1-telemetry-cost`, вопрос 1). +### Результаты (метка `baseline2`) + +Медиана трёх повторов, в скобках — min–max; шум — |`full` − `full-aa`|, у CPU реплик на запрос он 0,0465 мс. Хост во время метки +выгрузил в swap 23 125 страниц (пометка `host_swap` у full-r1). По решению пользователя от 2026-11-15 это не повод переснимать: +свободной памяти на хосте хватает, память ВМ в swap не уходит (`QUESTIONS.md`). + +**Задержки лёгких запросов (чистое окно, мс) и CPU:** + +| Вариант | p50 | p95 | p99 | CPU реплик на запрос, мс | надбавка к `off` | конвейер телеметрии, ядра | пик Collector, МиБ | +| --- | --- | --- | --- | --- | --- | --- | --- | +| `off` | 2,69 (2,68–2,71) | 4,35 (4,28–4,37) | 6,64 (6,03–7,00) | 2,154 (2,151–2,175) | — | 0 | — | +| `full` | 3,18 (2,84–3,83) | 5,93 (5,17–8,12) | 38,11 (22,99–46,45) | 2,718 (2,473–3,228) | +26 % | 0,037 | 74,3 | +| `full-aa` | 3,23 (3,16–3,47) | 6,08 (5,99–7,16) | 43,01 (34,26–48,29) | 2,764 (2,699–2,953) | +28 % | 0,040 | 72,4 | +| `head` | 2,91 (2,89–2,94) | 4,89 (4,85–5,40) | 9,28 (8,23–41,34) | 2,389 (2,386–2,498) | +11 % | 0,021 | 72,4 | +| `tail` | 3,16 (2,85–3,31) | 5,92 (5,25–6,15) | 31,36 (23,66–35,61) | 2,708 (2,475–2,813) | +26 % | 0,025 | 136,1 | +| `metrics` | 3,20 (2,83–3,25) | 5,94 (5,16–6,10) | 28,20 (20,01–37,52) | 2,723 (2,463–2,788) | +26 % | 0,037 | 73,9 | +| `balanced` | 3,21 (2,83–3,25) | 5,88 (5,22–6,11) | 37,36 (32,68–44,26) | 2,737 (2,472–2,761) | +27 % | 0,024 | 101,0 | + +Ошибок у лёгких запросов нет ни в одном варианте, недосланных итераций нет. Конвейер (Collector и три хранилища) стоит +0,02–0,04 ядра: цена телеметрии — в процессах приложения, а не в сервисах телеметрии. CPU Tempo у `full` — 0,016 ядра, пик +памяти до выборки — 342 МиБ; у `head`, `tail` и `balanced` — 0,004 ядра и 108–121 МиБ. Время до `ready` во всех вариантах +одинаково: p50 0,48–0,49 с, p95 0,62–0,66 с. Готовы 452 вложения из 452, все `bad` дошли до `failed`. + +**Приём (чистое окно) и пересчёт.** Байты — то, что приняли distributor Tempo и Loki, а не сжатые блоки на диске: за 150 с +прогона на диске только журнал предзаписи (Prometheus / Loki / Tempo у `full` — 0,4 / 21,8 / 41,2 МиБ). + +| Вариант | span Tempo, /с | Tempo, ГиБ за сутки / 7 суток | строк Loki, /с | Loki, ГиБ за сутки / 7 суток | отсчётов Prometheus, /с | рядов | отсчётов за сутки / 7 суток, млн | +| --- | --- | --- | --- | --- | --- | --- | --- | +| `full` | 911 | 27,1 / 190 | 256 | 8,5 / 59 | 235 | 3 521 | 20,3 / 142 | +| `head` | 87 | 2,6 / 18 | 259 | 8,6 / 60 | 235 | 3 564 | 20,3 / 142 | +| `tail` | 110 | 3,8 / 26 | 258 | 8,5 / 60 | 238 | 3 602 | 20,6 / 144 | +| `metrics` | 911 | 27,1 / 190 | 256 | 8,5 / 59 | 36 | 502 | 3,1 / 22 | +| `balanced` | 96 | 3,2 / 22 | 259 | 8,6 / 60 | 45 | 675 | 3,9 / 27 | + +**Потери по звеньям** — 0 во всех вариантах: SDK (span и записи), Collector (отказ приёма, очередь экспорта), +`dropped_too_early`. Span SDK → Collector → Tempo сходятся без расхождения: у `full` 137 868 = 137 868 = 137 868. У `tail` и +`balanced` Collector отправил 18 819 и 14 442 span из 137 868 по решениям выбора (сохранено 3 689 и 3 562 трассы из ~34 690); +это отброшенное выборкой, а не потеря. + +**Что сохраняет каждый вариант** (сумма трёх повторов; `write_slow` — медленные по серверу записи и их трассы): + +| Вариант | 500 (`broken`): трасс | `write_slow`: трасс | неудачные загрузки: цепочек | регистрации: трасс | обычные загрузки: цепочек | журнал и метрика | +| --- | --- | --- | --- | --- | --- | --- | +| `full` | 93 / 93 | 78 / 78 | 47 / 47 | 93 / 93 | 452 / 452 | 100 % | +| `head` | 10 / 92 | 10 / 75 | 5 / 48 | 9 / 93 | 58 / 452 | 100 % | +| `tail` | 93 / 93 | **74 / 75** | 46 / 46 | 12 / 93 | 452 / 452 | 100 % | +| `balanced` | 91 / 91 | 79 / 79 | 48 / 48 | 15 / 92 | 40 / 452 | 100 % | + +`head` теряет около 90 % трасс любого класса, в том числе ошибок: решение принимается до того, как известен исход. Журнал и +счётчики сохраняют всё: у записи остаётся `trace_id` без бита выборки, переход журнал → трасса пустой. `tail` и `balanced` +теряют то, что их правила не называют. Это редкий быстрый маршрут (регистрация — около 10–15 %) и обычные загрузки у +`balanced`: правило по длительности server span, а не трассы, поэтому у асинхронной цепочки остаётся 10 % (40 из 452). +`tail` сохраняет все цепочки загрузок: трасса загрузки всегда длиннее 0,25 с. + +**Точность квантилей** (квантиль из buckets против квантиля журнала за чистое окно, с). У `coarse` write p95 — 0,0168 +против 0,0067 по журналу, относительная ошибка 149 %; у `default` — 0,0093 против 0,0064, ошибка 27 %. Read p99 — 0,0219 +против 0,0119 (85 % против 42 % у `default`). Грубые границы хуже больше чем вдвое на трёх оценках из четырёх (H4). + +**Вердикты** (`summary.md`, «Гипотезы и критерии»): + +| | Итог | Главное | +| --- | --- | --- | +| H1 | подтверждено | CPU реплик на запрос +26 % (2,718 против 2,154 мс); p50 +0,49 мс; p99 +31,5 мс, рост p99 ×5,7 против ×1,2 у p50 | +| H2 | подтверждено | надбавка `head` — 0,235 мс, 42 % надбавки `full`; приём Tempo 9,5 %; доли трасс 10/92, 10/75, 9/93, 5/48 — в интервалах около 0,1; журнал и метрика — 100 % | +| H3 | **нет** | у `tail` 74 из 75 трасс медленных по серверу записей (tail-r1: 25 из 26); остальное выполнено: CPU как у `full`, Collector 136,1 против 74,3 МиБ, его CPU тот же, приём Tempo 12,1 %, 500 — 93/93, цепочки — 46/46 и 452/452, отказов нет | +| H4 | подтверждено | рядов 14,3 %, отсчётов 15,2 % `full`; CPU реплик и Collector — в пределах шума; квантили `coarse` хуже вдвое (выше) | +| H5 | **нет** | та же трасса: `tail`, журнал → трасса у `write_slow` 74/75; у `full`, `balanced` — 100 %, у `head` — в интервалах около 0,1 | +| H6 | подтверждено | потерь 0, расхождение 0,00 % | +| H7 | **нет** | B4 не прошёл, B1, B2, B3, B5 — прошли | +| H8 | подтверждено | Tempo у `full`: 0,016 ядра против 0,009 + 0,003 у Loki и Prometheus, на диске 43,2 против 22,9 + 0,4 МБ; у `head`, `tail`, `balanced` — 0,004 ядра | +| B1 | подтверждено | 500 — 91/91, медленные по серверу записи — 79/79, цепочки `bad` — 48/48 (регистрации справочно 15/92) | +| B2 | подтверждено | приём Tempo 10,6 % `full`, меньше `tail` (96,3 против 110,3 span/с); рядов 19,2 % | +| B3 | подтверждено | потерь и отброшенных до решения нет; пик Collector 101,0 из 256 МиБ (предел 170) | +| B4 | **нет** | CPU реплик на запрос +27 % (2,737 против 2,154 мс) при пределе +25 %; p99 +30,7 мс при пределе +10; p95 +1,53 мс — в пределе | +| B5 | подтверждено | журнал → трасса: 91/91, 79/79, 48/48 | + +- **B4 и H7.** Правила Collector цену в приложении не снижают: SDK создаёт и отправляет все span, и `balanced` стоит + столько же, сколько `full` и `tail` (+26–27 %). Так и было заложено правилом «если `balanced` не прошёл критерии»: B4 не + лечится настройкой Collector, пересъёмки нет. Цену в приложении снижает только выбор в голове (`head`: +11 %, p99 9,3 мс). +- **H3 и H5.** Одна трасса медленной по серверу записи из 75 при типовом tail sampling не дошла до Tempo. Её нет ни в поиске, + ни по id, а счётчики потерь SDK, Collector и `dropped_too_early` — 0. Причину установить нельзя: выборка хранит только id + недостающих трасс, длительности записей и span ушли со стендом. Порог «100 %» по правилу вывода не ослабляется, поэтому + обе гипотезы — «нет». У `balanced` правило по server span сохранило 79 из 79. +- **Пометка `saturated` у full-r3:** CPU реплики 28,4 % при нижней границе калибровки 30 %. С balanced-r3 до конца метки CPU + на запрос у вариантов с телеметрией упал примерно на 9 % (около 2,47 мс у `balanced`, `full`, `tail`, `metrics`). Это сдвиг + хоста внутри третьего круга, а не свойство варианта: круги содержат все варианты, медиана `full` — 31,3 % (в границах). Метка + не переснята, сдвиг расширяет разброс повторов (у `full` 2,473–3,228 мс). Поэтому разница `balanced` и `full` — в пределах + шума, а не эффект. +- **Tempo на границе лимита (наблюдение).** После выборки `memory.peak` Tempo у вариантов со всеми трассами — 595–640 МиБ + из 640 (`raw/<прогон>-peaks.json`, у full-r1 — ровно 640). Пик включает page cache, контейнер жив, потерь нет. Но в первой + метке Tempo завершился посреди выборки, вероятно, по этому лимиту (design, «Уточнения apply», п. 16). Значит, при 911 span/с + и запросах поиска лимит рабочего стенда держится на краю. + +**Рекомендация с условиями.** + +- Рабочий стенд остаётся со всеми трассами. Его нагрузка много меньше 230 запросов/с метки, а проверки уровней 3–4 ищут + конкретный запрос. Цена при этой интенсивности — +26 % CPU реплик на запрос и +31 мс к p99 лёгких запросов. Tempo + принимает ~27 ГиБ в сутки (до сжатия), его память — у лимита. +- Если важна цена в приложении (CPU реплик, хвост задержки), нужен выбор в голове с долей 0,1. Он снимает 58 % надбавки, + p99 9,3 мс, но теряет ~90 % трасс ошибок; ошибки остаются в журнале и метриках (H2). Доля подбирается по данным `head`. +- Если важно хранилище трасс, а не CPU приложения, — `balanced`. Приём Tempo 10,6 %, рядов 19 %, все внесённые ошибки, + медленные запросы и неудачные задания сохранены, Collector — 101 из 256 МиБ при ~300 новых трассах/с. При большей + интенсивности `num_traces` и память Collector растут пропорционально. Цена в приложении — как у `full`. +- `coarse` не брать: квантили хуже вдвое. Интервал 30 с и отбор собственных рядов хранилищ — брать: ряды −80 %, CPU тот же. +- Лимит Tempo 640 МиБ поднять, если нагрузка рабочего стенда приблизится к нагрузке метки. + +**Ограничения.** + +- Одна интенсивность ниже насыщения (~230 запросов/с на две реплики), открытая модель. Цена при насыщении и вторая точка + нагрузки не измерены (вопрос 1 ниже). +- Прогон длится 150 с: рост на диске — журнал предзаписи. Сутки и неделя — пересчёт принятых байт без сжатия блоков и без + компакции. +- Шум A/A — одна пара `full` / `full-aa` в той же метке; сдвиг хоста в третьем круге расширяет разброс, мелкие различия + вариантов с SDK (`full`, `tail`, `metrics`, `balanced`) — в пределах шума. +- Медленные записи внесены блокировкой таблицы, ошибки — строкой без объекта: это управляемые события с известным счётом, + а не естественный поток (вопрос 2 ниже). +- Причина недостающей трассы у `tail` не установлена (выше). Квантили сравниваются с квантилем журнала за то же окно, а не с + истиной клиента. + ### Открытые вопросы преподавателю (трек 1) 1. Достаточно ли трёх настроек (выбор в голове 10 %, типовой tail sampling, агрегация метрик) и проверенной сбалансированной @@ -652,7 +773,7 @@ B2 — `probabilistic` 5 %; B3 — `decision_wait` 5 с и `num_traces` 10 000; | Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules` (22 блока синтетических рядов: 43 проверки оповещений, 17 проверок выражений правил записи в 7 блоках); у каждого из 7 оповещений есть runbook; контроли — изменённый порог и правило потерь без нуля процесса SDK дают красный прогон | `evidence/alerts/rules-test.md` (commit `ef60b47`) | | Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0 (~18 мин): pending / firing / снятие — остановленный worker 84 / 144 / 29 с; relay — 69 / 190 / 45 с; медленная БД — 75 / 135 / 74 с; медленный handler — оповещения нет; недоступная БД — 29 и 44 / 59 и 105 / 30 и 135 с; лишних нет; SLI в тех же окнах — 0–0,085 п. п., одним окном часа — 0,58 и 0,066 п. п. | `evidence/alerts/check.md` (commit `ef60b47`) | | Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 91 МиБ из 256, реплики без роста; потери учтены (441 запись, 1336 span, SDK +11 602 и +11 551) и видны на панели потерь; `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `ef60b47`) | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +| Выбранный трек 5: трек 1 «Цена наблюдаемости» | `make bench_telemetry` (защита — `make bench_telemetry_quick VARIANTS=off,full,tail`, ~10 мин) | метка `baseline2`, 21 прогон из 21, код 0: `full` против `off` +26 % CPU реплик на запрос, +31 мс к p99; `head` +11 %; `tail` и `balanced` — приём Tempo 12,1 % и 10,6 %, Collector 136 и 101 МиБ, цена в приложении как у `full`; потерь 0; H1, H2, H4, H6, H8 подтверждены, H3, H5, H7 — нет (одна трасса из 75 у `tail`, B4); B1–B3, B5 прошли | `evidence/telemetry-cost/baseline2/summary.md` (код `68e14b6`, метка — commit `0f5dbfc`) | TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. diff --git a/openspec/changes/track1-telemetry-cost/tasks.md b/openspec/changes/track1-telemetry-cost/tasks.md index 2ea7528..d7b22cb 100644 --- a/openspec/changes/track1-telemetry-cost/tasks.md +++ b/openspec/changes/track1-telemetry-cost/tasks.md @@ -167,12 +167,12 @@ - [x] 12.2 Если `balanced` не прошёл B1–B3 — правка по правилу решения 12 (один параметр на нарушение), commit основной сессией и метка `baseline-balanced2` того же профиля целиком; B4 — запись в отчёте без пересъёмки. Иначе — запись, что правка не нужна. Проверка: вердикты B1–B5 обеих меток в сводках. -- [ ] 12.3 Коммит метки основной сессией. Проверка: `git status` чист, каталог метки в git. -- [ ] 12.4 `REPORT.md`, раздел «Цена наблюдаемости»: таблицы из `summary.md` (задержки, CPU на запрос, CPU и память по компонентам, +- [x] 12.3 Коммит метки основной сессией. Проверка: `git status` чист, каталог метки в git. +- [x] 12.4 `REPORT.md`, раздел «Цена наблюдаемости»: таблицы из `summary.md` (задержки, CPU на запрос, CPU и память по компонентам, приём по сигналам, рост на диске с пересчётом на сутки и срок хранения, потери по звеньям, время до `ready`), что теряет каждый вариант и почему, точность квантилей, вывод по H1–H8 и B1–B5, рекомендация с условиями, ограничения; строка «Выбранный трек 5» в таблице критериев; шаг защиты «для 5» — `make bench_telemetry_quick` (и `SKILL.md` скилла `run-mtusi-messenger`, если там описан сценарий защиты). Проверка: числа совпадают со сводкой метки; `make check`; `openspec validate track1-telemetry-cost --strict`. -- [ ] 12.5 Рабочий стенд — `docker compose start` (или `make run_docker`), `make test` — PASS; коммит отчёта основной сессией. +- [x] 12.5 Рабочий стенд — `docker compose start` (или `make run_docker`), `make test` — PASS; коммит отчёта основной сессией. Проверка: `git status` чист, шапка раздела называет commit метки.