docs: report telemetry cost results from baseline2

Fill the track 1 section of REPORT.md from evidence/telemetry-cost/
baseline2/summary.md: latency and CPU per variant, ingest with per-day
and 7-day projections, losses by hop, what each variant keeps, quantile
accuracy, H1-H8 and B1-B5 verdicts (B4 and H7 fail; H3 and H5 fail on
one missing slow-write trace under typical tail sampling), the
saturated full-r3 run, Tempo memory at its limit, recommendation with
conditions and limits. Point the lab 6 defense step at
bench_telemetry_quick and close tasks 12.3-12.5.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-11-15 05:52:37 +03:00
co-authored by Claude Opus 5.5
parent 0f5dbfcf3c
commit 613cceb69d
5 changed files with 133 additions and 10 deletions
+2 -1
View File
@@ -671,7 +671,8 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод
`runs.csv`, `components.csv`, `classes.csv` (новые столбцы — только в конец), `summary.md`, четыре
SVG, `raw/` — итоги k6 и выборки (идентификаторы синтетические). `quick-telemetry-*` — в
`.gitignore`.
- **Время:** полный профиль — 21 прогон, ~1 ч 50 мин; быстрый — шесть вариантов, ~20 мин;
- **Время:** полный профиль — 21 прогон, ~1 ч 25 мин (метка `baseline2`, оценка была ~1 ч 50 мин); быстрый — шесть
вариантов, ~20 мин;
`VARIANTS=off,full,tail` — ~10 мин (защита «для 5»). Рабочий стенд — `make stop`.
## Серии трека 1 (`scaling_*`)
+2 -1
View File
@@ -212,7 +212,8 @@ python3 $D --port 8080 s3-idle # клиент S3 после ска
python3 $D lb-upload-timeouts # сроки LB пути загрузки на заглушке: 202 после 12 с молчания, 504 через 10/30 с, 400 в формате контракта; ~35 с
python3 $D --port 8080 defense-scenario # защита лабы 5: worker стоит, 202, 201, 409, 201, сообщение в очереди, рестарт, worker, ready, оригинал и три варианта; ~1,5 мин
python3 $D --port 8080 defense-faults # шаг 4 защиты: crash до фиксации и до ack, relay убит до публикации и до отметки, replay; ~4 мин
make bench_queue_quick # шаг защиты «для 5 — выбранный эксперимент»: очередь под перегрузкой, ~11 мин (рабочий стенд — make stop); разбор — evidence/queue/baseline4/summary.md
make bench_telemetry_quick VARIANTS=off,full,tail # шаг защиты «для 5» лабы 6: цена наблюдаемости, ~10 мин (рабочий стенд — make stop); разбор — evidence/telemetry-cost/baseline2/summary.md
make bench_queue_quick # шаг защиты «для 5» лабы 5: очередь под перегрузкой, ~11 мин (рабочий стенд — make stop); метка baseline4 — в репозитории лабы 5
python3 $D broker-check # брокер: образ, volume, порт, предел памяти, очередь, пароль только у rabbitmq, relay, worker, остановка с кодом 0; ~30 с
python3 $D --port 8080 worker-process # процесс worker: PID 1, лимиты, Pillow, журнал, неверные настройки, остановка, рестарт хранилищ, остановка под нагрузкой; ~5 мин
python3 $D --port 8080 relay-process # процесс relay: то же, окружение без S3 и Valkey; ~2 мин
+1 -1
View File
@@ -601,7 +601,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
| `make bench_queue [QUEUE_LABEL=...] [RESUME=1]` | уровень 5, трек 1, очередь под перегрузкой (~2 ч 10 мин, метка `baseline` по умолчанию; заняты `baseline`…`baseline4`, основная — `baseline4`, новый прогон — со своей `QUEUE_LABEL`; change `track1-queue-overload`): стенд `mtusi-bench` с S3, брокером, relay, worker и уборщиком, настройки (1, 1), (2, 2), (4, 4), (2, 256) × классы `s`, `m`, `lj`, `lp` × 3 повтора и блоки предела, приёма, второго worker, KILL worker, рестарта брокера; на ячейку — свежий стенд, открытая модель, контрольный поток, разбор очереди, обход метаданных; `evidence/queue/<метка>/` (`meta.json`, `cells.csv`, `timeline.csv`, `summary.md` с H1–H9 и рекомендацией, SVG). Рабочий стенд — `make stop`, гипотезы закоммичены раньше метки |
| `make bench_queue_quick` | то же короче (~11 мин): `s` (2, 2), `lp` (4, 4), предел 40 и без него, `kill-worker`, `w2-p256`, один повтор, метка `quick-queue-<время>`, в git не идёт; шаг защиты «для 5» лабы 5 |
| `TELEMETRY=on` у `make bench_uploads`, `bench_uploads_quick`, `bench_queue`, `bench_queue_quick` | выключатель телеметрии стенда (change `track1-telemetry-cost`, по умолчанию `off` — методика прежняя): Collector, Prometheus, Loki и Tempo рабочего стенда (`bench/telemetry.compose.yml`, без Grafana) и SDK реплик, worker и relay с настройками рабочего стенда; режим — в паспорте и сводке, `RESUME=1` — только в том же режиме; у очереди — столбцы `tel_*` в конце `cells.csv` и предупреждение о сумме лимитов CPU (12,25 при 12 у ВМ) вместо кода 2; у других профилей `--telemetry on` — код 2 до стенда |
| `make bench_telemetry [TELEMETRY_LABEL=...] [RESUME=1] [VARIANTS=...]` | уровень 5, трек 1 «Цена наблюдаемости» (~1 ч 50 мин, метка `baseline`; change `track1-telemetry-cost`): проверка конфигураций до стенда (лимиты телеметрии против `docker-compose.yml`, слои Collector `validate` и `print-config`, `prometheus-lean.yml` построчно и `promtool`) — иначе код 2; стенд `mtusi-bench` профиля очереди и, в вариантах с телеметрией, сервисы телеметрии рабочего стенда; варианты `off`, `full`, `full-aa`, `head` (доля 0,1), `tail` (типовой tail sampling), `metrics` (30 с, `coarse`, отбор рядов), `balanced` × 3 повтора кругами, свежий стенд на прогон; открытая нагрузка `k6/telemetry.js` (окна 30 + 90 + 30 с) и редкие события: 500 вложения без объекта, недекодируемый JPEG, регистрация, медленные записи под блокировкой; выборка из Tempo, Loki и Prometheus (`telemetry_lookup.py`), сэмплер `cost`, размер volume; вариант не применён (записи о старте, слои) — отказ; `evidence/telemetry-cost/<метка>/` (`meta.json`, `runs.csv`, `components.csv`, `classes.csv`, `summary.md` с H1–H8 и B1–B5, SVG, `raw/`); `VARIANTS` — отладка. Рабочий стенд — `make stop`, гипотезы закоммичены раньше метки |
| `make bench_telemetry [TELEMETRY_LABEL=...] [RESUME=1] [VARIANTS=...]` | уровень 5, трек 1 «Цена наблюдаемости» (~1 ч 25 мин, метка по умолчанию `baseline`: её первая попытка не снята, каталог удалён; основная — `baseline2`, код `68e14b6`, метка в `0f5dbfc`; change `track1-telemetry-cost`): проверка конфигураций до стенда (лимиты телеметрии против `docker-compose.yml`, слои Collector `validate` и `print-config`, `prometheus-lean.yml` построчно и `promtool`) — иначе код 2; стенд `mtusi-bench` профиля очереди и, в вариантах с телеметрией, сервисы телеметрии рабочего стенда; варианты `off`, `full`, `full-aa`, `head` (доля 0,1), `tail` (типовой tail sampling), `metrics` (30 с, `coarse`, отбор рядов), `balanced` × 3 повтора кругами, свежий стенд на прогон; открытая нагрузка `k6/telemetry.js` (окна 30 + 90 + 30 с) и редкие события: 500 вложения без объекта, недекодируемый JPEG, регистрация, медленные записи под блокировкой; выборка из Tempo, Loki и Prometheus (`telemetry_lookup.py`), сэмплер `cost`, размер volume; вариант не применён (записи о старте, слои) — отказ; `evidence/telemetry-cost/<метка>/` (`meta.json`, `runs.csv`, `components.csv`, `classes.csv`, `summary.md` с H1–H8 и B1–B5, SVG, `raw/`); `VARIANTS` — отладка. Рабочий стенд — `make stop`, гипотезы закоммичены раньше метки |
| `make bench_telemetry_quick [VARIANTS=...]` | то же короче (~20 мин): шесть вариантов без `full-aa`, один повтор, окна 10 + 30 + 15 с, метка `quick-telemetry-<время>`, в git не идёт; калибровка до гипотез; шаг защиты «для 5» — `VARIANTS=off,full,tail` (~10 мин) |
| `make bench_plots LABELS="..." [PLOTS=scaling]` | графики SVG и сводка серий трека 1 из меток: R* от числа реплик, p95 от интенсивности, CPU по компонентам, эффективность и точка насыщения — `evidence/plots/<PLOTS>/` |
| `make bench_ab BEFORE=... AFTER=... REAPPLY=<commit> [SERIES=...]` | «до» и «после» одного изменения подряд (два прогона `bench`): `bench` для `BEFORE`, commit доказательств, `git revert` commit отката `REAPPLY`, `bench` для `AFTER`; с `SERIES` — серия трека 1 вместо матрицы (`make bench_scaling`). Нужно чистое рабочее дерево; сама делает два коммита |
+125 -4
View File
@@ -510,9 +510,11 @@ Collector без времени начала (их закрывает прави
## Цена наблюдаемости (трек 1)
Change `track1-telemetry-cost` (design — `openspec/changes/track1-telemetry-cost/design.md`, номера решений в скобках).
Раздел записан **до метки**: гипотезы и критерии с порогами, методика и правила вывода фиксируются commit раньше
`evidence/telemetry-cost/baseline/`; числа метки, вывод по каждой гипотезе, рекомендация и ограничения добавляются после неё
из `summary.md` метки, не пересчитываются вручную. Команда: `make stop`, затем `make bench_telemetry` (~1 ч 50 мин); защита —
Методика, гипотезы и критерии с порогами записаны **до метки** (commit `509afca`). Метка — `evidence/telemetry-cost/baseline2/`:
код `68e14b6`, каталог метки — commit `0f5dbfc`, 21 прогон из 21, `dirty: false`. Числа раздела «Результаты» взяты из её
`summary.md`. Пересчёт на сутки и неделю — единственная арифметика поверх сводки, по её правилу: приём × 86 400 и × 604 800.
Первая метка `baseline` (`509afca`) не снята: два сбоя профиля, правка и +15 % к лёгким классам —
design, «Уточнения apply», п. 16. Команда: `make stop`, затем `make bench_telemetry` (~1 ч 25 мин); защита —
`make bench_telemetry_quick VARIANTS=off,full,tail` (~10 мин).
### Методика
@@ -628,6 +630,125 @@ B2 — `probabilistic` 5 %; B3 — `decision_wait` 5 с и `num_traces` 10 000;
`alerts-check`) ищут свой запрос и задание по сохранённым наблюдениям; сбалансированная конфигурация — проверяемая
рекомендация (вопрос пользователю — `QUESTIONS.md`, `## track1-telemetry-cost`, вопрос 1).
### Результаты (метка `baseline2`)
Медиана трёх повторов, в скобках — min–max; шум — |`full` − `full-aa`|, у CPU реплик на запрос он 0,0465 мс. Хост во время метки
выгрузил в swap 23 125 страниц (пометка `host_swap` у full-r1). По решению пользователя от 2026-11-15 это не повод переснимать:
свободной памяти на хосте хватает, память ВМ в swap не уходит (`QUESTIONS.md`).
**Задержки лёгких запросов (чистое окно, мс) и CPU:**
| Вариант | p50 | p95 | p99 | CPU реплик на запрос, мс | надбавка к `off` | конвейер телеметрии, ядра | пик Collector, МиБ |
| --- | --- | --- | --- | --- | --- | --- | --- |
| `off` | 2,69 (2,68–2,71) | 4,35 (4,28–4,37) | 6,64 (6,03–7,00) | 2,154 (2,151–2,175) | — | 0 | — |
| `full` | 3,18 (2,84–3,83) | 5,93 (5,17–8,12) | 38,11 (22,99–46,45) | 2,718 (2,473–3,228) | +26 % | 0,037 | 74,3 |
| `full-aa` | 3,23 (3,16–3,47) | 6,08 (5,99–7,16) | 43,01 (34,26–48,29) | 2,764 (2,699–2,953) | +28 % | 0,040 | 72,4 |
| `head` | 2,91 (2,89–2,94) | 4,89 (4,85–5,40) | 9,28 (8,23–41,34) | 2,389 (2,386–2,498) | +11 % | 0,021 | 72,4 |
| `tail` | 3,16 (2,85–3,31) | 5,92 (5,25–6,15) | 31,36 (23,66–35,61) | 2,708 (2,475–2,813) | +26 % | 0,025 | 136,1 |
| `metrics` | 3,20 (2,83–3,25) | 5,94 (5,16–6,10) | 28,20 (20,01–37,52) | 2,723 (2,463–2,788) | +26 % | 0,037 | 73,9 |
| `balanced` | 3,21 (2,83–3,25) | 5,88 (5,22–6,11) | 37,36 (32,68–44,26) | 2,737 (2,472–2,761) | +27 % | 0,024 | 101,0 |
Ошибок у лёгких запросов нет ни в одном варианте, недосланных итераций нет. Конвейер (Collector и три хранилища) стоит
0,02–0,04 ядра: цена телеметрии — в процессах приложения, а не в сервисах телеметрии. CPU Tempo у `full` — 0,016 ядра, пик
памяти до выборки — 342 МиБ; у `head`, `tail` и `balanced` — 0,004 ядра и 108–121 МиБ. Время до `ready` во всех вариантах
одинаково: p50 0,48–0,49 с, p95 0,62–0,66 с. Готовы 452 вложения из 452, все `bad` дошли до `failed`.
**Приём (чистое окно) и пересчёт.** Байты — то, что приняли distributor Tempo и Loki, а не сжатые блоки на диске: за 150 с
прогона на диске только журнал предзаписи (Prometheus / Loki / Tempo у `full` — 0,4 / 21,8 / 41,2 МиБ).
| Вариант | span Tempo, /с | Tempo, ГиБ за сутки / 7 суток | строк Loki, /с | Loki, ГиБ за сутки / 7 суток | отсчётов Prometheus, /с | рядов | отсчётов за сутки / 7 суток, млн |
| --- | --- | --- | --- | --- | --- | --- | --- |
| `full` | 911 | 27,1 / 190 | 256 | 8,5 / 59 | 235 | 3 521 | 20,3 / 142 |
| `head` | 87 | 2,6 / 18 | 259 | 8,6 / 60 | 235 | 3 564 | 20,3 / 142 |
| `tail` | 110 | 3,8 / 26 | 258 | 8,5 / 60 | 238 | 3 602 | 20,6 / 144 |
| `metrics` | 911 | 27,1 / 190 | 256 | 8,5 / 59 | 36 | 502 | 3,1 / 22 |
| `balanced` | 96 | 3,2 / 22 | 259 | 8,6 / 60 | 45 | 675 | 3,9 / 27 |
**Потери по звеньям** — 0 во всех вариантах: SDK (span и записи), Collector (отказ приёма, очередь экспорта),
`dropped_too_early`. Span SDK → Collector → Tempo сходятся без расхождения: у `full` 137 868 = 137 868 = 137 868. У `tail` и
`balanced` Collector отправил 18 819 и 14 442 span из 137 868 по решениям выбора (сохранено 3 689 и 3 562 трассы из ~34 690);
это отброшенное выборкой, а не потеря.
**Что сохраняет каждый вариант** (сумма трёх повторов; `write_slow` — медленные по серверу записи и их трассы):
| Вариант | 500 (`broken`): трасс | `write_slow`: трасс | неудачные загрузки: цепочек | регистрации: трасс | обычные загрузки: цепочек | журнал и метрика |
| --- | --- | --- | --- | --- | --- | --- |
| `full` | 93 / 93 | 78 / 78 | 47 / 47 | 93 / 93 | 452 / 452 | 100 % |
| `head` | 10 / 92 | 10 / 75 | 5 / 48 | 9 / 93 | 58 / 452 | 100 % |
| `tail` | 93 / 93 | **74 / 75** | 46 / 46 | 12 / 93 | 452 / 452 | 100 % |
| `balanced` | 91 / 91 | 79 / 79 | 48 / 48 | 15 / 92 | 40 / 452 | 100 % |
`head` теряет около 90 % трасс любого класса, в том числе ошибок: решение принимается до того, как известен исход. Журнал и
счётчики сохраняют всё: у записи остаётся `trace_id` без бита выборки, переход журнал → трасса пустой. `tail` и `balanced`
теряют то, что их правила не называют. Это редкий быстрый маршрут (регистрация — около 10–15 %) и обычные загрузки у
`balanced`: правило по длительности server span, а не трассы, поэтому у асинхронной цепочки остаётся 10 % (40 из 452).
`tail` сохраняет все цепочки загрузок: трасса загрузки всегда длиннее 0,25 с.
**Точность квантилей** (квантиль из buckets против квантиля журнала за чистое окно, с). У `coarse` write p95 — 0,0168
против 0,0067 по журналу, относительная ошибка 149 %; у `default` — 0,0093 против 0,0064, ошибка 27 %. Read p99 — 0,0219
против 0,0119 (85 % против 42 % у `default`). Грубые границы хуже больше чем вдвое на трёх оценках из четырёх (H4).
**Вердикты** (`summary.md`, «Гипотезы и критерии»):
| | Итог | Главное |
| --- | --- | --- |
| H1 | подтверждено | CPU реплик на запрос +26 % (2,718 против 2,154 мс); p50 +0,49 мс; p99 +31,5 мс, рост p99 ×5,7 против ×1,2 у p50 |
| H2 | подтверждено | надбавка `head` — 0,235 мс, 42 % надбавки `full`; приём Tempo 9,5 %; доли трасс 10/92, 10/75, 9/93, 5/48 — в интервалах около 0,1; журнал и метрика — 100 % |
| H3 | **нет** | у `tail` 74 из 75 трасс медленных по серверу записей (tail-r1: 25 из 26); остальное выполнено: CPU как у `full`, Collector 136,1 против 74,3 МиБ, его CPU тот же, приём Tempo 12,1 %, 500 — 93/93, цепочки — 46/46 и 452/452, отказов нет |
| H4 | подтверждено | рядов 14,3 %, отсчётов 15,2 % `full`; CPU реплик и Collector — в пределах шума; квантили `coarse` хуже вдвое (выше) |
| H5 | **нет** | та же трасса: `tail`, журнал → трасса у `write_slow` 74/75; у `full`, `balanced` — 100 %, у `head` — в интервалах около 0,1 |
| H6 | подтверждено | потерь 0, расхождение 0,00 % |
| H7 | **нет** | B4 не прошёл, B1, B2, B3, B5 — прошли |
| H8 | подтверждено | Tempo у `full`: 0,016 ядра против 0,009 + 0,003 у Loki и Prometheus, на диске 43,2 против 22,9 + 0,4 МБ; у `head`, `tail`, `balanced` — 0,004 ядра |
| B1 | подтверждено | 500 — 91/91, медленные по серверу записи — 79/79, цепочки `bad` — 48/48 (регистрации справочно 15/92) |
| B2 | подтверждено | приём Tempo 10,6 % `full`, меньше `tail` (96,3 против 110,3 span/с); рядов 19,2 % |
| B3 | подтверждено | потерь и отброшенных до решения нет; пик Collector 101,0 из 256 МиБ (предел 170) |
| B4 | **нет** | CPU реплик на запрос +27 % (2,737 против 2,154 мс) при пределе +25 %; p99 +30,7 мс при пределе +10; p95 +1,53 мс — в пределе |
| B5 | подтверждено | журнал → трасса: 91/91, 79/79, 48/48 |
- **B4 и H7.** Правила Collector цену в приложении не снижают: SDK создаёт и отправляет все span, и `balanced` стоит
столько же, сколько `full` и `tail` (+26–27 %). Так и было заложено правилом «если `balanced` не прошёл критерии»: B4 не
лечится настройкой Collector, пересъёмки нет. Цену в приложении снижает только выбор в голове (`head`: +11 %, p99 9,3 мс).
- **H3 и H5.** Одна трасса медленной по серверу записи из 75 при типовом tail sampling не дошла до Tempo. Её нет ни в поиске,
ни по id, а счётчики потерь SDK, Collector и `dropped_too_early` — 0. Причину установить нельзя: выборка хранит только id
недостающих трасс, длительности записей и span ушли со стендом. Порог «100 %» по правилу вывода не ослабляется, поэтому
обе гипотезы — «нет». У `balanced` правило по server span сохранило 79 из 79.
- **Пометка `saturated` у full-r3:** CPU реплики 28,4 % при нижней границе калибровки 30 %. С balanced-r3 до конца метки CPU
на запрос у вариантов с телеметрией упал примерно на 9 % (около 2,47 мс у `balanced`, `full`, `tail`, `metrics`). Это сдвиг
хоста внутри третьего круга, а не свойство варианта: круги содержат все варианты, медиана `full` — 31,3 % (в границах). Метка
не переснята, сдвиг расширяет разброс повторов (у `full` 2,473–3,228 мс). Поэтому разница `balanced` и `full` — в пределах
шума, а не эффект.
- **Tempo на границе лимита (наблюдение).** После выборки `memory.peak` Tempo у вариантов со всеми трассами — 595–640 МиБ
из 640 (`raw/<прогон>-peaks.json`, у full-r1 — ровно 640). Пик включает page cache, контейнер жив, потерь нет. Но в первой
метке Tempo завершился посреди выборки, вероятно, по этому лимиту (design, «Уточнения apply», п. 16). Значит, при 911 span/с
и запросах поиска лимит рабочего стенда держится на краю.
**Рекомендация с условиями.**
- Рабочий стенд остаётся со всеми трассами. Его нагрузка много меньше 230 запросов/с метки, а проверки уровней 3–4 ищут
конкретный запрос. Цена при этой интенсивности — +26 % CPU реплик на запрос и +31 мс к p99 лёгких запросов. Tempo
принимает ~27 ГиБ в сутки (до сжатия), его память — у лимита.
- Если важна цена в приложении (CPU реплик, хвост задержки), нужен выбор в голове с долей 0,1. Он снимает 58 % надбавки,
p99 9,3 мс, но теряет ~90 % трасс ошибок; ошибки остаются в журнале и метриках (H2). Доля подбирается по данным `head`.
- Если важно хранилище трасс, а не CPU приложения, — `balanced`. Приём Tempo 10,6 %, рядов 19 %, все внесённые ошибки,
медленные запросы и неудачные задания сохранены, Collector — 101 из 256 МиБ при ~300 новых трассах/с. При большей
интенсивности `num_traces` и память Collector растут пропорционально. Цена в приложении — как у `full`.
- `coarse` не брать: квантили хуже вдвое. Интервал 30 с и отбор собственных рядов хранилищ — брать: ряды −80 %, CPU тот же.
- Лимит Tempo 640 МиБ поднять, если нагрузка рабочего стенда приблизится к нагрузке метки.
**Ограничения.**
- Одна интенсивность ниже насыщения (~230 запросов/с на две реплики), открытая модель. Цена при насыщении и вторая точка
нагрузки не измерены (вопрос 1 ниже).
- Прогон длится 150 с: рост на диске — журнал предзаписи. Сутки и неделя — пересчёт принятых байт без сжатия блоков и без
компакции.
- Шум A/A — одна пара `full` / `full-aa` в той же метке; сдвиг хоста в третьем круге расширяет разброс, мелкие различия
вариантов с SDK (`full`, `tail`, `metrics`, `balanced`) — в пределах шума.
- Медленные записи внесены блокировкой таблицы, ошибки — строкой без объекта: это управляемые события с известным счётом,
а не естественный поток (вопрос 2 ниже).
- Причина недостающей трассы у `tail` не установлена (выше). Квантили сравниваются с квантилем журнала за то же окно, а не с
истиной клиента.
### Открытые вопросы преподавателю (трек 1)
1. Достаточно ли трёх настроек (выбор в голове 10 %, типовой tail sampling, агрегация метрик) и проверенной сбалансированной
@@ -652,7 +773,7 @@ B2 — `probabilistic` 5 %; B3 — `decision_wait` 5 с и `num_traces` 10 000;
| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules` (22 блока синтетических рядов: 43 проверки оповещений, 17 проверок выражений правил записи в 7 блоках); у каждого из 7 оповещений есть runbook; контроли — изменённый порог и правило потерь без нуля процесса SDK дают красный прогон | `evidence/alerts/rules-test.md` (commit `ef60b47`) |
| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0 (~18 мин): pending / firing / снятие — остановленный worker 84 / 144 / 29 с; relay — 69 / 190 / 45 с; медленная БД — 75 / 135 / 74 с; медленный handler — оповещения нет; недоступная БД — 29 и 44 / 59 и 105 / 30 и 135 с; лишних нет; SLI в тех же окнах — 0–0,085 п. п., одним окном часа — 0,58 и 0,066 п. п. | `evidence/alerts/check.md` (commit `ef60b47`) |
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 91 МиБ из 256, реплики без роста; потери учтены (441 запись, 1336 span, SDK +11 602 и +11 551) и видны на панели потерь; `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `ef60b47`) |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5: трек 1 «Цена наблюдаемости» | `make bench_telemetry` (защита — `make bench_telemetry_quick VARIANTS=off,full,tail`, ~10 мин) | метка `baseline2`, 21 прогон из 21, код 0: `full` против `off` +26 % CPU реплик на запрос, +31 мс к p99; `head` +11 %; `tail` и `balanced` — приём Tempo 12,1 % и 10,6 %, Collector 136 и 101 МиБ, цена в приложении как у `full`; потерь 0; H1, H2, H4, H6, H8 подтверждены, H3, H5, H7 — нет (одна трасса из 75 у `tail`, B4); B1–B3, B5 прошли | `evidence/telemetry-cost/baseline2/summary.md` (код `68e14b6`, метка — commit `0f5dbfc`) |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
@@ -167,12 +167,12 @@
- [x] 12.2 Если `balanced` не прошёл B1–B3 — правка по правилу решения 12 (один параметр на нарушение), commit основной сессией и
метка `baseline-balanced2` того же профиля целиком; B4 — запись в отчёте без пересъёмки. Иначе — запись, что правка не нужна.
Проверка: вердикты B1–B5 обеих меток в сводках.
- [ ] 12.3 Коммит метки основной сессией. Проверка: `git status` чист, каталог метки в git.
- [ ] 12.4 `REPORT.md`, раздел «Цена наблюдаемости»: таблицы из `summary.md` (задержки, CPU на запрос, CPU и память по компонентам,
- [x] 12.3 Коммит метки основной сессией. Проверка: `git status` чист, каталог метки в git.
- [x] 12.4 `REPORT.md`, раздел «Цена наблюдаемости»: таблицы из `summary.md` (задержки, CPU на запрос, CPU и память по компонентам,
приём по сигналам, рост на диске с пересчётом на сутки и срок хранения, потери по звеньям, время до `ready`), что теряет каждый
вариант и почему, точность квантилей, вывод по H1–H8 и B1–B5, рекомендация с условиями, ограничения; строка «Выбранный трек 5»
в таблице критериев; шаг защиты «для 5» — `make bench_telemetry_quick` (и `SKILL.md` скилла `run-mtusi-messenger`, если там
описан сценарий защиты). Проверка: числа совпадают со сводкой метки; `make check`; `openspec validate track1-telemetry-cost
--strict`.
- [ ] 12.5 Рабочий стенд — `docker compose start` (или `make run_docker`), `make test` — PASS; коммит отчёта основной сессией.
- [x] 12.5 Рабочий стенд — `docker compose start` (или `make run_docker`), `make test` — PASS; коммит отчёта основной сессией.
Проверка: `git status` чист, шапка раздела называет commit метки.