docs: re-capture telemetry-check evidence on 4a2f9c9

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-11-14 05:03:22 +03:00
co-authored by Claude Opus 5.5
parent 4a2f9c9304
commit af4e47b55c
4 changed files with 58 additions and 34 deletions
+4 -2
View File
@@ -57,7 +57,9 @@ SLI и SLO (доступность на LB 99,5 %, задержка «лёгки
`trace-chain.md`, `collector-outage.md`, раздел change в `budget.md`. Правки verify
(ноль ряда потерь процесса SDK, описания оповещений с текущим значением, панель потерь
в проверках, pending на каждом шаге, сверка SLI одним окном) — commit `ef60b47`, на нём
пересняты (2026-11-14) `rules-test.md`, `alerts/check.md` и `backend-outage.md`.
пересняты (2026-11-14) `rules-test.md`, `alerts/check.md` и `backend-outage.md`;
`evidence/telemetry/check.md` — на `4a2f9c9` (тот же код и правила, драйвер ждёт в Loki все записи
прохода relay).
Код перенесён из лабы 5 (репозиторий
`mtusi2026lab5-safronov`, ветка `solution/bvt2301-safronov`, commit
`046ec9e`) по разделу «Переход в следующую лабу»; отчёт и evidence лабы 5
@@ -743,7 +745,7 @@ evidence/attachments/ # change async-attachments: defense.md (driver.py d
evidence/s3/ # privacy.md — make s3_check на текущем коде; change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам); change track2-reconciler: cleaner-list.md (bootstrap с политикой списка по префиксу, неверный префикс, make s3_check со строками списка уборщика, окружение s3-bootstrap)
evidence/reconcile/ # change track2-reconciler: cycle.md (driver.py reconcile-cycle), stress.md (driver.py reconcile-stress), service.md (Started cleaner с параметрами сверки, плановая сверка при старте, docker stop во время сверки при pause s3, код 1 разового прохода по сигналу — driver.py reconcile-signal, отказ старта на RECONCILER__*, коды 3 и 0; с change track2-reconcile-cost — остановка во время паузы предела скорости, driver.py reconcile-signal --pace)
evidence/reconcile/<метка>/ # результаты make bench_reconcile (change track2-reconcile-cost): meta.json (раздел reconcile: план, этапы и модели, commit и образы «до», аргументы S3), passes.csv, windows.csv, summary.md (H1–H4 и S4), cost-by-n.svg, requests-by-n.svg, background-p95.svg, raw/ (записи уборщика по проходам, итог k6 блока H4)
evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 15ea156 change slo-alerts переснято: check.md (driver.py telemetry-check, с метриками LB и новыми панелями), collector-outage.md (driver.py telemetry-outage), trace-chain.md (driver.py trace-chain), раздел change slo-alerts в budget.md; на ef60b47 (правки verify slo-alerts): backend-outage.md (driver.py backend-outage, с панелью потерь); на 72cfa9a (change job-trace-propagation): queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта)
evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 15ea156 change slo-alerts переснято: collector-outage.md (driver.py telemetry-outage), trace-chain.md (driver.py trace-chain), раздел change slo-alerts в budget.md; на ef60b47 (правки verify slo-alerts): backend-outage.md (driver.py backend-outage, с панелью потерь); на 4a2f9c9 (тот же код, гонка relay_pass_records в драйвере): check.md (driver.py telemetry-check, с метриками LB, новыми панелями и панелью потерь на тихом стенде); на 72cfa9a (change job-trace-propagation): queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта)
evidence/migrations/ # change job-trace-propagation: job-trace-context.md — ревизия e4b8c2d17f90 (временная база: с нуля, повтор, откат, CHECK, lock_timeout; --sql; рабочий стенд: откат реплик на ff0073e с MIGRATE=0, ревизия до и после make rolling_update)
evidence/stand/ # change otel-telemetry: from-scratch.md (driver.py stand-from-scratch --runs 2)
evidence/alerts/ # change slo-alerts (commit ef60b47, правки verify; первая съёмка — 15ea156): rules-test.md (make alerts_test и контроли), check.md (driver.py alerts-check); там же — evidence/telemetry/backend-outage.md (driver.py backend-outage) и раздел change в budget.md (15ea156)
+5 -2
View File
@@ -25,7 +25,10 @@ Change `otel-telemetry` (design — `openspec/changes/archive/2026-11-11-otel-te
`telemetry-outage` — в третий раз на `15ea156` (код change `slo-alerts`: новые панели, метрики LB,
внутренние метрики SDK), там же раздел change `slo-alerts` бюджета; `make alerts_test`,
`alerts-check` и `backend-outage` — на `ef60b47` (правки verify change
`slo-alerts`: ноль ряда потерь процесса SDK, панель потерь в проверках, pending на каждом шаге); бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов
`slo-alerts`: ноль ряда потерь процесса SDK, панель потерь в проверках, pending на каждом шаге);
`telemetry-check` — в четвёртый раз на `4a2f9c9` (тот же код приложения и правила, что на `ef60b47`;
драйвер ждёт в Loki все записи прохода relay, а не первую — две попытки на `ef60b47` упали на этой
гонке проверки; панель потерь на тихом стенде — 0); бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов
`evidence/telemetry/` и `evidence/migrations/`. `evidence/stand/from-
scratch.md` ещё снят на рабочем дереве поверх `9b35c25`: пересъёмка ждёт разрешения пользователя
(`QUESTIONS.md`, `## otel-telemetry`, вопрос 8).
@@ -508,7 +511,7 @@ Collector без времени начала (их закрывает прави
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ | `evidence/telemetry/check.md` (commit `15ea156`) |
| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ, панель потерь на тихом стенде — 0 | `evidence/telemetry/check.md` (commit `4a2f9c9`) |
| Телеметрия не меняет ответы и остановку | `driver.py --port 8080 telemetry-outage` | код 0: `make test` PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов | `evidence/telemetry/collector-outage.md` (commit `15ea156`) |
| Стенд с нуля одной командой | `driver.py stand-from-scratch --runs 2` | код 0 оба раза, `RestartCount` брокера и телеметрии 0 | `evidence/stand/from-scratch.md` |
| Лимиты и бюджет телеметрии | замер `docker stats`, `memory.peak` и `memory.stat` | лимит ≥ 1,5 × пика у всех сервисов телеметрии (у Grafana пик — `anon` + `kernel` + `shmem` без файлового кэша) | `evidence/telemetry/budget.md` |
+44 -26
View File
@@ -1,14 +1,23 @@
# `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задачи 11.1 и 12; change `job-trace-propagation`, задача 12.2; change `slo-alerts`, задача 11.4)
# `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задачи 11.1 и 12; change `job-trace-propagation`, задача 12.2; change `slo-alerts`, задачи 11.4, 12.11 и 12.12)
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
рабочее дерево чистое (вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в
контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256
каждого файла); ревизия схемы `e4b8c2d17f90`. Прежние прогоны этого файла — на `68f1e97` (до
change `job-trace-propagation`) и на `72cfa9a` (до change `slo-alerts`: dashboard без строк «SLO
and alerts», «Load balancer», «Telemetry pipeline», SDK без внутренних метрик).
- Дата: 2026-11-13, 23:22:43Z – 23:24:43Z (~2 мин), сразу после `backend-outage`
(`evidence/telemetry/backend-outage.md`); рабочий стенд `mtusi-lab6` (две реплики API, relay,
worker, уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория:
- Основа: commit `4a2f9c9` (fix: wait for all relay pass records in telemetry-check Loki comparison),
рабочее дерево чистое (`git status --short` до прогона пуст). Код приложения, правила Prometheus и
dashboard — те же, что на `ef60b47` (правки verify change `slo-alerts`): `4a2f9c9` и
промежуточный `a92dff3` меняют только драйвер скилла, документы и evidence. Файлы `src/` и
`migrations/` (151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с
деревом commit (SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`; `rules.yml` и
`prometheus.yml` в контейнере Prometheus и `messenger-overview.json` в контейнере Grafana равны
дереву `4a2f9c9` (`cmp`). Прежние прогоны этого файла — на `68f1e97` (до change
`job-trace-propagation`), на `72cfa9a` (до change `slo-alerts`) и на `15ea156` (до правок verify:
без проверки панели потерь на тихом стенде).
- Две попытки на `ef60b47` (2026-11-14, 01:43:53Z и 01:50:17Z) дали код 1 одной строкой — «same relay
pass records in Loki»: проверка ждала первой записи прохода relay в Loki, а сравнивала со всеми
записями stdout, вторая запись (через ~1,3 с) приходила в Loki следующим пакетом SDK, и через
секунды обе записи там были. Исправлено в драйвере (`4a2f9c9`: ожидание всех записей stdout со
сроком 60 с, условие проверки прежнее; design change `slo-alerts`, «Уточнения apply», п. 23).
- Дата: 2026-11-14, 01:58:59Z – 02:01:09Z (~2,2 мин), после `alerts-check` и `backend-outage` на
`ef60b47`; рабочий стенд `mtusi-lab6` (две реплики API, relay, worker, уборщик, Collector,
Prometheus, Loki, Tempo, Grafana), команда из корня репозитория:
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-check`, код выхода 0.
- Всё — через HTTP API Grafana на `127.0.0.1:3000` с паролем из `.env` (источники-прокси uid
`prometheus`, `loki`, `tempo`); пароль, токены и тела в вывод не попадают. Пароль, `username`,
@@ -28,18 +37,19 @@
`observability` «Ресурс relay», `service-logging` «Записи relay в Loki» и «Проход relay без полей
трассы»; шаги задания — по consumer span `ready` трассы загрузки (его родитель — span producer
relay).
- С change `slo-alerts` (design, «Уточнения apply», пп. 5, 6): `observability` «Метрики балансировщика
без доступа к сети хранилищ» (строки `LB networks` — только `default`, `LB stats port published on
host` — нет, `prometheus has an LB target` — нет, `LB series with job haproxy…`, цель `haproxy`
в списке `up` = 1) и `load-balancing` «Метрики балансировщика» (`LB frontend responses grew by 20
or more` — 20 своих запросов через LB); «Новые панели после трафика» — `dashboard panel queries
(57) without error: 0` и `panel queries with data after traffic: []`: все 57 запросов панелей к
Prometheus (из них новых с id от 25 — 31, макрос `$__range` подменён на `1h`) выполнены без
ошибки и с данными на стенде без оповещений, в том числе панели потерь и истории оповещений (`or
on() vector(0)`).
- Свой запрос: `X-Request-Id` `c126a16170d94f35b43139e1289b2d81`, `X-Instance-Id` `4b9782f7240b`,
trace-id `6e280eb8369840989e91c7c4a2a062e6`; трасса загрузки `878badb606a661c26d22b71170770d21`;
проба приватности просмотрела 48 записей Loki, 29 трасс Tempo и 903 ряда Prometheus окна.
- С change `slo-alerts` (design, «Уточнения apply», пп. 5, 6, 22): `observability` «Метрики
балансировщика без доступа к сети хранилищ» (строки `LB networks` — только `default`, `LB stats port
published on host` — нет, `prometheus has an LB target` — нет, `LB series with job haproxy…`, цель
`haproxy` в списке `up` = 1) и `load-balancing` «Метрики балансировщика» (`LB frontend responses
grew by 20 or more` — 20 своих запросов через LB); «Без потерь» — `loss panel …`: все три запроса
панели потерь (id 40) на тихом стенде — 0, `TelemetryDataLoss` неактивно (тишина наступила сразу,
ожидание 0 с из 330); «Новые панели после трафика» — `dashboard panel queries (57) without error: 0`
и `panel queries with data after traffic: []`: все 57 запросов панелей к Prometheus (из них новых с
id от 25 — 31, макрос `$__range` подменён на `1h`) выполнены без ошибки и с данными на стенде без
оповещений, в том числе панели потерь и истории оповещений (`or on() vector(0)`).
- Свой запрос: `X-Request-Id` `6ad3d17993a34f829b83854d8bb24658`, `X-Instance-Id` `4b9782f7240b`,
trace-id `f21d0427d8ac0fbbb47ace9b69f462e3`; трасса загрузки `89bb3ac8152d9fc70ef3c4540a331e7f`;
проба приватности просмотрела 49 записей Loki, 30 трасс Tempo и 968 рядов Prometheus окна.
```
grafana without credentials expected 401 got 401
@@ -68,6 +78,10 @@ LB stats port published on host expected no
prometheus has an LB target expected no got no
LB series with job haproxy (frontend, backend, ready) expected yes got yes
LB frontend responses grew by 20 or more expected yes got yes
loss panel queries expected 3 got 3
loss panel shows zero on a quiet stand expected [0.0, 0.0, 0.0] got [0.0, 0.0, 0.0]
TelemetryDataLoss on a quiet stand expected inactive got inactive
loss panel quiet within 330 s expected yes got yes
register probe user expected 201 got 201
login by Basic expected 201 got 201
create chat expected 201 got 201
@@ -90,11 +104,11 @@ Loki record of the request expected 1
Loki service_name expected messenger-api got messenger-api
Loki service_instance_id = X-Instance-Id expected 4b9782f7240b got 4b9782f7240b
Loki instance_id = X-Instance-Id expected 4b9782f7240b got 4b9782f7240b
Loki trace_id = stdout expected 6e280eb8369840989e91c7c4a2a062e6 got 6e280eb8369840989e91c7c4a2a062e6
Loki trace_id = stdout expected f21d0427d8ac0fbbb47ace9b69f462e3 got f21d0427d8ac0fbbb47ace9b69f462e3
Loki event, method, path, status, duration = stdout expected yes got yes
Tempo server span expected POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER got POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER
server span status code expected 201 got 201
server span request id = X-Request-Id expected c126a16170d94f35b43139e1289b2d81 got c126a16170d94f35b43139e1289b2d81
server span request id = X-Request-Id expected 6ad3d17993a34f829b83854d8bb24658 got 6ad3d17993a34f829b83854d8bb24658
resource service.name expected messenger-api got messenger-api
resource service.instance.id expected 4b9782f7240b got 4b9782f7240b
resource service.version = contract expected 1.6.0 got 1.6.0
@@ -109,7 +123,7 @@ traceparent request has its own trace expected yes
spans of the foreign trace-id in Tempo expected 0 got 0
its server span has no parent expected yes got yes
Loki worker record of the attachment expected 1 got 1
job trace = upload trace (trace_id of Uploaded attachment) expected 878badb606a661c26d22b71170770d21 got 878badb606a661c26d22b71170770d21
job trace = upload trace (trace_id of Uploaded attachment) expected 89bb3ac8152d9fc70ef3c4540a331e7f got 89bb3ac8152d9fc70ef3c4540a331e7f
worker stdout records carry the job trace_id expected yes got yes
Tempo consumer span in the upload trace expected SPAN_KIND_CONSUMER ready got SPAN_KIND_CONSUMER ready
worker resource service.name expected messenger-worker got messenger-worker
@@ -182,7 +196,7 @@ foreign trace-id in telemetry expected []
pipeline back after restart expected yes got yes
same Loki record after restart expected yes got yes
same trace after restart expected yes got yes
same metric value at the saved time expected 10 got 10
same metric value at the saved time expected 50 got 50
PASS: own request and job are found in Loki, Tempo and Prometheus through Grafana, no secrets in telemetry
```
@@ -194,3 +208,7 @@ prometheus loki tempo` (параметр `time` запроса). «Span-to-logs
открывает ссылка из span в Grafana. «Dashboard panel queries (57) without error: 0» — число
запросов панелей к Prometheus с ошибкой; «panel queries with data after traffic: []» — список
запросов без данных пуст (57 запросов dashboard: уровни 3 и 4 и новые строки change `slo-alerts`).
«Loss panel …» — запросы A, B и C панели 40 из dashboard в Grafana на момент проверки (до своих
рестартов Collector и хранилищ); «same relay pass records in Loki» — все записи прохода relay с
публикацией из stdout с начала прогона (своя загрузка и недекодируемый JPEG) есть в Loki с тем же
`published` и `duration_ms`.
+5 -4
View File
@@ -199,16 +199,17 @@
dashboard provisioned); `make lint`, `make alerts_test`, `make service_test`, `py_compile` драйвера системным `python3`,
`docker compose config --quiet`, `openspec validate slo-alerts --strict`, `make test`; стенд в штатном состоянии.
Проверка: коды 0, `make lb_stats` — `UP` без ручных состояний.
- [ ] 12.11 Пересъёмка evidence на commit правок (после коммита основной сессией): `make alerts_test` →
- [x] 12.11 Пересъёмка evidence на commit правок (после коммита основной сессией): `make alerts_test` →
`evidence/alerts/rules-test.md` (счёт S2), `alerts-check` → `evidence/alerts/check.md`, `telemetry-check` →
`evidence/telemetry/check.md`, `backend-outage` → `evidence/telemetry/backend-outage.md`; числа и ссылки на строки в
`REPORT.md`. Проверка: коды 0; сценарии 11.1–11.3 и новые строки (панель потерь, pending, одно окно).
Состояние (2026-11-14, `ef60b47`): `rules-test.md`, `alerts/check.md` и `backend-outage.md` пересняты (коды 0),
`REPORT.md` и `AGENTS.md` поправлены. `telemetry-check` дважды дал код 1 на строке «same relay pass records in Loki»
(гонка проверки драйвера: `relay_pass_records` ждёт первой записи в Loki, а не всех записей stdout — вторая запись
прохода приходит через секунды и в Loki есть); правка драйвера в стадии пересъёмки запрещена — задача открыта,
`evidence/telemetry/check.md` пока на `15ea156`.
- [ ] 12.12 Гонка `relay_pass_records` в `telemetry-check` (найдена при 12.11): ожидание Loki — пока все записи прохода
прохода приходит через секунды и в Loki есть) — исправлено в 12.12 (`4a2f9c9`), `evidence/telemetry/check.md`
переснят на `4a2f9c9` (код 0; код приложения и правила — те же, что на `ef60b47`), ссылки в `REPORT.md` и
`AGENTS.md` поправлены.
- [x] 12.12 Гонка `relay_pass_records` в `telemetry-check` (найдена при 12.11): ожидание Loki — пока все записи прохода
relay с публикацией из stdout (`published`, `duration_ms`) не окажутся в Loki, со сроком; по сроку — прежний FAIL
строки «same relay pass records in Loki» и печать недостающих записей. Проверка не ослабляется (то же множество, то же
условие включения). Design, «Уточнения apply», п. 23; `QUESTIONS.md`, «Решения apply по verify». Проверка: