docs: re-capture telemetry-check evidence on 4a2f9c9
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -57,7 +57,9 @@ SLI и SLO (доступность на LB 99,5 %, задержка «лёгки
|
||||
`trace-chain.md`, `collector-outage.md`, раздел change в `budget.md`. Правки verify
|
||||
(ноль ряда потерь процесса SDK, описания оповещений с текущим значением, панель потерь
|
||||
в проверках, pending на каждом шаге, сверка SLI одним окном) — commit `ef60b47`, на нём
|
||||
пересняты (2026-11-14) `rules-test.md`, `alerts/check.md` и `backend-outage.md`.
|
||||
пересняты (2026-11-14) `rules-test.md`, `alerts/check.md` и `backend-outage.md`;
|
||||
`evidence/telemetry/check.md` — на `4a2f9c9` (тот же код и правила, драйвер ждёт в Loki все записи
|
||||
прохода relay).
|
||||
Код перенесён из лабы 5 (репозиторий
|
||||
`mtusi2026lab5-safronov`, ветка `solution/bvt2301-safronov`, commit
|
||||
`046ec9e`) по разделу «Переход в следующую лабу»; отчёт и evidence лабы 5
|
||||
@@ -743,7 +745,7 @@ evidence/attachments/ # change async-attachments: defense.md (driver.py d
|
||||
evidence/s3/ # privacy.md — make s3_check на текущем коде; change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам); change track2-reconciler: cleaner-list.md (bootstrap с политикой списка по префиксу, неверный префикс, make s3_check со строками списка уборщика, окружение s3-bootstrap)
|
||||
evidence/reconcile/ # change track2-reconciler: cycle.md (driver.py reconcile-cycle), stress.md (driver.py reconcile-stress), service.md (Started cleaner с параметрами сверки, плановая сверка при старте, docker stop во время сверки при pause s3, код 1 разового прохода по сигналу — driver.py reconcile-signal, отказ старта на RECONCILER__*, коды 3 и 0; с change track2-reconcile-cost — остановка во время паузы предела скорости, driver.py reconcile-signal --pace)
|
||||
evidence/reconcile/<метка>/ # результаты make bench_reconcile (change track2-reconcile-cost): meta.json (раздел reconcile: план, этапы и модели, commit и образы «до», аргументы S3), passes.csv, windows.csv, summary.md (H1–H4 и S4), cost-by-n.svg, requests-by-n.svg, background-p95.svg, raw/ (записи уборщика по проходам, итог k6 блока H4)
|
||||
evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 15ea156 change slo-alerts переснято: check.md (driver.py telemetry-check, с метриками LB и новыми панелями), collector-outage.md (driver.py telemetry-outage), trace-chain.md (driver.py trace-chain), раздел change slo-alerts в budget.md; на ef60b47 (правки verify slo-alerts): backend-outage.md (driver.py backend-outage, с панелью потерь); на 72cfa9a (change job-trace-propagation): queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта)
|
||||
evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 15ea156 change slo-alerts переснято: collector-outage.md (driver.py telemetry-outage), trace-chain.md (driver.py trace-chain), раздел change slo-alerts в budget.md; на ef60b47 (правки verify slo-alerts): backend-outage.md (driver.py backend-outage, с панелью потерь); на 4a2f9c9 (тот же код, гонка relay_pass_records в драйвере): check.md (driver.py telemetry-check, с метриками LB, новыми панелями и панелью потерь на тихом стенде); на 72cfa9a (change job-trace-propagation): queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта)
|
||||
evidence/migrations/ # change job-trace-propagation: job-trace-context.md — ревизия e4b8c2d17f90 (временная база: с нуля, повтор, откат, CHECK, lock_timeout; --sql; рабочий стенд: откат реплик на ff0073e с MIGRATE=0, ревизия до и после make rolling_update)
|
||||
evidence/stand/ # change otel-telemetry: from-scratch.md (driver.py stand-from-scratch --runs 2)
|
||||
evidence/alerts/ # change slo-alerts (commit ef60b47, правки verify; первая съёмка — 15ea156): rules-test.md (make alerts_test и контроли), check.md (driver.py alerts-check); там же — evidence/telemetry/backend-outage.md (driver.py backend-outage) и раздел change в budget.md (15ea156)
|
||||
|
||||
@@ -25,7 +25,10 @@ Change `otel-telemetry` (design — `openspec/changes/archive/2026-11-11-otel-te
|
||||
`telemetry-outage` — в третий раз на `15ea156` (код change `slo-alerts`: новые панели, метрики LB,
|
||||
внутренние метрики SDK), там же раздел change `slo-alerts` бюджета; `make alerts_test`,
|
||||
`alerts-check` и `backend-outage` — на `ef60b47` (правки verify change
|
||||
`slo-alerts`: ноль ряда потерь процесса SDK, панель потерь в проверках, pending на каждом шаге); бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов
|
||||
`slo-alerts`: ноль ряда потерь процесса SDK, панель потерь в проверках, pending на каждом шаге);
|
||||
`telemetry-check` — в четвёртый раз на `4a2f9c9` (тот же код приложения и правила, что на `ef60b47`;
|
||||
драйвер ждёт в Loki все записи прохода relay, а не первую — две попытки на `ef60b47` упали на этой
|
||||
гонке проверки; панель потерь на тихом стенде — 0); бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов
|
||||
`evidence/telemetry/` и `evidence/migrations/`. `evidence/stand/from-
|
||||
scratch.md` ещё снят на рабочем дереве поверх `9b35c25`: пересъёмка ждёт разрешения пользователя
|
||||
(`QUESTIONS.md`, `## otel-telemetry`, вопрос 8).
|
||||
@@ -508,7 +511,7 @@ Collector без времени начала (их закрывает прави
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ | `evidence/telemetry/check.md` (commit `15ea156`) |
|
||||
| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ, панель потерь на тихом стенде — 0 | `evidence/telemetry/check.md` (commit `4a2f9c9`) |
|
||||
| Телеметрия не меняет ответы и остановку | `driver.py --port 8080 telemetry-outage` | код 0: `make test` PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов | `evidence/telemetry/collector-outage.md` (commit `15ea156`) |
|
||||
| Стенд с нуля одной командой | `driver.py stand-from-scratch --runs 2` | код 0 оба раза, `RestartCount` брокера и телеметрии 0 | `evidence/stand/from-scratch.md` |
|
||||
| Лимиты и бюджет телеметрии | замер `docker stats`, `memory.peak` и `memory.stat` | лимит ≥ 1,5 × пика у всех сервисов телеметрии (у Grafana пик — `anon` + `kernel` + `shmem` без файлового кэша) | `evidence/telemetry/budget.md` |
|
||||
|
||||
+44
-26
@@ -1,14 +1,23 @@
|
||||
# `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задачи 11.1 и 12; change `job-trace-propagation`, задача 12.2; change `slo-alerts`, задача 11.4)
|
||||
# `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задачи 11.1 и 12; change `job-trace-propagation`, задача 12.2; change `slo-alerts`, задачи 11.4, 12.11 и 12.12)
|
||||
|
||||
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
|
||||
рабочее дерево чистое (вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в
|
||||
контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256
|
||||
каждого файла); ревизия схемы `e4b8c2d17f90`. Прежние прогоны этого файла — на `68f1e97` (до
|
||||
change `job-trace-propagation`) и на `72cfa9a` (до change `slo-alerts`: dashboard без строк «SLO
|
||||
and alerts», «Load balancer», «Telemetry pipeline», SDK без внутренних метрик).
|
||||
- Дата: 2026-11-13, 23:22:43Z – 23:24:43Z (~2 мин), сразу после `backend-outage`
|
||||
(`evidence/telemetry/backend-outage.md`); рабочий стенд `mtusi-lab6` (две реплики API, relay,
|
||||
worker, уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория:
|
||||
- Основа: commit `4a2f9c9` (fix: wait for all relay pass records in telemetry-check Loki comparison),
|
||||
рабочее дерево чистое (`git status --short` до прогона пуст). Код приложения, правила Prometheus и
|
||||
dashboard — те же, что на `ef60b47` (правки verify change `slo-alerts`): `4a2f9c9` и
|
||||
промежуточный `a92dff3` меняют только драйвер скилла, документы и evidence. Файлы `src/` и
|
||||
`migrations/` (151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с
|
||||
деревом commit (SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`; `rules.yml` и
|
||||
`prometheus.yml` в контейнере Prometheus и `messenger-overview.json` в контейнере Grafana равны
|
||||
дереву `4a2f9c9` (`cmp`). Прежние прогоны этого файла — на `68f1e97` (до change
|
||||
`job-trace-propagation`), на `72cfa9a` (до change `slo-alerts`) и на `15ea156` (до правок verify:
|
||||
без проверки панели потерь на тихом стенде).
|
||||
- Две попытки на `ef60b47` (2026-11-14, 01:43:53Z и 01:50:17Z) дали код 1 одной строкой — «same relay
|
||||
pass records in Loki»: проверка ждала первой записи прохода relay в Loki, а сравнивала со всеми
|
||||
записями stdout, вторая запись (через ~1,3 с) приходила в Loki следующим пакетом SDK, и через
|
||||
секунды обе записи там были. Исправлено в драйвере (`4a2f9c9`: ожидание всех записей stdout со
|
||||
сроком 60 с, условие проверки прежнее; design change `slo-alerts`, «Уточнения apply», п. 23).
|
||||
- Дата: 2026-11-14, 01:58:59Z – 02:01:09Z (~2,2 мин), после `alerts-check` и `backend-outage` на
|
||||
`ef60b47`; рабочий стенд `mtusi-lab6` (две реплики API, relay, worker, уборщик, Collector,
|
||||
Prometheus, Loki, Tempo, Grafana), команда из корня репозитория:
|
||||
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-check`, код выхода 0.
|
||||
- Всё — через HTTP API Grafana на `127.0.0.1:3000` с паролем из `.env` (источники-прокси uid
|
||||
`prometheus`, `loki`, `tempo`); пароль, токены и тела в вывод не попадают. Пароль, `username`,
|
||||
@@ -28,18 +37,19 @@
|
||||
`observability` «Ресурс relay», `service-logging` «Записи relay в Loki» и «Проход relay без полей
|
||||
трассы»; шаги задания — по consumer span `ready` трассы загрузки (его родитель — span producer
|
||||
relay).
|
||||
- С change `slo-alerts` (design, «Уточнения apply», пп. 5, 6): `observability` «Метрики балансировщика
|
||||
без доступа к сети хранилищ» (строки `LB networks` — только `default`, `LB stats port published on
|
||||
host` — нет, `prometheus has an LB target` — нет, `LB series with job haproxy…`, цель `haproxy`
|
||||
в списке `up` = 1) и `load-balancing` «Метрики балансировщика» (`LB frontend responses grew by 20
|
||||
or more` — 20 своих запросов через LB); «Новые панели после трафика» — `dashboard panel queries
|
||||
(57) without error: 0` и `panel queries with data after traffic: []`: все 57 запросов панелей к
|
||||
Prometheus (из них новых с id от 25 — 31, макрос `$__range` подменён на `1h`) выполнены без
|
||||
ошибки и с данными на стенде без оповещений, в том числе панели потерь и истории оповещений (`or
|
||||
on() vector(0)`).
|
||||
- Свой запрос: `X-Request-Id` `c126a16170d94f35b43139e1289b2d81`, `X-Instance-Id` `4b9782f7240b`,
|
||||
trace-id `6e280eb8369840989e91c7c4a2a062e6`; трасса загрузки `878badb606a661c26d22b71170770d21`;
|
||||
проба приватности просмотрела 48 записей Loki, 29 трасс Tempo и 903 ряда Prometheus окна.
|
||||
- С change `slo-alerts` (design, «Уточнения apply», пп. 5, 6, 22): `observability` «Метрики
|
||||
балансировщика без доступа к сети хранилищ» (строки `LB networks` — только `default`, `LB stats port
|
||||
published on host` — нет, `prometheus has an LB target` — нет, `LB series with job haproxy…`, цель
|
||||
`haproxy` в списке `up` = 1) и `load-balancing` «Метрики балансировщика» (`LB frontend responses
|
||||
grew by 20 or more` — 20 своих запросов через LB); «Без потерь» — `loss panel …`: все три запроса
|
||||
панели потерь (id 40) на тихом стенде — 0, `TelemetryDataLoss` неактивно (тишина наступила сразу,
|
||||
ожидание 0 с из 330); «Новые панели после трафика» — `dashboard panel queries (57) without error: 0`
|
||||
и `panel queries with data after traffic: []`: все 57 запросов панелей к Prometheus (из них новых с
|
||||
id от 25 — 31, макрос `$__range` подменён на `1h`) выполнены без ошибки и с данными на стенде без
|
||||
оповещений, в том числе панели потерь и истории оповещений (`or on() vector(0)`).
|
||||
- Свой запрос: `X-Request-Id` `6ad3d17993a34f829b83854d8bb24658`, `X-Instance-Id` `4b9782f7240b`,
|
||||
trace-id `f21d0427d8ac0fbbb47ace9b69f462e3`; трасса загрузки `89bb3ac8152d9fc70ef3c4540a331e7f`;
|
||||
проба приватности просмотрела 49 записей Loki, 30 трасс Tempo и 968 рядов Prometheus окна.
|
||||
|
||||
```
|
||||
grafana without credentials expected 401 got 401
|
||||
@@ -68,6 +78,10 @@ LB stats port published on host expected no
|
||||
prometheus has an LB target expected no got no
|
||||
LB series with job haproxy (frontend, backend, ready) expected yes got yes
|
||||
LB frontend responses grew by 20 or more expected yes got yes
|
||||
loss panel queries expected 3 got 3
|
||||
loss panel shows zero on a quiet stand expected [0.0, 0.0, 0.0] got [0.0, 0.0, 0.0]
|
||||
TelemetryDataLoss on a quiet stand expected inactive got inactive
|
||||
loss panel quiet within 330 s expected yes got yes
|
||||
register probe user expected 201 got 201
|
||||
login by Basic expected 201 got 201
|
||||
create chat expected 201 got 201
|
||||
@@ -90,11 +104,11 @@ Loki record of the request expected 1
|
||||
Loki service_name expected messenger-api got messenger-api
|
||||
Loki service_instance_id = X-Instance-Id expected 4b9782f7240b got 4b9782f7240b
|
||||
Loki instance_id = X-Instance-Id expected 4b9782f7240b got 4b9782f7240b
|
||||
Loki trace_id = stdout expected 6e280eb8369840989e91c7c4a2a062e6 got 6e280eb8369840989e91c7c4a2a062e6
|
||||
Loki trace_id = stdout expected f21d0427d8ac0fbbb47ace9b69f462e3 got f21d0427d8ac0fbbb47ace9b69f462e3
|
||||
Loki event, method, path, status, duration = stdout expected yes got yes
|
||||
Tempo server span expected POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER got POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER
|
||||
server span status code expected 201 got 201
|
||||
server span request id = X-Request-Id expected c126a16170d94f35b43139e1289b2d81 got c126a16170d94f35b43139e1289b2d81
|
||||
server span request id = X-Request-Id expected 6ad3d17993a34f829b83854d8bb24658 got 6ad3d17993a34f829b83854d8bb24658
|
||||
resource service.name expected messenger-api got messenger-api
|
||||
resource service.instance.id expected 4b9782f7240b got 4b9782f7240b
|
||||
resource service.version = contract expected 1.6.0 got 1.6.0
|
||||
@@ -109,7 +123,7 @@ traceparent request has its own trace expected yes
|
||||
spans of the foreign trace-id in Tempo expected 0 got 0
|
||||
its server span has no parent expected yes got yes
|
||||
Loki worker record of the attachment expected 1 got 1
|
||||
job trace = upload trace (trace_id of Uploaded attachment) expected 878badb606a661c26d22b71170770d21 got 878badb606a661c26d22b71170770d21
|
||||
job trace = upload trace (trace_id of Uploaded attachment) expected 89bb3ac8152d9fc70ef3c4540a331e7f got 89bb3ac8152d9fc70ef3c4540a331e7f
|
||||
worker stdout records carry the job trace_id expected yes got yes
|
||||
Tempo consumer span in the upload trace expected SPAN_KIND_CONSUMER ready got SPAN_KIND_CONSUMER ready
|
||||
worker resource service.name expected messenger-worker got messenger-worker
|
||||
@@ -182,7 +196,7 @@ foreign trace-id in telemetry expected []
|
||||
pipeline back after restart expected yes got yes
|
||||
same Loki record after restart expected yes got yes
|
||||
same trace after restart expected yes got yes
|
||||
same metric value at the saved time expected 10 got 10
|
||||
same metric value at the saved time expected 50 got 50
|
||||
PASS: own request and job are found in Loki, Tempo and Prometheus through Grafana, no secrets in telemetry
|
||||
```
|
||||
|
||||
@@ -194,3 +208,7 @@ prometheus loki tempo` (параметр `time` запроса). «Span-to-logs
|
||||
открывает ссылка из span в Grafana. «Dashboard panel queries (57) without error: 0» — число
|
||||
запросов панелей к Prometheus с ошибкой; «panel queries with data after traffic: []» — список
|
||||
запросов без данных пуст (57 запросов dashboard: уровни 3 и 4 и новые строки change `slo-alerts`).
|
||||
«Loss panel …» — запросы A, B и C панели 40 из dashboard в Grafana на момент проверки (до своих
|
||||
рестартов Collector и хранилищ); «same relay pass records in Loki» — все записи прохода relay с
|
||||
публикацией из stdout с начала прогона (своя загрузка и недекодируемый JPEG) есть в Loki с тем же
|
||||
`published` и `duration_ms`.
|
||||
|
||||
@@ -199,16 +199,17 @@
|
||||
dashboard provisioned); `make lint`, `make alerts_test`, `make service_test`, `py_compile` драйвера системным `python3`,
|
||||
`docker compose config --quiet`, `openspec validate slo-alerts --strict`, `make test`; стенд в штатном состоянии.
|
||||
Проверка: коды 0, `make lb_stats` — `UP` без ручных состояний.
|
||||
- [ ] 12.11 Пересъёмка evidence на commit правок (после коммита основной сессией): `make alerts_test` →
|
||||
- [x] 12.11 Пересъёмка evidence на commit правок (после коммита основной сессией): `make alerts_test` →
|
||||
`evidence/alerts/rules-test.md` (счёт S2), `alerts-check` → `evidence/alerts/check.md`, `telemetry-check` →
|
||||
`evidence/telemetry/check.md`, `backend-outage` → `evidence/telemetry/backend-outage.md`; числа и ссылки на строки в
|
||||
`REPORT.md`. Проверка: коды 0; сценарии 11.1–11.3 и новые строки (панель потерь, pending, одно окно).
|
||||
Состояние (2026-11-14, `ef60b47`): `rules-test.md`, `alerts/check.md` и `backend-outage.md` пересняты (коды 0),
|
||||
`REPORT.md` и `AGENTS.md` поправлены. `telemetry-check` дважды дал код 1 на строке «same relay pass records in Loki»
|
||||
(гонка проверки драйвера: `relay_pass_records` ждёт первой записи в Loki, а не всех записей stdout — вторая запись
|
||||
прохода приходит через секунды и в Loki есть); правка драйвера в стадии пересъёмки запрещена — задача открыта,
|
||||
`evidence/telemetry/check.md` пока на `15ea156`.
|
||||
- [ ] 12.12 Гонка `relay_pass_records` в `telemetry-check` (найдена при 12.11): ожидание Loki — пока все записи прохода
|
||||
прохода приходит через секунды и в Loki есть) — исправлено в 12.12 (`4a2f9c9`), `evidence/telemetry/check.md`
|
||||
переснят на `4a2f9c9` (код 0; код приложения и правила — те же, что на `ef60b47`), ссылки в `REPORT.md` и
|
||||
`AGENTS.md` поправлены.
|
||||
- [x] 12.12 Гонка `relay_pass_records` в `telemetry-check` (найдена при 12.11): ожидание Loki — пока все записи прохода
|
||||
relay с публикацией из stdout (`published`, `duration_ms`) не окажутся в Loki, со сроком; по сроку — прежний FAIL
|
||||
строки «same relay pass records in Loki» и печать недостающих записей. Проверка не ослабляется (то же множество, то же
|
||||
условие включения). Design, «Уточнения apply», п. 23; `QUESTIONS.md`, «Решения apply по verify». Проверка:
|
||||
|
||||
Reference in New Issue
Block a user