From af4e47b55c2ae5374a47aec3a656887104b73e16 Mon Sep 17 00:00:00 2001 From: roman Date: Sat, 14 Nov 2026 05:03:22 +0300 Subject: [PATCH] docs: re-capture telemetry-check evidence on 4a2f9c9 Co-Authored-By: Claude Opus 5.5 --- AGENTS.md | 6 ++- REPORT.md | 7 ++- evidence/telemetry/check.md | 70 +++++++++++++++++----------- openspec/changes/slo-alerts/tasks.md | 9 ++-- 4 files changed, 58 insertions(+), 34 deletions(-) diff --git a/AGENTS.md b/AGENTS.md index 8d5830d..6931345 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -57,7 +57,9 @@ SLI и SLO (доступность на LB 99,5 %, задержка «лёгки `trace-chain.md`, `collector-outage.md`, раздел change в `budget.md`. Правки verify (ноль ряда потерь процесса SDK, описания оповещений с текущим значением, панель потерь в проверках, pending на каждом шаге, сверка SLI одним окном) — commit `ef60b47`, на нём -пересняты (2026-11-14) `rules-test.md`, `alerts/check.md` и `backend-outage.md`. +пересняты (2026-11-14) `rules-test.md`, `alerts/check.md` и `backend-outage.md`; +`evidence/telemetry/check.md` — на `4a2f9c9` (тот же код и правила, драйвер ждёт в Loki все записи +прохода relay). Код перенесён из лабы 5 (репозиторий `mtusi2026lab5-safronov`, ветка `solution/bvt2301-safronov`, commit `046ec9e`) по разделу «Переход в следующую лабу»; отчёт и evidence лабы 5 @@ -743,7 +745,7 @@ evidence/attachments/ # change async-attachments: defense.md (driver.py d evidence/s3/ # privacy.md — make s3_check на текущем коде; change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам); change track2-reconciler: cleaner-list.md (bootstrap с политикой списка по префиксу, неверный префикс, make s3_check со строками списка уборщика, окружение s3-bootstrap) evidence/reconcile/ # change track2-reconciler: cycle.md (driver.py reconcile-cycle), stress.md (driver.py reconcile-stress), service.md (Started cleaner с параметрами сверки, плановая сверка при старте, docker stop во время сверки при pause s3, код 1 разового прохода по сигналу — driver.py reconcile-signal, отказ старта на RECONCILER__*, коды 3 и 0; с change track2-reconcile-cost — остановка во время паузы предела скорости, driver.py reconcile-signal --pace) evidence/reconcile/<метка>/ # результаты make bench_reconcile (change track2-reconcile-cost): meta.json (раздел reconcile: план, этапы и модели, commit и образы «до», аргументы S3), passes.csv, windows.csv, summary.md (H1–H4 и S4), cost-by-n.svg, requests-by-n.svg, background-p95.svg, raw/ (записи уборщика по проходам, итог k6 блока H4) -evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 15ea156 change slo-alerts переснято: check.md (driver.py telemetry-check, с метриками LB и новыми панелями), collector-outage.md (driver.py telemetry-outage), trace-chain.md (driver.py trace-chain), раздел change slo-alerts в budget.md; на ef60b47 (правки verify slo-alerts): backend-outage.md (driver.py backend-outage, с панелью потерь); на 72cfa9a (change job-trace-propagation): queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта) +evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 15ea156 change slo-alerts переснято: collector-outage.md (driver.py telemetry-outage), trace-chain.md (driver.py trace-chain), раздел change slo-alerts в budget.md; на ef60b47 (правки verify slo-alerts): backend-outage.md (driver.py backend-outage, с панелью потерь); на 4a2f9c9 (тот же код, гонка relay_pass_records в драйвере): check.md (driver.py telemetry-check, с метриками LB, новыми панелями и панелью потерь на тихом стенде); на 72cfa9a (change job-trace-propagation): queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта) evidence/migrations/ # change job-trace-propagation: job-trace-context.md — ревизия e4b8c2d17f90 (временная база: с нуля, повтор, откат, CHECK, lock_timeout; --sql; рабочий стенд: откат реплик на ff0073e с MIGRATE=0, ревизия до и после make rolling_update) evidence/stand/ # change otel-telemetry: from-scratch.md (driver.py stand-from-scratch --runs 2) evidence/alerts/ # change slo-alerts (commit ef60b47, правки verify; первая съёмка — 15ea156): rules-test.md (make alerts_test и контроли), check.md (driver.py alerts-check); там же — evidence/telemetry/backend-outage.md (driver.py backend-outage) и раздел change в budget.md (15ea156) diff --git a/REPORT.md b/REPORT.md index d3795a0..14802bc 100644 --- a/REPORT.md +++ b/REPORT.md @@ -25,7 +25,10 @@ Change `otel-telemetry` (design — `openspec/changes/archive/2026-11-11-otel-te `telemetry-outage` — в третий раз на `15ea156` (код change `slo-alerts`: новые панели, метрики LB, внутренние метрики SDK), там же раздел change `slo-alerts` бюджета; `make alerts_test`, `alerts-check` и `backend-outage` — на `ef60b47` (правки verify change -`slo-alerts`: ноль ряда потерь процесса SDK, панель потерь в проверках, pending на каждом шаге); бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов +`slo-alerts`: ноль ряда потерь процесса SDK, панель потерь в проверках, pending на каждом шаге); +`telemetry-check` — в четвёртый раз на `4a2f9c9` (тот же код приложения и правила, что на `ef60b47`; +драйвер ждёт в Loki все записи прохода relay, а не первую — две попытки на `ef60b47` упали на этой +гонке проверки; панель потерь на тихом стенде — 0); бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов `evidence/telemetry/` и `evidence/migrations/`. `evidence/stand/from- scratch.md` ещё снят на рабочем дереве поверх `9b35c25`: пересъёмка ждёт разрешения пользователя (`QUESTIONS.md`, `## otel-telemetry`, вопрос 8). @@ -508,7 +511,7 @@ Collector без времени начала (их закрывает прави | --- | --- | --- | --- | | Публичный smoke | make test | TODO | TODO | | Остальные пункты уровня 3 | TODO | TODO | TODO | -| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ | `evidence/telemetry/check.md` (commit `15ea156`) | +| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ, панель потерь на тихом стенде — 0 | `evidence/telemetry/check.md` (commit `4a2f9c9`) | | Телеметрия не меняет ответы и остановку | `driver.py --port 8080 telemetry-outage` | код 0: `make test` PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов | `evidence/telemetry/collector-outage.md` (commit `15ea156`) | | Стенд с нуля одной командой | `driver.py stand-from-scratch --runs 2` | код 0 оба раза, `RestartCount` брокера и телеметрии 0 | `evidence/stand/from-scratch.md` | | Лимиты и бюджет телеметрии | замер `docker stats`, `memory.peak` и `memory.stat` | лимит ≥ 1,5 × пика у всех сервисов телеметрии (у Grafana пик — `anon` + `kernel` + `shmem` без файлового кэша) | `evidence/telemetry/budget.md` | diff --git a/evidence/telemetry/check.md b/evidence/telemetry/check.md index f0b5cab..e0df0d5 100644 --- a/evidence/telemetry/check.md +++ b/evidence/telemetry/check.md @@ -1,14 +1,23 @@ -# `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задачи 11.1 и 12; change `job-trace-propagation`, задача 12.2; change `slo-alerts`, задача 11.4) +# `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задачи 11.1 и 12; change `job-trace-propagation`, задача 12.2; change `slo-alerts`, задачи 11.4, 12.11 и 12.12) -- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting), - рабочее дерево чистое (вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в - контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256 - каждого файла); ревизия схемы `e4b8c2d17f90`. Прежние прогоны этого файла — на `68f1e97` (до - change `job-trace-propagation`) и на `72cfa9a` (до change `slo-alerts`: dashboard без строк «SLO - and alerts», «Load balancer», «Telemetry pipeline», SDK без внутренних метрик). -- Дата: 2026-11-13, 23:22:43Z – 23:24:43Z (~2 мин), сразу после `backend-outage` - (`evidence/telemetry/backend-outage.md`); рабочий стенд `mtusi-lab6` (две реплики API, relay, - worker, уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория: +- Основа: commit `4a2f9c9` (fix: wait for all relay pass records in telemetry-check Loki comparison), + рабочее дерево чистое (`git status --short` до прогона пуст). Код приложения, правила Prometheus и + dashboard — те же, что на `ef60b47` (правки verify change `slo-alerts`): `4a2f9c9` и + промежуточный `a92dff3` меняют только драйвер скилла, документы и evidence. Файлы `src/` и + `migrations/` (151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с + деревом commit (SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`; `rules.yml` и + `prometheus.yml` в контейнере Prometheus и `messenger-overview.json` в контейнере Grafana равны + дереву `4a2f9c9` (`cmp`). Прежние прогоны этого файла — на `68f1e97` (до change + `job-trace-propagation`), на `72cfa9a` (до change `slo-alerts`) и на `15ea156` (до правок verify: + без проверки панели потерь на тихом стенде). +- Две попытки на `ef60b47` (2026-11-14, 01:43:53Z и 01:50:17Z) дали код 1 одной строкой — «same relay + pass records in Loki»: проверка ждала первой записи прохода relay в Loki, а сравнивала со всеми + записями stdout, вторая запись (через ~1,3 с) приходила в Loki следующим пакетом SDK, и через + секунды обе записи там были. Исправлено в драйвере (`4a2f9c9`: ожидание всех записей stdout со + сроком 60 с, условие проверки прежнее; design change `slo-alerts`, «Уточнения apply», п. 23). +- Дата: 2026-11-14, 01:58:59Z – 02:01:09Z (~2,2 мин), после `alerts-check` и `backend-outage` на + `ef60b47`; рабочий стенд `mtusi-lab6` (две реплики API, relay, worker, уборщик, Collector, + Prometheus, Loki, Tempo, Grafana), команда из корня репозитория: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-check`, код выхода 0. - Всё — через HTTP API Grafana на `127.0.0.1:3000` с паролем из `.env` (источники-прокси uid `prometheus`, `loki`, `tempo`); пароль, токены и тела в вывод не попадают. Пароль, `username`, @@ -28,18 +37,19 @@ `observability` «Ресурс relay», `service-logging` «Записи relay в Loki» и «Проход relay без полей трассы»; шаги задания — по consumer span `ready` трассы загрузки (его родитель — span producer relay). -- С change `slo-alerts` (design, «Уточнения apply», пп. 5, 6): `observability` «Метрики балансировщика - без доступа к сети хранилищ» (строки `LB networks` — только `default`, `LB stats port published on - host` — нет, `prometheus has an LB target` — нет, `LB series with job haproxy…`, цель `haproxy` - в списке `up` = 1) и `load-balancing` «Метрики балансировщика» (`LB frontend responses grew by 20 - or more` — 20 своих запросов через LB); «Новые панели после трафика» — `dashboard panel queries - (57) without error: 0` и `panel queries with data after traffic: []`: все 57 запросов панелей к - Prometheus (из них новых с id от 25 — 31, макрос `$__range` подменён на `1h`) выполнены без - ошибки и с данными на стенде без оповещений, в том числе панели потерь и истории оповещений (`or - on() vector(0)`). -- Свой запрос: `X-Request-Id` `c126a16170d94f35b43139e1289b2d81`, `X-Instance-Id` `4b9782f7240b`, - trace-id `6e280eb8369840989e91c7c4a2a062e6`; трасса загрузки `878badb606a661c26d22b71170770d21`; - проба приватности просмотрела 48 записей Loki, 29 трасс Tempo и 903 ряда Prometheus окна. +- С change `slo-alerts` (design, «Уточнения apply», пп. 5, 6, 22): `observability` «Метрики + балансировщика без доступа к сети хранилищ» (строки `LB networks` — только `default`, `LB stats port + published on host` — нет, `prometheus has an LB target` — нет, `LB series with job haproxy…`, цель + `haproxy` в списке `up` = 1) и `load-balancing` «Метрики балансировщика» (`LB frontend responses + grew by 20 or more` — 20 своих запросов через LB); «Без потерь» — `loss panel …`: все три запроса + панели потерь (id 40) на тихом стенде — 0, `TelemetryDataLoss` неактивно (тишина наступила сразу, + ожидание 0 с из 330); «Новые панели после трафика» — `dashboard panel queries (57) without error: 0` + и `panel queries with data after traffic: []`: все 57 запросов панелей к Prometheus (из них новых с + id от 25 — 31, макрос `$__range` подменён на `1h`) выполнены без ошибки и с данными на стенде без + оповещений, в том числе панели потерь и истории оповещений (`or on() vector(0)`). +- Свой запрос: `X-Request-Id` `6ad3d17993a34f829b83854d8bb24658`, `X-Instance-Id` `4b9782f7240b`, + trace-id `f21d0427d8ac0fbbb47ace9b69f462e3`; трасса загрузки `89bb3ac8152d9fc70ef3c4540a331e7f`; + проба приватности просмотрела 49 записей Loki, 30 трасс Tempo и 968 рядов Prometheus окна. ``` grafana without credentials expected 401 got 401 @@ -68,6 +78,10 @@ LB stats port published on host expected no prometheus has an LB target expected no got no LB series with job haproxy (frontend, backend, ready) expected yes got yes LB frontend responses grew by 20 or more expected yes got yes +loss panel queries expected 3 got 3 +loss panel shows zero on a quiet stand expected [0.0, 0.0, 0.0] got [0.0, 0.0, 0.0] +TelemetryDataLoss on a quiet stand expected inactive got inactive +loss panel quiet within 330 s expected yes got yes register probe user expected 201 got 201 login by Basic expected 201 got 201 create chat expected 201 got 201 @@ -90,11 +104,11 @@ Loki record of the request expected 1 Loki service_name expected messenger-api got messenger-api Loki service_instance_id = X-Instance-Id expected 4b9782f7240b got 4b9782f7240b Loki instance_id = X-Instance-Id expected 4b9782f7240b got 4b9782f7240b -Loki trace_id = stdout expected 6e280eb8369840989e91c7c4a2a062e6 got 6e280eb8369840989e91c7c4a2a062e6 +Loki trace_id = stdout expected f21d0427d8ac0fbbb47ace9b69f462e3 got f21d0427d8ac0fbbb47ace9b69f462e3 Loki event, method, path, status, duration = stdout expected yes got yes Tempo server span expected POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER got POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER server span status code expected 201 got 201 -server span request id = X-Request-Id expected c126a16170d94f35b43139e1289b2d81 got c126a16170d94f35b43139e1289b2d81 +server span request id = X-Request-Id expected 6ad3d17993a34f829b83854d8bb24658 got 6ad3d17993a34f829b83854d8bb24658 resource service.name expected messenger-api got messenger-api resource service.instance.id expected 4b9782f7240b got 4b9782f7240b resource service.version = contract expected 1.6.0 got 1.6.0 @@ -109,7 +123,7 @@ traceparent request has its own trace expected yes spans of the foreign trace-id in Tempo expected 0 got 0 its server span has no parent expected yes got yes Loki worker record of the attachment expected 1 got 1 -job trace = upload trace (trace_id of Uploaded attachment) expected 878badb606a661c26d22b71170770d21 got 878badb606a661c26d22b71170770d21 +job trace = upload trace (trace_id of Uploaded attachment) expected 89bb3ac8152d9fc70ef3c4540a331e7f got 89bb3ac8152d9fc70ef3c4540a331e7f worker stdout records carry the job trace_id expected yes got yes Tempo consumer span in the upload trace expected SPAN_KIND_CONSUMER ready got SPAN_KIND_CONSUMER ready worker resource service.name expected messenger-worker got messenger-worker @@ -182,7 +196,7 @@ foreign trace-id in telemetry expected [] pipeline back after restart expected yes got yes same Loki record after restart expected yes got yes same trace after restart expected yes got yes -same metric value at the saved time expected 10 got 10 +same metric value at the saved time expected 50 got 50 PASS: own request and job are found in Loki, Tempo and Prometheus through Grafana, no secrets in telemetry ``` @@ -194,3 +208,7 @@ prometheus loki tempo` (параметр `time` запроса). «Span-to-logs открывает ссылка из span в Grafana. «Dashboard panel queries (57) without error: 0» — число запросов панелей к Prometheus с ошибкой; «panel queries with data after traffic: []» — список запросов без данных пуст (57 запросов dashboard: уровни 3 и 4 и новые строки change `slo-alerts`). +«Loss panel …» — запросы A, B и C панели 40 из dashboard в Grafana на момент проверки (до своих +рестартов Collector и хранилищ); «same relay pass records in Loki» — все записи прохода relay с +публикацией из stdout с начала прогона (своя загрузка и недекодируемый JPEG) есть в Loki с тем же +`published` и `duration_ms`. diff --git a/openspec/changes/slo-alerts/tasks.md b/openspec/changes/slo-alerts/tasks.md index 5440f2f..be17830 100644 --- a/openspec/changes/slo-alerts/tasks.md +++ b/openspec/changes/slo-alerts/tasks.md @@ -199,16 +199,17 @@ dashboard provisioned); `make lint`, `make alerts_test`, `make service_test`, `py_compile` драйвера системным `python3`, `docker compose config --quiet`, `openspec validate slo-alerts --strict`, `make test`; стенд в штатном состоянии. Проверка: коды 0, `make lb_stats` — `UP` без ручных состояний. -- [ ] 12.11 Пересъёмка evidence на commit правок (после коммита основной сессией): `make alerts_test` → +- [x] 12.11 Пересъёмка evidence на commit правок (после коммита основной сессией): `make alerts_test` → `evidence/alerts/rules-test.md` (счёт S2), `alerts-check` → `evidence/alerts/check.md`, `telemetry-check` → `evidence/telemetry/check.md`, `backend-outage` → `evidence/telemetry/backend-outage.md`; числа и ссылки на строки в `REPORT.md`. Проверка: коды 0; сценарии 11.1–11.3 и новые строки (панель потерь, pending, одно окно). Состояние (2026-11-14, `ef60b47`): `rules-test.md`, `alerts/check.md` и `backend-outage.md` пересняты (коды 0), `REPORT.md` и `AGENTS.md` поправлены. `telemetry-check` дважды дал код 1 на строке «same relay pass records in Loki» (гонка проверки драйвера: `relay_pass_records` ждёт первой записи в Loki, а не всех записей stdout — вторая запись - прохода приходит через секунды и в Loki есть); правка драйвера в стадии пересъёмки запрещена — задача открыта, - `evidence/telemetry/check.md` пока на `15ea156`. -- [ ] 12.12 Гонка `relay_pass_records` в `telemetry-check` (найдена при 12.11): ожидание Loki — пока все записи прохода + прохода приходит через секунды и в Loki есть) — исправлено в 12.12 (`4a2f9c9`), `evidence/telemetry/check.md` + переснят на `4a2f9c9` (код 0; код приложения и правила — те же, что на `ef60b47`), ссылки в `REPORT.md` и + `AGENTS.md` поправлены. +- [x] 12.12 Гонка `relay_pass_records` в `telemetry-check` (найдена при 12.11): ожидание Loki — пока все записи прохода relay с публикацией из stdout (`published`, `duration_ms`) не окажутся в Loki, со сроком; по сроку — прежний FAIL строки «same relay pass records in Loki» и печать недостающих записей. Проверка не ослабляется (то же множество, то же условие включения). Design, «Уточнения apply», п. 23; `QUESTIONS.md`, «Решения apply по verify». Проверка: