docs: capture slo-alerts evidence on 15ea156

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-11-14 02:36:17 +03:00
co-authored by Claude Opus 5.5
parent 15ea156404
commit 107fe7f033
12 changed files with 768 additions and 150 deletions
+8 -4
View File
@@ -37,7 +37,8 @@ relay и consumer span worker (parent и link) — одна трасса на з
`evidence/telemetry/check.md`, `queue-snapshot.md`, раздел change в
`budget.md`, `evidence/migrations/job-trace-context.md`; правки verify —
commit `72e2598`, на нём пересняты `evidence/telemetry/trace-chain.md` и
`collector-outage.md`. Третье изменение лабы, вторая часть уровня 4 —
`collector-outage.md` (`check.md`, `trace-chain.md` и `collector-outage.md` ещё раз
пересняты на `15ea156`, change `slo-alerts`). Третье изменение лабы, вторая часть уровня 4 —
change `slo-alerts` (активный, apply 2026-11-11,
`openspec/changes/slo-alerts/`, изменяет `observability` и `load-balancing`):
SLI и SLO (доступность на LB 99,5 %, задержка «лёгких» ручек ≤ 0,25 с 99 %,
@@ -50,7 +51,10 @@ SLI и SLO (доступность на LB 99,5 %, задержка «лёгки
(`created-timestamp-zero-ingestion`); внутренние метрики SDK и учёт потерь
(`telemetry:lost_items:total`); панели SLO, LB и конвейера; команды драйвера
`alerts-check` и `backend-outage`. ВМ Docker Desktop с 2026-11-11 — 12 CPU /
11 902 МиБ. Evidence — после коммита кода.
11 902 МиБ. Код — commit `15ea156`, evidence снято на нём (2026-11-13):
`evidence/alerts/rules-test.md`, `evidence/alerts/check.md`,
`evidence/telemetry/backend-outage.md`, пересняты `evidence/telemetry/check.md`,
`trace-chain.md`, `collector-outage.md`, раздел change в `budget.md`.
Код перенесён из лабы 5 (репозиторий
`mtusi2026lab5-safronov`, ветка `solution/bvt2301-safronov`, commit
`046ec9e`) по разделу «Переход в следующую лабу»; отчёт и evidence лабы 5
@@ -736,10 +740,10 @@ evidence/attachments/ # change async-attachments: defense.md (driver.py d
evidence/s3/ # privacy.md — make s3_check на текущем коде; change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам); change track2-reconciler: cleaner-list.md (bootstrap с политикой списка по префиксу, неверный префикс, make s3_check со строками списка уборщика, окружение s3-bootstrap)
evidence/reconcile/ # change track2-reconciler: cycle.md (driver.py reconcile-cycle), stress.md (driver.py reconcile-stress), service.md (Started cleaner с параметрами сверки, плановая сверка при старте, docker stop во время сверки при pause s3, код 1 разового прохода по сигналу — driver.py reconcile-signal, отказ старта на RECONCILER__*, коды 3 и 0; с change track2-reconcile-cost — остановка во время паузы предела скорости, driver.py reconcile-signal --pace)
evidence/reconcile/<метка>/ # результаты make bench_reconcile (change track2-reconcile-cost): meta.json (раздел reconcile: план, этапы и модели, commit и образы «до», аргументы S3), passes.csv, windows.csv, summary.md (H1–H4 и S4), cost-by-n.svg, requests-by-n.svg, background-p95.svg, raw/ (записи уборщика по проходам, итог k6 блока H4)
evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 72cfa9a change job-trace-propagation переснято: check.md (driver.py telemetry-check); на 72e2598 (правки verify) — collector-outage.md (driver.py telemetry-outage, с relay, сигналы без перезапуска) и новое trace-chain.md (driver.py trace-chain); новое на 72cfa9a: queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта)
evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 15ea156 change slo-alerts переснято: check.md (driver.py telemetry-check, с метриками LB и новыми панелями), collector-outage.md (driver.py telemetry-outage), trace-chain.md (driver.py trace-chain); новое на 15ea156: backend-outage.md (driver.py backend-outage), раздел change slo-alerts в budget.md; на 72cfa9a (change job-trace-propagation): queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта)
evidence/migrations/ # change job-trace-propagation: job-trace-context.md — ревизия e4b8c2d17f90 (временная база: с нуля, повтор, откат, CHECK, lock_timeout; --sql; рабочий стенд: откат реплик на ff0073e с MIGRATE=0, ревизия до и после make rolling_update)
evidence/stand/ # change otel-telemetry: from-scratch.md (driver.py stand-from-scratch --runs 2)
evidence/alerts/ # change slo-alerts (после коммита кода): rules-test.md (make alerts_test), check.md (driver.py alerts-check); там же — evidence/telemetry/backend-outage.md (driver.py backend-outage) и раздел change в budget.md
evidence/alerts/ # change slo-alerts (commit 15ea156): rules-test.md (make alerts_test), check.md (driver.py alerts-check); там же — evidence/telemetry/backend-outage.md (driver.py backend-outage) и раздел change в budget.md
evidence/storage/ # отказы БД, пул, statement_timeout, рестарт, порты Postgres, свежий clone; connection-cost.md — цена нового соединения и пинга; freeze-sessions.md — change unit-of-work: сессии и журнал пула после заморозки PostgreSQL (driver.py freeze-sessions и freeze-lb)
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после)
evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия)
+3
View File
@@ -359,6 +359,9 @@ Change `openspec/changes/slo-alerts/` (propose 2026-11-11). Номера — р
Вопрос verify: устраивает ли такая трактовка двух сценариев спека («SLO считается» — те же окна; «Медленный handler» —
место в пуле, а не мгновенный `pending`)? Иначе — правка спека или новый счётчик «ждут места» отдельно от открытия.
- Evidence раздела 11 — на commit `15ea156` без правок кода; `rules-test.md` от 2026-11-11 оставлен (повторный прогон —
тот же вывод); пик Collector в долгом отказе хранилища — по `docker stats` и метрикам Collector, а не по
`memory.peak`: шаг отказа Collector в той же команде начинает новую cgroup (design, «Уточнения apply», п. 16).
### Вопросы
+95 -44
View File
@@ -21,8 +21,10 @@ Change `otel-telemetry` (design — `openspec/changes/archive/2026-11-11-otel-te
`72cfa9a` (код change `job-trace-propagation`: relay с SDK, шаги задания по consumer span), там
же план снимка очереди, проба ревизии `e4b8c2d17f90` и раздел change бюджета; `trace-chain` и
`telemetry-outage` — ещё раз на `72e2598` (правки verify: сигналы relay без перезапуска, тихая
очередь в предусловии, рост CPU каждого процесса);
бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов
очередь в предусловии, рост CPU каждого процесса); `telemetry-check`, `trace-chain` и
`telemetry-outage` — в третий раз на `15ea156` (код change `slo-alerts`: новые панели, метрики LB,
внутренние метрики SDK), там же `alerts-check`, `backend-outage`, `make alerts_test` и раздел
change `slo-alerts` бюджета; бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов
`evidence/telemetry/` и `evidence/migrations/`. `evidence/stand/from-
scratch.md` ещё снят на рабочем дереве поверх `9b35c25`: пересъёмка ждёт разрешения пользователя
(`QUESTIONS.md`, `## otel-telemetry`, вопрос 8).
@@ -327,7 +329,20 @@ runbooks — `infra/otel/runbooks/`.
ряды правил с исходными счётчиками в тех же окнах и печатает рядом `increase` за час одним
окном; SLI за 7 суток включают учения и проверки; при недоступном Prometheus правила не
вычисляются, приращение счётчиков после возврата прежнее (`evidence/telemetry/backend-outage.md`).
- Значения на момент отчёта — `evidence/alerts/check.md` (раздел SLI).
- Значения на момент отчёта (`evidence/alerts/check.md`, раздел `[SLI and panels]`, 2026-11-13
23:06Z, commit `15ea156`):
| SLI | 7 суток | час: по правилам / по исходным счётчикам в тех же окнах | окно учений (~20 мин) | SLO | остаток бюджета за 7 суток |
| --- | --- | --- | --- | --- | --- |
| доступность | 0,93201 | 1,00000 / 1,00000 (14 685 событий) | 0,89966 | 99,5 % | −12,6 (исчерпан) |
| задержка | 0,98539 | 0,98209 / 0,98209 (14 225) | 0,97905 | 99 % | −0,46 |
| время до `ready` | 0,93039 | 0,91358 / 0,91358 (37) | 0,86957 | 99 % | −5,96 |
SLO за 7 суток не соблюдены: в окно входят только учения и проверки рабочего стенда (остановки
PostgreSQL, worker, relay, блокировка таблицы сообщений, долгие отказы хранилищ, `make
test-failover`) — бюджет съели они, это и показывает строка «окно учений». За час пути совпадают
(0 п. п. при допуске 1); за час 3 окна правил из 12 — Prometheus перезапущен в 22:45Z, а отказ БД
в конце учений в записанные окна ещё не попал (точки `messenger-slo` отстают на 5–10 мин).
**Оповещения (SA-3, SA-4).** Правила Prometheus, без Alertmanager и без доставки наружу.
Состояние firing / resolved — `/api/v1/rules`, `/api/v1/alerts`, ряды `ALERTS` (история за срок
@@ -376,15 +391,30 @@ true`), панель «Alert states». Правила Grafana отвергнут
начала. Внутренние метрики SDK (`otel.sdk.*`) включает код: процессоры и экспортёры OTLP span и
журнала строятся после `MeterProvider` с ним и с переменной SDK только на время сборки; внешняя
`OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED` удаляется, как любая `OTEL_*`; гистограммы SDK не
отдаются. Результаты отказа каждого хранилища и Collector (память, потери, оповещения) —
`evidence/telemetry/backend-outage.md`.
отдаются. Результаты отказа каждого хранилища и Collector под нагрузкой драйвера (~25 запросов/с;
`evidence/telemetry/backend-outage.md`, commit `15ea156`):
| Отказ | Ответы клиенту | Память | Потери (учтены) | Оповещения |
| --- | --- | --- | --- | --- |
| Loki 10 с | свой запрос найден в Loki после возврата | — | 0 | — |
| Loki 120 с | `make test` PASS, 2928 × 2xx, 5xx 0 | Collector `docker stats` ≤ 77 МиБ из 256; очередь Loki ≤ 0,135 ёмкости | 443 записи (`otlp_http/loki`) | `TelemetryTargetDown{job="loki"}` firing через 105 с, `TelemetryDataLoss` firing; сняты через 40 и 145 с |
| Tempo 10 с | своя трасса найдена после возврата | — | 0 | — |
| Tempo 120 с | `make test` PASS, 2934 × 2xx, 5xx 0 | Collector ≤ 93 МиБ (runtime sys ≤ 84); очередь Tempo ≤ 0,656 ёмкости | 1342 span (`otlp_http/tempo`) | `TelemetryTargetDown{job="tempo"}` через 90 с, `TelemetryDataLoss`; сняты через 30 и 150 с |
| Prometheus 60 с | 1467 × 2xx, 5xx 0 | — | счёт запросов API после возврата +2565 ≥ 1833 запросов нагрузки | правила не вычислялись (ограничение) |
| Collector 120 с | `make test` PASS | реплики: максимум последней трети окна 156 и 154 МиБ против 142 и 145 первой (лимит 512) | SDK реплик: 11 683 и 11 810; записей API окна в Loki 0 из 5275 в stdout | `TelemetryTargetDown{job="otel-collector"}` через 95 с, снято через 20 с; `MessengerQueueMetricsMissing` не сработало |
Короткий отказ короче срока повторов (30 с) потерь не дал; долгий потерял конец окна (начало
отказа сохранила очередь), отказов приёма Collector (`memory_limiter`) не было. Без Collector
память реплик ограничена очередями SDK (2048), счёт потерь SDK копился в процессе и пришёл в
Prometheus после возврата Collector.
**Счётчики после перезапуска процесса (SA-6).** Prometheus принимает время начала cumulative-рядов
экспортёра Collector (`PrometheusProto` первым у цели `otel-collector-exporter`, флаг
`created-timestamp-zero-ingestion`; у остальных целей — прежний текстовый список) и пишет ноль в
момент начала ряда нового процесса; экспортёр убирает ряд, не обновлявшийся минуту. Проверка —
`alerts-check`, шаг 1: worker остановлен дольше 2 мин, 3 загрузки, запуск — первая точка ряда
нового процесса — ноль, приращение по точкам ровно 3. Остаётся: перезапуск того же контейнера
`alerts-check`, шаг 1: worker остановлен на 159 с, 3 загрузки, запуск — первая точка ряда нового
процесса — ноль (`(2.5, 0.0)`), приращение по точкам ровно 3 (`evidence/alerts/check.md`, строки
76–80). Остаётся: перезапуск того же контейнера
быстрее ~75 с, если новый процесс догнал прежнее значение до первого сбора; собственные метрики
Collector без времени начала (их закрывает правило потерь). Число рядов экспортёра до и после
перехода на protobuf на процесс то же (двойников нет).
@@ -392,41 +422,62 @@ Collector без времени начала (их закрывает прави
**Инциденты.** Разбор — по runbook оповещения и только по сохранённым наблюдениям вывода
`alerts-check` и `backend-outage` (хронология и значения — в файлах evidence).
1. **Остановлен worker** (`evidence/alerts/check.md`, шаг «worker stopped»). Хронология: остановка,
3 загрузки (202), `MessengerQueueLagHigh` pending, затем firing; запуск worker, снятие.
Диагностика по runbook `MessengerQueueLagHigh`: «Pipeline» → глубина `outbox` + `published`
выросла на 3 (`max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"})`),
возраст растёт линейно (`max(messenger_queue_oldest_age_seconds{job="messenger-relay"})`), рядов
`messenger-worker` нет → Loki `{service_name="messenger-worker"}`: последняя запись worker до
остановки, «Stopped worker» — в stdout → Tempo `{ resource.service.name = "messenger-worker" &&
kind = consumer }`: consumer span после остановки нет ⇒ причина — worker не работает.
Восстановление — `docker start` worker: все `ready`, счёт времени до готовности +3; SLI времени
до `ready` за окно учений — в разделе SLI evidence (время до `ready` этих загрузок не меньше
длительности остановки, выше 30 с — плохие события).
2. **Медленная БД против медленного handler** (шаги «slow database» и «slow handler»).
`MessengerSlowRequests` firing → p95 по маршрутам: медленна только отправка сообщения → Tempo,
медленная трасса отправки: span PostgreSQL занимают больше половины server span → пул: занятость
выше, чем до шагов → CPU реплик ниже половины предела ⇒ БД (держатель блокировки — сессия
`application_name = mtusi-alerts-check`). Для сравнения вход по Basic: длинный server span, span
PostgreSQL меньше пятой части, пул не занят целиком и без отказов по сроку, CPU реплик выше ⇒
handler (KDF), и вход вне SLI
задержки — оповещения нет. **Недоступная БД** (шаг «database down»): `MessengerNoReadyReplicas`
и `MessengerHighErrorRate` firing → «Load balancer»: 5xx на LB растут, готовых реплик 0, 5xx API
почти нет (почему SLI — на LB) → Loki «Database is unavailable» реплик → Tempo: server span 503 с
ошибкой. Восстановление — `docker compose start postgres`; SLI доступности за окно отказа упал на
долю 5xx, которую видел клиент.
3. **Недоступно хранилище телеметрии** (`evidence/telemetry/backend-outage.md`, шаг «tempo long»).
`TelemetryTargetDown{job="tempo"}` и `TelemetryDataLoss` → «Telemetry pipeline»: очередь Tempo
растёт к ёмкости, `otelcol_exporter_enqueue_failed_spans` / `send_failed_spans` растут, память
Collector ниже лимита → SLI и ответы приложения прежние (`make test` PASS, 5xx 0) ⇒ теряется
телеметрия, а не сообщения. После запуска Tempo — новые трассы, оповещения сняты, потери — число
из счётчиков.
Учения — 2026-11-13, 22:46:44Z – 23:22:25Z, commit `15ea156`, фоновая нагрузка драйвера ~25
запросов/с через LB; время — от начала шага (у `MessengerQueueLagHigh` — от первой загрузки, у
снятия — от восстановления), «строки N» — строки файла evidence.
Числа хронологии и наблюдений — из evidence этого change (после коммита кода).
1. **Остановлен worker** (`evidence/alerts/check.md`, строки 63–81). Хронология: `docker compose stop
worker` на 48-й секунде учений, 3 загрузки — 202 (строка 67); `MessengerQueueLagHigh` pending
через 98 с, firing через 158 с после первой загрузки (строки 68–69); worker запущен через 159 с
остановки (строка 76), снято через 44 с после запуска (строка 78). Диагностика по runbook
`MessengerQueueLagHigh`: «Pipeline» → глубина `published` 3, остальные стадии 0, возраст
старейшего 141,3 с (`max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"})`,
`max(messenger_queue_oldest_age_seconds{job="messenger-relay"})`; строка 70) — задания приняты и
опубликованы, но не взяты; рядов `messenger-worker` к запуску нет (строка 75) → Loki
`{service_name="messenger-worker"}`: последняя запись worker — «Attachment became ready» за 1 с до
остановки, «Stopped worker» — в stdout (строки 73–74) → Tempo `{ resource.service.name =
"messenger-worker" && kind = consumer }`: consumer span после остановки 0 (строка 72) ⇒ причина —
worker не работает (не брокер и не relay: сообщения в стадии `published`). Восстановление —
`docker start` worker: все 3 `ready` (строка 77), счёт времени до готовности +3 по точкам, первая
точка нового процесса — ноль (строки 79–80). SLI времени до `ready` за окно учений — 0,86957
(три загрузки ждали дольше 30 с — плохие события; раздел `[SLI and panels]`).
2. **Медленная БД против медленного handler** (строки 89–115). Блокировка `LOCK TABLE messages IN
SHARE MODE` 2 с с паузой 0,2 с в сессии `application_name = mtusi-alerts-check`:
`MessengerSlowRequests` firing через 165 с (строка 91), доля медленных «лёгких» 0,428 при пороге
0,1 (строка 92) → p95 по маршрутам: `POST /api/v1/chats/{chat_id}/messages` 0,021 с до и 2,324 с во
время (строки 93–94), чтение не медленно → Tempo, медленные трассы отправки: span PostgreSQL —
0,99 server span (строка 95) → пул: занято до 6 соединений против 0 до шагов (строка 97) → CPU
реплик не выше 0,11 предела (строка 99) ⇒ БД (держатель блокировки — в `pg_stat_activity` по
`application_name`). Сессия завершена — снято через 89 с (строка 101); `MessengerHighErrorRate` не
срабатывал (строка 102). Для сравнения вход по Basic (строки 103–115): 506 входов, медиана 0,27 с,
p95 `/api/v1/auth/sessions` 0,667 с, span PostgreSQL — 0,01–0,02 server span, пул занят не больше
0,30 без отказов по сроку, CPU реплик до 0,80 предела ⇒ handler (KDF); вход вне SLI задержки —
доля медленных «лёгких» не выше 0,050, оповещения нет. **Недоступная БД** (строки 116–133):
`docker compose stop postgres` → `MessengerNoReadyReplicas` firing через 60 с,
`MessengerHighErrorRate` через 105 с (строки 118–119) → «Load balancer»: готовых реплик 0 (строка
120), 5xx на LB +2603, у API +27 (строка 127) — клиент получил 2562 ответа 5xx, из них 2548 — 503
самого LB без `X-Instance-Id` (строка 124): метрики API отказ почти не видят, поэтому SLI — на LB
→ Loki: 27 записей «Database is unavailable» реплик (строка 121) → Tempo: 27 трасс с ошибкой
server span 503 (строка 122; span PostgreSQL с ошибкой нет — отказ на выдаче соединения из пула,
до запроса). Восстановление — `docker compose start postgres`, LB готов; сняты через 29 и 135 с
(строки 125–126). SLI доступности за окно отказа — 0,5544 по LB при 0,5576 у клиента (строка 130).
3. **Недоступно хранилище телеметрии** (`evidence/telemetry/backend-outage.md`, строки 57–71).
`docker compose stop tempo` на 120 с под нагрузкой: `TelemetryTargetDown{job="tempo"}` firing
через 90 с (строка 59), `TelemetryDataLoss` firing (строка 66) → «Telemetry pipeline»: очередь
экспорта Tempo — до 0,656 ёмкости (строка 60), потери `otlp_http/tempo` — 1342 span (`enqueue_failed`
/ `send_failed`, строка 67), память Collector — `docker stats` до 93 МиБ при лимите 256 (строка
62) → приложение не задето: `make test` PASS, 2934 ответа 2xx, 5xx 0 (строки 58, 64–65) ⇒ теряется
телеметрия, а не сообщения. После `docker compose start tempo` — новые трассы приходят (строка
69), `TelemetryTargetDown` снят через 30 с, `TelemetryDataLoss` — через 150 с (строки 70–71);
потери — 1342 span из счётчиков Collector.
**Бюджет (SA-13).** Новых сервисов и портов нет; лимиты — по замеру `backend-outage` и
`alerts-check` и правилу «лимит ≥ 1,5 × пика» (раздел change `slo-alerts` в
`evidence/telemetry/budget.md`). ВМ Docker Desktop — 12 CPU (все ядра хоста) / 11 902 МиБ: память
`evidence/telemetry/budget.md`, commit `15ea156`): Collector в долгом отказе Tempo — `docker stats`
до 93 МиБ, `memory.peak` за `alerts-check` 76 МиБ (лимит 256); Prometheus за `alerts-check` — 108
МиБ (384; в пробных прогонах apply — до 240, 1,5 × 240 = 360); реплики API без Collector — без роста
(142 → 156 и 145 → 154 МиБ), `memory.peak` со старта стенда 334 и 327 МиБ от входов по Basic (512).
Правило выполнено у всех, лимиты не менялись. ВМ Docker Desktop — 12 CPU (все ядра хоста) / 11 902 МиБ: память
пользователь увеличил до 12 ГБ 2026-11-11 (вопрос 1 `## slo-alerts` в `QUESTIONS.md`); постоянные
лимиты стенда — 11,5 CPU / 7296 МиБ, с одноразовыми 12,5 CPU / 7680 МиБ, вместе с контейнерами
`make test_isolated` (+2,25 CPU / 1792 МиБ) — 9472 МиБ: помещается с запасом ~2,4 ГиБ на накладные
@@ -438,17 +489,17 @@ Collector без времени начала (их закрывает прави
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ | `evidence/telemetry/check.md` |
| Телеметрия не меняет ответы и остановку | `driver.py --port 8080 telemetry-outage` | код 0: `make test` PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов | `evidence/telemetry/collector-outage.md` (commit `72e2598`) |
| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ | `evidence/telemetry/check.md` (commit `15ea156`) |
| Телеметрия не меняет ответы и остановку | `driver.py --port 8080 telemetry-outage` | код 0: `make test` PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов | `evidence/telemetry/collector-outage.md` (commit `15ea156`) |
| Стенд с нуля одной командой | `driver.py stand-from-scratch --runs 2` | код 0 оба раза, `RestartCount` брокера и телеметрии 0 | `evidence/stand/from-scratch.md` |
| Лимиты и бюджет телеметрии | замер `docker stats`, `memory.peak` и `memory.stat` | лимит ≥ 1,5 × пика у всех сервисов телеметрии (у Grafana пик — `anon` + `kernel` + `shmem` без файлового кэша) | `evidence/telemetry/budget.md` |
| Уровень 4: контекст W3C API → relay → worker, producer и consumer span (parent и link), цепочка одной загрузки до S3 и БД с повтором и replay | `driver.py --port 8080 trace-chain` | код 0: одна трасса, две пары producer / consumer, span S3 с ошибкой и запись оригинала и вариантов, replay в той же трассе, задание без контекста — корень worker | `evidence/telemetry/trace-chain.md` (commit `72e2598`) |
| Уровень 4: контекст W3C API → relay → worker, producer и consumer span (parent и link), цепочка одной загрузки до S3 и БД с повтором и replay | `driver.py --port 8080 trace-chain` | код 0: одна трасса, две пары producer / consumer, span S3 с ошибкой и запись оригинала и вариантов, replay в той же трассе, задание без контекста — корень worker | `evidence/telemetry/trace-chain.md` (commit `15ea156`) |
| Уровень 4: dashboard — p50 / p95 / p99, доля ошибок, глубина и возраст очереди, пул БД, насыщение worker, контейнеры | `driver.py --port 8080 trace-chain`, `telemetry-check` | запросы панелей уровня 4 без ошибок и с данными; ряды очереди только у relay; пределы = `docker inspect`; нет сокета Docker | `evidence/telemetry/trace-chain.md`, `evidence/telemetry/check.md` |
| Уровень 4: relay с SDK не меняет остановку | `driver.py --port 8080 telemetry-outage` | `docker stop` relay < 10 с, код 0, «Stopped relay» при остановленном и замороженном Collector | `evidence/telemetry/collector-outage.md` |
| Уровень 4: схема контекста задания | миграция с нуля, повтор, откат, `--sql`, `make rolling_update`; план снимка очереди | `lock_timeout`, `NOT VALID`; без Seq Scan | `evidence/migrations/job-trace-context.md`, `evidence/telemetry/queue-snapshot.md` (commit `72cfa9a`) |
| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules`; у каждого из 7 оповещений есть runbook | `evidence/alerts/rules-test.md` |
| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0: остановленный worker, relay, медленная и недоступная БД, медленный handler — firing и снятие в сроки, лишних нет; SLI двумя путями | `evidence/alerts/check.md` |
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0: `make test` PASS при остановленных Loki, Tempo, Prometheus и Collector, память ниже лимитов, потери учтены, оповещения | `evidence/telemetry/backend-outage.md` |
| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules` (39 проверок оповещений и 6 правил записи); у каждого из 7 оповещений есть runbook | `evidence/alerts/rules-test.md` (commit `15ea156`) |
| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0 (~20 мин): остановленный worker — firing через 158 с, снято через 44 с; relay — 220 / 45 с; медленная БД — 165 / 89 с; медленный handler — оповещения нет; недоступная БД — 60 и 105 / 29 и 135 с; лишних нет; SLI двумя путями совпали | `evidence/alerts/check.md` (commit `15ea156`) |
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 93 МиБ из 256, реплики без роста; потери учтены (443 записи, 1342 span, SDK 11 683 и 11 810); `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `15ea156`) |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
+232
View File
@@ -0,0 +1,232 @@
# `driver.py --port 8080 alerts-check` (change `slo-alerts`, задача 11.2)
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
рабочее дерево чистое (`git status --short` до прогона — только `?? evidence/alerts/`). Файлы
`src/` и `migrations/` (151) в контейнерах `api` (2: `api-13`, `api-14`), `relay`, `worker` и
`cleaner` побайтно совпадают с деревом commit (SHA-256 каждого файла); ревизия схемы
`e4b8c2d17f90`. Стенд поднят `make run_docker` в 22:45Z (образ уже был собран из того же дерева,
контейнеры не пересоздавались; сервисы телеметрии, в том числе Prometheus и Collector, запущены
заново в 22:45Z).
- Дата: 2026-11-13, 22:46:44Z – 23:06:20Z (~19,6 мин); хост macOS, Docker 29.9.2, Compose 5.6.1, ВМ
Docker Desktop — 12 CPU / 11,6 ГиБ. Рабочий стенд `mtusi-lab6` (две реплики API, relay, worker,
уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория:
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 alerts-check`, код выхода 0.
- Всё — через HTTP API Grafana на `127.0.0.1:3000` с паролем из `.env` (источники-прокси uid
`prometheus`, `loki`, `tempo`); моменты pending / firing / снятия — `/api/v1/rules` раз в 5 с,
время — от начала шага (у `MessengerQueueLagHigh` — от первой загрузки, у снятия — от
восстановления). Пользователи, пароли, токены и файлы — синтетические, в вывод не попадают.
Фоновая нагрузка драйвера через LB — 6 потоков отправки сообщения с новым `Idempotency-Key` раз в
0,25 с и 1 поток чтения истории раз в 1 с (design, «Уточнения apply», п. 7).
- Отказы: шаг 1 — `docker compose stop worker`, 3 загрузки, `docker start` того же контейнера через
159 с; шаг 2 — `docker compose stop relay`, `docker start`; шаг 3 — сессия psql с
`application_name = mtusi-alerts-check` циклами держит `LOCK TABLE messages IN SHARE MODE` 2 с с
паузой 0,2 с, затем `pg_terminate_backend`; шаг 4 — 3 потока входа по Basic 45 с (сравнение, отказа
нет); шаг 5 — `docker compose stop postgres`, затем `start`. В `finally` — нагрузка остановлена,
сессия блокировки завершена, PostgreSQL, worker и relay запущены, LB готов (последняя строка).
## Сценарии → строки вывода
| Сценарий (`observability`, если не указано) | Строки |
| --- | --- |
| «Правила загружены» | `rule groups loaded`, `rules with evaluation errors`, `alerts loaded`, `Grafana shows rules…`, `rule change through Grafana rejected`, `alert delivery addresses`, `prometheus config has alertmanagers` |
| «Остановленный worker» | `[worker stopped]`: firing через 158 с после первой загрузки (≤ 240), `outbox + published` +3, снято через 44 с после запуска (≤ 120), 3 `ready` |
| «Перезапуск worker» | `[worker stopped] time to ready count…`: первая точка нового процесса — 0 (время начала), приращение по точкам ровно 3; worker стоял 159 с (> 2 мин) |
| «Остановленный relay» | `[relay stopped] MessengerQueueMetricsMissing firing` через 220 с (≤ 300), снято через 45 с (≤ 120) |
| «Остановленный relay уходит из рядов» | `[relay stopped] queue series gone within 120 s` — через 65 с |
| «Медленная БД» | `[slow database]`: firing через 165 с (≤ 180), доля span PostgreSQL в медленных трассах отправки 0,99, пул 6 против 0, CPU реплик 0,11 предела, снято через 89 с (≤ 240), `MessengerHighErrorRate` нет |
| «Медленный handler не путается с БД» | `[slow handler]`: доля span PostgreSQL 0,01–0,02, пул занят не больше 0,30, отказов по сроку 0, CPU реплик 0,80 предела, `MessengerSlowRequests` неактивно (доля медленных до 0,050) |
| «Тяжёлая ручка вне SLI задержки» | `[slow handler] login p95 on the route panel slower than 0.25 s` (p95 входа 0,667 с) при неактивном `MessengerSlowRequests` |
| «Недоступная БД» | `[database down]`: `MessengerNoReadyReplicas` firing через 60 с, `MessengerHighErrorRate` через 105 с (≤ 180), сняты через 29 и 135 с (≤ 240) |
| «Ответы самого балансировщика» | `[database down]`: готовых реплик 0, клиент получил 2548 ответов 503 от LB (без `X-Instance-Id`), 5xx на LB +2603, у API +27 |
| «Отказ БД виден в SLI доступности» | `availability SLI over the outage window: LB 0.5544, client 0.5576` |
| «SLO считается» | `[SLI and panels]`: три SLI за 7 суток в [0, 1], за час по рядам правил и по исходным счётчикам в тех же окнах совпали (расхождение 0 п. п. при ≤ 1) |
| «История оповещения на панели», «Новые панели после трафика» | `alert history panel shows firing of the steps`, `new panel queries (31) with data: []` (у 31 запроса панелей с id от 25 данных хватает) |
| «Без потерь» (`TelemetryDataLoss`) | `other alerts firing: []` на каждом шаге |
Лишних firing нет ни на одном шаге (`other alerts firing: []`); `MessengerQueueMetricsMissing` в
pending во время недоступной БД — допустимо (relay не делает снимок без PostgreSQL).
## Вывод
```
alerts-check 2026-11-13T22:46:44Z: rules, quiet stand
rule groups loaded: ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts']
rules with evaluation errors: []
alerts loaded: ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown']
Grafana shows rules of the Prometheus datasource: 200 ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts']
rule change through Grafana rejected: yes
alert delivery addresses: []
prometheus config has alertmanagers: no
load: 6 writers every 0.25 s and 1 reader every 1.0 s
observed: pool used before the steps (max): 0
uploads ready before the steps: 20
[worker stopped] stand quiet before the step: yes
[worker stopped]
observed: queue by stage and age before: {'outbox': 0.0, 'processing': 0.0, 'published': 0.0, 'scheduled': 0.0, 'oldest_age_s': 0.0}
observed: worker stopped at 48 s of the drill
[worker stopped] uploads accepted (202): 3
observed: MessengerQueueLagHigh pending after 98 s
[worker stopped] MessengerQueueLagHigh firing after the first upload: after 158 s
observed: queue by stage and age: {'outbox': 0.0, 'processing': 0.0, 'published': 3.0, 'scheduled': 0.0, 'oldest_age_s': 141.3}
[worker stopped] outbox + published grew by the uploads: 3.0
[worker stopped] consumer spans after the stop: 0
observed: last worker record in Loki: 'Attachment became ready' 1 s before the stop
observed: 'Stopped worker' in stdout: yes
[worker stopped] worker series gone before the start: 0
observed: worker down for 159 s
[worker stopped] uploads ready after the start: 3
[worker stopped] MessengerQueueLagHigh resolved after the start: after 44 s
observed: time to ready count, first points of the new process: [(2.5, 0.0)]
[worker stopped] time to ready count grew by the uploads (by points): 3.0
[worker stopped] other alerts firing: []
[relay stopped] stand quiet before the step: yes
[relay stopped]
[relay stopped] queue series gone within 120 s: yes
observed: queue series gone after 65 s
[relay stopped] MessengerQueueMetricsMissing firing: after 220 s
[relay stopped] MessengerQueueMetricsMissing resolved after the start: after 45 s
[relay stopped] other alerts firing: []
[slow database] stand quiet before the step: yes
[slow database]
[slow database] MessengerSlowRequests firing: after 165 s
observed: slow light requests share: 0.428
observed: p95 by route before: {'/api/v1/chats/{chat_id}/messages': 0.021}
observed: p95 by route during: {'/api/v1/chats/{chat_id}/messages': 2.324}
observed: PostgreSQL share of slow send traces: [0.99, 0.99, 0.99, 0.99, 0.99]
[slow database] PostgreSQL spans over half of slow send traces (median): yes
observed: pool used during (max): 6, before 0
[slow database] pool busier than before: yes
observed: CPU of replicas to limit (max): 0.11
[slow database] CPU of replicas below half of the limit: yes
[slow database] MessengerSlowRequests resolved after the unlock: after 89 s
[slow database] other alerts firing: []
[slow handler] stand quiet before the step: yes
[slow handler]
observed: logins: 506, median 0.27 s, max 0.92 s
observed: PostgreSQL share of slow login traces: [0.01, 0.01, 0.01, 0.01, 0.02]
[slow handler] PostgreSQL spans under a fifth of slow login traces (median): yes
observed: pool: max share used 0.30, requests in checkout (max) 0, timeouts 0
[slow handler] no request waits for a free pool connection: yes
observed: CPU of replicas to limit (max): 0.80
observed: p95 by route: {'/api/v1/chats/{chat_id}/messages': 0.127, '/api/v1/auth/sessions': 0.667}
[slow handler] login p95 on the route panel slower than 0.25 s: yes
observed: slow light requests share (max): 0.050
[slow handler] MessengerSlowRequests stayed inactive: yes
[slow handler] other alerts firing: []
[database down] stand quiet before the step: yes
[database down]
[database down] MessengerNoReadyReplicas firing: after 60 s
[database down] MessengerHighErrorRate firing: after 105 s
[database down] ready replicas in LB: 0
observed: 'Database is unavailable' records of replicas in Loki: 27
observed: API traces with an error server span: 27, with a PostgreSQL span in error: 0
[database down] LB ready after the start: yes
observed: client responses during the outage: {'5xx': 2562}, from LB: 2548
[database down] MessengerNoReadyReplicas resolved: after 29 s
[database down] MessengerHighErrorRate resolved: after 135 s
observed: 5xx grew: LB 2603, API 27; LB responses 5841
[database down] 5xx on LB more than 5xx of API: yes
[database down] LB 5xx grew by the LB's own 503 to the client or more: yes
observed: availability SLI over the outage window: LB 0.5544, client 0.5576
[database down] LB 5xx share equals the client's within 5%: yes
observed: MessengerQueueMetricsMissing was pending (allowed)
[database down] other alerts firing: []
[SLI and panels]
observed: client responses over the drill: {'2xx': 22982, '5xx': 2601}
observed: messenger-slo windows in the last hour: 3 of 12
SLI availability over 7 days within [0, 1]: yes
observed: SLI availability: 7 days 0.93201, hour by rules 1.00000, by raw counters in the same windows 1.00000 (14685 events), raw increase over the hour 1.00000
SLI availability over the hour, rules vs raw counters within 1 pp: yes
observed: SLI availability over the drill: 0.89966
SLI latency over 7 days within [0, 1]: yes
observed: SLI latency: 7 days 0.98539, hour by rules 0.98209, by raw counters in the same windows 0.98209 (14225 events), raw increase over the hour 0.98290
SLI latency over the hour, rules vs raw counters within 1 pp: yes
observed: SLI latency over the drill: 0.97905
SLI time to ready over 7 days within [0, 1]: yes
observed: SLI time to ready: 7 days 0.93039, hour by rules 0.91358, by raw counters in the same windows 0.91358 (37 events), raw increase over the hour 0.86957
SLI time to ready over the hour, rules vs raw counters within 1 pp: yes
observed: SLI time to ready over the drill: 0.86957
new panel queries (31) with data: []
alert history panel shows firing of the steps: ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests']
memory prometheus 77a121dcddff: peak 108 MiB, anon+kernel+shmem 54 MiB, file 6 MiB, limit 384 MiB
memory otel-collector 7209c9b86a7c: peak 76 MiB, anon+kernel+shmem 73 MiB, file 0 MiB, limit 256 MiB
rule groups loaded expected ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts'] got ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts']
rules with evaluation errors expected [] got []
alerts loaded expected ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown'] got ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown']
Grafana shows rules of the Prometheus datasource expected 200 ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts'] got 200 ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts']
rule change through Grafana rejected expected yes got yes
alert delivery addresses expected [] got []
prometheus config has alertmanagers expected no got no
uploads ready before the steps expected 20 got 20
[worker stopped] stand quiet before the step expected yes got yes
[worker stopped] uploads accepted (202) expected 3 got 3
[worker stopped] MessengerQueueLagHigh firing after the first upload within 240 s expected yes got yes
[worker stopped] outbox + published grew by the uploads expected 3.0 got 3.0
[worker stopped] consumer spans after the stop expected 0 got 0
[worker stopped] worker series gone before the start expected 0 got 0
[worker stopped] uploads ready after the start expected 3 got 3
[worker stopped] MessengerQueueLagHigh resolved after the start within 120 s expected yes got yes
[worker stopped] time to ready count grew by the uploads (by points) expected 3.0 got 3.0
[worker stopped] other alerts firing expected [] got []
[relay stopped] stand quiet before the step expected yes got yes
[relay stopped] queue series gone within 120 s expected yes got yes
[relay stopped] MessengerQueueMetricsMissing firing within 300 s expected yes got yes
[relay stopped] MessengerQueueMetricsMissing resolved after the start within 120 s expected yes got yes
[relay stopped] other alerts firing expected [] got []
[slow database] stand quiet before the step expected yes got yes
[slow database] MessengerSlowRequests firing within 180 s expected yes got yes
[slow database] PostgreSQL spans over half of slow send traces (median) expected yes got yes
[slow database] pool busier than before expected yes got yes
[slow database] CPU of replicas below half of the limit expected yes got yes
[slow database] MessengerSlowRequests resolved after the unlock within 240 s expected yes got yes
[slow database] other alerts firing expected [] got []
[slow handler] stand quiet before the step expected yes got yes
[slow handler] PostgreSQL spans under a fifth of slow login traces (median) expected yes got yes
[slow handler] no request waits for a free pool connection expected yes got yes
[slow handler] login p95 on the route panel slower than 0.25 s expected yes got yes
[slow handler] MessengerSlowRequests stayed inactive expected yes got yes
[slow handler] other alerts firing expected [] got []
[database down] stand quiet before the step expected yes got yes
[database down] MessengerNoReadyReplicas firing within 180 s expected yes got yes
[database down] MessengerHighErrorRate firing within 180 s expected yes got yes
[database down] ready replicas in LB expected 0 got 0
[database down] LB ready after the start expected yes got yes
[database down] MessengerNoReadyReplicas resolved within 240 s expected yes got yes
[database down] MessengerHighErrorRate resolved within 240 s expected yes got yes
[database down] 5xx on LB more than 5xx of API expected yes got yes
[database down] LB 5xx grew by the LB's own 503 to the client or more expected yes got yes
[database down] LB 5xx share equals the client's within 5% expected yes got yes
[database down] other alerts firing expected [] got []
SLI availability over 7 days within [0, 1] expected yes got yes
SLI availability over the hour, rules vs raw counters within 1 pp expected yes got yes
SLI latency over 7 days within [0, 1] expected yes got yes
SLI latency over the hour, rules vs raw counters within 1 pp expected yes got yes
SLI time to ready over 7 days within [0, 1] expected yes got yes
SLI time to ready over the hour, rules vs raw counters within 1 pp expected yes got yes
new panel queries (31) with data expected [] got []
alert history panel shows firing of the steps expected ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests'] got ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests']
PASS: each alert went firing on its fault and resolved after the recovery, no other alert fired; SLI agree by both paths
restored: load stopped, lock session ended, PostgreSQL started, worker and relay running: yes, LB ready: yes
```
## Чтение чисел
- **SLI за час** — по последней точке ряда `messenger-slo` (Prometheus пишет точку с временем
предыдущего слота, design, «Уточнения apply», п. 11): окон за час 3 из 12 — Prometheus запущен в
22:45Z, раньше рядов правил за этот час нет; поэтому за час доступность 1,00000 — отказ БД (шаг 5)
ещё не попал в записанные окна. Окно учений целиком — строки `SLI … over the drill` по исходным
счётчикам: доступность 0,89966 (отказ БД), задержка 0,97905 (медленная БД), время до `ready`
0,86957 (три загрузки при остановленном worker ждали дольше 30 с).
- **SLI за 7 суток** включает все учения и проверки этого и прошлых прогонов на рабочем стенде
(доступность 0,93201 при SLO 0,995 — бюджет исчерпан учениями; остаток бюджета на панели
отрицательный), это ожидаемо и названо в `REPORT.md` («Ограничения SLI»).
- **Время до `ready`** за час одним окном (0,86957) и по окнам правил (0,91358) расходятся из-за
потери приращения на границах непересекающихся окон при единицах событий (design, «Уточнения
apply», п. 12); проверка сравнивает пути в тех же окнах — 0 п. п.
- **Span PostgreSQL с ошибкой при недоступной БД — 0** из 27 трасс 503: отказ — на выдаче
соединения из пула, до `before_cursor_execute` (design, «Уточнения apply», п. 9; наблюдение, а не
проверка). Причину называют записи «Database is unavailable» в Loki (27 — по одной на ответ 503
реплик до вывода из LB).
- **Память** Prometheus и Collector — `memory.peak` с их запуска в 22:45Z (весь прогон): Prometheus
108 МиБ (неосвобождаемая часть 54), Collector 76 МиБ при лимитах 384 и 256 — правило «лимит ≥
1,5 × пика» выполнено (раздел change `slo-alerts` в `evidence/telemetry/budget.md`).
+74
View File
@@ -0,0 +1,74 @@
# `make alerts_test` (change `slo-alerts`, задача 11.1)
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
рабочее дерево чистое (`git status --short` пуст до прогона; новые файлы — только `evidence/`).
- Дата: 2026-11-11, 21:36:51Z – 21:36:52Z (~1 с); хост macOS, Docker 29.9.2, Compose 5.6.1. Стенд
не нужен: файлы `infra/otel/prometheus/` (`prometheus.yml`, `rules.yml`, `rules.test.yml`) уходят
`tar` через stdin в одноразовый контейнер закреплённого образа Prometheus с `--network none`, там
`promtool check config`, `promtool check rules`, `promtool test rules rules.test.yml`; затем у
каждого из семи оповещений `rules.yml` поле `runbook_url` — существующий файл репозитория.
Команда из корня репозитория: `make alerts_test`, код выхода 0.
- Состав тестов `rules.test.yml`: 19 групп синтетических рядов (интервал 15 с, как у стенда),
39 проверок оповещений (`alert_rule_test`) и 6 проверок правил записи (`promql_expr_test`). На
каждое оповещение — срабатывание после `for`, нет срабатывания ниже порога и без трафика, снятие
после восстановления; `MessengerQueueMetricsMissing` молчит при недоступном экспортёре Collector;
`TelemetryDataLoss` — новый ряд, рост, сброс счётчика.
- Сценарий: `observability` «Тесты правил» (проверка синтаксиса и модульные тесты правил — код 0);
«Правила оповещений» — у каждого оповещения есть runbook в git.
```
promtool from prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
Checking prometheus.yml
SUCCESS: 1 rule files found
SUCCESS: prometheus.yml is valid prometheus config file syntax
Checking /etc/prometheus/rules.yml
SUCCESS: 20 rules found
Checking rules.yml
SUCCESS: 20 rules found
SUCCESS
runbook infra/otel/runbooks/MessengerHighErrorRate.md: ok
runbook infra/otel/runbooks/MessengerSlowRequests.md: ok
runbook infra/otel/runbooks/MessengerNoReadyReplicas.md: ok
runbook infra/otel/runbooks/MessengerQueueLagHigh.md: ok
runbook infra/otel/runbooks/MessengerQueueMetricsMissing.md: ok
runbook infra/otel/runbooks/TelemetryTargetDown.md: ok
runbook infra/otel/runbooks/TelemetryDataLoss.md: ok
alerts: 7, each with an existing runbook
```
Строки по шагам: `Checking prometheus.yml` и `Checking /etc/prometheus/rules.yml` — `check config`
(он проверяет и файл из `rule_files`), `Checking rules.yml` — `check rules`, одиночное `SUCCESS` —
итог `test rules` (39 + 6 проверок; при отказе он печатает каждую несовпавшую, как ниже).
## Тесты ловят изменённый порог (контроль, не в git)
Тот же образ и те же три файла, скопированные во временный каталог вне репозитория; в копии
`rules.yml` порог доли медленных «лёгких» запросов у `MessengerSlowRequests` поднят с 0.1 до 0.5
(файлы репозитория не менялись):
```
92c92
< expr: messenger:http_light_slow:ratio_rate2m > 0.1 and messenger:http_light_requests:rate2m > 0.1
---
> expr: messenger:http_light_slow:ratio_rate2m > 0.5 and messenger:http_light_requests:rate2m > 0.1
```
`promtool test rules rules.test.yml` на копии — код 1:
```
FAILED:
alertname: MessengerSlowRequests, time: 6m,
exp:[
0:
Labels:{alertname="MessengerSlowRequests", severity="warning"}
Annotations:{description="50% of light API requests without 5xx in the last 2 minutes took longer than 0.25 s (threshold 10 %, SLO 99 %); login, registration and attachment bytes are not counted. Runbook: infra/otel/runbooks/MessengerSlowRequests.md", runbook_url="infra/otel/runbooks/MessengerSlowRequests.md", summary="Many light API requests are slower than 0.25 s"}
],
got:[]
```
Доля медленных в тесте — ровно 50 %, поэтому с порогом `> 0.5` оповещение не срабатывает, и тест
«срабатывание после `for`» красный.
+163
View File
@@ -0,0 +1,163 @@
# `driver.py --port 8080 backend-outage` (change `slo-alerts`, задача 11.3)
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
рабочее дерево чистое (до прогона вне `evidence/` изменений нет). Файлы `src/` и `migrations/`
(151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit
(SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`.
- Дата: 2026-11-13, 23:06:38Z – 23:22:25Z (~15,8 мин), сразу после `alerts-check`
(`evidence/alerts/check.md`); хост macOS, Docker 29.9.2, Compose 5.6.1, ВМ Docker Desktop — 12 CPU /
11,6 ГиБ. Рабочий стенд `mtusi-lab6`, команда из корня репозитория:
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 backend-outage`, код выхода 0.
- Через HTTP API Grafana на `127.0.0.1:3000` (пароль из `.env`, в вывод не попадает); та же фоновая
нагрузка драйвера, что у `alerts-check` (6 потоков отправки раз в 0,25 с, 1 чтения раз в 1 с);
память — раз в 2 с: `memory.current` реплик из их cgroup (`docker exec … cat`), Collector —
`docker stats` (в образе нет оболочки) и `otelcol_process_runtime_total_sys_memory_bytes`.
- Шаги: Loki — `docker compose stop` на 10 с со своим запросом (известный `X-Request-Id`), затем на
120 с (> 30 с повторов Collector) с `make test`; то же для Tempo; Prometheus — 60 с; Collector —
120 с с `make test`. В `finally` — все сервисы телеметрии, worker и relay запущены, нагрузка
остановлена (последняя строка).
## Сценарии → строки вывода
| Сценарий (`observability`) | Строки |
| --- | --- |
| «Короткий отказ хранилища» | `[loki short]`, `[tempo short]`: свой запрос найден после возврата, потери экспортёра 0 |
| «Долгий отказ хранилища» | `[loki long]`, `[tempo long]`: `make test` 0 PASS, 5xx у клиента 0 (2928 и 2934 ответа 2xx), очередь экспорта до 0,135 (Loki) и 0,656 (Tempo) ёмкости, память Collector до 93 МиБ при лимите 256, `TelemetryTargetDown` firing через 105 и 90 с (≤ 118), `TelemetryDataLoss` firing, новые сигналы после возврата, оба сняты (через 40 / 145 с и 30 / 150 с, ≤ 240) |
| «Потери Collector при недоступном хранилище» | `[tempo long] Collector losses of otlp_http/tempo: 1342 spans` (и `[loki long]` — 443 записи), `TelemetryDataLoss firing` |
| «Отказ Prometheus» | `[prometheus]`: 5xx 0 (1467 ответов 2xx), счёт запросов API между точками до и после (105 с) вырос на 2565 при 1833 запросах нагрузки в этом окне |
| «Отказ Collector под нагрузкой» | `[collector]`: `make test` 0 PASS, `TelemetryTargetDown{job=otel-collector}` firing через 95 с, память реплик — максимум последней трети окна 156 и 154 МиБ против 142 и 145 первой (рост ≤ 16 МиБ), лимит 512; `MessengerQueueMetricsMissing` неактивно; снято через 20 с |
| «Потери SDK при недоступном Collector» | `[collector] SDK losses before {}, after {…: 11683.0, …: 11810.0}`, ёмкость очередей SDK 2048, записей API в окне: stdout 5275, Loki 0 |
| «Без потерь» | `stand quiet before the step: yes` перед каждым шагом (в том числе `TelemetryDataLoss` неактивно), потери коротких отказов 0 |
## Вывод
```
backend-outage 2026-11-13T23:06:38Z
[loki short] stand quiet before the step: yes
[loki short] own request found after the return: yes
[loki short] Collector losses of otlp_http/loki: 0
[loki long] stand quiet before the step: yes
[loki long] make test: 0 PASS
[loki long] TelemetryTargetDown{job=loki} firing: after 105 s
observed: export queue of otlp_http/loki, max share of capacity: 0.135
[loki long] export queue within its capacity: yes
observed: Collector memory: docker stats max 77 MiB, runtime sys max 76 MiB, limit 256 MiB
[loki long] Collector memory below its limit: yes
observed: client responses during the outage: {'2xx': 2928}
[loki long] client 5xx during the outage: 0
[loki long] TelemetryDataLoss firing: yes
observed: Collector losses of otlp_http/loki: 443 log_records
[loki long] losses counted by the Collector: yes
[loki long] new signals arrive after the return: yes
[loki long] TelemetryTargetDown resolved: after 40 s
[loki long] TelemetryDataLoss resolved: after 145 s
[tempo short] stand quiet before the step: yes
[tempo short] own request found after the return: yes
[tempo short] Collector losses of otlp_http/tempo: 0
[tempo long] stand quiet before the step: yes
[tempo long] make test: 0 PASS
[tempo long] TelemetryTargetDown{job=tempo} firing: after 90 s
observed: export queue of otlp_http/tempo, max share of capacity: 0.656
[tempo long] export queue within its capacity: yes
observed: Collector memory: docker stats max 93 MiB, runtime sys max 84 MiB, limit 256 MiB
[tempo long] Collector memory below its limit: yes
observed: client responses during the outage: {'2xx': 2934}
[tempo long] client 5xx during the outage: 0
[tempo long] TelemetryDataLoss firing: yes
observed: Collector losses of otlp_http/tempo: 1342 spans
[tempo long] losses counted by the Collector: yes
[tempo long] new signals arrive after the return: yes
[tempo long] TelemetryTargetDown resolved: after 30 s
[tempo long] TelemetryDataLoss resolved: after 150 s
[prometheus] stand quiet before the step: yes
observed: client responses while Prometheus is down: {'2xx': 1467}
[prometheus] client 5xx while Prometheus is down: 0
[prometheus] Prometheus answers again: yes
observed: API request count grew by 2565 between scrapes 105 s apart; load sent 1833 in that window
[prometheus] request count grew at least by the load: yes
[collector] stand quiet before the step: yes
[collector] make test: 0 PASS
[collector] TelemetryTargetDown{job=otel-collector} firing: after 95 s
observed: api 224ebf0e32ba: memory max first third 142 MiB, last third 156 MiB, limit 512 MiB
[collector] api 224ebf0e32ba memory does not grow and is below its limit: yes
observed: api 4b9782f7240b: memory max first third 145 MiB, last third 154 MiB, limit 512 MiB
[collector] api 4b9782f7240b memory does not grow and is below its limit: yes
[collector] MessengerQueueMetricsMissing stayed inactive: yes
[collector] TelemetryTargetDown resolved: after 20 s
observed: SDK losses before {}, after {'224ebf0e32ba': 11683.0, '4b9782f7240b': 11810.0}
[collector] SDK loss counters of replicas grew: yes
[collector] SDK queue capacity as [telemetry] max_queue_size: {2048.0}
observed: API records in the outage window: stdout 5275, Loki 0
[collector] fewer Loki records than stdout records in the window: yes
memory otel-collector 7209c9b86a7c: peak 68 MiB, anon+kernel+shmem 66 MiB, file 0 MiB, limit 256 MiB
memory prometheus 77a121dcddff: peak 89 MiB, anon+kernel+shmem 55 MiB, file 0 MiB, limit 384 MiB
memory api 224ebf0e32ba: peak 334 MiB, anon+kernel+shmem 133 MiB, file 0 MiB, limit 512 MiB
memory api 4b9782f7240b: peak 327 MiB, anon+kernel+shmem 135 MiB, file 0 MiB, limit 512 MiB
[loki short] stand quiet before the step expected yes got yes
[loki short] own request found after the return expected yes got yes
[loki short] Collector losses of otlp_http/loki expected 0 got 0
[loki long] stand quiet before the step expected yes got yes
[loki long] make test expected 0 PASS got 0 PASS
[loki long] TelemetryTargetDown{job=loki} firing within 118 s expected yes got yes
[loki long] export queue within its capacity expected yes got yes
[loki long] Collector memory below its limit expected yes got yes
[loki long] client 5xx during the outage expected 0 got 0
[loki long] TelemetryDataLoss firing expected yes got yes
[loki long] losses counted by the Collector expected yes got yes
[loki long] new signals arrive after the return expected yes got yes
[loki long] TelemetryTargetDown resolved within 240 s expected yes got yes
[loki long] TelemetryDataLoss resolved within 240 s expected yes got yes
[tempo short] stand quiet before the step expected yes got yes
[tempo short] own request found after the return expected yes got yes
[tempo short] Collector losses of otlp_http/tempo expected 0 got 0
[tempo long] stand quiet before the step expected yes got yes
[tempo long] make test expected 0 PASS got 0 PASS
[tempo long] TelemetryTargetDown{job=tempo} firing within 118 s expected yes got yes
[tempo long] export queue within its capacity expected yes got yes
[tempo long] Collector memory below its limit expected yes got yes
[tempo long] client 5xx during the outage expected 0 got 0
[tempo long] TelemetryDataLoss firing expected yes got yes
[tempo long] losses counted by the Collector expected yes got yes
[tempo long] new signals arrive after the return expected yes got yes
[tempo long] TelemetryTargetDown resolved within 240 s expected yes got yes
[tempo long] TelemetryDataLoss resolved within 240 s expected yes got yes
[prometheus] stand quiet before the step expected yes got yes
[prometheus] client 5xx while Prometheus is down expected 0 got 0
[prometheus] Prometheus answers again expected yes got yes
[prometheus] request count grew at least by the load expected yes got yes
[collector] stand quiet before the step expected yes got yes
[collector] make test expected 0 PASS got 0 PASS
[collector] TelemetryTargetDown{job=otel-collector} firing within 118 s expected yes got yes
[collector] api 224ebf0e32ba memory does not grow and is below its limit expected yes got yes
[collector] api 4b9782f7240b memory does not grow and is below its limit expected yes got yes
[collector] MessengerQueueMetricsMissing stayed inactive expected yes got yes
[collector] TelemetryTargetDown resolved within 240 s expected yes got yes
[collector] SDK loss counters of replicas grew expected yes got yes
[collector] SDK queue capacity as [telemetry] max_queue_size expected {2048.0} got {2048.0}
[collector] fewer Loki records than stdout records in the window expected yes got yes
PASS: API and worker work while telemetry stores and the Collector are down; memory is bounded, losses are counted, alerts fire and resolve
restored: load stopped, telemetry services started, worker and relay running: yes
```
## Чтение чисел
- **Потери ограничены и учтены.** Долгий отказ Loki (120 с) — 443 записи журнала, Tempo — 1342 span
(`otelcol_exporter_enqueue_failed_*` / `send_failed_*` экспортёра): очередь Tempo (8 МиБ) за 120 с
заполнилась до 0,656 ёмкости, Loki (16 МиБ) — до 0,135, и при этом пакеты, чьи повторы истекли
(30 с), отброшены (design, решение 7: сохраняется начало отказа, теряется конец). Короткий отказ
(10 с + старт хранилища) — короче срока повторов, потерь 0, свой запрос нашёлся.
- **Отказ Collector** — потери у источника: очереди SDK (2048) у каждой реплики переполнились, счёт
`otel_sdk_*` с `error_type` — 11 683 и 11 810 (span и записи вместе), он копился в процессе и
пришёл в Prometheus после возврата Collector; записей API окна в Loki 0 из 5275 в stdout.
- **Память.** Collector в долгих отказах — `docker stats` до 93 МиБ, `otelcol_process_runtime_total_sys_memory_bytes`
до 84 МиБ при лимите 256 и `GOMEMLIMIT` 160. Строка `memory otel-collector … peak 68 MiB` в конце
— `memory.peak` cgroup после шага `[collector]` (`docker compose stop` / `start` того же контейнера
начинают новую cgroup), так же строка Prometheus (89 МиБ) — с его запуска на шаге `[prometheus]`;
пик Prometheus за всё время его жизни до этого — 108 МиБ в `alerts-check`. Реплики API при
недоступном Collector не растут сверх очередей SDK (рост максимума ≤ 14 МиБ, проверка ≤ 16 МиБ),
`memory.peak` реплик 334 и 327 МиБ — со старта стенда в 22:45Z (входы `alerts-check`), лимит 512.
Правило «лимит ≥ 1,5 × пика» — раздел change `slo-alerts` в `evidence/telemetry/budget.md`.
- **Prometheus.** Пока он стоит, правила не вычисляются и точек нет, а cumulative-счётчики после
возврата прежние: приращение между точками до и после окна 2565 ≥ 1833 запросов нагрузки (запросы
нагрузки драйвер считает с первой точки до второй минус 30 с — запас на экспорт SDK и сбор, —
поэтому приращение заведомо больше).
+58
View File
@@ -144,3 +144,61 @@ closed-loop на шумном хосте, не метка `bench/`: это по
compose config` — 11,5 / 7296, с `migrate` и `s3-bootstrap` — 12,5 / 7680; совпадают с
`.claude/rules/docker.md` («Суммы») и `REPORT.md` («Бюджет»). Соединений PostgreSQL change не
прибавил (пул relay 1, `trace-chain`: пределы 10, 10, 2, 1).
## Change `slo-alerts`: Collector в долгом отказе хранилища, Prometheus в учениях, реплики без Collector (задачи 9.8 и 11.4)
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
рабочее дерево чистое (вне `evidence/` изменений нет); файлы `src/` и `migrations/` в контейнерах
`api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit. Лимиты прежние, новых
сервисов и портов нет (design, решение 13).
- Дата: 2026-11-13, 22:46Z – 23:31Z; стенд `mtusi-lab6` поднят `make run_docker` в 22:45Z (сервисы
телеметрии, реплики, relay и worker — свежие cgroup), ВМ Docker Desktop — 12 CPU / 11 902 МиБ
(`docker info`: 11,62 GiB).
- Методика (design, решение 13; `.claude/rules/telemetry.md`, «Что считать пиком»): худший случай
каждого компонента — своя проверка. Collector — долгий (120 с) отказ Loki и Tempo под нагрузкой
драйвера в `backend-outage` (обе очереди экспорта заполняются; `docker stats` и
`otelcol_process_runtime_total_sys_memory_bytes` раз в 2 с) и `memory.peak` с запуска в 22:45Z за
`alerts-check`; Prometheus — `memory.peak` с запуска за весь `alerts-check` (правила, ~150 новых
рядов, запросы проверки и панелей); реплики API — `memory.current` из их cgroup раз в 2 с во время
120 с недоступного Collector под нагрузкой (`backend-outage`, шаг `[collector]`) и `memory.peak`
со старта стенда (входы по Basic в шаге 4 `alerts-check`). Пики печатают сами команды
(`evidence/alerts/check.md`, `evidence/telemetry/backend-outage.md`, строки `memory …`).
| Контейнер | Где пик | `memory.peak`, МиБ | `anon` + `kernel` + `shmem`, МиБ | Прочее | Лимит | 1,5 × пик ≤ лимита |
|---|---|---|---|---|---|---|
| `otel-collector` | `alerts-check` (с 22:45Z) | 76 | 73 | — | 0,5 CPU / 256 МиБ | да (114) |
| `otel-collector` | `backend-outage`, долгий отказ Tempo | — | — | `docker stats` до 93, runtime sys до 84; очередь Tempo 0,656 ёмкости, Loki 0,135 | 0,5 / 256 | да (140 по `docker stats`) |
| `prometheus` | `alerts-check` (с 22:45Z) | 108 | 54 | файловый кэш 6 | 0,5 / 384 | да (162) |
| `api` (`224ebf0e32ba`) | со старта стенда (входы `alerts-check`, `backend-outage`) | 334 | 133 | без Collector: `memory.current` 142 → 156 | 1 / 512 | да (501) |
| `api` (`4b9782f7240b`) | то же | 327 | 135 | без Collector: 145 → 154 | 1 / 512 | да (491) |
- **Collector.** Худший случай очередей — долгий отказ Tempo: очередь span (8 МиБ) заполнилась до
0,656 ёмкости, `docker stats` — до 93 МиБ, `otelcol_process_runtime_total_sys_memory_bytes` — до
84 МиБ; это ниже `GOMEMLIMIT` (160) и мягкого предела `memory_limiter`, отказов приёма не было
(потери — только очередь и повторы экспортёра: 1342 span, 443 записи). `memory.peak` за весь
`alerts-check` — 76 МиБ, неосвобождаемая часть 73 (файлового кэша у Collector нет). Пик cgroup
именно в окне долгого отказа не снят: шаг `[collector]` той же команды перезапускает контейнер
(`docker compose stop` / `start` — новая cgroup, в конце `memory.peak` 68 МиБ с этого момента), а
в пробных прогонах apply (design, «Уточнения apply», п. 13) он был 220–256 МиБ, из них файловый
кэш 157–187 и неосвобождаемая часть 62–72 МиБ. По неосвобождаемой части и по `docker stats` правило
выполнено с запасом (1,5 × 93 = 140 ≤ 256), лимит не меняется.
- **Prometheus.** `memory.peak` 108 МиБ за `alerts-check`, неосвобождаемая часть 54. В пробных
прогонах apply (design, «Уточнения apply», п. 13: процесс жил дольше, до прогона — другие проверки)
было 240 МиБ, из них кэш 148; правило выполнено и для этого пика: 1,5 × 240 = 360 ≤ 384. После
рестартов в `backend-outage` и `telemetry-check` / `telemetry-outage` пики меньше (89 и 96 МиБ).
- **Реплики API без Collector.** Память не растёт сверх очередей SDK: максимум последней трети окна
на 14 и 9 МиБ выше первой (проверка — не больше 16 МиБ), счёт потерь SDK — 11 683 и 11 810.
`memory.peak` 334 и 327 МиБ — от Argon2id входов (3 потока входа в шаге 4 `alerts-check`), а не от
SDK: неосвобождаемая часть в конце — 133 и 135 МиБ. Правило выполнено (501 и 491 ≤ 512), запас
реплики по-прежнему мал (прежний раздел: до 453 МиБ под `make student_test`), лимит не менялся.
- **Остальные контейнеры** — `memory.peak` в конце (23:31Z, после `telemetry-outage` и `trace-chain`:
почти все сервисы перезапущены в 23:26Z), МиБ / лимит: Grafana 238 / 512, Loki 101 / 512, Tempo
133 / 640, Collector 59 / 256, Prometheus 96 / 384, PostgreSQL 169 / 1024 (с 23:04Z, шаг 5
`alerts-check`), брокер 239 / 512, S3 350 / 512, Valkey 27 / 128, LB 28 / 256, уборщик 108 / 256,
relay 90 / 256, worker 122 / 1024, реплики 177 / 512.
- **Суммы** не изменились: `docker inspect` 15 работающих контейнеров (`HostConfig.NanoCpus`,
`HostConfig.Memory`) — 11,5 CPU / 7296 МиБ, `docker compose config` — 11,5 / 7296, с `migrate` и
`s3-bootstrap` — 12,5 / 7680; совпадают с `.claude/rules/docker.md` («Суммы») и `REPORT.md`
(«Бюджет»). ВМ — 12 CPU / 11 902 МиБ: с одноразовыми и контейнерами `make test_isolated` рядом
(+2,25 CPU / 1792 МиБ) — 9472 МиБ лимитов, запас ~2,4 ГиБ на накладные ВМ; CPU больше не дать (у
ВМ все 12 ядер хоста), сумма лимитов CPU больше 12 — конкуренция, а не отказ.
+45 -31
View File
@@ -1,12 +1,14 @@
# `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задачи 11.1 и 12; change `job-trace-propagation`, задача 12.2)
# `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задачи 11.1 и 12; change `job-trace-propagation`, задача 12.2; change `slo-alerts`, задача 11.4)
- Основа: commit `72cfa9a` (feat: propagate trace context through outbox and add pipeline saturation
metrics), рабочее дерево чистое (`git status --short` пуст до прогона; новые файлы — только
`evidence/`). Файлы `src/` и `migrations/` в контейнерах `api` (2), `relay`, `worker` и `cleaner`
побайтно совпадают с деревом commit (SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`.
Прежний прогон этого файла — на `68f1e97` (до change `job-trace-propagation`).
- Дата: 2026-11-11, 16:59:50Z – 17:01:41Z (~1,9 мин); рабочий стенд `mtusi-lab6` (две реплики API,
relay, worker, уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория:
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
рабочее дерево чистое (вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в
контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256
каждого файла); ревизия схемы `e4b8c2d17f90`. Прежние прогоны этого файла — на `68f1e97` (до
change `job-trace-propagation`) и на `72cfa9a` (до change `slo-alerts`: dashboard без строк «SLO
and alerts», «Load balancer», «Telemetry pipeline», SDK без внутренних метрик).
- Дата: 2026-11-13, 23:22:43Z – 23:24:43Z (~2 мин), сразу после `backend-outage`
(`evidence/telemetry/backend-outage.md`); рабочий стенд `mtusi-lab6` (две реплики API, relay,
worker, уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория:
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-check`, код выхода 0.
- Всё — через HTTP API Grafana на `127.0.0.1:3000` с паролем из `.env` (источники-прокси uid
`prometheus`, `loki`, `tempo`); пароль, токены и тела в вывод не попадают. Пароль, `username`,
@@ -22,17 +24,22 @@
запроса», «Трасса задания», «Отказ S3 в трассе», «Health и фоновые циклы без трасс», «Проба
приватности», «Запрос найден», «Задание найдено»; `service-logging` — «Записи запроса ведут к
трассе», «Записи задания ведут к трассе», «Запись в Loki совпадает со stdout»;
`service-configuration` — «Переменные OTEL_* не действуют».
- С change `job-trace-propagation`: `observability` «Ресурс relay» (span producer —
`messenger-relay`, `service.instance.id` = `instance_id` stdout relay; relay — в пробе сетей
хранилищ); `service-logging` «Записи relay в Loki» (запись прохода с публикацией в stdout и та же
в Loki) и «Проход relay без полей трассы» (без `trace_id` в обоих; корней-span relay в Tempo
нет). Шаги задания ищутся по consumer span `ready` трассы загрузки, а не по корню: его родитель —
span producer relay; трасса задания = трасса загрузки (`trace_id` записи «Uploaded attachment»).
- Свой запрос: `X-Request-Id` `fa505042431b47c0b898571fb326d873`, `X-Instance-Id`
`a4a1f203ef70`, trace-id `d09ff137a735b772a71fc19d90ab338d`; трасса загрузки
`95d2de2fc407f300bb758dd9586bf8d8`; проба приватности просмотрела 47 записей Loki, 28 трасс Tempo
и 1350 рядов Prometheus окна.
`service-configuration` — «Переменные OTEL_* не действуют». С change `job-trace-propagation`:
`observability` «Ресурс relay», `service-logging` «Записи relay в Loki» и «Проход relay без полей
трассы»; шаги задания — по consumer span `ready` трассы загрузки (его родитель — span producer
relay).
- С change `slo-alerts` (design, «Уточнения apply», пп. 5, 6): `observability` «Метрики балансировщика
без доступа к сети хранилищ» (строки `LB networks` — только `default`, `LB stats port published on
host` — нет, `prometheus has an LB target` — нет, `LB series with job haproxy…`, цель `haproxy`
в списке `up` = 1) и `load-balancing` «Метрики балансировщика» (`LB frontend responses grew by 20
or more` — 20 своих запросов через LB); «Новые панели после трафика» — `dashboard panel queries
(57) without error: 0` и `panel queries with data after traffic: []`: все 57 запросов панелей к
Prometheus (из них новых с id от 25 — 31, макрос `$__range` подменён на `1h`) выполнены без
ошибки и с данными на стенде без оповещений, в том числе панели потерь и истории оповещений (`or
on() vector(0)`).
- Свой запрос: `X-Request-Id` `c126a16170d94f35b43139e1289b2d81`, `X-Instance-Id` `4b9782f7240b`,
trace-id `6e280eb8369840989e91c7c4a2a062e6`; трасса загрузки `878badb606a661c26d22b71170770d21`;
проба приватности просмотрела 48 записей Loki, 29 трасс Tempo и 903 ряда Prometheus окна.
```
grafana without credentials expected 401 got 401
@@ -55,6 +62,12 @@ prometheus target otel-collector-exporter up expected 1
prometheus target loki up expected 1 got 1
prometheus target tempo up expected 1 got 1
prometheus target prometheus up expected 1 got 1
prometheus target haproxy up expected 1 got 1
LB networks expected ['default'] got ['default']
LB stats port published on host expected no got no
prometheus has an LB target expected no got no
LB series with job haproxy (frontend, backend, ready) expected yes got yes
LB frontend responses grew by 20 or more expected yes got yes
register probe user expected 201 got 201
login by Basic expected 201 got 201
create chat expected 201 got 201
@@ -75,15 +88,15 @@ one trace_id and span_id in them expected 1
trace_id format expected yes got yes
Loki record of the request expected 1 got 1
Loki service_name expected messenger-api got messenger-api
Loki service_instance_id = X-Instance-Id expected a4a1f203ef70 got a4a1f203ef70
Loki instance_id = X-Instance-Id expected a4a1f203ef70 got a4a1f203ef70
Loki trace_id = stdout expected d09ff137a735b772a71fc19d90ab338d got d09ff137a735b772a71fc19d90ab338d
Loki service_instance_id = X-Instance-Id expected 4b9782f7240b got 4b9782f7240b
Loki instance_id = X-Instance-Id expected 4b9782f7240b got 4b9782f7240b
Loki trace_id = stdout expected 6e280eb8369840989e91c7c4a2a062e6 got 6e280eb8369840989e91c7c4a2a062e6
Loki event, method, path, status, duration = stdout expected yes got yes
Tempo server span expected POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER got POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER
server span status code expected 201 got 201
server span request id = X-Request-Id expected fa505042431b47c0b898571fb326d873 got fa505042431b47c0b898571fb326d873
server span request id = X-Request-Id expected c126a16170d94f35b43139e1289b2d81 got c126a16170d94f35b43139e1289b2d81
resource service.name expected messenger-api got messenger-api
resource service.instance.id expected a4a1f203ef70 got a4a1f203ef70
resource service.instance.id expected 4b9782f7240b got 4b9782f7240b
resource service.version = contract expected 1.6.0 got 1.6.0
resource deployment.environment.name expected lab got lab
PostgreSQL query spans under it expected yes got yes
@@ -96,14 +109,14 @@ traceparent request has its own trace expected yes
spans of the foreign trace-id in Tempo expected 0 got 0
its server span has no parent expected yes got yes
Loki worker record of the attachment expected 1 got 1
job trace = upload trace (trace_id of Uploaded attachment) expected 95d2de2fc407f300bb758dd9586bf8d8 got 95d2de2fc407f300bb758dd9586bf8d8
job trace = upload trace (trace_id of Uploaded attachment) expected 878badb606a661c26d22b71170770d21 got 878badb606a661c26d22b71170770d21
worker stdout records carry the job trace_id expected yes got yes
Tempo consumer span in the upload trace expected SPAN_KIND_CONSUMER ready got SPAN_KIND_CONSUMER ready
worker resource service.name expected messenger-worker got messenger-worker
worker service.instance.id = instance_id of its stdout expected b221c6088b4b got b221c6088b4b
worker service.instance.id = instance_id of its stdout expected dd039bfb3324 got dd039bfb3324
consumer span parent: relay producer span expected SPAN_KIND_PRODUCER got SPAN_KIND_PRODUCER
producer resource service.name expected messenger-relay got messenger-relay
producer service.instance.id = instance_id of relay stdout expected f1a1d8fef0bc got f1a1d8fef0bc
producer service.instance.id = instance_id of relay stdout expected b90816dcb1cd got b90816dcb1cd
relay pass record with publication in stdout expected yes got yes
same relay pass records in Loki (event, published) expected yes got yes
relay pass records without trace_id in stdout and Loki expected yes got yes
@@ -155,7 +168,7 @@ _OTHER series without http_route expected yes
forbidden label names expected [] got []
label values that are UUIDs expected 0 got 0
label values with BREW, PROPFIND or the odd UUID expected 0 got 0
dashboard panel queries (26) without error expected 0 got 0
dashboard panel queries (57) without error expected 0 got 0
panel queries with data after traffic expected [] got []
U in telemetry expected [] got []
P in telemetry expected [] got []
@@ -169,7 +182,7 @@ foreign trace-id in telemetry expected []
pipeline back after restart expected yes got yes
same Loki record after restart expected yes got yes
same trace after restart expected yes got yes
same metric value at the saved time expected 18 got 18
same metric value at the saved time expected 10 got 10
PASS: own request and job are found in Loki, Tempo and Prometheus through Grafana, no secrets in telemetry
```
@@ -178,5 +191,6 @@ PASS: own request and job are found in Loki, Tempo and Prometheus through Grafan
prometheus loki tempo` (параметр `time` запроса). «Span-to-logs query» — запрос `tracesToLogsV2`
источника Tempo из `infra/otel/grafana/datasources.yaml`, в который подставлены `service.name`
ресурса и trace-id своей трассы: он возвращает записи только этой трассы — тот же переход, что
открывает ссылка из span в Grafana. «Panel queries with data after traffic: []» — список панелей
без данных пуст (26 запросов dashboard, в том числе уровня 4).
открывает ссылка из span в Grafana. «Dashboard panel queries (57) without error: 0» — число
запросов панелей к Prometheus с ошибкой; «panel queries with data after traffic: []» — список
запросов без данных пуст (57 запросов dashboard: уровни 3 и 4 и новые строки change `slo-alerts`).
+26 -21
View File
@@ -1,17 +1,21 @@
# `driver.py --port 8080 telemetry-outage` (change `otel-telemetry`, задача 11.2; change `job-trace-propagation`, задачи 12.2 и 13.11)
# `driver.py --port 8080 telemetry-outage` (change `otel-telemetry`, задача 11.2; change `job-trace-propagation`, задачи 12.2 и 13.11; change `slo-alerts`, задача 11.4)
- Основа: commit `72e2598` (fix: address job-trace-propagation verify findings), рабочее дерево
чистое (`git status --short` до прогона пуст; после — только файлы `evidence/`). Файлы `src/` и
`migrations/` (151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с
деревом commit (SHA-256 каждого файла). Прежние прогоны этого файла — на `68f1e97` (до change
`job-trace-propagation`, без relay) и на `72cfa9a` (до правок verify: сигналы relay после
возврата Collector приходили от перезапущенного контейнера).
- Дата: 2026-11-11, 17:53:55Z – 17:56:10Z (~2,3 мин); рабочий стенд `mtusi-lab6`, команда из корня:
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
рабочее дерево чистое (вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в
контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256
каждого файла). Прежние прогоны этого файла — на `68f1e97` (до change `job-trace-propagation`, без
relay), на `72cfa9a` (до правок verify: сигналы relay после возврата Collector приходили от
перезапущенного контейнера) и на `72e2598` (до change `slo-alerts`: SDK без внутренних метрик,
процессоры и экспортёры строились до `MeterProvider`).
- Дата: 2026-11-13, 23:24:53Z – 23:27:11Z (~2,3 мин), сразу после `telemetry-check`; рабочий стенд
`mtusi-lab6`, команда из корня:
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-outage`, код выхода 0.
- Сценарии: `observability` «Collector остановлен», «Collector заморожен», «Collector недоступен для
relay»; `service-logging` «Отказ отправки журнала»; `container-run` «Приложение без телеметрии»;
`graceful-shutdown` «docker stop при остановленном Collector», «docker stop при замороженном
Collector» (реплика API, worker и с change `job-trace-propagation` relay).
Collector» (реплика API, worker и с change `job-trace-propagation` relay). С change `slo-alerts`
этот прогон показывает, что внутренние метрики SDK (`otel.sdk.*`, те же процессоры и экспортёры с
`meter_provider`) не меняют работу и остановку без Collector: ни сроков, ни числа записей SDK.
- Ход (с verify W2, design change `job-trace-propagation`, «Уточнения apply», п. 18): на фазу —
`StartedAt` и `RestartCount` всех контейнеров `api` (2), `worker` и `relay`; `docker compose stop`
(или `pause`) `otel-collector`; `make test` через LB; `/health/ready`; свой `GET /users/me` и его
@@ -28,14 +32,15 @@
сервисов телеметрии остановлены, `docker compose restart api worker relay`, `make test`, затем
возврат телеметрии и сигналы снова. В `finally` — `unpause` и `start` телеметрии, `make
replicas`, worker и relay.
- Время остановки при недоступном Collector: реплика API — 1,64 с (stop) и 1,66 с (pause), worker —
0,72 и 0,71 с, relay — 0,63 и 0,64 с; срок закрытия SDK — 1 с у API и окно 0,5 с у worker и relay
(`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS`, design change `otel-telemetry`, решение 13; design change
`job-trace-propagation`, решение 15).
- Время остановки при недоступном Collector: реплика API — 1,91 с (stop) и 1,62 с (pause), worker —
0,77 и 0,89 с, relay — 0,63 и 0,66 с (на `72e2598` — 1,64 / 1,66, 0,72 / 0,71, 0,63 / 0,64 с); срок
закрытия SDK — 1 с у API и окно 0,5 с у worker и relay (`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS`,
design change `otel-telemetry`, решение 13; design change `job-trace-propagation`, решение 15).
- Записи SDK об отказе — по одной на модуль экспортёра (трассы, метрики, логи) на контейнер `api` и
`worker` за окно: фильтр пропускает не больше одной в минуту на логгер. В фазе `pause` к моменту
подсчёта отказать успели не все экспортёры (запрос к замороженному Collector ждёт срока), и
записей меньше — у второй реплики ни одной. Записи SDK relay в этом подсчёте не участвуют.
записей меньше — у реплики `224ebf0e32ba` и worker нет записи экспортёра журнала. Записи SDK relay
в этом подсчёте не участвуют.
```
[collector stop] docker compose stop otel-collector
@@ -43,7 +48,7 @@
[collector stop] /health/ready: 200
[collector stop] upload becomes ready: yes
[collector stop] own request record in stdout: yes
[collector stop] SDK records in 20 s: {'820012004c61 opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '820012004c61 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '820012004c61 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '6c86638cdbce opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '6c86638cdbce opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '6c86638cdbce opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http._log_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http.metric_exporter': 1}
[collector stop] SDK records in 21 s: {'224ebf0e32ba opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '224ebf0e32ba opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '224ebf0e32ba opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http._log_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1}
[collector stop] SDK records per logger at most 1: yes
[collector stop] otel-collector back
[collector stop] API record reaches Loki again: yes
@@ -57,11 +62,11 @@
[collector stop] api, worker and relay start time and restarts unchanged: yes
[collector stop] docker compose stop otel-collector (stops)
[collector stop] make test before stops: 0 PASS
[collector stop] docker stop api 820012004c61: 1.64 s
[collector stop] docker stop api 224ebf0e32ba: 1.91 s
[collector stop] docker stop api faster than 10 s: yes
[collector stop] api exit code: 0
[collector stop] Stopped API in stdout: yes
[collector stop] docker compose stop worker: 0.72 s
[collector stop] docker compose stop worker: 0.77 s
[collector stop] stop worker faster than 10 s: yes
[collector stop] worker exit code: 0
[collector stop] Stopped worker in stdout: yes
@@ -77,7 +82,7 @@
[collector pause] /health/ready: 200
[collector pause] upload becomes ready: yes
[collector pause] own request record in stdout: yes
[collector pause] SDK records in 20 s: {'820012004c61 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '820012004c61 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http.metric_exporter': 1}
[collector pause] SDK records in 20 s: {'224ebf0e32ba opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '224ebf0e32ba opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1}
[collector pause] SDK records per logger at most 1: yes
[collector pause] otel-collector back
[collector pause] API record reaches Loki again: yes
@@ -91,15 +96,15 @@
[collector pause] api, worker and relay start time and restarts unchanged: yes
[collector pause] docker compose pause otel-collector (stops)
[collector pause] make test before stops: 0 PASS
[collector pause] docker stop api 820012004c61: 1.66 s
[collector pause] docker stop api 224ebf0e32ba: 1.62 s
[collector pause] docker stop api faster than 10 s: yes
[collector pause] api exit code: 0
[collector pause] Stopped API in stdout: yes
[collector pause] docker compose stop worker: 0.71 s
[collector pause] docker compose stop worker: 0.89 s
[collector pause] stop worker faster than 10 s: yes
[collector pause] worker exit code: 0
[collector pause] Stopped worker in stdout: yes
[collector pause] docker stop relay: 0.64 s
[collector pause] docker stop relay: 0.66 s
[collector pause] stop relay faster than 10 s: yes
[collector pause] relay exit code: 0
[collector pause] Stopped relay in stdout: yes
+51 -45
View File
@@ -1,12 +1,12 @@
# `driver.py --port 8080 trace-chain` (change `job-trace-propagation`, задачи 12.1 и 13.11)
# `driver.py --port 8080 trace-chain` (change `job-trace-propagation`, задачи 12.1 и 13.11; change `slo-alerts`, задача 11.4)
- Основа: commit `72e2598` (fix: address job-trace-propagation verify findings), рабочее дерево
чистое (`git status --short` пуст до прогона; после — только файлы `evidence/`). Файлы `src/` и
`migrations/` (151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с
деревом commit (SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`; Grafana запущена
(17:55:46Z, рестарт в `telemetry-outage`) после последней правки dashboard JSON. Прежний прогон
этого файла — на `72cfa9a`, до правок verify.
- Дата: 2026-11-11, 17:56:20Z – 17:59:11Z (~3 мин), сразу после `telemetry-outage`; рабочий стенд
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
рабочее дерево чистое (вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в
контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256
каждого файла); ревизия схемы `e4b8c2d17f90`; Grafana запущена после последней правки dashboard
JSON (рестарт в `telemetry-outage`, 23:26Z). Прежние прогоны этого файла — на `72cfa9a` и на
`72e2598` (до change `slo-alerts`: dashboard без новых строк, SDK без внутренних метрик).
- Дата: 2026-11-13, 23:27:25Z – 23:30:16Z (~2,9 мин), сразу после `telemetry-outage`; рабочий стенд
`mtusi-lab6` (две реплики API, relay, worker, уборщик, Collector, Prometheus, Loki, Tempo,
Grafana), команда из корня репозитория:
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 trace-chain`, код выхода 0.
@@ -20,15 +20,21 @@
сокета Docker», «Панели уровня 4 после трафика», «Время до готовности в метрике» (шаг 5), «Проверка
цепочки» (команда целиком); `service-logging` — «Записи задания ведут к трассе» (записи worker по F
несут `trace_id` T записи «Uploaded attachment» запроса R).
- С правками verify (design, «Уточнения apply», п. 19, 22, 23): предусловие — глубина очереди 0
с ожиданием до 120 с (здесь дождалась сразу; не дождалась бы — код 2 «stand is not quiet»); CPU
каждого контейнера `api`, `worker`, `relay` вырос за прогон (`increase(container_cpu_time_seconds_total[161s])`
> 0 — сценарий «Пределы как в compose», «CPU растёт под нагрузкой»); панель пула с двумя
единицами (ожидающие и отказы в секунду) — среди 19 запросов панелей уровня 4 без ошибок и с
данными.
- С change `slo-alerts`: «Новые панели после трафика» — обход панелей с id от 14 теперь включает и
строки «SLO and alerts», «Load balancer», «Telemetry pipeline» (id от 25): 50 запросов к Prometheus
(было 19) без ошибок и с данными (`level 4 panel queries (50)`), макрос `$__range` подменён на
`1h` (design change `slo-alerts`, «Уточнения apply», п. 5). Цепочка, пулы, пределы и время до
`ready` — как на `72e2598`: внутренние метрики SDK и новый порядок сборки провайдеров трассы не
меняют.
- С правками verify change `job-trace-propagation` («Уточнения apply», п. 19, 22, 23): предусловие —
глубина очереди 0 с ожиданием до 120 с (здесь дождалась сразу, сразу после `telemetry-outage`; не
дождалась бы — код 2 «stand is not quiet»); CPU каждого контейнера `api`, `worker`, `relay` вырос
за прогон (`increase(container_cpu_time_seconds_total[156s])` > 0).
- Шаги 2 и 3: Tempo 3.1 собрал span producer и consumer разных попыток (повтор после `pause s3`,
replay) в одной трассе загрузки (п. 7). Время до `ready`: worker перезапускался дважды, проверка
складывает «тихие» значения двух процессов (п. 8).
replay) в одной трассе загрузки. Время до `ready`: worker перезапускался дважды; с change
`slo-alerts` счёт по-прежнему складывает «тихие» значения двух процессов: перезапуск через ~30 с
быстрее срока рядов экспортёра (1 мин), это ограничение design change `slo-alerts`, решение 6
(полный перезапуск дольше 2 мин проверяет `alerts-check`, шаг 1).
- Расхождений с design нет.
Ход прогона:
@@ -61,7 +67,7 @@ root: server span of the upload: POST /api/v1/chats/{chat_id}/attachments messen
producer spans: 2
consumer spans: 2
producers: messenger-relay, children of the root: yes
producer service.instance.id = relay instance_id: 0ac09c58168f
producer service.instance.id = relay instance_id: b90816dcb1cd
producer attempts: [1, 2]
retry reason of the second producer: storage_unavailable
consumers: messenger-worker, parent and link = own producer: yes
@@ -90,28 +96,28 @@ pool max: API replicas, worker, relay: ['10', '10'] ['2'] ['1']
pools with used above max: 0
worker capacity: 2
queue series only from relay: ['messenger-relay']
api 820012004c61 limits = docker inspect: 1 536870912
api 820012004c61 memory below the limit: yes
api 820012004c61 CPU grows during the run (increase over 161 s > 0): yes
api 6c86638cdbce limits = docker inspect: 1 536870912
api 6c86638cdbce memory below the limit: yes
api 6c86638cdbce CPU grows during the run (increase over 161 s > 0): yes
worker d04ac10e81df limits = docker inspect: 1 1073741824
worker d04ac10e81df memory below the limit: yes
worker d04ac10e81df CPU grows during the run (increase over 161 s > 0): yes
relay 0ac09c58168f limits = docker inspect: 0.25 268435456
relay 0ac09c58168f memory below the limit: yes
relay 0ac09c58168f CPU grows during the run (increase over 161 s > 0): yes
api 224ebf0e32ba limits = docker inspect: 1 536870912
api 224ebf0e32ba memory below the limit: yes
api 224ebf0e32ba CPU grows during the run (increase over 156 s > 0): yes
api 4b9782f7240b limits = docker inspect: 1 536870912
api 4b9782f7240b memory below the limit: yes
api 4b9782f7240b CPU grows during the run (increase over 156 s > 0): yes
worker dd039bfb3324 limits = docker inspect: 1 1073741824
worker dd039bfb3324 memory below the limit: yes
worker dd039bfb3324 CPU grows during the run (increase over 156 s > 0): yes
relay b90816dcb1cd limits = docker inspect: 0.25 268435456
relay b90816dcb1cd memory below the limit: yes
relay b90816dcb1cd CPU grows during the run (increase over 156 s > 0): yes
Docker socket mounted by any service: no
dashboard loaded: 200
level 4 panel queries (19) without error: []
level 4 panel queries (50) without error: []
level 4 panel queries with data: []
waiting for the time-to-ready histogram to settle
time to ready count grew by the uploads without replay: 5
time to ready sum grew by at least 3 x 32 s (worker stopped): yes
```
Итог («with data: []» — список панелей без данных пуст):
Итог:
```text
queue depth before reaches 0 within 120 s (no unfinished jobs) expected yes got yes
@@ -133,7 +139,7 @@ root: server span of the upload expected
producer spans expected 2 got 2
consumer spans expected 2 got 2
producers: messenger-relay, children of the root expected yes got yes
producer service.instance.id = relay instance_id expected 0ac09c58168f got 0ac09c58168f
producer service.instance.id = relay instance_id expected b90816dcb1cd got b90816dcb1cd
producer attempts expected [1, 2] got [1, 2]
retry reason of the second producer expected storage_unavailable got storage_unavailable
consumers: messenger-worker, parent and link = own producer expected yes got yes
@@ -160,21 +166,21 @@ pool max: API replicas, worker, relay expected
pools with used above max expected 0 got 0
worker capacity expected 2 got 2
queue series only from relay expected ['messenger-relay'] got ['messenger-relay']
api 820012004c61 limits = docker inspect expected 1 536870912 got 1 536870912
api 820012004c61 memory below the limit expected yes got yes
api 820012004c61 CPU grows during the run (increase over 161 s > 0) expected yes got yes
api 6c86638cdbce limits = docker inspect expected 1 536870912 got 1 536870912
api 6c86638cdbce memory below the limit expected yes got yes
api 6c86638cdbce CPU grows during the run (increase over 161 s > 0) expected yes got yes
worker d04ac10e81df limits = docker inspect expected 1 1073741824 got 1 1073741824
worker d04ac10e81df memory below the limit expected yes got yes
worker d04ac10e81df CPU grows during the run (increase over 161 s > 0) expected yes got yes
relay 0ac09c58168f limits = docker inspect expected 0.25 268435456 got 0.25 268435456
relay 0ac09c58168f memory below the limit expected yes got yes
relay 0ac09c58168f CPU grows during the run (increase over 161 s > 0) expected yes got yes
api 224ebf0e32ba limits = docker inspect expected 1 536870912 got 1 536870912
api 224ebf0e32ba memory below the limit expected yes got yes
api 224ebf0e32ba CPU grows during the run (increase over 156 s > 0) expected yes got yes
api 4b9782f7240b limits = docker inspect expected 1 536870912 got 1 536870912
api 4b9782f7240b memory below the limit expected yes got yes
api 4b9782f7240b CPU grows during the run (increase over 156 s > 0) expected yes got yes
worker dd039bfb3324 limits = docker inspect expected 1 1073741824 got 1 1073741824
worker dd039bfb3324 memory below the limit expected yes got yes
worker dd039bfb3324 CPU grows during the run (increase over 156 s > 0) expected yes got yes
relay b90816dcb1cd limits = docker inspect expected 0.25 268435456 got 0.25 268435456
relay b90816dcb1cd memory below the limit expected yes got yes
relay b90816dcb1cd CPU grows during the run (increase over 156 s > 0) expected yes got yes
Docker socket mounted by any service expected no got no
dashboard loaded expected 200 got 200
level 4 panel queries (19) without error expected [] got []
level 4 panel queries (50) without error expected [] got []
level 4 panel queries with data expected [] got []
time to ready count grew by the uploads without replay expected 5 got 5
time to ready sum grew by at least 3 x 32 s (worker stopped) expected yes got yes
+8
View File
@@ -575,3 +575,11 @@ COMMIT=<прежний> MIGRATE=0`; схема не меняется, нули
в окне меньше 1 и отказов по сроку нет; наибольшее `pending` печатается как наблюдение.
15. **ВМ.** Во время первого пробного прогона `alerts-check` пользователь перезапустил ВМ Docker Desktop с памятью 12 ГБ
(MemTotal 11 902 МиБ): прогон прерван ошибкой соединения с Grafana и повторён; строки бюджета — по новой ВМ.
16. **Evidence (раздел 11 tasks).** Снято на commit `15ea156` без правок кода, драйвера и конфигураций: стенд поднят
`make run_docker` (контейнеры не пересоздавались, файлы `src/` и `migrations/` всех процессов побайтно равны дереву
commit), затем подряд `alerts-check`, `backend-outage`, `telemetry-check`, `telemetry-outage`, `trace-chain` — все
с кодом 0 с первой попытки. `evidence/alerts/rules-test.md` снят 2026-11-11 на том же commit; повторный `make
alerts_test` 2026-11-13 дал тот же вывод, файл не переснимался. Пик cgroup Collector именно в долгом отказе хранилища
не снят: шаг `[collector]` той же команды перезапускает контейнер (новая cgroup), поэтому в бюджете пик Collector —
`docker stats` и `otelcol_process_runtime_*` окна долгого отказа (до 93 и 84 МиБ) и `memory.peak` за `alerts-check`
(76 МиБ), а пробные числа п. 13 названы рядом; правило «лимит ≥ 1,5 × пика» выполнено по всем.
+5 -5
View File
@@ -145,19 +145,19 @@
## 11. Evidence (после коммита кода основной сессией)
- [ ] 11.1 `make alerts_test` → `evidence/alerts/rules-test.md` с commit в шапке. Проверка: сценарий «Тесты правил».
- [ ] 11.2 `driver.py --port 8080 alerts-check` → код 0, `evidence/alerts/check.md`. Проверка: сценарии «Остановленный
- [x] 11.1 `make alerts_test` → `evidence/alerts/rules-test.md` с commit в шапке. Проверка: сценарий «Тесты правил».
- [x] 11.2 `driver.py --port 8080 alerts-check` → код 0, `evidence/alerts/check.md`. Проверка: сценарии «Остановленный
worker», «Остановленный relay», «Медленная БД», «Медленный handler не путается с БД», «Недоступная БД», «SLO считается»,
«Отказ БД виден в SLI доступности», «Тяжёлая ручка вне SLI задержки», «Правила загружены», «Перезапуск worker»,
«Остановленный relay уходит из рядов», «Ответы самого балансировщика», «История оповещения на панели».
- [ ] 11.3 `driver.py --port 8080 backend-outage` → код 0, `evidence/telemetry/backend-outage.md`. Проверка: сценарии
- [x] 11.3 `driver.py --port 8080 backend-outage` → код 0, `evidence/telemetry/backend-outage.md`. Проверка: сценарии
«Короткий отказ хранилища», «Долгий отказ хранилища», «Отказ Prometheus», «Отказ Collector под нагрузкой», «Потери SDK при
недоступном Collector», «Потери Collector при недоступном хранилище», «Без потерь».
- [ ] 11.4 Пересъёмка на том же commit: `telemetry-check` → `evidence/telemetry/check.md`, `trace-chain` →
- [x] 11.4 Пересъёмка на том же commit: `telemetry-check` → `evidence/telemetry/check.md`, `trace-chain` →
`evidence/telemetry/trace-chain.md`, `telemetry-outage` → `evidence/telemetry/collector-outage.md` (dashboard и SDK
изменились); раздел change в `evidence/telemetry/budget.md` (9.8). Проверка: коды 0; сценарии «Новые панели после
трафика», «Метрики балансировщика без доступа к сети хранилищ», `load-balancing` «Метрики балансировщика»; лимиты ≥
1,5 × пика, суммы совпадают.
- [ ] 11.5 Числа и наблюдения инцидентов в `REPORT.md` из 11.2–11.4, ссылки `REPORT.md` и `AGENTS.md` на файлы evidence и их
- [x] 11.5 Числа и наблюдения инцидентов в `REPORT.md` из 11.2–11.4, ссылки `REPORT.md` и `AGENTS.md` на файлы evidence и их
commit; `graphify update .`. Проверка: файлы, названные в `REPORT.md`, существуют; у каждого инцидента — шаги со ссылкой
на строки evidence.