docs: re-capture slo-alerts alert and backend-outage evidence on ef60b47

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-11-14 04:54:28 +03:00
co-authored by Claude Opus 5.5
parent ef60b47246
commit a92dff30fd
6 changed files with 308 additions and 219 deletions
+6 -3
View File
@@ -54,7 +54,10 @@ SLI и SLO (доступность на LB 99,5 %, задержка «лёгки
11 902 МиБ. Код — commit `15ea156`, evidence снято на нём (2026-11-13):
`evidence/alerts/rules-test.md`, `evidence/alerts/check.md`,
`evidence/telemetry/backend-outage.md`, пересняты `evidence/telemetry/check.md`,
`trace-chain.md`, `collector-outage.md`, раздел change в `budget.md`.
`trace-chain.md`, `collector-outage.md`, раздел change в `budget.md`. Правки verify
(ноль ряда потерь процесса SDK, описания оповещений с текущим значением, панель потерь
в проверках, pending на каждом шаге, сверка SLI одним окном) — commit `ef60b47`, на нём
пересняты (2026-11-14) `rules-test.md`, `alerts/check.md` и `backend-outage.md`.
Код перенесён из лабы 5 (репозиторий
`mtusi2026lab5-safronov`, ветка `solution/bvt2301-safronov`, commit
`046ec9e`) по разделу «Переход в следующую лабу»; отчёт и evidence лабы 5
@@ -740,10 +743,10 @@ evidence/attachments/ # change async-attachments: defense.md (driver.py d
evidence/s3/ # privacy.md — make s3_check на текущем коде; change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам); change track2-reconciler: cleaner-list.md (bootstrap с политикой списка по префиксу, неверный префикс, make s3_check со строками списка уборщика, окружение s3-bootstrap)
evidence/reconcile/ # change track2-reconciler: cycle.md (driver.py reconcile-cycle), stress.md (driver.py reconcile-stress), service.md (Started cleaner с параметрами сверки, плановая сверка при старте, docker stop во время сверки при pause s3, код 1 разового прохода по сигналу — driver.py reconcile-signal, отказ старта на RECONCILER__*, коды 3 и 0; с change track2-reconcile-cost — остановка во время паузы предела скорости, driver.py reconcile-signal --pace)
evidence/reconcile/<метка>/ # результаты make bench_reconcile (change track2-reconcile-cost): meta.json (раздел reconcile: план, этапы и модели, commit и образы «до», аргументы S3), passes.csv, windows.csv, summary.md (H1–H4 и S4), cost-by-n.svg, requests-by-n.svg, background-p95.svg, raw/ (записи уборщика по проходам, итог k6 блока H4)
evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 15ea156 change slo-alerts переснято: check.md (driver.py telemetry-check, с метриками LB и новыми панелями), collector-outage.md (driver.py telemetry-outage), trace-chain.md (driver.py trace-chain); новое на 15ea156: backend-outage.md (driver.py backend-outage), раздел change slo-alerts в budget.md; на 72cfa9a (change job-trace-propagation): queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта)
evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 15ea156 change slo-alerts переснято: check.md (driver.py telemetry-check, с метриками LB и новыми панелями), collector-outage.md (driver.py telemetry-outage), trace-chain.md (driver.py trace-chain), раздел change slo-alerts в budget.md; на ef60b47 (правки verify slo-alerts): backend-outage.md (driver.py backend-outage, с панелью потерь); на 72cfa9a (change job-trace-propagation): queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта)
evidence/migrations/ # change job-trace-propagation: job-trace-context.md — ревизия e4b8c2d17f90 (временная база: с нуля, повтор, откат, CHECK, lock_timeout; --sql; рабочий стенд: откат реплик на ff0073e с MIGRATE=0, ревизия до и после make rolling_update)
evidence/stand/ # change otel-telemetry: from-scratch.md (driver.py stand-from-scratch --runs 2)
evidence/alerts/ # change slo-alerts (commit 15ea156): rules-test.md (make alerts_test), check.md (driver.py alerts-check); там же — evidence/telemetry/backend-outage.md (driver.py backend-outage) и раздел change в budget.md
evidence/alerts/ # change slo-alerts (commit ef60b47, правки verify; первая съёмка — 15ea156): rules-test.md (make alerts_test и контроли), check.md (driver.py alerts-check); там же — evidence/telemetry/backend-outage.md (driver.py backend-outage) и раздел change в budget.md (15ea156)
evidence/storage/ # отказы БД, пул, statement_timeout, рестарт, порты Postgres, свежий clone; connection-cost.md — цена нового соединения и пинга; freeze-sessions.md — change unit-of-work: сессии и журнал пула после заморозки PostgreSQL (driver.py freeze-sessions и freeze-lb)
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после)
evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия)
+75 -65
View File
@@ -23,8 +23,9 @@ Change `otel-telemetry` (design — `openspec/changes/archive/2026-11-11-otel-te
`telemetry-outage` — ещё раз на `72e2598` (правки verify: сигналы relay без перезапуска, тихая
очередь в предусловии, рост CPU каждого процесса); `telemetry-check`, `trace-chain` и
`telemetry-outage` — в третий раз на `15ea156` (код change `slo-alerts`: новые панели, метрики LB,
внутренние метрики SDK), там же `alerts-check`, `backend-outage`, `make alerts_test` и раздел
change `slo-alerts` бюджета; бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов
внутренние метрики SDK), там же раздел change `slo-alerts` бюджета; `make alerts_test`,
`alerts-check` и `backend-outage` — на `ef60b47` (правки verify change
`slo-alerts`: ноль ряда потерь процесса SDK, панель потерь в проверках, pending на каждом шаге); бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов
`evidence/telemetry/` и `evidence/migrations/`. `evidence/stand/from-
scratch.md` ещё снят на рабочем дереве поверх `9b35c25`: пересъёмка ждёт разрешения пользователя
(`QUESTIONS.md`, `## otel-telemetry`, вопрос 8).
@@ -329,23 +330,25 @@ runbooks — `infra/otel/runbooks/`.
по исходным счётчикам; непересекающиеся окна `increase(…[5m])` теряют приращение между
последним сбором окна и первым следующего (~5 % событий наугад: заметно при единицах событий,
как у времени до `ready`), а пока Prometheus остановлен, окна нет вовсе — `alerts-check` сверяет
ряды правил с исходными счётчиками в тех же окнах и печатает рядом `increase` за час одним
окном; SLI за 7 суток включают учения и проверки; при недоступном Prometheus правила не
ряды правил с исходными счётчиками в тех же окнах, у доступности и задержки — ещё и с `increase`
за час одним окном, а у времени до `ready` одно окно только печатает; SLI за 7 суток включают учения и проверки; при недоступном Prometheus правила не
вычисляются, приращение счётчиков после возврата прежнее (`evidence/telemetry/backend-outage.md`).
- Значения на момент отчёта (`evidence/alerts/check.md`, раздел `[SLI and panels]`, 2026-11-13
23:06Z, commit `15ea156`):
- Значения на момент отчёта (`evidence/alerts/check.md`, раздел `[SLI and panels]`, строки
139–155, 2026-11-14 01:27Z, commit `ef60b47`):
| SLI | 7 суток | час: по правилам / по исходным счётчикам в тех же окнах | окно учений (~20 мин) | SLO | остаток бюджета за 7 суток |
| SLI | 7 суток | час: по правилам / по исходным счётчикам в тех же окнах / `increase` одним окном | окно учений (~18 мин) | SLO | остаток бюджета за 7 суток |
| --- | --- | --- | --- | --- | --- |
| доступность | 0,93201 | 1,00000 / 1,00000 (14 685 событий) | 0,89966 | 99,5 % | −12,6 (исчерпан) |
| задержка | 0,98539 | 0,98209 / 0,98209 (14 225) | 0,97905 | 99 % | −0,46 |
| время до `ready` | 0,93039 | 0,91358 / 0,91358 (37) | 0,86957 | 99 % | −5,96 |
| доступность | 0,93726 | 0,96010 / 0,96010 / 0,96590 (58 645 событий) | 0,88927 | 99,5 % | −11,5 (исчерпан) |
| задержка | 0,98652 | 0,98658 / 0,98658 / 0,98724 (55 462) | 0,98180 | 99 % | −0,35 |
| время до `ready` | 0,93162 | 0,93586 / 0,93501 / 0,88000 (49) | 0,86957 | 99 % | −5,84 |
SLO за 7 суток не соблюдены: в окно входят только учения и проверки рабочего стенда (остановки
PostgreSQL, worker, relay, блокировка таблицы сообщений, долгие отказы хранилищ, `make
test-failover`) — бюджет съели они, это и показывает строка «окно учений». За час пути совпадают
(0 п. п. при допуске 1); за час 3 окна правил из 12 — Prometheus перезапущен в 22:45Z, а отказ БД
в конце учений в записанные окна ещё не попал (точки `messenger-slo` отстают на 5–10 мин).
test-failover`) — бюджет съели они, это и показывает строка «окно учений». За час пути в тех же
окнах совпадают (0, 0 и 0,085 п. п. при допуске 1), с `increase` одним окном у доступности и
задержки — 0,58 и 0,066 п. п. (допуск 1; у времени до `ready` при 49 событиях одно окно —
наблюдение). За час 10 окон правил из 12 — Prometheus перезапущен в 00:42Z; последние 5–10 мин
учений в записанные окна ещё не попали (точки `messenger-slo` отстают).
**Оповещения (SA-3, SA-4).** Правила Prometheus, без Alertmanager и без доставки наружу.
Состояние firing / resolved — `/api/v1/rules`, `/api/v1/alerts`, ряды `ALERTS` (история за срок
@@ -401,16 +404,16 @@ verify, W1). Остаётся: процесс SDK, запущенный при
журнала строятся после `MeterProvider` с ним и с переменной SDK только на время сборки; внешняя
`OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED` удаляется, как любая `OTEL_*`; гистограммы SDK не
отдаются. Результаты отказа каждого хранилища и Collector под нагрузкой драйвера (~25 запросов/с;
`evidence/telemetry/backend-outage.md`, commit `15ea156`):
`evidence/telemetry/backend-outage.md`, commit `ef60b47`):
| Отказ | Ответы клиенту | Память | Потери (учтены) | Оповещения |
| --- | --- | --- | --- | --- |
| Loki 10 с | свой запрос найден в Loki после возврата | — | 0 | — |
| Loki 120 с | `make test` PASS, 2928 × 2xx, 5xx 0 | Collector `docker stats` ≤ 77 МиБ из 256; очередь Loki ≤ 0,135 ёмкости | 443 записи (`otlp_http/loki`) | `TelemetryTargetDown{job="loki"}` firing через 105 с, `TelemetryDataLoss` firing; сняты через 40 и 145 с |
| Loki 120 с | `make test` PASS, 2933 × 2xx, 5xx 0 | Collector `docker stats` ≤ 81 МиБ из 256; очередь Loki ≤ 0,122 ёмкости | 441 запись (`otlp_http/loki`), на панели потерь `otel-collector` до 1,497/с | `TelemetryTargetDown{job="loki"}` firing через 80 с, `TelemetryDataLoss` firing; сняты через 20 и 140 с |
| Tempo 10 с | своя трасса найдена после возврата | — | 0 | — |
| Tempo 120 с | `make test` PASS, 2934 × 2xx, 5xx 0 | Collector ≤ 93 МиБ (runtime sys ≤ 84); очередь Tempo ≤ 0,656 ёмкости | 1342 span (`otlp_http/tempo`) | `TelemetryTargetDown{job="tempo"}` через 90 с, `TelemetryDataLoss`; сняты через 30 и 150 с |
| Prometheus 60 с | 1467 × 2xx, 5xx 0 | — | счёт запросов API после возврата +2565 ≥ 1833 запросов нагрузки | правила не вычислялись (ограничение) |
| Collector 120 с | `make test` PASS | реплики: максимум последней трети окна 156 и 154 МиБ против 142 и 145 первой (лимит 512) | SDK реплик: 11 683 и 11 810; записей API окна в Loki 0 из 5275 в stdout | `TelemetryTargetDown{job="otel-collector"}` через 95 с, снято через 20 с; `MessengerQueueMetricsMissing` не сработало |
| Tempo 120 с | `make test` PASS, 2931 × 2xx, 5xx 0 | Collector ≤ 91 МиБ (runtime sys ≤ 84); очередь Tempo ≤ 0,622 ёмкости | 1336 span (`otlp_http/tempo`), на панели до 4,688/с | `TelemetryTargetDown{job="tempo"}` через 75 с, `TelemetryDataLoss`; сняты через 15 и 135 с |
| Prometheus 60 с | 1467 × 2xx, 5xx 0 | — | счёт запросов API после возврата +2202 ≥ 1463 запросов нагрузки | правила не вычислялись (ограничение) |
| Collector 120 с | `make test` PASS | реплики: максимум последней трети окна 143 и 150 МиБ против 142 и 143 первой (лимит 512) | SDK реплик: +11 602 и +11 551, на панели потерь `messenger-api` до 81,239/с; записей API окна в Loki 0 из 5274 в stdout | `TelemetryTargetDown{job="otel-collector"}` через 80 с, снято через 20 с; `MessengerQueueMetricsMissing` не сработало |
Короткий отказ короче срока повторов (30 с) потерь не дал; долгий потерял конец окна (начало
отказа сохранила очередь), отказов приёма Collector (`memory_limiter`) не было. Без Collector
@@ -421,9 +424,9 @@ Prometheus после возврата Collector.
экспортёра Collector (`PrometheusProto` первым у цели `otel-collector-exporter`, флаг
`created-timestamp-zero-ingestion`; у остальных целей — прежний текстовый список) и пишет ноль в
момент начала ряда нового процесса; экспортёр убирает ряд, не обновлявшийся минуту. Проверка —
`alerts-check`, шаг 1: worker остановлен на 159 с, 3 загрузки, запуск — первая точка ряда нового
процесса — ноль (`(2.5, 0.0)`), приращение по точкам ровно 3 (`evidence/alerts/check.md`, строки
76–80). Остаётся: перезапуск того же контейнера
`alerts-check`, шаг 1: worker остановлен на 145 с, 3 загрузки, запуск — первая точка ряда нового
процесса — ноль (`(2.3, 0.0)`), приращение по точкам ровно 3 (`evidence/alerts/check.md`, строки
76–81, commit `ef60b47`). Остаётся: перезапуск того же контейнера
быстрее ~75 с, если новый процесс догнал прежнее значение до первого сбора; собственные метрики
Collector без времени начала (их закрывает правило потерь). Число рядов экспортёра до и после
перехода на protobuf на процесс то же (двойников нет).
@@ -431,54 +434,56 @@ Collector без времени начала (их закрывает прави
**Инциденты.** Разбор — по runbook оповещения и только по сохранённым наблюдениям вывода
`alerts-check` и `backend-outage` (хронология и значения — в файлах evidence).
Учения — 2026-11-13, 22:46:44Z – 23:22:25Z, commit `15ea156`, фоновая нагрузка драйвера ~25
Учения — 2026-11-14, 01:09:30Z – 01:43:27Z, commit `ef60b47`, фоновая нагрузка драйвера ~25
запросов/с через LB; время — от начала шага (у `MessengerQueueLagHigh` — от первой загрузки, у
снятия — от восстановления), «строки N» — строки файла evidence.
1. **Остановлен worker** (`evidence/alerts/check.md`, строки 63–81). Хронология: `docker compose stop
worker` на 48-й секунде учений, 3 загрузки — 202 (строка 67); `MessengerQueueLagHigh` pending
через 98 с, firing через 158 с после первой загрузки (строки 68–69); worker запущен через 159 с
остановки (строка 76), снято через 44 с после запуска (строка 78). Диагностика по runbook
1. **Остановлен worker** (`evidence/alerts/check.md`, строки 64–82). Хронология: `docker compose stop
worker` на 46-й секунде учений, 3 загрузки — 202 (строка 68); `MessengerQueueLagHigh` pending
через 84 с, firing через 144 с после первой загрузки (строки 69–70); worker запущен через 145 с
остановки (строка 77), снято через 29 с после запуска (строка 79). Диагностика по runbook
`MessengerQueueLagHigh`: «Pipeline» → глубина `published` 3, остальные стадии 0, возраст
старейшего 141,3 с (`max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"})`,
`max(messenger_queue_oldest_age_seconds{job="messenger-relay"})`; строка 70) — задания приняты и
опубликованы, но не взяты; рядов `messenger-worker` к запуску нет (строка 75) → Loki
старейшего 131,9 с (`max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"})`,
`max(messenger_queue_oldest_age_seconds{job="messenger-relay"})`; строка 71) — задания приняты и
опубликованы, но не взяты; рядов `messenger-worker` к запуску нет (строка 76) → Loki
`{service_name="messenger-worker"}`: последняя запись worker — «Attachment became ready» за 1 с до
остановки, «Stopped worker» — в stdout (строки 73–74) → Tempo `{ resource.service.name =
"messenger-worker" && kind = consumer }`: consumer span после остановки 0 (строка 72) ⇒ причина —
остановки, «Stopped worker» — в stdout (строки 74–75) → Tempo `{ resource.service.name =
"messenger-worker" && kind = consumer }`: consumer span после остановки 0 (строка 73) ⇒ причина —
worker не работает (не брокер и не relay: сообщения в стадии `published`). Восстановление —
`docker start` worker: все 3 `ready` (строка 77), счёт времени до готовности +3 по точкам, первая
точка нового процесса — ноль (строки 79–80). SLI времени до `ready` за окно учений — 0,86957
(три загрузки ждали дольше 30 с — плохие события; раздел `[SLI and panels]`).
2. **Медленная БД против медленного handler** (строки 89–115). Блокировка `LOCK TABLE messages IN
`docker start` worker: все 3 `ready` (строка 78), счёт времени до готовности +3 по точкам, первая
точка нового процесса — ноль (строки 80–81). SLI времени до `ready` за окно учений — 0,86957
(три загрузки ждали дольше 30 с — плохие события; строка 155).
2. **Медленная БД против медленного handler** (строки 91–118). Блокировка `LOCK TABLE messages IN
SHARE MODE` 2 с с паузой 0,2 с в сессии `application_name = mtusi-alerts-check`:
`MessengerSlowRequests` firing через 165 с (строка 91), доля медленных «лёгких» 0,428 при пороге
0,1 (строка 92) → p95 по маршрутам: `POST /api/v1/chats/{chat_id}/messages` 0,021 с до и 2,324 с во
время (строки 93–94), чтение не медленно → Tempo, медленные трассы отправки: span PostgreSQL —
0,99 server span (строка 95) → пул: занято до 6 соединений против 0 до шагов (строка 97) → CPU
реплик не выше 0,11 предела (строка 99) ⇒ БД (держатель блокировки — в `pg_stat_activity` по
`application_name`). Сессия завершена — снято через 89 с (строка 101); `MessengerHighErrorRate` не
срабатывал (строка 102). Для сравнения вход по Basic (строки 103–115): 506 входов, медиана 0,27 с,
p95 `/api/v1/auth/sessions` 0,667 с, span PostgreSQL — 0,01–0,02 server span, пул занят не больше
0,30 без отказов по сроку, CPU реплик до 0,80 предела ⇒ handler (KDF); вход вне SLI задержки —
доля медленных «лёгких» не выше 0,050, оповещения нет. **Недоступная БД** (строки 116–133):
`docker compose stop postgres` → `MessengerNoReadyReplicas` firing через 60 с,
`MessengerHighErrorRate` через 105 с (строки 118–119) → «Load balancer»: готовых реплик 0 (строка
120), 5xx на LB +2603, у API +27 (строка 127) — клиент получил 2562 ответа 5xx, из них 2548 — 503
самого LB без `X-Instance-Id` (строка 124): метрики API отказ почти не видят, поэтому SLI — на LB
→ Loki: 27 записей «Database is unavailable» реплик (строка 121) → Tempo: 27 трасс с ошибкой
server span 503 (строка 122; span PostgreSQL с ошибкой нет — отказ на выдаче соединения из пула,
до запроса). Восстановление — `docker compose start postgres`, LB готов; сняты через 29 и 135 с
(строки 125–126). SLI доступности за окно отказа — 0,5544 по LB при 0,5576 у клиента (строка 130).
3. **Недоступно хранилище телеметрии** (`evidence/telemetry/backend-outage.md`, строки 57–71).
`MessengerSlowRequests` pending через 75 с, firing через 135 с (строки 93–94), доля медленных
«лёгких» 0,427 при пороге 0,1 (строка 95) → p95 по маршрутам: `POST
/api/v1/chats/{chat_id}/messages` 0,016 с до и 2,324 с во время (строки 96–97), чтение не медленно
→ Tempo, медленные трассы отправки: span PostgreSQL — 0,99–1,0 server span (строка 98) → пул:
занято до 6 соединений против 0 до шагов (строка 100) → CPU реплик не выше 0,09 предела (строка
102) ⇒ БД (держатель блокировки — в `pg_stat_activity` по `application_name`). Сессия завершена —
снято через 74 с (строка 104); `MessengerHighErrorRate` не срабатывал (строка 105). Для сравнения
вход по Basic (строки 106–118): 515 входов, медиана 0,25 с, p95 `/api/v1/auth/sessions` 0,598 с,
span PostgreSQL — 0,0–0,2 server span (медиана 0,01), пул занят не больше 0,20 без отказов по
сроку, CPU реплик до 0,81 предела ⇒ handler (KDF); вход вне SLI задержки — доля медленных
«лёгких» не выше 0,072, оповещения нет. **Недоступная БД** (строки 119–138): `docker compose stop
postgres` → `MessengerNoReadyReplicas` pending через 29 с, firing через 59 с,
`MessengerHighErrorRate` pending через 44 с, firing через 105 с (строки 121–124) → «Load
balancer»: готовых реплик 0 (строка 125), 5xx на LB +2605, у API +67 (строка 132) — клиент
получил 2556 ответов 5xx, из них 2497 — 503 самого LB без `X-Instance-Id` (строка 129): метрики
API отказ почти не видят, поэтому SLI — на LB → Loki: 67 записей «Database is unavailable»
реплик (строка 126) → Tempo: трассы с ошибкой server span 503 (50 — предел поиска; строка 127;
span PostgreSQL с ошибкой нет — отказ на выдаче соединения из пула, до запроса). Восстановление —
`docker compose start postgres`, LB готов; сняты через 30 и 135 с (строки 130–131). SLI
доступности за окно отказа — 0,5557 по LB при 0,5581 у клиента (строка 135).
3. **Недоступно хранилище телеметрии** (`evidence/telemetry/backend-outage.md`, строки 63–79).
`docker compose stop tempo` на 120 с под нагрузкой: `TelemetryTargetDown{job="tempo"}` firing
через 90 с (строка 59), `TelemetryDataLoss` firing (строка 66) → «Telemetry pipeline»: очередь
экспорта Tempo — до 0,656 ёмкости (строка 60), потери `otlp_http/tempo` — 1342 span (`enqueue_failed`
/ `send_failed`, строка 67), память Collector — `docker stats` до 93 МиБ при лимите 256 (строка
62) → приложение не задето: `make test` PASS, 2934 ответа 2xx, 5xx 0 (строки 58, 64–65) ⇒ теряется
телеметрия, а не сообщения. После `docker compose start tempo` — новые трассы приходят (строка
69), `TelemetryTargetDown` снят через 30 с, `TelemetryDataLoss` — через 150 с (строки 70–71);
потери — 1342 span из счётчиков Collector.
через 75 с (строка 65), `TelemetryDataLoss` firing (строка 72) → «Telemetry pipeline»: очередь
экспорта Tempo — до 0,622 ёмкости (строка 66), потери `otlp_http/tempo` — 1336 span (`enqueue_failed`
/ `send_failed`, строка 73), панель потерь — `otel-collector` до 4,688/с (строка 75), память
Collector — `docker stats` до 91 МиБ при лимите 256 (строка 68) → приложение не задето: `make
test` PASS, 2931 ответ 2xx, 5xx 0 (строки 64, 70–71) ⇒ теряется телеметрия, а не сообщения. После
`docker compose start tempo` — новые трассы приходят (строка 77), `TelemetryTargetDown` снят через
15 с, `TelemetryDataLoss` — через 135 с (строки 78–79); потери — 1336 span из счётчиков Collector.
**Бюджет (SA-13).** Новых сервисов и портов нет; лимиты — по замеру `backend-outage` и
`alerts-check` и правилу «лимит ≥ 1,5 × пика» (раздел change `slo-alerts` в
@@ -486,7 +491,12 @@ Collector без времени начала (их закрывает прави
до 93 МиБ, `memory.peak` за `alerts-check` 76 МиБ (лимит 256); Prometheus за `alerts-check` — 108
МиБ (384; в пробных прогонах apply — до 240, 1,5 × 240 = 360); реплики API без Collector — без роста
(142 → 156 и 145 → 154 МиБ), `memory.peak` со старта стенда 334 и 327 МиБ от входов по Basic (512).
Правило выполнено у всех, лимиты не менялись. ВМ Docker Desktop — 12 CPU (все ядра хоста) / 11 902 МиБ: память
Правило выполнено у всех, лимиты не менялись. Пересъёмка на `ef60b47` (`evidence/alerts/check.md`,
`evidence/telemetry/backend-outage.md`) — в тех же пределах: Collector до 91 МиБ (`docker stats`),
`memory.peak` 83 МиБ; Prometheus 128 МиБ (1,5 × 128 = 192 ≤ 384); реплики — `memory.peak` 342 и
339 МиБ от входов по Basic (1,5 × 342 = 513 — на 1 МиБ больше лимита 512), неосвобождаемая часть
129 и 130 МиБ — правило по ней выполнено, как в пробных прогонах apply (design, «Уточнения apply»,
п. 13: `memory.peak` 417–441, неосвобождаемая 137–138). ВМ Docker Desktop — 12 CPU (все ядра хоста) / 11 902 МиБ: память
пользователь увеличил до 12 ГБ 2026-11-11 (вопрос 1 `## slo-alerts` в `QUESTIONS.md`); постоянные
лимиты стенда — 11,5 CPU / 7296 МиБ, с одноразовыми 12,5 CPU / 7680 МиБ, вместе с контейнерами
`make test_isolated` (+2,25 CPU / 1792 МиБ) — 9472 МиБ: помещается с запасом ~2,4 ГиБ на накладные
@@ -506,9 +516,9 @@ Collector без времени начала (их закрывает прави
| Уровень 4: dashboard — p50 / p95 / p99, доля ошибок, глубина и возраст очереди, пул БД, насыщение worker, контейнеры | `driver.py --port 8080 trace-chain`, `telemetry-check` | запросы панелей уровня 4 без ошибок и с данными; ряды очереди только у relay; пределы = `docker inspect`; нет сокета Docker | `evidence/telemetry/trace-chain.md`, `evidence/telemetry/check.md` |
| Уровень 4: relay с SDK не меняет остановку | `driver.py --port 8080 telemetry-outage` | `docker stop` relay < 10 с, код 0, «Stopped relay» при остановленном и замороженном Collector | `evidence/telemetry/collector-outage.md` |
| Уровень 4: схема контекста задания | миграция с нуля, повтор, откат, `--sql`, `make rolling_update`; план снимка очереди | `lock_timeout`, `NOT VALID`; без Seq Scan | `evidence/migrations/job-trace-context.md`, `evidence/telemetry/queue-snapshot.md` (commit `72cfa9a`) |
| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules` (22 блока синтетических рядов: 43 проверки оповещений, 17 проверок выражений правил записи в 7 блоках); у каждого из 7 оповещений есть runbook | `evidence/alerts/rules-test.md` (commit `15ea156`) |
| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0 (~20 мин): остановленный worker — firing через 158 с, снято через 44 с; relay — 220 / 45 с; медленная БД — 165 / 89 с; медленный handler — оповещения нет; недоступная БД — 60 и 105 / 29 и 135 с; лишних нет; SLI двумя путями совпали | `evidence/alerts/check.md` (commit `15ea156`) |
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 93 МиБ из 256, реплики без роста; потери учтены (443 записи, 1342 span, SDK 11 683 и 11 810); `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `15ea156`) |
| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules` (22 блока синтетических рядов: 43 проверки оповещений, 17 проверок выражений правил записи в 7 блоках); у каждого из 7 оповещений есть runbook; контроли — изменённый порог и правило потерь без нуля процесса SDK дают красный прогон | `evidence/alerts/rules-test.md` (commit `ef60b47`) |
| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0 (~18 мин): pending / firing / снятие — остановленный worker 84 / 144 / 29 с; relay — 69 / 190 / 45 с; медленная БД — 75 / 135 / 74 с; медленный handler — оповещения нет; недоступная БД — 29 и 44 / 59 и 105 / 30 и 135 с; лишних нет; SLI в тех же окнах — 0–0,085 п. п., одним окном часа — 0,58 и 0,066 п. п. | `evidence/alerts/check.md` (commit `ef60b47`) |
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 91 МиБ из 256, реплики без роста; потери учтены (441 запись, 1336 span, SDK +11 602 и +11 551) и видны на панели потерь; `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `ef60b47`) |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
+94 -80
View File
@@ -1,24 +1,25 @@
# `driver.py --port 8080 alerts-check` (change `slo-alerts`, задача 11.2)
# `driver.py --port 8080 alerts-check` (change `slo-alerts`, задачи 11.2 и 12.11)
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
рабочее дерево чистое (`git status --short` до прогона — только `?? evidence/alerts/`). Файлы
`src/` и `migrations/` (151) в контейнерах `api` (2: `api-13`, `api-14`), `relay`, `worker` и
`cleaner` побайтно совпадают с деревом commit (SHA-256 каждого файла); ревизия схемы
`e4b8c2d17f90`. Стенд поднят `make run_docker` в 22:45Z (образ уже был собран из того же дерева,
контейнеры не пересоздавались; сервисы телеметрии, в том числе Prometheus и Collector, запущены
заново в 22:45Z).
- Дата: 2026-11-13, 22:46:44Z – 23:06:20Z (~19,6 мин); хост macOS, Docker 29.9.2, Compose 5.6.1, ВМ
- Основа: commit `ef60b47` (fix: address slo-alerts verify findings), рабочее дерево чистое
(`git status --short` до прогона пуст). Файлы `src/` и `migrations/` (151) в контейнерах `api` (2:
`api-13`, `api-14`), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256
каждого файла); ревизия схемы `e4b8c2d17f90`. `/etc/prometheus/rules.yml` и `prometheus.yml` в
контейнере Prometheus побайтно равны файлам дерева `ef60b47` (`cmp`). Код приложения с `15ea156` не
менялся: `ef60b47` правит правила, их тесты, драйвер и документы. Прежний прогон этого файла — на
`15ea156` (до правок verify).
- Дата: 2026-11-14, 01:09:30Z – 01:27:20Z (~17,8 мин); хост macOS, Docker 29.9.2, Compose 5.6.1, ВМ
Docker Desktop — 12 CPU / 11,6 ГиБ. Рабочий стенд `mtusi-lab6` (две реплики API, relay, worker,
уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория:
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 alerts-check`, код выхода 0.
- Всё — через HTTP API Grafana на `127.0.0.1:3000` с паролем из `.env` (источники-прокси uid
`prometheus`, `loki`, `tempo`); моменты pending / firing / снятия — `/api/v1/rules` раз в 5 с,
время — от начала шага (у `MessengerQueueLagHigh` — от первой загрузки, у снятия — от
восстановления). Пользователи, пароли, токены и файлы — синтетические, в вывод не попадают.
Фоновая нагрузка драйвера через LB — 6 потоков отправки сообщения с новым `Idempotency-Key` раз в
0,25 с и 1 поток чтения истории раз в 1 с (design, «Уточнения apply», п. 7).
восстановления); момент pending печатается перед каждой строкой firing. Пользователи, пароли,
токены и файлы — синтетические, в вывод не попадают. Фоновая нагрузка драйвера через LB — 6
потоков отправки сообщения с новым `Idempotency-Key` раз в 0,25 с и 1 поток чтения истории раз в
1 с (design, «Уточнения apply», п. 7).
- Отказы: шаг 1 — `docker compose stop worker`, 3 загрузки, `docker start` того же контейнера через
159 с; шаг 2 — `docker compose stop relay`, `docker start`; шаг 3 — сессия psql с
145 с; шаг 2 — `docker compose stop relay`, `docker start`; шаг 3 — сессия psql с
`application_name = mtusi-alerts-check` циклами держит `LOCK TABLE messages IN SHARE MODE` 2 с с
паузой 0,2 с, затем `pg_terminate_backend`; шаг 4 — 3 потока входа по Basic 45 с (сравнение, отказа
нет); шаг 5 — `docker compose stop postgres`, затем `start`. В `finally` — нагрузка остановлена,
@@ -29,17 +30,17 @@
| Сценарий (`observability`, если не указано) | Строки |
| --- | --- |
| «Правила загружены» | `rule groups loaded`, `rules with evaluation errors`, `alerts loaded`, `Grafana shows rules…`, `rule change through Grafana rejected`, `alert delivery addresses`, `prometheus config has alertmanagers` |
| «Остановленный worker» | `[worker stopped]`: firing через 158 с после первой загрузки (≤ 240), `outbox + published` +3, снято через 44 с после запуска (≤ 120), 3 `ready` |
| «Перезапуск worker» | `[worker stopped] time to ready count…`: первая точка нового процесса — 0 (время начала), приращение по точкам ровно 3; worker стоял 159 с (> 2 мин) |
| «Остановленный relay» | `[relay stopped] MessengerQueueMetricsMissing firing` через 220 с (≤ 300), снято через 45 с (≤ 120) |
| «Остановленный relay уходит из рядов» | `[relay stopped] queue series gone within 120 s` — через 65 с |
| «Медленная БД» | `[slow database]`: firing через 165 с (≤ 180), доля span PostgreSQL в медленных трассах отправки 0,99, пул 6 против 0, CPU реплик 0,11 предела, снято через 89 с (≤ 240), `MessengerHighErrorRate` нет |
| «Медленный handler не путается с БД» | `[slow handler]`: доля span PostgreSQL 0,01–0,02, пул занят не больше 0,30, отказов по сроку 0, CPU реплик 0,80 предела, `MessengerSlowRequests` неактивно (доля медленных до 0,050) |
| «Тяжёлая ручка вне SLI задержки» | `[slow handler] login p95 on the route panel slower than 0.25 s` (p95 входа 0,667 с) при неактивном `MessengerSlowRequests` |
| «Недоступная БД» | `[database down]`: `MessengerNoReadyReplicas` firing через 60 с, `MessengerHighErrorRate` через 105 с (≤ 180), сняты через 29 и 135 с (≤ 240) |
| «Ответы самого балансировщика» | `[database down]`: готовых реплик 0, клиент получил 2548 ответов 503 от LB (без `X-Instance-Id`), 5xx на LB +2603, у API +27 |
| «Отказ БД виден в SLI доступности» | `availability SLI over the outage window: LB 0.5544, client 0.5576` |
| «SLO считается» | `[SLI and panels]`: три SLI за 7 суток в [0, 1], за час по рядам правил и по исходным счётчикам в тех же окнах совпали (расхождение 0 п. п. при ≤ 1) |
| «Остановленный worker» | `[worker stopped]`: pending через 84 с, firing через 144 с после первой загрузки (≤ 240), `outbox + published` +3, снято через 29 с после запуска (≤ 120), 3 `ready` |
| «Перезапуск worker» | `[worker stopped] time to ready count…`: первая точка нового процесса — 0 (время начала), приращение по точкам ровно 3; worker стоял 145 с (> 2 мин) |
| «Остановленный relay» | `[relay stopped] MessengerQueueMetricsMissing`: pending через 69 с, firing через 190 с (≤ 300), снято через 45 с (≤ 120) |
| «Остановленный relay уходит из рядов» | `[relay stopped] queue depth and age series gone within 120 s` — ряды глубины и возраста ушли через 60 с |
| «Медленная БД» | `[slow database]`: pending через 75 с, firing через 135 с (≤ 240), доля span PostgreSQL в медленных трассах отправки 0,99–1,0, пул 6 против 0, CPU реплик 0,09 предела, снято через 74 с (≤ 240), `MessengerHighErrorRate` нет |
| «Медленный handler не путается с БД» | `[slow handler]`: доля span PostgreSQL 0,0–0,2 (медиана 0,01), пул ни одной реплики не занят целиком (не больше 0,20), отказов по сроку 0, `pending` — наблюдение (0), CPU реплик 0,81 предела, `MessengerSlowRequests` неактивно (доля медленных до 0,072) |
| «Тяжёлая ручка вне SLI задержки» | `[slow handler] login p95 on the route panel slower than 0.25 s` (p95 входа 0,598 с) при неактивном `MessengerSlowRequests` |
| «Недоступная БД» | `[database down]`: `MessengerNoReadyReplicas` pending через 29 с, firing через 59 с, `MessengerHighErrorRate` pending через 44 с, firing через 105 с (≤ 180), сняты через 30 и 135 с (≤ 240) |
| «Ответы самого балансировщика» | `[database down]`: готовых реплик 0, клиент получил 2497 ответов 503 от LB (без `X-Instance-Id`), 5xx на LB +2605, у API +67 |
| «Отказ БД виден в SLI доступности» | `availability SLI over the outage window: LB 0.5557, client 0.5581` |
| «SLO считается» | `[SLI and panels]`: три SLI за 7 суток в [0, 1]; за час по рядам правил и по исходным счётчикам в тех же окнах — 0, 0 и 0,085 п. п. (≤ 1); у доступности и задержки и против `increase` одним окном часа — 0,58 и 0,066 п. п. (≤ 1) |
| «История оповещения на панели», «Новые панели после трафика» | `alert history panel shows firing of the steps`, `new panel queries (31) with data: []` (у 31 запроса панелей с id от 25 данных хватает) |
| «Без потерь» (`TelemetryDataLoss`) | `other alerts firing: []` на каждом шаге |
@@ -49,7 +50,7 @@ pending во время недоступной БД — допустимо (rela
## Вывод
```
alerts-check 2026-11-13T22:46:44Z: rules, quiet stand
alerts-check 2026-11-14T01:09:30Z: rules, quiet stand
rule groups loaded: ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts']
rules with evaluation errors: []
alerts loaded: ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown']
@@ -63,93 +64,99 @@ uploads ready before the steps: 20
[worker stopped] stand quiet before the step: yes
[worker stopped]
observed: queue by stage and age before: {'outbox': 0.0, 'processing': 0.0, 'published': 0.0, 'scheduled': 0.0, 'oldest_age_s': 0.0}
observed: worker stopped at 48 s of the drill
observed: worker stopped at 46 s of the drill
[worker stopped] uploads accepted (202): 3
observed: MessengerQueueLagHigh pending after 98 s
[worker stopped] MessengerQueueLagHigh firing after the first upload: after 158 s
observed: queue by stage and age: {'outbox': 0.0, 'processing': 0.0, 'published': 3.0, 'scheduled': 0.0, 'oldest_age_s': 141.3}
observed: MessengerQueueLagHigh pending after 84 s
[worker stopped] MessengerQueueLagHigh firing after the first upload: after 144 s
observed: queue by stage and age: {'outbox': 0.0, 'processing': 0.0, 'published': 3.0, 'scheduled': 0.0, 'oldest_age_s': 131.9}
[worker stopped] outbox + published grew by the uploads: 3.0
[worker stopped] consumer spans after the stop: 0
observed: last worker record in Loki: 'Attachment became ready' 1 s before the stop
observed: 'Stopped worker' in stdout: yes
[worker stopped] worker series gone before the start: 0
observed: worker down for 159 s
observed: worker down for 145 s
[worker stopped] uploads ready after the start: 3
[worker stopped] MessengerQueueLagHigh resolved after the start: after 44 s
observed: time to ready count, first points of the new process: [(2.5, 0.0)]
[worker stopped] MessengerQueueLagHigh resolved after the start: after 29 s
observed: time to ready count, first points of the new process: [(2.3, 0.0)]
[worker stopped] time to ready count grew by the uploads (by points): 3.0
[worker stopped] other alerts firing: []
[relay stopped] stand quiet before the step: yes
[relay stopped]
[relay stopped] queue series gone within 120 s: yes
observed: queue series gone after 65 s
[relay stopped] MessengerQueueMetricsMissing firing: after 220 s
[relay stopped] queue depth and age series gone within 120 s: yes
observed: queue series gone after 60 s
observed: MessengerQueueMetricsMissing pending after 69 s
[relay stopped] MessengerQueueMetricsMissing firing: after 190 s
[relay stopped] MessengerQueueMetricsMissing resolved after the start: after 45 s
[relay stopped] other alerts firing: []
[slow database] stand quiet before the step: yes
[slow database]
[slow database] MessengerSlowRequests firing: after 165 s
observed: slow light requests share: 0.428
observed: p95 by route before: {'/api/v1/chats/{chat_id}/messages': 0.021}
observed: MessengerSlowRequests pending after 75 s
[slow database] MessengerSlowRequests firing: after 135 s
observed: slow light requests share: 0.427
observed: p95 by route before: {'/api/v1/chats/{chat_id}/messages': 0.016}
observed: p95 by route during: {'/api/v1/chats/{chat_id}/messages': 2.324}
observed: PostgreSQL share of slow send traces: [0.99, 0.99, 0.99, 0.99, 0.99]
observed: PostgreSQL share of slow send traces: [1.0, 0.99, 1.0, 1.0, 1.0]
[slow database] PostgreSQL spans over half of slow send traces (median): yes
observed: pool used during (max): 6, before 0
[slow database] pool busier than before: yes
observed: CPU of replicas to limit (max): 0.11
observed: CPU of replicas to limit (max): 0.09
[slow database] CPU of replicas below half of the limit: yes
[slow database] MessengerSlowRequests resolved after the unlock: after 89 s
[slow database] MessengerSlowRequests resolved after the unlock: after 74 s
[slow database] other alerts firing: []
[slow handler] stand quiet before the step: yes
[slow handler]
observed: logins: 506, median 0.27 s, max 0.92 s
observed: PostgreSQL share of slow login traces: [0.01, 0.01, 0.01, 0.01, 0.02]
observed: logins: 515, median 0.25 s, max 0.73 s
observed: PostgreSQL share of slow login traces: [0.0, 0.2, 0.01, 0.0, 0.01]
[slow handler] PostgreSQL spans under a fifth of slow login traces (median): yes
observed: pool: max share used 0.30, requests in checkout (max) 0, timeouts 0
observed: pool: max share used 0.20, requests in checkout (max) 0, timeouts 0
[slow handler] no request waits for a free pool connection: yes
observed: CPU of replicas to limit (max): 0.80
observed: p95 by route: {'/api/v1/chats/{chat_id}/messages': 0.127, '/api/v1/auth/sessions': 0.667}
observed: CPU of replicas to limit (max): 0.81
observed: p95 by route: {'/api/v1/chats/{chat_id}/messages': 0.085, '/api/v1/auth/sessions': 0.598}
[slow handler] login p95 on the route panel slower than 0.25 s: yes
observed: slow light requests share (max): 0.050
observed: slow light requests share (max): 0.072
[slow handler] MessengerSlowRequests stayed inactive: yes
[slow handler] other alerts firing: []
[database down] stand quiet before the step: yes
[database down]
[database down] MessengerNoReadyReplicas firing: after 60 s
observed: MessengerNoReadyReplicas pending after 29 s
[database down] MessengerNoReadyReplicas firing: after 59 s
observed: MessengerHighErrorRate pending after 44 s
[database down] MessengerHighErrorRate firing: after 105 s
[database down] ready replicas in LB: 0
observed: 'Database is unavailable' records of replicas in Loki: 27
observed: API traces with an error server span: 27, with a PostgreSQL span in error: 0
observed: 'Database is unavailable' records of replicas in Loki: 67
observed: API traces with an error server span: 50, with a PostgreSQL span in error: 0
[database down] LB ready after the start: yes
observed: client responses during the outage: {'5xx': 2562}, from LB: 2548
[database down] MessengerNoReadyReplicas resolved: after 29 s
observed: client responses during the outage: {'5xx': 2556}, from LB: 2497
[database down] MessengerNoReadyReplicas resolved: after 30 s
[database down] MessengerHighErrorRate resolved: after 135 s
observed: 5xx grew: LB 2603, API 27; LB responses 5841
observed: 5xx grew: LB 2605, API 67; LB responses 5863
[database down] 5xx on LB more than 5xx of API: yes
[database down] LB 5xx grew by the LB's own 503 to the client or more: yes
observed: availability SLI over the outage window: LB 0.5544, client 0.5576
observed: availability SLI over the outage window: LB 0.5557, client 0.5581
[database down] LB 5xx share equals the client's within 5%: yes
observed: MessengerQueueMetricsMissing was pending (allowed)
[database down] other alerts firing: []
[SLI and panels]
observed: client responses over the drill: {'2xx': 22982, '5xx': 2601}
observed: messenger-slo windows in the last hour: 3 of 12
observed: client responses over the drill: {'2xx': 20911, '5xx': 2602}
observed: messenger-slo windows in the last hour: 10 of 12
SLI availability over 7 days within [0, 1]: yes
observed: SLI availability: 7 days 0.93201, hour by rules 1.00000, by raw counters in the same windows 1.00000 (14685 events), raw increase over the hour 1.00000
observed: SLI availability: 7 days 0.93726, hour by rules 0.96010, by raw counters in the same windows 0.96010 (58645 events), raw increase over the hour 0.96590
SLI availability over the hour, rules vs raw counters within 1 pp: yes
observed: SLI availability over the drill: 0.89966
SLI availability over the hour, rules vs raw increase over one window within 1 pp: yes
observed: SLI availability over the drill: 0.88927
SLI latency over 7 days within [0, 1]: yes
observed: SLI latency: 7 days 0.98539, hour by rules 0.98209, by raw counters in the same windows 0.98209 (14225 events), raw increase over the hour 0.98290
observed: SLI latency: 7 days 0.98652, hour by rules 0.98658, by raw counters in the same windows 0.98658 (55462 events), raw increase over the hour 0.98724
SLI latency over the hour, rules vs raw counters within 1 pp: yes
observed: SLI latency over the drill: 0.97905
SLI latency over the hour, rules vs raw increase over one window within 1 pp: yes
observed: SLI latency over the drill: 0.98180
SLI time to ready over 7 days within [0, 1]: yes
observed: SLI time to ready: 7 days 0.93039, hour by rules 0.91358, by raw counters in the same windows 0.91358 (37 events), raw increase over the hour 0.86957
observed: SLI time to ready: 7 days 0.93162, hour by rules 0.93586, by raw counters in the same windows 0.93501 (49 events), raw increase over the hour 0.88000
SLI time to ready over the hour, rules vs raw counters within 1 pp: yes
observed: SLI time to ready over the drill: 0.86957
new panel queries (31) with data: []
alert history panel shows firing of the steps: ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests']
memory prometheus 77a121dcddff: peak 108 MiB, anon+kernel+shmem 54 MiB, file 6 MiB, limit 384 MiB
memory otel-collector 7209c9b86a7c: peak 76 MiB, anon+kernel+shmem 73 MiB, file 0 MiB, limit 256 MiB
memory prometheus ad08a84f4d3a: peak 128 MiB, anon+kernel+shmem 82 MiB, file 16 MiB, limit 384 MiB
memory otel-collector 7209c9b86a7c: peak 83 MiB, anon+kernel+shmem 72 MiB, file 0 MiB, limit 256 MiB
rule groups loaded expected ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts'] got ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts']
rules with evaluation errors expected [] got []
alerts loaded expected ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown'] got ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown']
@@ -169,12 +176,12 @@ uploads ready before the steps
[worker stopped] time to ready count grew by the uploads (by points) expected 3.0 got 3.0
[worker stopped] other alerts firing expected [] got []
[relay stopped] stand quiet before the step expected yes got yes
[relay stopped] queue series gone within 120 s expected yes got yes
[relay stopped] queue depth and age series gone within 120 s expected yes got yes
[relay stopped] MessengerQueueMetricsMissing firing within 300 s expected yes got yes
[relay stopped] MessengerQueueMetricsMissing resolved after the start within 120 s expected yes got yes
[relay stopped] other alerts firing expected [] got []
[slow database] stand quiet before the step expected yes got yes
[slow database] MessengerSlowRequests firing within 180 s expected yes got yes
[slow database] MessengerSlowRequests firing within 240 s expected yes got yes
[slow database] PostgreSQL spans over half of slow send traces (median) expected yes got yes
[slow database] pool busier than before expected yes got yes
[slow database] CPU of replicas below half of the limit expected yes got yes
@@ -199,8 +206,10 @@ uploads ready before the steps
[database down] other alerts firing expected [] got []
SLI availability over 7 days within [0, 1] expected yes got yes
SLI availability over the hour, rules vs raw counters within 1 pp expected yes got yes
SLI availability over the hour, rules vs raw increase over one window within 1 pp expected yes got yes
SLI latency over 7 days within [0, 1] expected yes got yes
SLI latency over the hour, rules vs raw counters within 1 pp expected yes got yes
SLI latency over the hour, rules vs raw increase over one window within 1 pp expected yes got yes
SLI time to ready over 7 days within [0, 1] expected yes got yes
SLI time to ready over the hour, rules vs raw counters within 1 pp expected yes got yes
new panel queries (31) with data expected [] got []
@@ -212,21 +221,26 @@ restored: load stopped, lock session ended, PostgreSQL started, worker and relay
## Чтение чисел
- **SLI за час** — по последней точке ряда `messenger-slo` (Prometheus пишет точку с временем
предыдущего слота, design, «Уточнения apply», п. 11): окон за час 3 из 12 — Prometheus запущен в
22:45Z, раньше рядов правил за этот час нет; поэтому за час доступность 1,00000 — отказ БД (шаг 5)
ещё не попал в записанные окна. Окно учений целиком — строки `SLI … over the drill` по исходным
счётчикам: доступность 0,89966 (отказ БД), задержка 0,97905 (медленная БД), время до `ready`
предыдущего слота, design, «Уточнения apply», п. 11): окон за час 10 из 12 — Prometheus запущен
в 00:42Z (шаг `[prometheus]` пробного `backend-outage` перед съёмкой), раньше рядов правил за этот
час нет. В записанные окна попали пробные учения до съёмки и этот прогон, кроме последних 5–10
мин: доступность за час 0,96010. Окно учений целиком — строки `SLI … over the drill` по исходным
счётчикам: доступность 0,88927 (отказ БД), задержка 0,98180 (медленная БД), время до `ready`
0,86957 (три загрузки при остановленном worker ждали дольше 30 с).
- **Сверка путей** (спек «SLO считается», design, «Уточнения apply», пп. 12, 18): ряды правил против
суммы `increase(…[5m])` исходных счётчиков в тех же окнах — доступность и задержка 0 п. п., время
до `ready` 0,085 п. п. (0,93586 против 0,93501 при 49 событиях); у доступности и задержки ещё и
против `increase` одним окном часа — 0,58 п. п. (0,96010 против 0,96590) и 0,066 п. п. (0,98658
против 0,98724), допуск 1 п. п. У времени до `ready` одно окно (0,88000) — наблюдение: при единицах
событий потеря приращения на границах непересекающихся окон меняет SLI на п. п.
- **SLI за 7 суток** включает все учения и проверки этого и прошлых прогонов на рабочем стенде
(доступность 0,93201 при SLO 0,995 — бюджет исчерпан учениями; остаток бюджета на панели
(доступность 0,93726 при SLO 0,995 — бюджет исчерпан учениями; остаток бюджета на панели
отрицательный), это ожидаемо и названо в `REPORT.md` («Ограничения SLI»).
- **Время до `ready`** за час одним окном (0,86957) и по окнам правил (0,91358) расходятся из-за
потери приращения на границах непересекающихся окон при единицах событий (design, «Уточнения
apply», п. 12); проверка сравнивает пути в тех же окнах — 0 п. п.
- **Span PostgreSQL с ошибкой при недоступной БД — 0** из 27 трасс 503: отказ — на выдаче
соединения из пула, до `before_cursor_execute` (design, «Уточнения apply», п. 9; наблюдение, а не
проверка). Причину называют записи «Database is unavailable» в Loki (27 — по одной на ответ 503
реплик до вывода из LB).
- **Память** Prometheus и Collector — `memory.peak` с их запуска в 22:45Z (весь прогон): Prometheus
108 МиБ (неосвобождаемая часть 54), Collector 76 МиБ при лимитах 384 и 256 — правило «лимит ≥
1,5 × пика» выполнено (раздел change `slo-alerts` в `evidence/telemetry/budget.md`).
- **Span PostgreSQL с ошибкой при недоступной БД — 0** из 50 найденных трасс с ошибкой server span
(предел поиска — 50): отказ — на выдаче соединения из пула, до `before_cursor_execute` (design,
«Уточнения apply», п. 9; наблюдение, а не проверка). Причину называют записи «Database is
unavailable» в Loki (67 — по одной на ответ 503 реплик до вывода из LB, у API +67 ответов 5xx).
- **Память** Prometheus и Collector — `memory.peak` с их запуска в 00:42Z и 00:44Z (пробный прогон
`alerts-check` и этот): Prometheus 128 МиБ (неосвобождаемая часть 82), Collector 83 МиБ при
лимитах 384 и 256 — правило «лимит ≥ 1,5 × пика» выполнено (раздел change `slo-alerts` в
`evidence/telemetry/budget.md`).
+56 -21
View File
@@ -1,20 +1,26 @@
# `make alerts_test` (change `slo-alerts`, задача 11.1)
# `make alerts_test` (change `slo-alerts`, задачи 11.1 и 12.11)
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
рабочее дерево чистое (`git status --short` пуст до прогона; новые файлы — только `evidence/`).
- Дата: 2026-11-11, 21:36:51Z – 21:36:52Z (~1 с); хост macOS, Docker 29.9.2, Compose 5.6.1. Стенд
- Основа: commit `ef60b47` (fix: address slo-alerts verify findings), рабочее дерево чистое
(`git status --short` пуст до прогона; новые файлы — только `evidence/`). Прежний прогон этого
файла — на `15ea156` (до правок verify: 19 групп, 39 проверок оповещений, 15 проверок выражений).
- Дата: 2026-11-14, 01:09:19Z – 01:09:20Z (~1 с); хост macOS, Docker 29.9.2, Compose 5.6.1. Стенд
не нужен: файлы `infra/otel/prometheus/` (`prometheus.yml`, `rules.yml`, `rules.test.yml`) уходят
`tar` через stdin в одноразовый контейнер закреплённого образа Prometheus с `--network none`, там
`promtool check config`, `promtool check rules`, `promtool test rules rules.test.yml`; затем у
каждого из семи оповещений `rules.yml` поле `runbook_url` — существующий файл репозитория.
Команда из корня репозитория: `make alerts_test`, код выхода 0.
- Состав тестов `rules.test.yml`: 19 групп синтетических рядов (интервал 15 с, как у стенда),
39 проверок оповещений (`alert_rule_test`) и 6 проверок правил записи (`promql_expr_test`). На
каждое оповещение — срабатывание после `for`, нет срабатывания ниже порога и без трафика, снятие
после восстановления; `MessengerQueueMetricsMissing` молчит при недоступном экспортёре Collector;
`TelemetryDataLoss` — новый ряд, рост, сброс счётчика.
- Сценарий: `observability` «Тесты правил» (проверка синтаксиса и модульные тесты правил — код 0);
«Правила оповещений» — у каждого оповещения есть runbook в git.
- Состав тестов `rules.test.yml`: 22 блока синтетических рядов (интервал 15 с, как у стенда);
43 проверки оповещений (`alert_rule_test`, в 21 блоке) и 17 проверок выражений правил записи
(`promql_expr_test`, в 7 блоках). На каждое оповещение — срабатывание после `for`, нет
срабатывания ниже порога и без трафика, снятие после восстановления (в `exp_annotations` — все
аннотации дословно, с подставленным значением); `MessengerQueueMetricsMissing` молчит при
недоступном экспортёре Collector, его описание называет возраст последнего снимка (и «more than
an hour ago», если снимков не было); `TelemetryTargetDown` — `up` цели и число недоступных целей
(одна и две разом); `TelemetryDataLoss` — новый ряд, рост, сброс счётчика; первая потеря
процесса SDK: ряд суммы 0 до потери, `increase(telemetry:lost_items:total[5m])` равен потере
(verify W1).
- Сценарии: `observability` «Тесты правил» (проверка синтаксиса и модульные тесты правил — код 0);
«Правила оповещений» — у каждого оповещения есть runbook в git, описание с текущим значением.
```
promtool from prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
@@ -42,22 +48,24 @@ alerts: 7, each with an existing runbook
Строки по шагам: `Checking prometheus.yml` и `Checking /etc/prometheus/rules.yml` — `check config`
(он проверяет и файл из `rule_files`), `Checking rules.yml` — `check rules`, одиночное `SUCCESS` —
итог `test rules` (39 + 6 проверок; при отказе он печатает каждую несовпавшую, как ниже).
итог `test rules` (43 + 17 проверок; при отказе он печатает каждую несовпавшую, как ниже).
## Тесты ловят изменённый порог (контроль, не в git)
## Контроли (не в git)
Тот же образ и те же три файла, скопированные во временный каталог вне репозитория; в копии
`rules.yml` порог доли медленных «лёгких» запросов у `MessengerSlowRequests` поднят с 0.1 до 0.5
(файлы репозитория не менялись):
Тот же образ; три файла дерева `ef60b47` (`git archive`) — во временном каталоге вне репозитория,
в копии `rules.yml` — одна правка, файлы репозитория не менялись; `promtool test rules
rules.test.yml` на копии.
### Изменённый порог
Порог доли медленных «лёгких» запросов у `MessengerSlowRequests` поднят с 0.1 до 0.5:
```
92c92
< expr: messenger:http_light_slow:ratio_rate2m > 0.1 and messenger:http_light_requests:rate2m > 0.1
---
> expr: messenger:http_light_slow:ratio_rate2m > 0.5 and messenger:http_light_requests:rate2m > 0.1
- expr: messenger:http_light_slow:ratio_rate2m > 0.1 and messenger:http_light_requests:rate2m > 0.1
+ expr: messenger:http_light_slow:ratio_rate2m > 0.5 and messenger:http_light_requests:rate2m > 0.1
```
`promtool test rules rules.test.yml` на копии — код 1:
Код 1:
```
FAILED:
@@ -72,3 +80,30 @@ alerts: 7, each with an existing runbook
Доля медленных в тесте — ровно 50 %, поэтому с порогом `> 0.5` оповещение не срабатывает, и тест
«срабатывание после `for`» красный.
### Правило потерь без нуля процесса SDK (verify W1)
Убрана третья часть `telemetry:lost_items:total` — ноль по ряду ёмкости очереди span (правило
`15ea156`):
```
sum by (job, instance) ({__name__=~"otel_sdk_(processor|exporter)_(span|log)_(processed|exported)_total",error_type!=""})
- or
- sum by (job, instance) (otel_sdk_processor_span_queue_capacity) * 0
```
Код 1:
```
FAILED:
expr: "telemetry:lost_items:total", time: 3m,
exp: {__name__="telemetry:lost_items:total", instance="a1", job="messenger-api"} 0E+00, {__name__="telemetry:lost_items:total", instance="r1", job="messenger-relay"} 0E+00
got: nil
expr: "increase(telemetry:lost_items:total[5m])", time: 6m,
exp: {instance="a1", job="messenger-api"} 3.6E+01, {instance="r1", job="messenger-relay"} 0E+00
got: {instance="a1", job="messenger-api"} 0E+00
```
Без нуля ряда процесса нет до первой потери, ряд появляется сразу со значением 36, и `increase()`
(как `rate()` панели потерь) это первое значение отбрасывает — 0 вместо 36. С правилом `ef60b47`
тот же тест зелёный (вывод выше).
+72 -50
View File
@@ -1,17 +1,21 @@
# `driver.py --port 8080 backend-outage` (change `slo-alerts`, задача 11.3)
# `driver.py --port 8080 backend-outage` (change `slo-alerts`, задачи 11.3 и 12.11)
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
рабочее дерево чистое (до прогона вне `evidence/` изменений нет). Файлы `src/` и `migrations/`
(151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit
(SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`.
- Дата: 2026-11-13, 23:06:38Z – 23:22:25Z (~15,8 мин), сразу после `alerts-check`
- Основа: commit `ef60b47` (fix: address slo-alerts verify findings), рабочее дерево чистое (до
прогона вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в контейнерах `api` (2),
`relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256 каждого файла); ревизия
схемы `e4b8c2d17f90`; `rules.yml` и `prometheus.yml` в контейнере Prometheus равны дереву
`ef60b47`. Прежний прогон этого файла — на `15ea156` (до правок verify: без проверки панели потерь,
правило потерь без нуля процесса SDK).
- Дата: 2026-11-14, 01:27:36Z – 01:43:27Z (~15,9 мин), сразу после `alerts-check`
(`evidence/alerts/check.md`); хост macOS, Docker 29.9.2, Compose 5.6.1, ВМ Docker Desktop — 12 CPU /
11,6 ГиБ. Рабочий стенд `mtusi-lab6`, команда из корня репозитория:
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 backend-outage`, код выхода 0.
- Через HTTP API Grafana на `127.0.0.1:3000` (пароль из `.env`, в вывод не попадает); та же фоновая
нагрузка драйвера, что у `alerts-check` (6 потоков отправки раз в 0,25 с, 1 чтения раз в 1 с);
память — раз в 2 с: `memory.current` реплик из их cgroup (`docker exec … cat`), Collector —
`docker stats` (в образе нет оболочки) и `otelcol_process_runtime_total_sys_memory_bytes`.
`docker stats` (в образе нет оболочки) и `otelcol_process_runtime_total_sys_memory_bytes`. Панель
потерь — запрос A панели 40 (`sum by (job) (rate(telemetry:lost_items:total[5m])) or on()
vector(0)`, взят из dashboard в Grafana), наибольшее значение по `job` с момента остановки.
- Шаги: Loki — `docker compose stop` на 10 с со своим запросом (известный `X-Request-Id`), затем на
120 с (> 30 с повторов Collector) с `make test`; то же для Tempo; Prometheus — 60 с; Collector —
120 с с `make test`. В `finally` — все сервисы телеметрии, worker и relay запущены, нагрузка
@@ -22,77 +26,84 @@
| Сценарий (`observability`) | Строки |
| --- | --- |
| «Короткий отказ хранилища» | `[loki short]`, `[tempo short]`: свой запрос найден после возврата, потери экспортёра 0 |
| «Долгий отказ хранилища» | `[loki long]`, `[tempo long]`: `make test` 0 PASS, 5xx у клиента 0 (2928 и 2934 ответа 2xx), очередь экспорта до 0,135 (Loki) и 0,656 (Tempo) ёмкости, память Collector до 93 МиБ при лимите 256, `TelemetryTargetDown` firing через 105 и 90 с (≤ 118), `TelemetryDataLoss` firing, новые сигналы после возврата, оба сняты (через 40 / 145 с и 30 / 150 с, ≤ 240) |
| «Потери Collector при недоступном хранилище» | `[tempo long] Collector losses of otlp_http/tempo: 1342 spans` (и `[loki long]` — 443 записи), `TelemetryDataLoss firing` |
| «Отказ Prometheus» | `[prometheus]`: 5xx 0 (1467 ответов 2xx), счёт запросов API между точками до и после (105 с) вырос на 2565 при 1833 запросах нагрузки в этом окне |
| «Отказ Collector под нагрузкой» | `[collector]`: `make test` 0 PASS, `TelemetryTargetDown{job=otel-collector}` firing через 95 с, память реплик — максимум последней трети окна 156 и 154 МиБ против 142 и 145 первой (рост ≤ 16 МиБ), лимит 512; `MessengerQueueMetricsMissing` неактивно; снято через 20 с |
| «Потери SDK при недоступном Collector» | `[collector] SDK losses before {}, after {…: 11683.0, …: 11810.0}`, ёмкость очередей SDK 2048, записей API в окне: stdout 5275, Loki 0 |
| «Без потерь» | `stand quiet before the step: yes` перед каждым шагом (в том числе `TelemetryDataLoss` неактивно), потери коротких отказов 0 |
| «Долгий отказ хранилища» | `[loki long]`, `[tempo long]`: `make test` 0 PASS, 5xx у клиента 0 (2933 и 2931 ответ 2xx), очередь экспорта до 0,122 (Loki) и 0,622 (Tempo) ёмкости, память Collector до 91 МиБ при лимите 256, `TelemetryTargetDown` firing через 80 и 75 с (≤ 118), `TelemetryDataLoss` firing, новые сигналы после возврата, оба сняты (через 20 / 140 с и 15 / 135 с, ≤ 240) |
| «Потери Collector при недоступном хранилище» | `[tempo long] Collector losses of otlp_http/tempo: 1336 spans` (и `[loki long]` — 441 запись), на панели потерь `otel-collector` до 4,688/с (Loki — 1,497/с), `TelemetryDataLoss firing` |
| «Отказ Prometheus» | `[prometheus]`: 5xx 0 (1467 ответов 2xx), счёт запросов API между точками до и после (90 с) вырос на 2202 при 1463 запросах нагрузки в этом окне |
| «Отказ Collector под нагрузкой» | `[collector]`: `make test` 0 PASS, `TelemetryTargetDown{job=otel-collector}` firing через 80 с, память реплик — максимум последней трети окна 143 и 150 МиБ против 142 и 143 первой (рост ≤ 16 МиБ), лимит 512; `MessengerQueueMetricsMissing` неактивно; снято через 20 с |
| «Потери SDK при недоступном Collector» | `[collector] SDK losses before {…: 11685.0, …: 11534.0}, after {…: 23287.0, …: 23085.0}` (+11 602 и +11 551), на панели потерь `messenger-api` до 81,239/с, ёмкость очередей SDK span и журнала 2048, записей API в окне: stdout 5274, Loki 0 |
| «Без потерь» | `stand quiet before the step: yes` перед каждым шагом (в том числе `TelemetryDataLoss` неактивно), потери коротких отказов 0; панель потерь на тихом стенде (0) проверяет `telemetry-check` |
## Вывод
```
backend-outage 2026-11-13T23:06:38Z
backend-outage 2026-11-14T01:27:36Z
[loki short] stand quiet before the step: yes
[loki short] own request found after the return: yes
[loki short] Collector losses of otlp_http/loki: 0
[loki long] stand quiet before the step: yes
[loki long] make test: 0 PASS
[loki long] TelemetryTargetDown{job=loki} firing: after 105 s
observed: export queue of otlp_http/loki, max share of capacity: 0.135
[loki long] TelemetryTargetDown{job=loki} firing: after 80 s
observed: export queue of otlp_http/loki, max share of capacity: 0.122
[loki long] export queue within its capacity: yes
observed: Collector memory: docker stats max 77 MiB, runtime sys max 76 MiB, limit 256 MiB
observed: Collector memory: docker stats max 81 MiB, runtime sys max 76 MiB, limit 256 MiB
[loki long] Collector memory below its limit: yes
observed: client responses during the outage: {'2xx': 2928}
observed: client responses during the outage: {'2xx': 2933}
[loki long] client 5xx during the outage: 0
[loki long] TelemetryDataLoss firing: yes
observed: Collector losses of otlp_http/loki: 443 log_records
observed: Collector losses of otlp_http/loki: 441 log_records
[loki long] losses counted by the Collector: yes
observed: loss panel, max per job since the stop: {'otel-collector': 1.497, 'messenger-api': 0.0, 'messenger-worker': 0.0, 'messenger-relay': 0.0}
[loki long] Collector losses on the loss panel: yes
[loki long] new signals arrive after the return: yes
[loki long] TelemetryTargetDown resolved: after 40 s
[loki long] TelemetryDataLoss resolved: after 145 s
[loki long] TelemetryTargetDown resolved: after 20 s
[loki long] TelemetryDataLoss resolved: after 140 s
[tempo short] stand quiet before the step: yes
[tempo short] own request found after the return: yes
[tempo short] Collector losses of otlp_http/tempo: 0
[tempo long] stand quiet before the step: yes
[tempo long] make test: 0 PASS
[tempo long] TelemetryTargetDown{job=tempo} firing: after 90 s
observed: export queue of otlp_http/tempo, max share of capacity: 0.656
[tempo long] TelemetryTargetDown{job=tempo} firing: after 75 s
observed: export queue of otlp_http/tempo, max share of capacity: 0.622
[tempo long] export queue within its capacity: yes
observed: Collector memory: docker stats max 93 MiB, runtime sys max 84 MiB, limit 256 MiB
observed: Collector memory: docker stats max 91 MiB, runtime sys max 84 MiB, limit 256 MiB
[tempo long] Collector memory below its limit: yes
observed: client responses during the outage: {'2xx': 2934}
observed: client responses during the outage: {'2xx': 2931}
[tempo long] client 5xx during the outage: 0
[tempo long] TelemetryDataLoss firing: yes
observed: Collector losses of otlp_http/tempo: 1342 spans
observed: Collector losses of otlp_http/tempo: 1336 spans
[tempo long] losses counted by the Collector: yes
observed: loss panel, max per job since the stop: {'otel-collector': 4.688, 'messenger-api': 0.0, 'messenger-worker': 0.0, 'messenger-relay': 0.0}
[tempo long] Collector losses on the loss panel: yes
[tempo long] new signals arrive after the return: yes
[tempo long] TelemetryTargetDown resolved: after 30 s
[tempo long] TelemetryDataLoss resolved: after 150 s
[tempo long] TelemetryTargetDown resolved: after 15 s
[tempo long] TelemetryDataLoss resolved: after 135 s
[prometheus] stand quiet before the step: yes
observed: client responses while Prometheus is down: {'2xx': 1467}
[prometheus] client 5xx while Prometheus is down: 0
[prometheus] Prometheus answers again: yes
observed: API request count grew by 2565 between scrapes 105 s apart; load sent 1833 in that window
observed: API request count grew by 2202 between scrapes 90 s apart; load sent 1463 in that window
[prometheus] request count grew at least by the load: yes
[collector] stand quiet before the step: yes
[collector] make test: 0 PASS
[collector] TelemetryTargetDown{job=otel-collector} firing: after 95 s
observed: api 224ebf0e32ba: memory max first third 142 MiB, last third 156 MiB, limit 512 MiB
[collector] TelemetryTargetDown{job=otel-collector} firing: after 80 s
observed: api 224ebf0e32ba: memory max first third 142 MiB, last third 143 MiB, limit 512 MiB
[collector] api 224ebf0e32ba memory does not grow and is below its limit: yes
observed: api 4b9782f7240b: memory max first third 145 MiB, last third 154 MiB, limit 512 MiB
observed: api 4b9782f7240b: memory max first third 143 MiB, last third 150 MiB, limit 512 MiB
[collector] api 4b9782f7240b memory does not grow and is below its limit: yes
[collector] MessengerQueueMetricsMissing stayed inactive: yes
[collector] TelemetryTargetDown resolved: after 20 s
observed: SDK losses before {}, after {'224ebf0e32ba': 11683.0, '4b9782f7240b': 11810.0}
observed: SDK losses before {'224ebf0e32ba': 11685.0, '4b9782f7240b': 11534.0}, after {'224ebf0e32ba': 23287.0, '4b9782f7240b': 23085.0}
[collector] SDK loss counters of replicas grew: yes
[collector] SDK queue capacity as [telemetry] max_queue_size: {2048.0}
observed: API records in the outage window: stdout 5275, Loki 0
observed: loss panel, max per job since the stop: {'messenger-worker': 0.071, 'messenger-relay': 0.007, 'otel-collector': 2.77, 'messenger-api': 81.239}
[collector] SDK losses of replicas on the loss panel: yes
[collector] SDK span queue capacity as [telemetry] max_queue_size: {2048.0}
[collector] SDK log queue capacity as [telemetry] max_queue_size: {2048.0}
observed: API records in the outage window: stdout 5274, Loki 0
[collector] fewer Loki records than stdout records in the window: yes
memory otel-collector 7209c9b86a7c: peak 68 MiB, anon+kernel+shmem 66 MiB, file 0 MiB, limit 256 MiB
memory prometheus 77a121dcddff: peak 89 MiB, anon+kernel+shmem 55 MiB, file 0 MiB, limit 384 MiB
memory api 224ebf0e32ba: peak 334 MiB, anon+kernel+shmem 133 MiB, file 0 MiB, limit 512 MiB
memory api 4b9782f7240b: peak 327 MiB, anon+kernel+shmem 135 MiB, file 0 MiB, limit 512 MiB
memory prometheus ad08a84f4d3a: peak 107 MiB, anon+kernel+shmem 71 MiB, file 4 MiB, limit 384 MiB
memory api 224ebf0e32ba: peak 342 MiB, anon+kernel+shmem 129 MiB, file 0 MiB, limit 512 MiB
memory api 4b9782f7240b: peak 339 MiB, anon+kernel+shmem 130 MiB, file 0 MiB, limit 512 MiB
[loki short] stand quiet before the step expected yes got yes
[loki short] own request found after the return expected yes got yes
[loki short] Collector losses of otlp_http/loki expected 0 got 0
@@ -104,6 +115,7 @@ memory api 4b9782f7240b: peak 327 MiB, anon+kernel+shmem 135 MiB, file 0 MiB, li
[loki long] client 5xx during the outage expected 0 got 0
[loki long] TelemetryDataLoss firing expected yes got yes
[loki long] losses counted by the Collector expected yes got yes
[loki long] Collector losses on the loss panel expected yes got yes
[loki long] new signals arrive after the return expected yes got yes
[loki long] TelemetryTargetDown resolved within 240 s expected yes got yes
[loki long] TelemetryDataLoss resolved within 240 s expected yes got yes
@@ -118,6 +130,7 @@ memory api 4b9782f7240b: peak 327 MiB, anon+kernel+shmem 135 MiB, file 0 MiB, li
[tempo long] client 5xx during the outage expected 0 got 0
[tempo long] TelemetryDataLoss firing expected yes got yes
[tempo long] losses counted by the Collector expected yes got yes
[tempo long] Collector losses on the loss panel expected yes got yes
[tempo long] new signals arrive after the return expected yes got yes
[tempo long] TelemetryTargetDown resolved within 240 s expected yes got yes
[tempo long] TelemetryDataLoss resolved within 240 s expected yes got yes
@@ -133,7 +146,9 @@ memory api 4b9782f7240b: peak 327 MiB, anon+kernel+shmem 135 MiB, file 0 MiB, li
[collector] MessengerQueueMetricsMissing stayed inactive expected yes got yes
[collector] TelemetryTargetDown resolved within 240 s expected yes got yes
[collector] SDK loss counters of replicas grew expected yes got yes
[collector] SDK queue capacity as [telemetry] max_queue_size expected {2048.0} got {2048.0}
[collector] SDK losses of replicas on the loss panel expected yes got yes
[collector] SDK span queue capacity as [telemetry] max_queue_size expected {2048.0} got {2048.0}
[collector] SDK log queue capacity as [telemetry] max_queue_size expected {2048.0} got {2048.0}
[collector] fewer Loki records than stdout records in the window expected yes got yes
PASS: API and worker work while telemetry stores and the Collector are down; memory is bounded, losses are counted, alerts fire and resolve
restored: load stopped, telemetry services started, worker and relay running: yes
@@ -141,23 +156,30 @@ restored: load stopped, telemetry services started, worker and relay running: ye
## Чтение чисел
- **Потери ограничены и учтены.** Долгий отказ Loki (120 с) — 443 записи журнала, Tempo — 1342 span
- **Потери ограничены и учтены.** Долгий отказ Loki (120 с) — 441 запись журнала, Tempo — 1336 span
(`otelcol_exporter_enqueue_failed_*` / `send_failed_*` экспортёра): очередь Tempo (8 МиБ) за 120 с
заполнилась до 0,656 ёмкости, Loki (16 МиБ) — до 0,135, и при этом пакеты, чьи повторы истекли
заполнилась до 0,622 ёмкости, Loki (16 МиБ) — до 0,122, и при этом пакеты, чьи повторы истекли
(30 с), отброшены (design, решение 7: сохраняется начало отказа, теряется конец). Короткий отказ
(10 с + старт хранилища) — короче срока повторов, потерь 0, свой запрос нашёлся.
- **Отказ Collector** — потери у источника: очереди SDK (2048) у каждой реплики переполнились, счёт
`otel_sdk_*` с `error_type` — 11 683 и 11 810 (span и записи вместе), он копился в процессе и
пришёл в Prometheus после возврата Collector; записей API окна в Loki 0 из 5275 в stdout.
- **Память.** Collector в долгих отказах — `docker stats` до 93 МиБ, `otelcol_process_runtime_total_sys_memory_bytes`
`otel_sdk_*` с `error_type` вырос на 11 602 и 11 551 (span и записи вместе; «before» — счёт
пробного прогона перед съёмкой в тех же процессах), он копился в процессе и пришёл в Prometheus
после возврата Collector; записей API окна в Loki 0 из 5274 в stdout.
- **Панель потерь** (verify W1, design, «Уточнения apply», п. 17): запрос A видит потери Collector
в долгих отказах хранилищ (1,497 и 4,688/с) и потери SDK реплик после отказа Collector (81,239/с у
`messenger-api`): ряд правила процесса SDK начинается с нуля по ряду ёмкости очереди span, и
`rate()` не отбрасывает первое значение после возврата Collector. На `15ea156` в том же шаге ряд
`messenger-api` появлялся сразу со значением потерь, и панель давала 0.
- **Память.** Collector в долгих отказах — `docker stats` до 91 МиБ, `otelcol_process_runtime_total_sys_memory_bytes`
до 84 МиБ при лимите 256 и `GOMEMLIMIT` 160. Строка `memory otel-collector … peak 68 MiB` в конце
— `memory.peak` cgroup после шага `[collector]` (`docker compose stop` / `start` того же контейнера
начинают новую cgroup), так же строка Prometheus (89 МиБ) — с его запуска на шаге `[prometheus]`;
пик Prometheus за всё время его жизни до этого — 108 МиБ в `alerts-check`. Реплики API при
недоступном Collector не растут сверх очередей SDK (рост максимума ≤ 14 МиБ, проверка ≤ 16 МиБ),
`memory.peak` реплик 334 и 327 МиБ — со старта стенда в 22:45Z (входы `alerts-check`), лимит 512.
Правило «лимит ≥ 1,5 × пика» — раздел change `slo-alerts` в `evidence/telemetry/budget.md`.
начинают новую cgroup), так же строка Prometheus (107 МиБ) — с его запуска на шаге `[prometheus]`;
пик Prometheus до этого — 128 МиБ в `alerts-check` (`evidence/alerts/check.md`). Реплики API при
недоступном Collector не растут сверх очередей SDK (рост максимума ≤ 7 МиБ, проверка ≤ 16 МиБ),
`memory.peak` реплик 342 и 339 МиБ — со старта реплик 2026-11-13 в 23:26Z (входы `alerts-check`),
лимит 512. Правило «лимит ≥ 1,5 × пика» — раздел change `slo-alerts` в
`evidence/telemetry/budget.md`.
- **Prometheus.** Пока он стоит, правила не вычисляются и точек нет, а cumulative-счётчики после
возврата прежние: приращение между точками до и после окна 2565 ≥ 1833 запросов нагрузки (запросы
возврата прежние: приращение между точками до и после окна 2202 ≥ 1463 запросов нагрузки (запросы
нагрузки драйвер считает с первой точки до второй минус 30 с — запас на экспорт SDK и сбор, —
поэтому приращение заведомо больше).
+5
View File
@@ -203,3 +203,8 @@
`evidence/alerts/rules-test.md` (счёт S2), `alerts-check` → `evidence/alerts/check.md`, `telemetry-check` →
`evidence/telemetry/check.md`, `backend-outage` → `evidence/telemetry/backend-outage.md`; числа и ссылки на строки в
`REPORT.md`. Проверка: коды 0; сценарии 11.1–11.3 и новые строки (панель потерь, pending, одно окно).
Состояние (2026-11-14, `ef60b47`): `rules-test.md`, `alerts/check.md` и `backend-outage.md` пересняты (коды 0),
`REPORT.md` и `AGENTS.md` поправлены. `telemetry-check` дважды дал код 1 на строке «same relay pass records in Loki»
(гонка проверки драйвера: `relay_pass_records` ждёт первой записи в Loki, а не всех записей stdout — вторая запись
прохода приходит через секунды и в Loki есть); правка драйвера в стадии пересъёмки запрещена — задача открыта,
`evidence/telemetry/check.md` пока на `15ea156`.