docs: re-capture slo-alerts alert and backend-outage evidence on ef60b47
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -54,7 +54,10 @@ SLI и SLO (доступность на LB 99,5 %, задержка «лёгки
|
||||
11 902 МиБ. Код — commit `15ea156`, evidence снято на нём (2026-11-13):
|
||||
`evidence/alerts/rules-test.md`, `evidence/alerts/check.md`,
|
||||
`evidence/telemetry/backend-outage.md`, пересняты `evidence/telemetry/check.md`,
|
||||
`trace-chain.md`, `collector-outage.md`, раздел change в `budget.md`.
|
||||
`trace-chain.md`, `collector-outage.md`, раздел change в `budget.md`. Правки verify
|
||||
(ноль ряда потерь процесса SDK, описания оповещений с текущим значением, панель потерь
|
||||
в проверках, pending на каждом шаге, сверка SLI одним окном) — commit `ef60b47`, на нём
|
||||
пересняты (2026-11-14) `rules-test.md`, `alerts/check.md` и `backend-outage.md`.
|
||||
Код перенесён из лабы 5 (репозиторий
|
||||
`mtusi2026lab5-safronov`, ветка `solution/bvt2301-safronov`, commit
|
||||
`046ec9e`) по разделу «Переход в следующую лабу»; отчёт и evidence лабы 5
|
||||
@@ -740,10 +743,10 @@ evidence/attachments/ # change async-attachments: defense.md (driver.py d
|
||||
evidence/s3/ # privacy.md — make s3_check на текущем коде; change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам); change track2-reconciler: cleaner-list.md (bootstrap с политикой списка по префиксу, неверный префикс, make s3_check со строками списка уборщика, окружение s3-bootstrap)
|
||||
evidence/reconcile/ # change track2-reconciler: cycle.md (driver.py reconcile-cycle), stress.md (driver.py reconcile-stress), service.md (Started cleaner с параметрами сверки, плановая сверка при старте, docker stop во время сверки при pause s3, код 1 разового прохода по сигналу — driver.py reconcile-signal, отказ старта на RECONCILER__*, коды 3 и 0; с change track2-reconcile-cost — остановка во время паузы предела скорости, driver.py reconcile-signal --pace)
|
||||
evidence/reconcile/<метка>/ # результаты make bench_reconcile (change track2-reconcile-cost): meta.json (раздел reconcile: план, этапы и модели, commit и образы «до», аргументы S3), passes.csv, windows.csv, summary.md (H1–H4 и S4), cost-by-n.svg, requests-by-n.svg, background-p95.svg, raw/ (записи уборщика по проходам, итог k6 блока H4)
|
||||
evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 15ea156 change slo-alerts переснято: check.md (driver.py telemetry-check, с метриками LB и новыми панелями), collector-outage.md (driver.py telemetry-outage), trace-chain.md (driver.py trace-chain); новое на 15ea156: backend-outage.md (driver.py backend-outage), раздел change slo-alerts в budget.md; на 72cfa9a (change job-trace-propagation): queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта)
|
||||
evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 15ea156 change slo-alerts переснято: check.md (driver.py telemetry-check, с метриками LB и новыми панелями), collector-outage.md (driver.py telemetry-outage), trace-chain.md (driver.py trace-chain), раздел change slo-alerts в budget.md; на ef60b47 (правки verify slo-alerts): backend-outage.md (driver.py backend-outage, с панелью потерь); на 72cfa9a (change job-trace-propagation): queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта)
|
||||
evidence/migrations/ # change job-trace-propagation: job-trace-context.md — ревизия e4b8c2d17f90 (временная база: с нуля, повтор, откат, CHECK, lock_timeout; --sql; рабочий стенд: откат реплик на ff0073e с MIGRATE=0, ревизия до и после make rolling_update)
|
||||
evidence/stand/ # change otel-telemetry: from-scratch.md (driver.py stand-from-scratch --runs 2)
|
||||
evidence/alerts/ # change slo-alerts (commit 15ea156): rules-test.md (make alerts_test), check.md (driver.py alerts-check); там же — evidence/telemetry/backend-outage.md (driver.py backend-outage) и раздел change в budget.md
|
||||
evidence/alerts/ # change slo-alerts (commit ef60b47, правки verify; первая съёмка — 15ea156): rules-test.md (make alerts_test и контроли), check.md (driver.py alerts-check); там же — evidence/telemetry/backend-outage.md (driver.py backend-outage) и раздел change в budget.md (15ea156)
|
||||
evidence/storage/ # отказы БД, пул, statement_timeout, рестарт, порты Postgres, свежий clone; connection-cost.md — цена нового соединения и пинга; freeze-sessions.md — change unit-of-work: сессии и журнал пула после заморозки PostgreSQL (driver.py freeze-sessions и freeze-lb)
|
||||
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после)
|
||||
evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия)
|
||||
|
||||
@@ -23,8 +23,9 @@ Change `otel-telemetry` (design — `openspec/changes/archive/2026-11-11-otel-te
|
||||
`telemetry-outage` — ещё раз на `72e2598` (правки verify: сигналы relay без перезапуска, тихая
|
||||
очередь в предусловии, рост CPU каждого процесса); `telemetry-check`, `trace-chain` и
|
||||
`telemetry-outage` — в третий раз на `15ea156` (код change `slo-alerts`: новые панели, метрики LB,
|
||||
внутренние метрики SDK), там же `alerts-check`, `backend-outage`, `make alerts_test` и раздел
|
||||
change `slo-alerts` бюджета; бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов
|
||||
внутренние метрики SDK), там же раздел change `slo-alerts` бюджета; `make alerts_test`,
|
||||
`alerts-check` и `backend-outage` — на `ef60b47` (правки verify change
|
||||
`slo-alerts`: ноль ряда потерь процесса SDK, панель потерь в проверках, pending на каждом шаге); бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов
|
||||
`evidence/telemetry/` и `evidence/migrations/`. `evidence/stand/from-
|
||||
scratch.md` ещё снят на рабочем дереве поверх `9b35c25`: пересъёмка ждёт разрешения пользователя
|
||||
(`QUESTIONS.md`, `## otel-telemetry`, вопрос 8).
|
||||
@@ -329,23 +330,25 @@ runbooks — `infra/otel/runbooks/`.
|
||||
по исходным счётчикам; непересекающиеся окна `increase(…[5m])` теряют приращение между
|
||||
последним сбором окна и первым следующего (~5 % событий наугад: заметно при единицах событий,
|
||||
как у времени до `ready`), а пока Prometheus остановлен, окна нет вовсе — `alerts-check` сверяет
|
||||
ряды правил с исходными счётчиками в тех же окнах и печатает рядом `increase` за час одним
|
||||
окном; SLI за 7 суток включают учения и проверки; при недоступном Prometheus правила не
|
||||
ряды правил с исходными счётчиками в тех же окнах, у доступности и задержки — ещё и с `increase`
|
||||
за час одним окном, а у времени до `ready` одно окно только печатает; SLI за 7 суток включают учения и проверки; при недоступном Prometheus правила не
|
||||
вычисляются, приращение счётчиков после возврата прежнее (`evidence/telemetry/backend-outage.md`).
|
||||
- Значения на момент отчёта (`evidence/alerts/check.md`, раздел `[SLI and panels]`, 2026-11-13
|
||||
23:06Z, commit `15ea156`):
|
||||
- Значения на момент отчёта (`evidence/alerts/check.md`, раздел `[SLI and panels]`, строки
|
||||
139–155, 2026-11-14 01:27Z, commit `ef60b47`):
|
||||
|
||||
| SLI | 7 суток | час: по правилам / по исходным счётчикам в тех же окнах | окно учений (~20 мин) | SLO | остаток бюджета за 7 суток |
|
||||
| SLI | 7 суток | час: по правилам / по исходным счётчикам в тех же окнах / `increase` одним окном | окно учений (~18 мин) | SLO | остаток бюджета за 7 суток |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| доступность | 0,93201 | 1,00000 / 1,00000 (14 685 событий) | 0,89966 | 99,5 % | −12,6 (исчерпан) |
|
||||
| задержка | 0,98539 | 0,98209 / 0,98209 (14 225) | 0,97905 | 99 % | −0,46 |
|
||||
| время до `ready` | 0,93039 | 0,91358 / 0,91358 (37) | 0,86957 | 99 % | −5,96 |
|
||||
| доступность | 0,93726 | 0,96010 / 0,96010 / 0,96590 (58 645 событий) | 0,88927 | 99,5 % | −11,5 (исчерпан) |
|
||||
| задержка | 0,98652 | 0,98658 / 0,98658 / 0,98724 (55 462) | 0,98180 | 99 % | −0,35 |
|
||||
| время до `ready` | 0,93162 | 0,93586 / 0,93501 / 0,88000 (49) | 0,86957 | 99 % | −5,84 |
|
||||
|
||||
SLO за 7 суток не соблюдены: в окно входят только учения и проверки рабочего стенда (остановки
|
||||
PostgreSQL, worker, relay, блокировка таблицы сообщений, долгие отказы хранилищ, `make
|
||||
test-failover`) — бюджет съели они, это и показывает строка «окно учений». За час пути совпадают
|
||||
(0 п. п. при допуске 1); за час 3 окна правил из 12 — Prometheus перезапущен в 22:45Z, а отказ БД
|
||||
в конце учений в записанные окна ещё не попал (точки `messenger-slo` отстают на 5–10 мин).
|
||||
test-failover`) — бюджет съели они, это и показывает строка «окно учений». За час пути в тех же
|
||||
окнах совпадают (0, 0 и 0,085 п. п. при допуске 1), с `increase` одним окном у доступности и
|
||||
задержки — 0,58 и 0,066 п. п. (допуск 1; у времени до `ready` при 49 событиях одно окно —
|
||||
наблюдение). За час 10 окон правил из 12 — Prometheus перезапущен в 00:42Z; последние 5–10 мин
|
||||
учений в записанные окна ещё не попали (точки `messenger-slo` отстают).
|
||||
|
||||
**Оповещения (SA-3, SA-4).** Правила Prometheus, без Alertmanager и без доставки наружу.
|
||||
Состояние firing / resolved — `/api/v1/rules`, `/api/v1/alerts`, ряды `ALERTS` (история за срок
|
||||
@@ -401,16 +404,16 @@ verify, W1). Остаётся: процесс SDK, запущенный при
|
||||
журнала строятся после `MeterProvider` с ним и с переменной SDK только на время сборки; внешняя
|
||||
`OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED` удаляется, как любая `OTEL_*`; гистограммы SDK не
|
||||
отдаются. Результаты отказа каждого хранилища и Collector под нагрузкой драйвера (~25 запросов/с;
|
||||
`evidence/telemetry/backend-outage.md`, commit `15ea156`):
|
||||
`evidence/telemetry/backend-outage.md`, commit `ef60b47`):
|
||||
|
||||
| Отказ | Ответы клиенту | Память | Потери (учтены) | Оповещения |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| Loki 10 с | свой запрос найден в Loki после возврата | — | 0 | — |
|
||||
| Loki 120 с | `make test` PASS, 2928 × 2xx, 5xx 0 | Collector `docker stats` ≤ 77 МиБ из 256; очередь Loki ≤ 0,135 ёмкости | 443 записи (`otlp_http/loki`) | `TelemetryTargetDown{job="loki"}` firing через 105 с, `TelemetryDataLoss` firing; сняты через 40 и 145 с |
|
||||
| Loki 120 с | `make test` PASS, 2933 × 2xx, 5xx 0 | Collector `docker stats` ≤ 81 МиБ из 256; очередь Loki ≤ 0,122 ёмкости | 441 запись (`otlp_http/loki`), на панели потерь `otel-collector` до 1,497/с | `TelemetryTargetDown{job="loki"}` firing через 80 с, `TelemetryDataLoss` firing; сняты через 20 и 140 с |
|
||||
| Tempo 10 с | своя трасса найдена после возврата | — | 0 | — |
|
||||
| Tempo 120 с | `make test` PASS, 2934 × 2xx, 5xx 0 | Collector ≤ 93 МиБ (runtime sys ≤ 84); очередь Tempo ≤ 0,656 ёмкости | 1342 span (`otlp_http/tempo`) | `TelemetryTargetDown{job="tempo"}` через 90 с, `TelemetryDataLoss`; сняты через 30 и 150 с |
|
||||
| Prometheus 60 с | 1467 × 2xx, 5xx 0 | — | счёт запросов API после возврата +2565 ≥ 1833 запросов нагрузки | правила не вычислялись (ограничение) |
|
||||
| Collector 120 с | `make test` PASS | реплики: максимум последней трети окна 156 и 154 МиБ против 142 и 145 первой (лимит 512) | SDK реплик: 11 683 и 11 810; записей API окна в Loki 0 из 5275 в stdout | `TelemetryTargetDown{job="otel-collector"}` через 95 с, снято через 20 с; `MessengerQueueMetricsMissing` не сработало |
|
||||
| Tempo 120 с | `make test` PASS, 2931 × 2xx, 5xx 0 | Collector ≤ 91 МиБ (runtime sys ≤ 84); очередь Tempo ≤ 0,622 ёмкости | 1336 span (`otlp_http/tempo`), на панели до 4,688/с | `TelemetryTargetDown{job="tempo"}` через 75 с, `TelemetryDataLoss`; сняты через 15 и 135 с |
|
||||
| Prometheus 60 с | 1467 × 2xx, 5xx 0 | — | счёт запросов API после возврата +2202 ≥ 1463 запросов нагрузки | правила не вычислялись (ограничение) |
|
||||
| Collector 120 с | `make test` PASS | реплики: максимум последней трети окна 143 и 150 МиБ против 142 и 143 первой (лимит 512) | SDK реплик: +11 602 и +11 551, на панели потерь `messenger-api` до 81,239/с; записей API окна в Loki 0 из 5274 в stdout | `TelemetryTargetDown{job="otel-collector"}` через 80 с, снято через 20 с; `MessengerQueueMetricsMissing` не сработало |
|
||||
|
||||
Короткий отказ короче срока повторов (30 с) потерь не дал; долгий потерял конец окна (начало
|
||||
отказа сохранила очередь), отказов приёма Collector (`memory_limiter`) не было. Без Collector
|
||||
@@ -421,9 +424,9 @@ Prometheus после возврата Collector.
|
||||
экспортёра Collector (`PrometheusProto` первым у цели `otel-collector-exporter`, флаг
|
||||
`created-timestamp-zero-ingestion`; у остальных целей — прежний текстовый список) и пишет ноль в
|
||||
момент начала ряда нового процесса; экспортёр убирает ряд, не обновлявшийся минуту. Проверка —
|
||||
`alerts-check`, шаг 1: worker остановлен на 159 с, 3 загрузки, запуск — первая точка ряда нового
|
||||
процесса — ноль (`(2.5, 0.0)`), приращение по точкам ровно 3 (`evidence/alerts/check.md`, строки
|
||||
76–80). Остаётся: перезапуск того же контейнера
|
||||
`alerts-check`, шаг 1: worker остановлен на 145 с, 3 загрузки, запуск — первая точка ряда нового
|
||||
процесса — ноль (`(2.3, 0.0)`), приращение по точкам ровно 3 (`evidence/alerts/check.md`, строки
|
||||
76–81, commit `ef60b47`). Остаётся: перезапуск того же контейнера
|
||||
быстрее ~75 с, если новый процесс догнал прежнее значение до первого сбора; собственные метрики
|
||||
Collector без времени начала (их закрывает правило потерь). Число рядов экспортёра до и после
|
||||
перехода на protobuf на процесс то же (двойников нет).
|
||||
@@ -431,54 +434,56 @@ Collector без времени начала (их закрывает прави
|
||||
**Инциденты.** Разбор — по runbook оповещения и только по сохранённым наблюдениям вывода
|
||||
`alerts-check` и `backend-outage` (хронология и значения — в файлах evidence).
|
||||
|
||||
Учения — 2026-11-13, 22:46:44Z – 23:22:25Z, commit `15ea156`, фоновая нагрузка драйвера ~25
|
||||
Учения — 2026-11-14, 01:09:30Z – 01:43:27Z, commit `ef60b47`, фоновая нагрузка драйвера ~25
|
||||
запросов/с через LB; время — от начала шага (у `MessengerQueueLagHigh` — от первой загрузки, у
|
||||
снятия — от восстановления), «строки N» — строки файла evidence.
|
||||
|
||||
1. **Остановлен worker** (`evidence/alerts/check.md`, строки 63–81). Хронология: `docker compose stop
|
||||
worker` на 48-й секунде учений, 3 загрузки — 202 (строка 67); `MessengerQueueLagHigh` pending
|
||||
через 98 с, firing через 158 с после первой загрузки (строки 68–69); worker запущен через 159 с
|
||||
остановки (строка 76), снято через 44 с после запуска (строка 78). Диагностика по runbook
|
||||
1. **Остановлен worker** (`evidence/alerts/check.md`, строки 64–82). Хронология: `docker compose stop
|
||||
worker` на 46-й секунде учений, 3 загрузки — 202 (строка 68); `MessengerQueueLagHigh` pending
|
||||
через 84 с, firing через 144 с после первой загрузки (строки 69–70); worker запущен через 145 с
|
||||
остановки (строка 77), снято через 29 с после запуска (строка 79). Диагностика по runbook
|
||||
`MessengerQueueLagHigh`: «Pipeline» → глубина `published` 3, остальные стадии 0, возраст
|
||||
старейшего 141,3 с (`max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"})`,
|
||||
`max(messenger_queue_oldest_age_seconds{job="messenger-relay"})`; строка 70) — задания приняты и
|
||||
опубликованы, но не взяты; рядов `messenger-worker` к запуску нет (строка 75) → Loki
|
||||
старейшего 131,9 с (`max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"})`,
|
||||
`max(messenger_queue_oldest_age_seconds{job="messenger-relay"})`; строка 71) — задания приняты и
|
||||
опубликованы, но не взяты; рядов `messenger-worker` к запуску нет (строка 76) → Loki
|
||||
`{service_name="messenger-worker"}`: последняя запись worker — «Attachment became ready» за 1 с до
|
||||
остановки, «Stopped worker» — в stdout (строки 73–74) → Tempo `{ resource.service.name =
|
||||
"messenger-worker" && kind = consumer }`: consumer span после остановки 0 (строка 72) ⇒ причина —
|
||||
остановки, «Stopped worker» — в stdout (строки 74–75) → Tempo `{ resource.service.name =
|
||||
"messenger-worker" && kind = consumer }`: consumer span после остановки 0 (строка 73) ⇒ причина —
|
||||
worker не работает (не брокер и не relay: сообщения в стадии `published`). Восстановление —
|
||||
`docker start` worker: все 3 `ready` (строка 77), счёт времени до готовности +3 по точкам, первая
|
||||
точка нового процесса — ноль (строки 79–80). SLI времени до `ready` за окно учений — 0,86957
|
||||
(три загрузки ждали дольше 30 с — плохие события; раздел `[SLI and panels]`).
|
||||
2. **Медленная БД против медленного handler** (строки 89–115). Блокировка `LOCK TABLE messages IN
|
||||
`docker start` worker: все 3 `ready` (строка 78), счёт времени до готовности +3 по точкам, первая
|
||||
точка нового процесса — ноль (строки 80–81). SLI времени до `ready` за окно учений — 0,86957
|
||||
(три загрузки ждали дольше 30 с — плохие события; строка 155).
|
||||
2. **Медленная БД против медленного handler** (строки 91–118). Блокировка `LOCK TABLE messages IN
|
||||
SHARE MODE` 2 с с паузой 0,2 с в сессии `application_name = mtusi-alerts-check`:
|
||||
`MessengerSlowRequests` firing через 165 с (строка 91), доля медленных «лёгких» 0,428 при пороге
|
||||
0,1 (строка 92) → p95 по маршрутам: `POST /api/v1/chats/{chat_id}/messages` 0,021 с до и 2,324 с во
|
||||
время (строки 93–94), чтение не медленно → Tempo, медленные трассы отправки: span PostgreSQL —
|
||||
0,99 server span (строка 95) → пул: занято до 6 соединений против 0 до шагов (строка 97) → CPU
|
||||
реплик не выше 0,11 предела (строка 99) ⇒ БД (держатель блокировки — в `pg_stat_activity` по
|
||||
`application_name`). Сессия завершена — снято через 89 с (строка 101); `MessengerHighErrorRate` не
|
||||
срабатывал (строка 102). Для сравнения вход по Basic (строки 103–115): 506 входов, медиана 0,27 с,
|
||||
p95 `/api/v1/auth/sessions` 0,667 с, span PostgreSQL — 0,01–0,02 server span, пул занят не больше
|
||||
0,30 без отказов по сроку, CPU реплик до 0,80 предела ⇒ handler (KDF); вход вне SLI задержки —
|
||||
доля медленных «лёгких» не выше 0,050, оповещения нет. **Недоступная БД** (строки 116–133):
|
||||
`docker compose stop postgres` → `MessengerNoReadyReplicas` firing через 60 с,
|
||||
`MessengerHighErrorRate` через 105 с (строки 118–119) → «Load balancer»: готовых реплик 0 (строка
|
||||
120), 5xx на LB +2603, у API +27 (строка 127) — клиент получил 2562 ответа 5xx, из них 2548 — 503
|
||||
самого LB без `X-Instance-Id` (строка 124): метрики API отказ почти не видят, поэтому SLI — на LB
|
||||
→ Loki: 27 записей «Database is unavailable» реплик (строка 121) → Tempo: 27 трасс с ошибкой
|
||||
server span 503 (строка 122; span PostgreSQL с ошибкой нет — отказ на выдаче соединения из пула,
|
||||
до запроса). Восстановление — `docker compose start postgres`, LB готов; сняты через 29 и 135 с
|
||||
(строки 125–126). SLI доступности за окно отказа — 0,5544 по LB при 0,5576 у клиента (строка 130).
|
||||
3. **Недоступно хранилище телеметрии** (`evidence/telemetry/backend-outage.md`, строки 57–71).
|
||||
`MessengerSlowRequests` pending через 75 с, firing через 135 с (строки 93–94), доля медленных
|
||||
«лёгких» 0,427 при пороге 0,1 (строка 95) → p95 по маршрутам: `POST
|
||||
/api/v1/chats/{chat_id}/messages` 0,016 с до и 2,324 с во время (строки 96–97), чтение не медленно
|
||||
→ Tempo, медленные трассы отправки: span PostgreSQL — 0,99–1,0 server span (строка 98) → пул:
|
||||
занято до 6 соединений против 0 до шагов (строка 100) → CPU реплик не выше 0,09 предела (строка
|
||||
102) ⇒ БД (держатель блокировки — в `pg_stat_activity` по `application_name`). Сессия завершена —
|
||||
снято через 74 с (строка 104); `MessengerHighErrorRate` не срабатывал (строка 105). Для сравнения
|
||||
вход по Basic (строки 106–118): 515 входов, медиана 0,25 с, p95 `/api/v1/auth/sessions` 0,598 с,
|
||||
span PostgreSQL — 0,0–0,2 server span (медиана 0,01), пул занят не больше 0,20 без отказов по
|
||||
сроку, CPU реплик до 0,81 предела ⇒ handler (KDF); вход вне SLI задержки — доля медленных
|
||||
«лёгких» не выше 0,072, оповещения нет. **Недоступная БД** (строки 119–138): `docker compose stop
|
||||
postgres` → `MessengerNoReadyReplicas` pending через 29 с, firing через 59 с,
|
||||
`MessengerHighErrorRate` pending через 44 с, firing через 105 с (строки 121–124) → «Load
|
||||
balancer»: готовых реплик 0 (строка 125), 5xx на LB +2605, у API +67 (строка 132) — клиент
|
||||
получил 2556 ответов 5xx, из них 2497 — 503 самого LB без `X-Instance-Id` (строка 129): метрики
|
||||
API отказ почти не видят, поэтому SLI — на LB → Loki: 67 записей «Database is unavailable»
|
||||
реплик (строка 126) → Tempo: трассы с ошибкой server span 503 (50 — предел поиска; строка 127;
|
||||
span PostgreSQL с ошибкой нет — отказ на выдаче соединения из пула, до запроса). Восстановление —
|
||||
`docker compose start postgres`, LB готов; сняты через 30 и 135 с (строки 130–131). SLI
|
||||
доступности за окно отказа — 0,5557 по LB при 0,5581 у клиента (строка 135).
|
||||
3. **Недоступно хранилище телеметрии** (`evidence/telemetry/backend-outage.md`, строки 63–79).
|
||||
`docker compose stop tempo` на 120 с под нагрузкой: `TelemetryTargetDown{job="tempo"}` firing
|
||||
через 90 с (строка 59), `TelemetryDataLoss` firing (строка 66) → «Telemetry pipeline»: очередь
|
||||
экспорта Tempo — до 0,656 ёмкости (строка 60), потери `otlp_http/tempo` — 1342 span (`enqueue_failed`
|
||||
/ `send_failed`, строка 67), память Collector — `docker stats` до 93 МиБ при лимите 256 (строка
|
||||
62) → приложение не задето: `make test` PASS, 2934 ответа 2xx, 5xx 0 (строки 58, 64–65) ⇒ теряется
|
||||
телеметрия, а не сообщения. После `docker compose start tempo` — новые трассы приходят (строка
|
||||
69), `TelemetryTargetDown` снят через 30 с, `TelemetryDataLoss` — через 150 с (строки 70–71);
|
||||
потери — 1342 span из счётчиков Collector.
|
||||
через 75 с (строка 65), `TelemetryDataLoss` firing (строка 72) → «Telemetry pipeline»: очередь
|
||||
экспорта Tempo — до 0,622 ёмкости (строка 66), потери `otlp_http/tempo` — 1336 span (`enqueue_failed`
|
||||
/ `send_failed`, строка 73), панель потерь — `otel-collector` до 4,688/с (строка 75), память
|
||||
Collector — `docker stats` до 91 МиБ при лимите 256 (строка 68) → приложение не задето: `make
|
||||
test` PASS, 2931 ответ 2xx, 5xx 0 (строки 64, 70–71) ⇒ теряется телеметрия, а не сообщения. После
|
||||
`docker compose start tempo` — новые трассы приходят (строка 77), `TelemetryTargetDown` снят через
|
||||
15 с, `TelemetryDataLoss` — через 135 с (строки 78–79); потери — 1336 span из счётчиков Collector.
|
||||
|
||||
**Бюджет (SA-13).** Новых сервисов и портов нет; лимиты — по замеру `backend-outage` и
|
||||
`alerts-check` и правилу «лимит ≥ 1,5 × пика» (раздел change `slo-alerts` в
|
||||
@@ -486,7 +491,12 @@ Collector без времени начала (их закрывает прави
|
||||
до 93 МиБ, `memory.peak` за `alerts-check` 76 МиБ (лимит 256); Prometheus за `alerts-check` — 108
|
||||
МиБ (384; в пробных прогонах apply — до 240, 1,5 × 240 = 360); реплики API без Collector — без роста
|
||||
(142 → 156 и 145 → 154 МиБ), `memory.peak` со старта стенда 334 и 327 МиБ от входов по Basic (512).
|
||||
Правило выполнено у всех, лимиты не менялись. ВМ Docker Desktop — 12 CPU (все ядра хоста) / 11 902 МиБ: память
|
||||
Правило выполнено у всех, лимиты не менялись. Пересъёмка на `ef60b47` (`evidence/alerts/check.md`,
|
||||
`evidence/telemetry/backend-outage.md`) — в тех же пределах: Collector до 91 МиБ (`docker stats`),
|
||||
`memory.peak` 83 МиБ; Prometheus 128 МиБ (1,5 × 128 = 192 ≤ 384); реплики — `memory.peak` 342 и
|
||||
339 МиБ от входов по Basic (1,5 × 342 = 513 — на 1 МиБ больше лимита 512), неосвобождаемая часть
|
||||
129 и 130 МиБ — правило по ней выполнено, как в пробных прогонах apply (design, «Уточнения apply»,
|
||||
п. 13: `memory.peak` 417–441, неосвобождаемая 137–138). ВМ Docker Desktop — 12 CPU (все ядра хоста) / 11 902 МиБ: память
|
||||
пользователь увеличил до 12 ГБ 2026-11-11 (вопрос 1 `## slo-alerts` в `QUESTIONS.md`); постоянные
|
||||
лимиты стенда — 11,5 CPU / 7296 МиБ, с одноразовыми 12,5 CPU / 7680 МиБ, вместе с контейнерами
|
||||
`make test_isolated` (+2,25 CPU / 1792 МиБ) — 9472 МиБ: помещается с запасом ~2,4 ГиБ на накладные
|
||||
@@ -506,9 +516,9 @@ Collector без времени начала (их закрывает прави
|
||||
| Уровень 4: dashboard — p50 / p95 / p99, доля ошибок, глубина и возраст очереди, пул БД, насыщение worker, контейнеры | `driver.py --port 8080 trace-chain`, `telemetry-check` | запросы панелей уровня 4 без ошибок и с данными; ряды очереди только у relay; пределы = `docker inspect`; нет сокета Docker | `evidence/telemetry/trace-chain.md`, `evidence/telemetry/check.md` |
|
||||
| Уровень 4: relay с SDK не меняет остановку | `driver.py --port 8080 telemetry-outage` | `docker stop` relay < 10 с, код 0, «Stopped relay» при остановленном и замороженном Collector | `evidence/telemetry/collector-outage.md` |
|
||||
| Уровень 4: схема контекста задания | миграция с нуля, повтор, откат, `--sql`, `make rolling_update`; план снимка очереди | `lock_timeout`, `NOT VALID`; без Seq Scan | `evidence/migrations/job-trace-context.md`, `evidence/telemetry/queue-snapshot.md` (commit `72cfa9a`) |
|
||||
| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules` (22 блока синтетических рядов: 43 проверки оповещений, 17 проверок выражений правил записи в 7 блоках); у каждого из 7 оповещений есть runbook | `evidence/alerts/rules-test.md` (commit `15ea156`) |
|
||||
| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0 (~20 мин): остановленный worker — firing через 158 с, снято через 44 с; relay — 220 / 45 с; медленная БД — 165 / 89 с; медленный handler — оповещения нет; недоступная БД — 60 и 105 / 29 и 135 с; лишних нет; SLI двумя путями совпали | `evidence/alerts/check.md` (commit `15ea156`) |
|
||||
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 93 МиБ из 256, реплики без роста; потери учтены (443 записи, 1342 span, SDK 11 683 и 11 810); `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `15ea156`) |
|
||||
| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules` (22 блока синтетических рядов: 43 проверки оповещений, 17 проверок выражений правил записи в 7 блоках); у каждого из 7 оповещений есть runbook; контроли — изменённый порог и правило потерь без нуля процесса SDK дают красный прогон | `evidence/alerts/rules-test.md` (commit `ef60b47`) |
|
||||
| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0 (~18 мин): pending / firing / снятие — остановленный worker 84 / 144 / 29 с; relay — 69 / 190 / 45 с; медленная БД — 75 / 135 / 74 с; медленный handler — оповещения нет; недоступная БД — 29 и 44 / 59 и 105 / 30 и 135 с; лишних нет; SLI в тех же окнах — 0–0,085 п. п., одним окном часа — 0,58 и 0,066 п. п. | `evidence/alerts/check.md` (commit `ef60b47`) |
|
||||
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 91 МиБ из 256, реплики без роста; потери учтены (441 запись, 1336 span, SDK +11 602 и +11 551) и видны на панели потерь; `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `ef60b47`) |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
|
||||
+94
-80
@@ -1,24 +1,25 @@
|
||||
# `driver.py --port 8080 alerts-check` (change `slo-alerts`, задача 11.2)
|
||||
# `driver.py --port 8080 alerts-check` (change `slo-alerts`, задачи 11.2 и 12.11)
|
||||
|
||||
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
|
||||
рабочее дерево чистое (`git status --short` до прогона — только `?? evidence/alerts/`). Файлы
|
||||
`src/` и `migrations/` (151) в контейнерах `api` (2: `api-13`, `api-14`), `relay`, `worker` и
|
||||
`cleaner` побайтно совпадают с деревом commit (SHA-256 каждого файла); ревизия схемы
|
||||
`e4b8c2d17f90`. Стенд поднят `make run_docker` в 22:45Z (образ уже был собран из того же дерева,
|
||||
контейнеры не пересоздавались; сервисы телеметрии, в том числе Prometheus и Collector, запущены
|
||||
заново в 22:45Z).
|
||||
- Дата: 2026-11-13, 22:46:44Z – 23:06:20Z (~19,6 мин); хост macOS, Docker 29.9.2, Compose 5.6.1, ВМ
|
||||
- Основа: commit `ef60b47` (fix: address slo-alerts verify findings), рабочее дерево чистое
|
||||
(`git status --short` до прогона пуст). Файлы `src/` и `migrations/` (151) в контейнерах `api` (2:
|
||||
`api-13`, `api-14`), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256
|
||||
каждого файла); ревизия схемы `e4b8c2d17f90`. `/etc/prometheus/rules.yml` и `prometheus.yml` в
|
||||
контейнере Prometheus побайтно равны файлам дерева `ef60b47` (`cmp`). Код приложения с `15ea156` не
|
||||
менялся: `ef60b47` правит правила, их тесты, драйвер и документы. Прежний прогон этого файла — на
|
||||
`15ea156` (до правок verify).
|
||||
- Дата: 2026-11-14, 01:09:30Z – 01:27:20Z (~17,8 мин); хост macOS, Docker 29.9.2, Compose 5.6.1, ВМ
|
||||
Docker Desktop — 12 CPU / 11,6 ГиБ. Рабочий стенд `mtusi-lab6` (две реплики API, relay, worker,
|
||||
уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория:
|
||||
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 alerts-check`, код выхода 0.
|
||||
- Всё — через HTTP API Grafana на `127.0.0.1:3000` с паролем из `.env` (источники-прокси uid
|
||||
`prometheus`, `loki`, `tempo`); моменты pending / firing / снятия — `/api/v1/rules` раз в 5 с,
|
||||
время — от начала шага (у `MessengerQueueLagHigh` — от первой загрузки, у снятия — от
|
||||
восстановления). Пользователи, пароли, токены и файлы — синтетические, в вывод не попадают.
|
||||
Фоновая нагрузка драйвера через LB — 6 потоков отправки сообщения с новым `Idempotency-Key` раз в
|
||||
0,25 с и 1 поток чтения истории раз в 1 с (design, «Уточнения apply», п. 7).
|
||||
восстановления); момент pending печатается перед каждой строкой firing. Пользователи, пароли,
|
||||
токены и файлы — синтетические, в вывод не попадают. Фоновая нагрузка драйвера через LB — 6
|
||||
потоков отправки сообщения с новым `Idempotency-Key` раз в 0,25 с и 1 поток чтения истории раз в
|
||||
1 с (design, «Уточнения apply», п. 7).
|
||||
- Отказы: шаг 1 — `docker compose stop worker`, 3 загрузки, `docker start` того же контейнера через
|
||||
159 с; шаг 2 — `docker compose stop relay`, `docker start`; шаг 3 — сессия psql с
|
||||
145 с; шаг 2 — `docker compose stop relay`, `docker start`; шаг 3 — сессия psql с
|
||||
`application_name = mtusi-alerts-check` циклами держит `LOCK TABLE messages IN SHARE MODE` 2 с с
|
||||
паузой 0,2 с, затем `pg_terminate_backend`; шаг 4 — 3 потока входа по Basic 45 с (сравнение, отказа
|
||||
нет); шаг 5 — `docker compose stop postgres`, затем `start`. В `finally` — нагрузка остановлена,
|
||||
@@ -29,17 +30,17 @@
|
||||
| Сценарий (`observability`, если не указано) | Строки |
|
||||
| --- | --- |
|
||||
| «Правила загружены» | `rule groups loaded`, `rules with evaluation errors`, `alerts loaded`, `Grafana shows rules…`, `rule change through Grafana rejected`, `alert delivery addresses`, `prometheus config has alertmanagers` |
|
||||
| «Остановленный worker» | `[worker stopped]`: firing через 158 с после первой загрузки (≤ 240), `outbox + published` +3, снято через 44 с после запуска (≤ 120), 3 `ready` |
|
||||
| «Перезапуск worker» | `[worker stopped] time to ready count…`: первая точка нового процесса — 0 (время начала), приращение по точкам ровно 3; worker стоял 159 с (> 2 мин) |
|
||||
| «Остановленный relay» | `[relay stopped] MessengerQueueMetricsMissing firing` через 220 с (≤ 300), снято через 45 с (≤ 120) |
|
||||
| «Остановленный relay уходит из рядов» | `[relay stopped] queue series gone within 120 s` — через 65 с |
|
||||
| «Медленная БД» | `[slow database]`: firing через 165 с (≤ 180), доля span PostgreSQL в медленных трассах отправки 0,99, пул 6 против 0, CPU реплик 0,11 предела, снято через 89 с (≤ 240), `MessengerHighErrorRate` нет |
|
||||
| «Медленный handler не путается с БД» | `[slow handler]`: доля span PostgreSQL 0,01–0,02, пул занят не больше 0,30, отказов по сроку 0, CPU реплик 0,80 предела, `MessengerSlowRequests` неактивно (доля медленных до 0,050) |
|
||||
| «Тяжёлая ручка вне SLI задержки» | `[slow handler] login p95 on the route panel slower than 0.25 s` (p95 входа 0,667 с) при неактивном `MessengerSlowRequests` |
|
||||
| «Недоступная БД» | `[database down]`: `MessengerNoReadyReplicas` firing через 60 с, `MessengerHighErrorRate` через 105 с (≤ 180), сняты через 29 и 135 с (≤ 240) |
|
||||
| «Ответы самого балансировщика» | `[database down]`: готовых реплик 0, клиент получил 2548 ответов 503 от LB (без `X-Instance-Id`), 5xx на LB +2603, у API +27 |
|
||||
| «Отказ БД виден в SLI доступности» | `availability SLI over the outage window: LB 0.5544, client 0.5576` |
|
||||
| «SLO считается» | `[SLI and panels]`: три SLI за 7 суток в [0, 1], за час по рядам правил и по исходным счётчикам в тех же окнах совпали (расхождение 0 п. п. при ≤ 1) |
|
||||
| «Остановленный worker» | `[worker stopped]`: pending через 84 с, firing через 144 с после первой загрузки (≤ 240), `outbox + published` +3, снято через 29 с после запуска (≤ 120), 3 `ready` |
|
||||
| «Перезапуск worker» | `[worker stopped] time to ready count…`: первая точка нового процесса — 0 (время начала), приращение по точкам ровно 3; worker стоял 145 с (> 2 мин) |
|
||||
| «Остановленный relay» | `[relay stopped] MessengerQueueMetricsMissing`: pending через 69 с, firing через 190 с (≤ 300), снято через 45 с (≤ 120) |
|
||||
| «Остановленный relay уходит из рядов» | `[relay stopped] queue depth and age series gone within 120 s` — ряды глубины и возраста ушли через 60 с |
|
||||
| «Медленная БД» | `[slow database]`: pending через 75 с, firing через 135 с (≤ 240), доля span PostgreSQL в медленных трассах отправки 0,99–1,0, пул 6 против 0, CPU реплик 0,09 предела, снято через 74 с (≤ 240), `MessengerHighErrorRate` нет |
|
||||
| «Медленный handler не путается с БД» | `[slow handler]`: доля span PostgreSQL 0,0–0,2 (медиана 0,01), пул ни одной реплики не занят целиком (не больше 0,20), отказов по сроку 0, `pending` — наблюдение (0), CPU реплик 0,81 предела, `MessengerSlowRequests` неактивно (доля медленных до 0,072) |
|
||||
| «Тяжёлая ручка вне SLI задержки» | `[slow handler] login p95 on the route panel slower than 0.25 s` (p95 входа 0,598 с) при неактивном `MessengerSlowRequests` |
|
||||
| «Недоступная БД» | `[database down]`: `MessengerNoReadyReplicas` pending через 29 с, firing через 59 с, `MessengerHighErrorRate` pending через 44 с, firing через 105 с (≤ 180), сняты через 30 и 135 с (≤ 240) |
|
||||
| «Ответы самого балансировщика» | `[database down]`: готовых реплик 0, клиент получил 2497 ответов 503 от LB (без `X-Instance-Id`), 5xx на LB +2605, у API +67 |
|
||||
| «Отказ БД виден в SLI доступности» | `availability SLI over the outage window: LB 0.5557, client 0.5581` |
|
||||
| «SLO считается» | `[SLI and panels]`: три SLI за 7 суток в [0, 1]; за час по рядам правил и по исходным счётчикам в тех же окнах — 0, 0 и 0,085 п. п. (≤ 1); у доступности и задержки и против `increase` одним окном часа — 0,58 и 0,066 п. п. (≤ 1) |
|
||||
| «История оповещения на панели», «Новые панели после трафика» | `alert history panel shows firing of the steps`, `new panel queries (31) with data: []` (у 31 запроса панелей с id от 25 данных хватает) |
|
||||
| «Без потерь» (`TelemetryDataLoss`) | `other alerts firing: []` на каждом шаге |
|
||||
|
||||
@@ -49,7 +50,7 @@ pending во время недоступной БД — допустимо (rela
|
||||
## Вывод
|
||||
|
||||
```
|
||||
alerts-check 2026-11-13T22:46:44Z: rules, quiet stand
|
||||
alerts-check 2026-11-14T01:09:30Z: rules, quiet stand
|
||||
rule groups loaded: ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts']
|
||||
rules with evaluation errors: []
|
||||
alerts loaded: ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown']
|
||||
@@ -63,93 +64,99 @@ uploads ready before the steps: 20
|
||||
[worker stopped] stand quiet before the step: yes
|
||||
[worker stopped]
|
||||
observed: queue by stage and age before: {'outbox': 0.0, 'processing': 0.0, 'published': 0.0, 'scheduled': 0.0, 'oldest_age_s': 0.0}
|
||||
observed: worker stopped at 48 s of the drill
|
||||
observed: worker stopped at 46 s of the drill
|
||||
[worker stopped] uploads accepted (202): 3
|
||||
observed: MessengerQueueLagHigh pending after 98 s
|
||||
[worker stopped] MessengerQueueLagHigh firing after the first upload: after 158 s
|
||||
observed: queue by stage and age: {'outbox': 0.0, 'processing': 0.0, 'published': 3.0, 'scheduled': 0.0, 'oldest_age_s': 141.3}
|
||||
observed: MessengerQueueLagHigh pending after 84 s
|
||||
[worker stopped] MessengerQueueLagHigh firing after the first upload: after 144 s
|
||||
observed: queue by stage and age: {'outbox': 0.0, 'processing': 0.0, 'published': 3.0, 'scheduled': 0.0, 'oldest_age_s': 131.9}
|
||||
[worker stopped] outbox + published grew by the uploads: 3.0
|
||||
[worker stopped] consumer spans after the stop: 0
|
||||
observed: last worker record in Loki: 'Attachment became ready' 1 s before the stop
|
||||
observed: 'Stopped worker' in stdout: yes
|
||||
[worker stopped] worker series gone before the start: 0
|
||||
observed: worker down for 159 s
|
||||
observed: worker down for 145 s
|
||||
[worker stopped] uploads ready after the start: 3
|
||||
[worker stopped] MessengerQueueLagHigh resolved after the start: after 44 s
|
||||
observed: time to ready count, first points of the new process: [(2.5, 0.0)]
|
||||
[worker stopped] MessengerQueueLagHigh resolved after the start: after 29 s
|
||||
observed: time to ready count, first points of the new process: [(2.3, 0.0)]
|
||||
[worker stopped] time to ready count grew by the uploads (by points): 3.0
|
||||
[worker stopped] other alerts firing: []
|
||||
[relay stopped] stand quiet before the step: yes
|
||||
[relay stopped]
|
||||
[relay stopped] queue series gone within 120 s: yes
|
||||
observed: queue series gone after 65 s
|
||||
[relay stopped] MessengerQueueMetricsMissing firing: after 220 s
|
||||
[relay stopped] queue depth and age series gone within 120 s: yes
|
||||
observed: queue series gone after 60 s
|
||||
observed: MessengerQueueMetricsMissing pending after 69 s
|
||||
[relay stopped] MessengerQueueMetricsMissing firing: after 190 s
|
||||
[relay stopped] MessengerQueueMetricsMissing resolved after the start: after 45 s
|
||||
[relay stopped] other alerts firing: []
|
||||
[slow database] stand quiet before the step: yes
|
||||
[slow database]
|
||||
[slow database] MessengerSlowRequests firing: after 165 s
|
||||
observed: slow light requests share: 0.428
|
||||
observed: p95 by route before: {'/api/v1/chats/{chat_id}/messages': 0.021}
|
||||
observed: MessengerSlowRequests pending after 75 s
|
||||
[slow database] MessengerSlowRequests firing: after 135 s
|
||||
observed: slow light requests share: 0.427
|
||||
observed: p95 by route before: {'/api/v1/chats/{chat_id}/messages': 0.016}
|
||||
observed: p95 by route during: {'/api/v1/chats/{chat_id}/messages': 2.324}
|
||||
observed: PostgreSQL share of slow send traces: [0.99, 0.99, 0.99, 0.99, 0.99]
|
||||
observed: PostgreSQL share of slow send traces: [1.0, 0.99, 1.0, 1.0, 1.0]
|
||||
[slow database] PostgreSQL spans over half of slow send traces (median): yes
|
||||
observed: pool used during (max): 6, before 0
|
||||
[slow database] pool busier than before: yes
|
||||
observed: CPU of replicas to limit (max): 0.11
|
||||
observed: CPU of replicas to limit (max): 0.09
|
||||
[slow database] CPU of replicas below half of the limit: yes
|
||||
[slow database] MessengerSlowRequests resolved after the unlock: after 89 s
|
||||
[slow database] MessengerSlowRequests resolved after the unlock: after 74 s
|
||||
[slow database] other alerts firing: []
|
||||
[slow handler] stand quiet before the step: yes
|
||||
[slow handler]
|
||||
observed: logins: 506, median 0.27 s, max 0.92 s
|
||||
observed: PostgreSQL share of slow login traces: [0.01, 0.01, 0.01, 0.01, 0.02]
|
||||
observed: logins: 515, median 0.25 s, max 0.73 s
|
||||
observed: PostgreSQL share of slow login traces: [0.0, 0.2, 0.01, 0.0, 0.01]
|
||||
[slow handler] PostgreSQL spans under a fifth of slow login traces (median): yes
|
||||
observed: pool: max share used 0.30, requests in checkout (max) 0, timeouts 0
|
||||
observed: pool: max share used 0.20, requests in checkout (max) 0, timeouts 0
|
||||
[slow handler] no request waits for a free pool connection: yes
|
||||
observed: CPU of replicas to limit (max): 0.80
|
||||
observed: p95 by route: {'/api/v1/chats/{chat_id}/messages': 0.127, '/api/v1/auth/sessions': 0.667}
|
||||
observed: CPU of replicas to limit (max): 0.81
|
||||
observed: p95 by route: {'/api/v1/chats/{chat_id}/messages': 0.085, '/api/v1/auth/sessions': 0.598}
|
||||
[slow handler] login p95 on the route panel slower than 0.25 s: yes
|
||||
observed: slow light requests share (max): 0.050
|
||||
observed: slow light requests share (max): 0.072
|
||||
[slow handler] MessengerSlowRequests stayed inactive: yes
|
||||
[slow handler] other alerts firing: []
|
||||
[database down] stand quiet before the step: yes
|
||||
[database down]
|
||||
[database down] MessengerNoReadyReplicas firing: after 60 s
|
||||
observed: MessengerNoReadyReplicas pending after 29 s
|
||||
[database down] MessengerNoReadyReplicas firing: after 59 s
|
||||
observed: MessengerHighErrorRate pending after 44 s
|
||||
[database down] MessengerHighErrorRate firing: after 105 s
|
||||
[database down] ready replicas in LB: 0
|
||||
observed: 'Database is unavailable' records of replicas in Loki: 27
|
||||
observed: API traces with an error server span: 27, with a PostgreSQL span in error: 0
|
||||
observed: 'Database is unavailable' records of replicas in Loki: 67
|
||||
observed: API traces with an error server span: 50, with a PostgreSQL span in error: 0
|
||||
[database down] LB ready after the start: yes
|
||||
observed: client responses during the outage: {'5xx': 2562}, from LB: 2548
|
||||
[database down] MessengerNoReadyReplicas resolved: after 29 s
|
||||
observed: client responses during the outage: {'5xx': 2556}, from LB: 2497
|
||||
[database down] MessengerNoReadyReplicas resolved: after 30 s
|
||||
[database down] MessengerHighErrorRate resolved: after 135 s
|
||||
observed: 5xx grew: LB 2603, API 27; LB responses 5841
|
||||
observed: 5xx grew: LB 2605, API 67; LB responses 5863
|
||||
[database down] 5xx on LB more than 5xx of API: yes
|
||||
[database down] LB 5xx grew by the LB's own 503 to the client or more: yes
|
||||
observed: availability SLI over the outage window: LB 0.5544, client 0.5576
|
||||
observed: availability SLI over the outage window: LB 0.5557, client 0.5581
|
||||
[database down] LB 5xx share equals the client's within 5%: yes
|
||||
observed: MessengerQueueMetricsMissing was pending (allowed)
|
||||
[database down] other alerts firing: []
|
||||
[SLI and panels]
|
||||
observed: client responses over the drill: {'2xx': 22982, '5xx': 2601}
|
||||
observed: messenger-slo windows in the last hour: 3 of 12
|
||||
observed: client responses over the drill: {'2xx': 20911, '5xx': 2602}
|
||||
observed: messenger-slo windows in the last hour: 10 of 12
|
||||
SLI availability over 7 days within [0, 1]: yes
|
||||
observed: SLI availability: 7 days 0.93201, hour by rules 1.00000, by raw counters in the same windows 1.00000 (14685 events), raw increase over the hour 1.00000
|
||||
observed: SLI availability: 7 days 0.93726, hour by rules 0.96010, by raw counters in the same windows 0.96010 (58645 events), raw increase over the hour 0.96590
|
||||
SLI availability over the hour, rules vs raw counters within 1 pp: yes
|
||||
observed: SLI availability over the drill: 0.89966
|
||||
SLI availability over the hour, rules vs raw increase over one window within 1 pp: yes
|
||||
observed: SLI availability over the drill: 0.88927
|
||||
SLI latency over 7 days within [0, 1]: yes
|
||||
observed: SLI latency: 7 days 0.98539, hour by rules 0.98209, by raw counters in the same windows 0.98209 (14225 events), raw increase over the hour 0.98290
|
||||
observed: SLI latency: 7 days 0.98652, hour by rules 0.98658, by raw counters in the same windows 0.98658 (55462 events), raw increase over the hour 0.98724
|
||||
SLI latency over the hour, rules vs raw counters within 1 pp: yes
|
||||
observed: SLI latency over the drill: 0.97905
|
||||
SLI latency over the hour, rules vs raw increase over one window within 1 pp: yes
|
||||
observed: SLI latency over the drill: 0.98180
|
||||
SLI time to ready over 7 days within [0, 1]: yes
|
||||
observed: SLI time to ready: 7 days 0.93039, hour by rules 0.91358, by raw counters in the same windows 0.91358 (37 events), raw increase over the hour 0.86957
|
||||
observed: SLI time to ready: 7 days 0.93162, hour by rules 0.93586, by raw counters in the same windows 0.93501 (49 events), raw increase over the hour 0.88000
|
||||
SLI time to ready over the hour, rules vs raw counters within 1 pp: yes
|
||||
observed: SLI time to ready over the drill: 0.86957
|
||||
new panel queries (31) with data: []
|
||||
alert history panel shows firing of the steps: ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests']
|
||||
memory prometheus 77a121dcddff: peak 108 MiB, anon+kernel+shmem 54 MiB, file 6 MiB, limit 384 MiB
|
||||
memory otel-collector 7209c9b86a7c: peak 76 MiB, anon+kernel+shmem 73 MiB, file 0 MiB, limit 256 MiB
|
||||
memory prometheus ad08a84f4d3a: peak 128 MiB, anon+kernel+shmem 82 MiB, file 16 MiB, limit 384 MiB
|
||||
memory otel-collector 7209c9b86a7c: peak 83 MiB, anon+kernel+shmem 72 MiB, file 0 MiB, limit 256 MiB
|
||||
rule groups loaded expected ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts'] got ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts']
|
||||
rules with evaluation errors expected [] got []
|
||||
alerts loaded expected ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown'] got ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown']
|
||||
@@ -169,12 +176,12 @@ uploads ready before the steps
|
||||
[worker stopped] time to ready count grew by the uploads (by points) expected 3.0 got 3.0
|
||||
[worker stopped] other alerts firing expected [] got []
|
||||
[relay stopped] stand quiet before the step expected yes got yes
|
||||
[relay stopped] queue series gone within 120 s expected yes got yes
|
||||
[relay stopped] queue depth and age series gone within 120 s expected yes got yes
|
||||
[relay stopped] MessengerQueueMetricsMissing firing within 300 s expected yes got yes
|
||||
[relay stopped] MessengerQueueMetricsMissing resolved after the start within 120 s expected yes got yes
|
||||
[relay stopped] other alerts firing expected [] got []
|
||||
[slow database] stand quiet before the step expected yes got yes
|
||||
[slow database] MessengerSlowRequests firing within 180 s expected yes got yes
|
||||
[slow database] MessengerSlowRequests firing within 240 s expected yes got yes
|
||||
[slow database] PostgreSQL spans over half of slow send traces (median) expected yes got yes
|
||||
[slow database] pool busier than before expected yes got yes
|
||||
[slow database] CPU of replicas below half of the limit expected yes got yes
|
||||
@@ -199,8 +206,10 @@ uploads ready before the steps
|
||||
[database down] other alerts firing expected [] got []
|
||||
SLI availability over 7 days within [0, 1] expected yes got yes
|
||||
SLI availability over the hour, rules vs raw counters within 1 pp expected yes got yes
|
||||
SLI availability over the hour, rules vs raw increase over one window within 1 pp expected yes got yes
|
||||
SLI latency over 7 days within [0, 1] expected yes got yes
|
||||
SLI latency over the hour, rules vs raw counters within 1 pp expected yes got yes
|
||||
SLI latency over the hour, rules vs raw increase over one window within 1 pp expected yes got yes
|
||||
SLI time to ready over 7 days within [0, 1] expected yes got yes
|
||||
SLI time to ready over the hour, rules vs raw counters within 1 pp expected yes got yes
|
||||
new panel queries (31) with data expected [] got []
|
||||
@@ -212,21 +221,26 @@ restored: load stopped, lock session ended, PostgreSQL started, worker and relay
|
||||
## Чтение чисел
|
||||
|
||||
- **SLI за час** — по последней точке ряда `messenger-slo` (Prometheus пишет точку с временем
|
||||
предыдущего слота, design, «Уточнения apply», п. 11): окон за час 3 из 12 — Prometheus запущен в
|
||||
22:45Z, раньше рядов правил за этот час нет; поэтому за час доступность 1,00000 — отказ БД (шаг 5)
|
||||
ещё не попал в записанные окна. Окно учений целиком — строки `SLI … over the drill` по исходным
|
||||
счётчикам: доступность 0,89966 (отказ БД), задержка 0,97905 (медленная БД), время до `ready`
|
||||
предыдущего слота, design, «Уточнения apply», п. 11): окон за час 10 из 12 — Prometheus запущен
|
||||
в 00:42Z (шаг `[prometheus]` пробного `backend-outage` перед съёмкой), раньше рядов правил за этот
|
||||
час нет. В записанные окна попали пробные учения до съёмки и этот прогон, кроме последних 5–10
|
||||
мин: доступность за час 0,96010. Окно учений целиком — строки `SLI … over the drill` по исходным
|
||||
счётчикам: доступность 0,88927 (отказ БД), задержка 0,98180 (медленная БД), время до `ready`
|
||||
0,86957 (три загрузки при остановленном worker ждали дольше 30 с).
|
||||
- **Сверка путей** (спек «SLO считается», design, «Уточнения apply», пп. 12, 18): ряды правил против
|
||||
суммы `increase(…[5m])` исходных счётчиков в тех же окнах — доступность и задержка 0 п. п., время
|
||||
до `ready` 0,085 п. п. (0,93586 против 0,93501 при 49 событиях); у доступности и задержки ещё и
|
||||
против `increase` одним окном часа — 0,58 п. п. (0,96010 против 0,96590) и 0,066 п. п. (0,98658
|
||||
против 0,98724), допуск 1 п. п. У времени до `ready` одно окно (0,88000) — наблюдение: при единицах
|
||||
событий потеря приращения на границах непересекающихся окон меняет SLI на п. п.
|
||||
- **SLI за 7 суток** включает все учения и проверки этого и прошлых прогонов на рабочем стенде
|
||||
(доступность 0,93201 при SLO 0,995 — бюджет исчерпан учениями; остаток бюджета на панели
|
||||
(доступность 0,93726 при SLO 0,995 — бюджет исчерпан учениями; остаток бюджета на панели
|
||||
отрицательный), это ожидаемо и названо в `REPORT.md` («Ограничения SLI»).
|
||||
- **Время до `ready`** за час одним окном (0,86957) и по окнам правил (0,91358) расходятся из-за
|
||||
потери приращения на границах непересекающихся окон при единицах событий (design, «Уточнения
|
||||
apply», п. 12); проверка сравнивает пути в тех же окнах — 0 п. п.
|
||||
- **Span PostgreSQL с ошибкой при недоступной БД — 0** из 27 трасс 503: отказ — на выдаче
|
||||
соединения из пула, до `before_cursor_execute` (design, «Уточнения apply», п. 9; наблюдение, а не
|
||||
проверка). Причину называют записи «Database is unavailable» в Loki (27 — по одной на ответ 503
|
||||
реплик до вывода из LB).
|
||||
- **Память** Prometheus и Collector — `memory.peak` с их запуска в 22:45Z (весь прогон): Prometheus
|
||||
108 МиБ (неосвобождаемая часть 54), Collector 76 МиБ при лимитах 384 и 256 — правило «лимит ≥
|
||||
1,5 × пика» выполнено (раздел change `slo-alerts` в `evidence/telemetry/budget.md`).
|
||||
- **Span PostgreSQL с ошибкой при недоступной БД — 0** из 50 найденных трасс с ошибкой server span
|
||||
(предел поиска — 50): отказ — на выдаче соединения из пула, до `before_cursor_execute` (design,
|
||||
«Уточнения apply», п. 9; наблюдение, а не проверка). Причину называют записи «Database is
|
||||
unavailable» в Loki (67 — по одной на ответ 503 реплик до вывода из LB, у API +67 ответов 5xx).
|
||||
- **Память** Prometheus и Collector — `memory.peak` с их запуска в 00:42Z и 00:44Z (пробный прогон
|
||||
`alerts-check` и этот): Prometheus 128 МиБ (неосвобождаемая часть 82), Collector 83 МиБ при
|
||||
лимитах 384 и 256 — правило «лимит ≥ 1,5 × пика» выполнено (раздел change `slo-alerts` в
|
||||
`evidence/telemetry/budget.md`).
|
||||
|
||||
@@ -1,20 +1,26 @@
|
||||
# `make alerts_test` (change `slo-alerts`, задача 11.1)
|
||||
# `make alerts_test` (change `slo-alerts`, задачи 11.1 и 12.11)
|
||||
|
||||
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
|
||||
рабочее дерево чистое (`git status --short` пуст до прогона; новые файлы — только `evidence/`).
|
||||
- Дата: 2026-11-11, 21:36:51Z – 21:36:52Z (~1 с); хост macOS, Docker 29.9.2, Compose 5.6.1. Стенд
|
||||
- Основа: commit `ef60b47` (fix: address slo-alerts verify findings), рабочее дерево чистое
|
||||
(`git status --short` пуст до прогона; новые файлы — только `evidence/`). Прежний прогон этого
|
||||
файла — на `15ea156` (до правок verify: 19 групп, 39 проверок оповещений, 15 проверок выражений).
|
||||
- Дата: 2026-11-14, 01:09:19Z – 01:09:20Z (~1 с); хост macOS, Docker 29.9.2, Compose 5.6.1. Стенд
|
||||
не нужен: файлы `infra/otel/prometheus/` (`prometheus.yml`, `rules.yml`, `rules.test.yml`) уходят
|
||||
`tar` через stdin в одноразовый контейнер закреплённого образа Prometheus с `--network none`, там
|
||||
`promtool check config`, `promtool check rules`, `promtool test rules rules.test.yml`; затем у
|
||||
каждого из семи оповещений `rules.yml` поле `runbook_url` — существующий файл репозитория.
|
||||
Команда из корня репозитория: `make alerts_test`, код выхода 0.
|
||||
- Состав тестов `rules.test.yml`: 19 групп синтетических рядов (интервал 15 с, как у стенда),
|
||||
39 проверок оповещений (`alert_rule_test`) и 6 проверок правил записи (`promql_expr_test`). На
|
||||
каждое оповещение — срабатывание после `for`, нет срабатывания ниже порога и без трафика, снятие
|
||||
после восстановления; `MessengerQueueMetricsMissing` молчит при недоступном экспортёре Collector;
|
||||
`TelemetryDataLoss` — новый ряд, рост, сброс счётчика.
|
||||
- Сценарий: `observability` «Тесты правил» (проверка синтаксиса и модульные тесты правил — код 0);
|
||||
«Правила оповещений» — у каждого оповещения есть runbook в git.
|
||||
- Состав тестов `rules.test.yml`: 22 блока синтетических рядов (интервал 15 с, как у стенда);
|
||||
43 проверки оповещений (`alert_rule_test`, в 21 блоке) и 17 проверок выражений правил записи
|
||||
(`promql_expr_test`, в 7 блоках). На каждое оповещение — срабатывание после `for`, нет
|
||||
срабатывания ниже порога и без трафика, снятие после восстановления (в `exp_annotations` — все
|
||||
аннотации дословно, с подставленным значением); `MessengerQueueMetricsMissing` молчит при
|
||||
недоступном экспортёре Collector, его описание называет возраст последнего снимка (и «more than
|
||||
an hour ago», если снимков не было); `TelemetryTargetDown` — `up` цели и число недоступных целей
|
||||
(одна и две разом); `TelemetryDataLoss` — новый ряд, рост, сброс счётчика; первая потеря
|
||||
процесса SDK: ряд суммы 0 до потери, `increase(telemetry:lost_items:total[5m])` равен потере
|
||||
(verify W1).
|
||||
- Сценарии: `observability` «Тесты правил» (проверка синтаксиса и модульные тесты правил — код 0);
|
||||
«Правила оповещений» — у каждого оповещения есть runbook в git, описание с текущим значением.
|
||||
|
||||
```
|
||||
promtool from prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
|
||||
@@ -42,22 +48,24 @@ alerts: 7, each with an existing runbook
|
||||
|
||||
Строки по шагам: `Checking prometheus.yml` и `Checking /etc/prometheus/rules.yml` — `check config`
|
||||
(он проверяет и файл из `rule_files`), `Checking rules.yml` — `check rules`, одиночное `SUCCESS` —
|
||||
итог `test rules` (39 + 6 проверок; при отказе он печатает каждую несовпавшую, как ниже).
|
||||
итог `test rules` (43 + 17 проверок; при отказе он печатает каждую несовпавшую, как ниже).
|
||||
|
||||
## Тесты ловят изменённый порог (контроль, не в git)
|
||||
## Контроли (не в git)
|
||||
|
||||
Тот же образ и те же три файла, скопированные во временный каталог вне репозитория; в копии
|
||||
`rules.yml` порог доли медленных «лёгких» запросов у `MessengerSlowRequests` поднят с 0.1 до 0.5
|
||||
(файлы репозитория не менялись):
|
||||
Тот же образ; три файла дерева `ef60b47` (`git archive`) — во временном каталоге вне репозитория,
|
||||
в копии `rules.yml` — одна правка, файлы репозитория не менялись; `promtool test rules
|
||||
rules.test.yml` на копии.
|
||||
|
||||
### Изменённый порог
|
||||
|
||||
Порог доли медленных «лёгких» запросов у `MessengerSlowRequests` поднят с 0.1 до 0.5:
|
||||
|
||||
```
|
||||
92c92
|
||||
< expr: messenger:http_light_slow:ratio_rate2m > 0.1 and messenger:http_light_requests:rate2m > 0.1
|
||||
---
|
||||
> expr: messenger:http_light_slow:ratio_rate2m > 0.5 and messenger:http_light_requests:rate2m > 0.1
|
||||
- expr: messenger:http_light_slow:ratio_rate2m > 0.1 and messenger:http_light_requests:rate2m > 0.1
|
||||
+ expr: messenger:http_light_slow:ratio_rate2m > 0.5 and messenger:http_light_requests:rate2m > 0.1
|
||||
```
|
||||
|
||||
`promtool test rules rules.test.yml` на копии — код 1:
|
||||
Код 1:
|
||||
|
||||
```
|
||||
FAILED:
|
||||
@@ -72,3 +80,30 @@ alerts: 7, each with an existing runbook
|
||||
|
||||
Доля медленных в тесте — ровно 50 %, поэтому с порогом `> 0.5` оповещение не срабатывает, и тест
|
||||
«срабатывание после `for`» красный.
|
||||
|
||||
### Правило потерь без нуля процесса SDK (verify W1)
|
||||
|
||||
Убрана третья часть `telemetry:lost_items:total` — ноль по ряду ёмкости очереди span (правило
|
||||
`15ea156`):
|
||||
|
||||
```
|
||||
sum by (job, instance) ({__name__=~"otel_sdk_(processor|exporter)_(span|log)_(processed|exported)_total",error_type!=""})
|
||||
- or
|
||||
- sum by (job, instance) (otel_sdk_processor_span_queue_capacity) * 0
|
||||
```
|
||||
|
||||
Код 1:
|
||||
|
||||
```
|
||||
FAILED:
|
||||
expr: "telemetry:lost_items:total", time: 3m,
|
||||
exp: {__name__="telemetry:lost_items:total", instance="a1", job="messenger-api"} 0E+00, {__name__="telemetry:lost_items:total", instance="r1", job="messenger-relay"} 0E+00
|
||||
got: nil
|
||||
expr: "increase(telemetry:lost_items:total[5m])", time: 6m,
|
||||
exp: {instance="a1", job="messenger-api"} 3.6E+01, {instance="r1", job="messenger-relay"} 0E+00
|
||||
got: {instance="a1", job="messenger-api"} 0E+00
|
||||
```
|
||||
|
||||
Без нуля ряда процесса нет до первой потери, ряд появляется сразу со значением 36, и `increase()`
|
||||
(как `rate()` панели потерь) это первое значение отбрасывает — 0 вместо 36. С правилом `ef60b47`
|
||||
тот же тест зелёный (вывод выше).
|
||||
|
||||
@@ -1,17 +1,21 @@
|
||||
# `driver.py --port 8080 backend-outage` (change `slo-alerts`, задача 11.3)
|
||||
# `driver.py --port 8080 backend-outage` (change `slo-alerts`, задачи 11.3 и 12.11)
|
||||
|
||||
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
|
||||
рабочее дерево чистое (до прогона вне `evidence/` изменений нет). Файлы `src/` и `migrations/`
|
||||
(151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit
|
||||
(SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`.
|
||||
- Дата: 2026-11-13, 23:06:38Z – 23:22:25Z (~15,8 мин), сразу после `alerts-check`
|
||||
- Основа: commit `ef60b47` (fix: address slo-alerts verify findings), рабочее дерево чистое (до
|
||||
прогона вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в контейнерах `api` (2),
|
||||
`relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256 каждого файла); ревизия
|
||||
схемы `e4b8c2d17f90`; `rules.yml` и `prometheus.yml` в контейнере Prometheus равны дереву
|
||||
`ef60b47`. Прежний прогон этого файла — на `15ea156` (до правок verify: без проверки панели потерь,
|
||||
правило потерь без нуля процесса SDK).
|
||||
- Дата: 2026-11-14, 01:27:36Z – 01:43:27Z (~15,9 мин), сразу после `alerts-check`
|
||||
(`evidence/alerts/check.md`); хост macOS, Docker 29.9.2, Compose 5.6.1, ВМ Docker Desktop — 12 CPU /
|
||||
11,6 ГиБ. Рабочий стенд `mtusi-lab6`, команда из корня репозитория:
|
||||
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 backend-outage`, код выхода 0.
|
||||
- Через HTTP API Grafana на `127.0.0.1:3000` (пароль из `.env`, в вывод не попадает); та же фоновая
|
||||
нагрузка драйвера, что у `alerts-check` (6 потоков отправки раз в 0,25 с, 1 чтения раз в 1 с);
|
||||
память — раз в 2 с: `memory.current` реплик из их cgroup (`docker exec … cat`), Collector —
|
||||
`docker stats` (в образе нет оболочки) и `otelcol_process_runtime_total_sys_memory_bytes`.
|
||||
`docker stats` (в образе нет оболочки) и `otelcol_process_runtime_total_sys_memory_bytes`. Панель
|
||||
потерь — запрос A панели 40 (`sum by (job) (rate(telemetry:lost_items:total[5m])) or on()
|
||||
vector(0)`, взят из dashboard в Grafana), наибольшее значение по `job` с момента остановки.
|
||||
- Шаги: Loki — `docker compose stop` на 10 с со своим запросом (известный `X-Request-Id`), затем на
|
||||
120 с (> 30 с повторов Collector) с `make test`; то же для Tempo; Prometheus — 60 с; Collector —
|
||||
120 с с `make test`. В `finally` — все сервисы телеметрии, worker и relay запущены, нагрузка
|
||||
@@ -22,77 +26,84 @@
|
||||
| Сценарий (`observability`) | Строки |
|
||||
| --- | --- |
|
||||
| «Короткий отказ хранилища» | `[loki short]`, `[tempo short]`: свой запрос найден после возврата, потери экспортёра 0 |
|
||||
| «Долгий отказ хранилища» | `[loki long]`, `[tempo long]`: `make test` 0 PASS, 5xx у клиента 0 (2928 и 2934 ответа 2xx), очередь экспорта до 0,135 (Loki) и 0,656 (Tempo) ёмкости, память Collector до 93 МиБ при лимите 256, `TelemetryTargetDown` firing через 105 и 90 с (≤ 118), `TelemetryDataLoss` firing, новые сигналы после возврата, оба сняты (через 40 / 145 с и 30 / 150 с, ≤ 240) |
|
||||
| «Потери Collector при недоступном хранилище» | `[tempo long] Collector losses of otlp_http/tempo: 1342 spans` (и `[loki long]` — 443 записи), `TelemetryDataLoss firing` |
|
||||
| «Отказ Prometheus» | `[prometheus]`: 5xx 0 (1467 ответов 2xx), счёт запросов API между точками до и после (105 с) вырос на 2565 при 1833 запросах нагрузки в этом окне |
|
||||
| «Отказ Collector под нагрузкой» | `[collector]`: `make test` 0 PASS, `TelemetryTargetDown{job=otel-collector}` firing через 95 с, память реплик — максимум последней трети окна 156 и 154 МиБ против 142 и 145 первой (рост ≤ 16 МиБ), лимит 512; `MessengerQueueMetricsMissing` неактивно; снято через 20 с |
|
||||
| «Потери SDK при недоступном Collector» | `[collector] SDK losses before {}, after {…: 11683.0, …: 11810.0}`, ёмкость очередей SDK 2048, записей API в окне: stdout 5275, Loki 0 |
|
||||
| «Без потерь» | `stand quiet before the step: yes` перед каждым шагом (в том числе `TelemetryDataLoss` неактивно), потери коротких отказов 0 |
|
||||
| «Долгий отказ хранилища» | `[loki long]`, `[tempo long]`: `make test` 0 PASS, 5xx у клиента 0 (2933 и 2931 ответ 2xx), очередь экспорта до 0,122 (Loki) и 0,622 (Tempo) ёмкости, память Collector до 91 МиБ при лимите 256, `TelemetryTargetDown` firing через 80 и 75 с (≤ 118), `TelemetryDataLoss` firing, новые сигналы после возврата, оба сняты (через 20 / 140 с и 15 / 135 с, ≤ 240) |
|
||||
| «Потери Collector при недоступном хранилище» | `[tempo long] Collector losses of otlp_http/tempo: 1336 spans` (и `[loki long]` — 441 запись), на панели потерь `otel-collector` до 4,688/с (Loki — 1,497/с), `TelemetryDataLoss firing` |
|
||||
| «Отказ Prometheus» | `[prometheus]`: 5xx 0 (1467 ответов 2xx), счёт запросов API между точками до и после (90 с) вырос на 2202 при 1463 запросах нагрузки в этом окне |
|
||||
| «Отказ Collector под нагрузкой» | `[collector]`: `make test` 0 PASS, `TelemetryTargetDown{job=otel-collector}` firing через 80 с, память реплик — максимум последней трети окна 143 и 150 МиБ против 142 и 143 первой (рост ≤ 16 МиБ), лимит 512; `MessengerQueueMetricsMissing` неактивно; снято через 20 с |
|
||||
| «Потери SDK при недоступном Collector» | `[collector] SDK losses before {…: 11685.0, …: 11534.0}, after {…: 23287.0, …: 23085.0}` (+11 602 и +11 551), на панели потерь `messenger-api` до 81,239/с, ёмкость очередей SDK span и журнала 2048, записей API в окне: stdout 5274, Loki 0 |
|
||||
| «Без потерь» | `stand quiet before the step: yes` перед каждым шагом (в том числе `TelemetryDataLoss` неактивно), потери коротких отказов 0; панель потерь на тихом стенде (0) проверяет `telemetry-check` |
|
||||
|
||||
## Вывод
|
||||
|
||||
```
|
||||
backend-outage 2026-11-13T23:06:38Z
|
||||
backend-outage 2026-11-14T01:27:36Z
|
||||
[loki short] stand quiet before the step: yes
|
||||
[loki short] own request found after the return: yes
|
||||
[loki short] Collector losses of otlp_http/loki: 0
|
||||
[loki long] stand quiet before the step: yes
|
||||
[loki long] make test: 0 PASS
|
||||
[loki long] TelemetryTargetDown{job=loki} firing: after 105 s
|
||||
observed: export queue of otlp_http/loki, max share of capacity: 0.135
|
||||
[loki long] TelemetryTargetDown{job=loki} firing: after 80 s
|
||||
observed: export queue of otlp_http/loki, max share of capacity: 0.122
|
||||
[loki long] export queue within its capacity: yes
|
||||
observed: Collector memory: docker stats max 77 MiB, runtime sys max 76 MiB, limit 256 MiB
|
||||
observed: Collector memory: docker stats max 81 MiB, runtime sys max 76 MiB, limit 256 MiB
|
||||
[loki long] Collector memory below its limit: yes
|
||||
observed: client responses during the outage: {'2xx': 2928}
|
||||
observed: client responses during the outage: {'2xx': 2933}
|
||||
[loki long] client 5xx during the outage: 0
|
||||
[loki long] TelemetryDataLoss firing: yes
|
||||
observed: Collector losses of otlp_http/loki: 443 log_records
|
||||
observed: Collector losses of otlp_http/loki: 441 log_records
|
||||
[loki long] losses counted by the Collector: yes
|
||||
observed: loss panel, max per job since the stop: {'otel-collector': 1.497, 'messenger-api': 0.0, 'messenger-worker': 0.0, 'messenger-relay': 0.0}
|
||||
[loki long] Collector losses on the loss panel: yes
|
||||
[loki long] new signals arrive after the return: yes
|
||||
[loki long] TelemetryTargetDown resolved: after 40 s
|
||||
[loki long] TelemetryDataLoss resolved: after 145 s
|
||||
[loki long] TelemetryTargetDown resolved: after 20 s
|
||||
[loki long] TelemetryDataLoss resolved: after 140 s
|
||||
[tempo short] stand quiet before the step: yes
|
||||
[tempo short] own request found after the return: yes
|
||||
[tempo short] Collector losses of otlp_http/tempo: 0
|
||||
[tempo long] stand quiet before the step: yes
|
||||
[tempo long] make test: 0 PASS
|
||||
[tempo long] TelemetryTargetDown{job=tempo} firing: after 90 s
|
||||
observed: export queue of otlp_http/tempo, max share of capacity: 0.656
|
||||
[tempo long] TelemetryTargetDown{job=tempo} firing: after 75 s
|
||||
observed: export queue of otlp_http/tempo, max share of capacity: 0.622
|
||||
[tempo long] export queue within its capacity: yes
|
||||
observed: Collector memory: docker stats max 93 MiB, runtime sys max 84 MiB, limit 256 MiB
|
||||
observed: Collector memory: docker stats max 91 MiB, runtime sys max 84 MiB, limit 256 MiB
|
||||
[tempo long] Collector memory below its limit: yes
|
||||
observed: client responses during the outage: {'2xx': 2934}
|
||||
observed: client responses during the outage: {'2xx': 2931}
|
||||
[tempo long] client 5xx during the outage: 0
|
||||
[tempo long] TelemetryDataLoss firing: yes
|
||||
observed: Collector losses of otlp_http/tempo: 1342 spans
|
||||
observed: Collector losses of otlp_http/tempo: 1336 spans
|
||||
[tempo long] losses counted by the Collector: yes
|
||||
observed: loss panel, max per job since the stop: {'otel-collector': 4.688, 'messenger-api': 0.0, 'messenger-worker': 0.0, 'messenger-relay': 0.0}
|
||||
[tempo long] Collector losses on the loss panel: yes
|
||||
[tempo long] new signals arrive after the return: yes
|
||||
[tempo long] TelemetryTargetDown resolved: after 30 s
|
||||
[tempo long] TelemetryDataLoss resolved: after 150 s
|
||||
[tempo long] TelemetryTargetDown resolved: after 15 s
|
||||
[tempo long] TelemetryDataLoss resolved: after 135 s
|
||||
[prometheus] stand quiet before the step: yes
|
||||
observed: client responses while Prometheus is down: {'2xx': 1467}
|
||||
[prometheus] client 5xx while Prometheus is down: 0
|
||||
[prometheus] Prometheus answers again: yes
|
||||
observed: API request count grew by 2565 between scrapes 105 s apart; load sent 1833 in that window
|
||||
observed: API request count grew by 2202 between scrapes 90 s apart; load sent 1463 in that window
|
||||
[prometheus] request count grew at least by the load: yes
|
||||
[collector] stand quiet before the step: yes
|
||||
[collector] make test: 0 PASS
|
||||
[collector] TelemetryTargetDown{job=otel-collector} firing: after 95 s
|
||||
observed: api 224ebf0e32ba: memory max first third 142 MiB, last third 156 MiB, limit 512 MiB
|
||||
[collector] TelemetryTargetDown{job=otel-collector} firing: after 80 s
|
||||
observed: api 224ebf0e32ba: memory max first third 142 MiB, last third 143 MiB, limit 512 MiB
|
||||
[collector] api 224ebf0e32ba memory does not grow and is below its limit: yes
|
||||
observed: api 4b9782f7240b: memory max first third 145 MiB, last third 154 MiB, limit 512 MiB
|
||||
observed: api 4b9782f7240b: memory max first third 143 MiB, last third 150 MiB, limit 512 MiB
|
||||
[collector] api 4b9782f7240b memory does not grow and is below its limit: yes
|
||||
[collector] MessengerQueueMetricsMissing stayed inactive: yes
|
||||
[collector] TelemetryTargetDown resolved: after 20 s
|
||||
observed: SDK losses before {}, after {'224ebf0e32ba': 11683.0, '4b9782f7240b': 11810.0}
|
||||
observed: SDK losses before {'224ebf0e32ba': 11685.0, '4b9782f7240b': 11534.0}, after {'224ebf0e32ba': 23287.0, '4b9782f7240b': 23085.0}
|
||||
[collector] SDK loss counters of replicas grew: yes
|
||||
[collector] SDK queue capacity as [telemetry] max_queue_size: {2048.0}
|
||||
observed: API records in the outage window: stdout 5275, Loki 0
|
||||
observed: loss panel, max per job since the stop: {'messenger-worker': 0.071, 'messenger-relay': 0.007, 'otel-collector': 2.77, 'messenger-api': 81.239}
|
||||
[collector] SDK losses of replicas on the loss panel: yes
|
||||
[collector] SDK span queue capacity as [telemetry] max_queue_size: {2048.0}
|
||||
[collector] SDK log queue capacity as [telemetry] max_queue_size: {2048.0}
|
||||
observed: API records in the outage window: stdout 5274, Loki 0
|
||||
[collector] fewer Loki records than stdout records in the window: yes
|
||||
memory otel-collector 7209c9b86a7c: peak 68 MiB, anon+kernel+shmem 66 MiB, file 0 MiB, limit 256 MiB
|
||||
memory prometheus 77a121dcddff: peak 89 MiB, anon+kernel+shmem 55 MiB, file 0 MiB, limit 384 MiB
|
||||
memory api 224ebf0e32ba: peak 334 MiB, anon+kernel+shmem 133 MiB, file 0 MiB, limit 512 MiB
|
||||
memory api 4b9782f7240b: peak 327 MiB, anon+kernel+shmem 135 MiB, file 0 MiB, limit 512 MiB
|
||||
memory prometheus ad08a84f4d3a: peak 107 MiB, anon+kernel+shmem 71 MiB, file 4 MiB, limit 384 MiB
|
||||
memory api 224ebf0e32ba: peak 342 MiB, anon+kernel+shmem 129 MiB, file 0 MiB, limit 512 MiB
|
||||
memory api 4b9782f7240b: peak 339 MiB, anon+kernel+shmem 130 MiB, file 0 MiB, limit 512 MiB
|
||||
[loki short] stand quiet before the step expected yes got yes
|
||||
[loki short] own request found after the return expected yes got yes
|
||||
[loki short] Collector losses of otlp_http/loki expected 0 got 0
|
||||
@@ -104,6 +115,7 @@ memory api 4b9782f7240b: peak 327 MiB, anon+kernel+shmem 135 MiB, file 0 MiB, li
|
||||
[loki long] client 5xx during the outage expected 0 got 0
|
||||
[loki long] TelemetryDataLoss firing expected yes got yes
|
||||
[loki long] losses counted by the Collector expected yes got yes
|
||||
[loki long] Collector losses on the loss panel expected yes got yes
|
||||
[loki long] new signals arrive after the return expected yes got yes
|
||||
[loki long] TelemetryTargetDown resolved within 240 s expected yes got yes
|
||||
[loki long] TelemetryDataLoss resolved within 240 s expected yes got yes
|
||||
@@ -118,6 +130,7 @@ memory api 4b9782f7240b: peak 327 MiB, anon+kernel+shmem 135 MiB, file 0 MiB, li
|
||||
[tempo long] client 5xx during the outage expected 0 got 0
|
||||
[tempo long] TelemetryDataLoss firing expected yes got yes
|
||||
[tempo long] losses counted by the Collector expected yes got yes
|
||||
[tempo long] Collector losses on the loss panel expected yes got yes
|
||||
[tempo long] new signals arrive after the return expected yes got yes
|
||||
[tempo long] TelemetryTargetDown resolved within 240 s expected yes got yes
|
||||
[tempo long] TelemetryDataLoss resolved within 240 s expected yes got yes
|
||||
@@ -133,7 +146,9 @@ memory api 4b9782f7240b: peak 327 MiB, anon+kernel+shmem 135 MiB, file 0 MiB, li
|
||||
[collector] MessengerQueueMetricsMissing stayed inactive expected yes got yes
|
||||
[collector] TelemetryTargetDown resolved within 240 s expected yes got yes
|
||||
[collector] SDK loss counters of replicas grew expected yes got yes
|
||||
[collector] SDK queue capacity as [telemetry] max_queue_size expected {2048.0} got {2048.0}
|
||||
[collector] SDK losses of replicas on the loss panel expected yes got yes
|
||||
[collector] SDK span queue capacity as [telemetry] max_queue_size expected {2048.0} got {2048.0}
|
||||
[collector] SDK log queue capacity as [telemetry] max_queue_size expected {2048.0} got {2048.0}
|
||||
[collector] fewer Loki records than stdout records in the window expected yes got yes
|
||||
PASS: API and worker work while telemetry stores and the Collector are down; memory is bounded, losses are counted, alerts fire and resolve
|
||||
restored: load stopped, telemetry services started, worker and relay running: yes
|
||||
@@ -141,23 +156,30 @@ restored: load stopped, telemetry services started, worker and relay running: ye
|
||||
|
||||
## Чтение чисел
|
||||
|
||||
- **Потери ограничены и учтены.** Долгий отказ Loki (120 с) — 443 записи журнала, Tempo — 1342 span
|
||||
- **Потери ограничены и учтены.** Долгий отказ Loki (120 с) — 441 запись журнала, Tempo — 1336 span
|
||||
(`otelcol_exporter_enqueue_failed_*` / `send_failed_*` экспортёра): очередь Tempo (8 МиБ) за 120 с
|
||||
заполнилась до 0,656 ёмкости, Loki (16 МиБ) — до 0,135, и при этом пакеты, чьи повторы истекли
|
||||
заполнилась до 0,622 ёмкости, Loki (16 МиБ) — до 0,122, и при этом пакеты, чьи повторы истекли
|
||||
(30 с), отброшены (design, решение 7: сохраняется начало отказа, теряется конец). Короткий отказ
|
||||
(10 с + старт хранилища) — короче срока повторов, потерь 0, свой запрос нашёлся.
|
||||
- **Отказ Collector** — потери у источника: очереди SDK (2048) у каждой реплики переполнились, счёт
|
||||
`otel_sdk_*` с `error_type` — 11 683 и 11 810 (span и записи вместе), он копился в процессе и
|
||||
пришёл в Prometheus после возврата Collector; записей API окна в Loki 0 из 5275 в stdout.
|
||||
- **Память.** Collector в долгих отказах — `docker stats` до 93 МиБ, `otelcol_process_runtime_total_sys_memory_bytes`
|
||||
`otel_sdk_*` с `error_type` вырос на 11 602 и 11 551 (span и записи вместе; «before» — счёт
|
||||
пробного прогона перед съёмкой в тех же процессах), он копился в процессе и пришёл в Prometheus
|
||||
после возврата Collector; записей API окна в Loki 0 из 5274 в stdout.
|
||||
- **Панель потерь** (verify W1, design, «Уточнения apply», п. 17): запрос A видит потери Collector
|
||||
в долгих отказах хранилищ (1,497 и 4,688/с) и потери SDK реплик после отказа Collector (81,239/с у
|
||||
`messenger-api`): ряд правила процесса SDK начинается с нуля по ряду ёмкости очереди span, и
|
||||
`rate()` не отбрасывает первое значение после возврата Collector. На `15ea156` в том же шаге ряд
|
||||
`messenger-api` появлялся сразу со значением потерь, и панель давала 0.
|
||||
- **Память.** Collector в долгих отказах — `docker stats` до 91 МиБ, `otelcol_process_runtime_total_sys_memory_bytes`
|
||||
до 84 МиБ при лимите 256 и `GOMEMLIMIT` 160. Строка `memory otel-collector … peak 68 MiB` в конце
|
||||
— `memory.peak` cgroup после шага `[collector]` (`docker compose stop` / `start` того же контейнера
|
||||
начинают новую cgroup), так же строка Prometheus (89 МиБ) — с его запуска на шаге `[prometheus]`;
|
||||
пик Prometheus за всё время его жизни до этого — 108 МиБ в `alerts-check`. Реплики API при
|
||||
недоступном Collector не растут сверх очередей SDK (рост максимума ≤ 14 МиБ, проверка ≤ 16 МиБ),
|
||||
`memory.peak` реплик 334 и 327 МиБ — со старта стенда в 22:45Z (входы `alerts-check`), лимит 512.
|
||||
Правило «лимит ≥ 1,5 × пика» — раздел change `slo-alerts` в `evidence/telemetry/budget.md`.
|
||||
начинают новую cgroup), так же строка Prometheus (107 МиБ) — с его запуска на шаге `[prometheus]`;
|
||||
пик Prometheus до этого — 128 МиБ в `alerts-check` (`evidence/alerts/check.md`). Реплики API при
|
||||
недоступном Collector не растут сверх очередей SDK (рост максимума ≤ 7 МиБ, проверка ≤ 16 МиБ),
|
||||
`memory.peak` реплик 342 и 339 МиБ — со старта реплик 2026-11-13 в 23:26Z (входы `alerts-check`),
|
||||
лимит 512. Правило «лимит ≥ 1,5 × пика» — раздел change `slo-alerts` в
|
||||
`evidence/telemetry/budget.md`.
|
||||
- **Prometheus.** Пока он стоит, правила не вычисляются и точек нет, а cumulative-счётчики после
|
||||
возврата прежние: приращение между точками до и после окна 2565 ≥ 1833 запросов нагрузки (запросы
|
||||
возврата прежние: приращение между точками до и после окна 2202 ≥ 1463 запросов нагрузки (запросы
|
||||
нагрузки драйвер считает с первой точки до второй минус 30 с — запас на экспорт SDK и сбор, —
|
||||
поэтому приращение заведомо больше).
|
||||
|
||||
@@ -203,3 +203,8 @@
|
||||
`evidence/alerts/rules-test.md` (счёт S2), `alerts-check` → `evidence/alerts/check.md`, `telemetry-check` →
|
||||
`evidence/telemetry/check.md`, `backend-outage` → `evidence/telemetry/backend-outage.md`; числа и ссылки на строки в
|
||||
`REPORT.md`. Проверка: коды 0; сценарии 11.1–11.3 и новые строки (панель потерь, pending, одно окно).
|
||||
Состояние (2026-11-14, `ef60b47`): `rules-test.md`, `alerts/check.md` и `backend-outage.md` пересняты (коды 0),
|
||||
`REPORT.md` и `AGENTS.md` поправлены. `telemetry-check` дважды дал код 1 на строке «same relay pass records in Loki»
|
||||
(гонка проверки драйвера: `relay_pass_records` ждёт первой записи в Loki, а не всех записей stdout — вторая запись
|
||||
прохода приходит через секунды и в Loki есть); правка драйвера в стадии пересъёмки запрещена — задача открыта,
|
||||
`evidence/telemetry/check.md` пока на `15ea156`.
|
||||
|
||||
Reference in New Issue
Block a user