fix: address slo-alerts verify findings

Count the first SDK telemetry loss on the loss panel, print pending
moments on every alerts-check step, check the loss panel on a quiet
stand, align two scenarios and the SLI cross-check text with what the
driver verifies.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-11-14 04:08:13 +03:00
co-authored by Claude Opus 5.5
parent 107fe7f033
commit ef60b47246
11 changed files with 425 additions and 49 deletions
+6 -2
View File
@@ -126,13 +126,17 @@ paths:
— `infra/otel/prometheus/rules.yml` (bind mount и `configs` CI), тесты — `rules.test.yml` (`make — `infra/otel/prometheus/rules.yml` (bind mount и `configs` CI), тесты — `rules.test.yml` (`make
alerts_test`: `promtool` в одноразовом контейнере через `tar`, затем проверка `runbook_url`), в alerts_test`: `promtool` в одноразовом контейнере через `tar`, затем проверка `runbook_url`), в
контейнер не монтируются. Новое оповещение — правило с `for`, `severity`, `summary`, контейнер не монтируются. Новое оповещение — правило с `for`, `severity`, `summary`,
`description` с `$value`, `runbook_url` на `infra/otel/runbooks/<имя>.md`, тест срабатывания, `description` с `$value` (у `absent()` и `up == 0` значение пустое по смыслу — вместо него
шаблон `query`: возраст последней точки, число недоступных целей; design `slo-alerts`,
«Уточнения apply», п. 21), `runbook_url` на `infra/otel/runbooks/<имя>.md`, тест срабатывания,
порога, «без трафика» и снятия (в `exp_annotations` — все аннотации дословно). Блока `alerting` порога, «без трафика» и снятия (в `exp_annotations` — все аннотации дословно). Блока `alerting`
нет: доставки нет, Alertmanager отвергнут по функции (SA-3). Флаг нет: доставки нет, Alertmanager отвергнут по функции (SA-3). Флаг
`created-timestamp-zero-ingestion`, у цели `otel-collector-exporter` — protobuf первым, глобально `created-timestamp-zero-ingestion`, у цели `otel-collector-exporter` — protobuf первым, глобально
— прежний текстовый список Prometheus 3: время начала нужно только экспортёру Collector. — прежний текстовый список Prometheus 3: время начала нужно только экспортёру Collector.
Потери — правило `telemetry:lost_items:total` (сумма по процессу, не `increase()`); новое Потери — правило `telemetry:lost_items:total` (сумма по процессу, не `increase()`); новое
место потерь — его составляющая. `le` в запросах — как в хранилище (`"0.25"`, `"30.0"`). место потерь — его составляющая. Ряд суммы каждого процесса начинается с нуля со старта (у SDK —
часть `… * 0` по ряду ёмкости очереди span, у Collector — его ряды `receiver_refused`): иначе
первое значение нового ряда `rate()` панели потерь отбрасывает (verify, W1). `le` в запросах — как в хранилище (`"0.25"`, `"30.0"`).
- **Панели с change `slo-alerts`** (SA-10): строки «SLO and alerts», «Load balancer», «Telemetry - **Панели с change `slo-alerts`** (SA-10): строки «SLO and alerts», «Load balancer», «Telemetry
pipeline», id с 25. Ряд, которого может не быть (оповещения, потери, 5xx API), — `… or on() pipeline», id с 25. Ряд, которого может не быть (оповещения, потери, 5xx API), — `… or on()
vector(0)`: обход панелей драйвером требует данных. Макрос `$__range` драйвер подменяет на vector(0)`: обход панелей драйвером требует данных. Макрос `$__range` драйвер подменяет на
+15 -10
View File
@@ -498,10 +498,11 @@ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 backend-outage
`outbox` + `published` +3, consumer span после остановки нет, последняя запись worker в Loki; `outbox` + `published` +3, consumer span после остановки нет, последняя запись worker в Loki;
worker стоит не меньше 130 с (ряды процесса ушли), `docker start` — все `ready`, снято ≤ 2 мин, worker стоит не меньше 130 с (ряды процесса ушли), `docker start` — все `ready`, снято ≤ 2 мин,
счёт `messenger_job_time_to_ready_seconds_count` по точкам (без экстраполяции, первая точка — счёт `messenger_job_time_to_ready_seconds_count` по точкам (без экстраполяции, первая точка —
ноль времени начала нового процесса) +3; 2) `docker compose stop relay` — ряды глубины уходят ноль времени начала нового процесса) +3; 2) `docker compose stop relay` — ряды глубины и
≤ 2 мин, `MessengerQueueMetricsMissing` ≤ 5 мин, `docker start` — снято ≤ 2 мин; 3) сессия psql возраста очереди уходят ≤ 2 мин, `MessengerQueueMetricsMissing` ≤ 5 мин, `docker start` — снято
≤ 2 мин; 3) сессия psql
`application_name = mtusi-alerts-check` циклами держит `LOCK TABLE messages IN SHARE MODE` 2 с с `application_name = mtusi-alerts-check` циклами держит `LOCK TABLE messages IN SHARE MODE` 2 с с
паузой 0,2 с — `MessengerSlowRequests` ≤ 3 мин, медиана доли span PostgreSQL в медленных трассах паузой 0,2 с — `MessengerSlowRequests` ≤ 4 мин, медиана доли span PostgreSQL в медленных трассах
отправки > 0,5, пул занят больше, чем до шагов, CPU реплик < 0,5 предела; сессия завершена отправки > 0,5, пул занят больше, чем до шагов, CPU реплик < 0,5 предела; сессия завершена
(`pg_terminate_backend`) — снято ≤ 4 мин; 4) 3 потока входят по Basic 45 с — медиана доли span (`pg_terminate_backend`) — снято ≤ 4 мин; 4) 3 потока входят по Basic 45 с — медиана доли span
PostgreSQL в трассах входа < 0,2, свободное место в пуле ждать не пришлось (доля занятых < 1, PostgreSQL в трассах входа < 0,2, свободное место в пуле ждать не пришлось (доля занятых < 1,
@@ -511,11 +512,12 @@ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 backend-outage
5xx API и не меньше 503 самого LB у клиента, доля 5xx LB = доля клиента ± 5 п. п.; `docker 5xx API и не меньше 503 самого LB у клиента, доля 5xx LB = доля клиента ± 5 п. п.; `docker
compose start postgres` — сняты ≤ 4 мин (`MessengerQueueMetricsMissing` в pending допустим); compose start postgres` — сняты ≤ 4 мин (`MessengerQueueMetricsMissing` в pending допустим);
6) SLI за 7 суток в [0, 1], за час — по рядам правил и по исходным счётчикам: сумма 6) SLI за 7 суток в [0, 1], за час — по рядам правил и по исходным счётчикам: сумма
`increase(…[5m])` на время каждой точки `messenger-slo` (≤ 1 п. п.; рядом — `increase` за час `increase(…[5m])` на время каждой точки `messenger-slo` (≤ 1 п. п.), у доступности и задержки —
одним окном и число окон за час: пока Prometheus стоял, окон нет), перед шагами — 20 загрузок и `increase` за час одним окном (≤ 1 п. п.; у времени до `ready` — наблюдение), число окон за
час (пока Prometheus стоял, окон нет), перед шагами — 20 загрузок
при работающем worker (хорошие события времени до `ready`), SLI за окно учений, запросы панелей с id от 25 с данными, при работающем worker (хорошие события времени до `ready`), SLI за окно учений, запросы панелей с id от 25 с данными,
панель истории состояний показывает firing всех шагов; пики памяти Prometheus и Collector. На панель истории состояний показывает firing всех шагов; пики памяти Prometheus и Collector. На
каждом шаге — «other alerts firing» (лишних нет). В `finally` — нагрузка остановлена, сессия каждом шаге — момент pending рядом с каждой строкой firing и «other alerts firing» (лишних нет). В `finally` — нагрузка остановлена, сессия
блокировки завершена, PostgreSQL запущен, worker и relay — `docker start` тех же контейнеров, LB блокировки завершена, PostgreSQL запущен, worker и relay — `docker start` тех же контейнеров, LB
готов. Код 0 / 1 / 2. готов. Код 0 / 1 / 2.
- **`backend-outage`** — та же нагрузка и опрос правил; память раз в 2 с (`memory.current` реплик - **`backend-outage`** — та же нагрузка и опрос правил; память раз в 2 с (`memory.current` реплик
@@ -523,12 +525,13 @@ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 backend-outage
очереди: 10 с (свой запрос находится в хранилище после возврата, счётчики `send_failed` / очереди: 10 с (свой запрос находится в хранилище после возврата, счётчики `send_failed` /
`enqueue_failed` экспортёра не выросли) и 120 с (`make test` PASS, 5xx у клиента 0, очередь `enqueue_failed` экспортёра не выросли) и 120 с (`make test` PASS, 5xx у клиента 0, очередь
экспорта ≤ ёмкости, память Collector ниже лимита, `TelemetryTargetDown{job=…}` ≤ 110 с, экспорта ≤ ёмкости, память Collector ниже лимита, `TelemetryTargetDown{job=…}` ≤ 110 с,
`TelemetryDataLoss` firing, потери Collector > 0, новые сигналы после возврата, оба сняты ≤ 4 `TelemetryDataLoss` firing, потери Collector > 0 и видны на панели потерь (запрос A панели 40,
мин); Prometheus 60 с (5xx 0, приращение счёта запросов API между точками до и после не меньше `job="otel-collector"`), новые сигналы после возврата, оба сняты ≤ 4 мин); Prometheus 60 с (5xx 0, приращение счёта запросов API между точками до и после не меньше
запросов нагрузки); Collector 120 с (`make test` PASS, `TelemetryTargetDown` firing, память запросов нагрузки); Collector 120 с (`make test` PASS, `TelemetryTargetDown` firing, память
каждой реплики: максимум последней трети окна не выше первой больше чем на 16 МиБ и ниже каждой реплики: максимум последней трети окна не выше первой больше чем на 16 МиБ и ниже
лимита, `MessengerQueueMetricsMissing` не pending; после возврата — снято, счётчики потерь SDK лимита, `MessengerQueueMetricsMissing` не pending; после возврата — снято, счётчики потерь SDK
реплик выросли, ёмкость очередей SDK 2048, записей Loki в окне меньше stdout). В конце — пики реплик выросли и видны на панели потерь (`job="messenger-api"`: ряд правила процесса SDK
начинается с нуля), ёмкость очередей SDK span и журнала 2048, записей Loki в окне меньше stdout). В конце — пики
памяти Collector, Prometheus и реплик по cgroup (`memory.peak`, `anon` + `kernel` + `shmem`, памяти Collector, Prometheus и реплик по cgroup (`memory.peak`, `anon` + `kernel` + `shmem`,
`file`, лимит — для бюджета). В `finally` — сервисы телеметрии запущены, worker и relay. Код 0 / `file`, лимит — для бюджета). В `finally` — сервисы телеметрии запущены, worker и relay. Код 0 /
1 / 2. 1 / 2.
@@ -564,7 +567,9 @@ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 backend-outage
- **`telemetry-check`** — всё через HTTP API Grafana (источники-прокси Prometheus, Loki, Tempo): - **`telemetry-check`** — всё через HTTP API Grafana (источники-прокси Prometheus, Loki, Tempo):
вход 401 / 401 / 200, порт только на `127.0.0.1`, источники по uid и их проверка, dashboard вход 401 / 401 / 200, порт только на `127.0.0.1`, источники по uid и их проверка, dashboard
provisioned и отказ его сохранения, цели Prometheus `up`; затем «тихая» база счётчиков (35 с без provisioned и отказ его сохранения, цели Prometheus `up`, метрики LB; панель потерь (id 40) на
тихом стенде — все три запроса 0, `TelemetryDataLoss` неактивно (ждёт до 330 с: окно `rate()`
панели 5 мин, время ожидания печатается); затем «тихая» база счётчиков (35 с без
изменений), свой пользователь, сообщение, 10 GET чата, 401, 404, `PROPFIND` и `GET` к изменений), свой пользователь, сообщение, 10 GET чата, 401, 404, `PROPFIND` и `GET` к
неизвестному пути с UUID (ряды `_OTHER` и `GET` без `http_route` выросли на 1; `BREW` — неизвестному пути с UUID (ряды `_OTHER` и `GET` без `http_route` выросли на 1; `BREW` —
только 400 парсера, ограничение), `traceparent`, загрузка и недекодируемый JPEG (12 бит, только 400 парсера, ограничение), `traceparent`, загрузка и недекодируемый JPEG (12 бит,
+169 -18
View File
@@ -10364,6 +10364,9 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int:
# метрики LB (design change slo-alerts, решение 2) # метрики LB (design change slo-alerts, решение 2)
for name, expected, got in lb_metrics_rows(port, grafana): for name, expected, got in lb_metrics_rows(port, grafana):
step(name, expected, got) step(name, expected, got)
# панель потерь до своих рестартов Collector и хранилищ (verify S4)
for name, expected, got in loss_panel_quiet_rows(grafana):
step(name, expected, got)
# --- база метрик до своего трафика ----------------------------------- # --- база метрик до своего трафика -----------------------------------
chat_route = '"/api/v1/chats/{chat_id}"' chat_route = '"/api/v1/chats/{chat_id}"'
@@ -12759,7 +12762,7 @@ AC_SESSION = "mtusi-alerts-check"
AC_LOCK_HOLD_S = 2 AC_LOCK_HOLD_S = 2
# пауза короче 0,5 с design: в ней каждый поток записи успевает ~1 быстрый # пауза короче 0,5 с design: в ней каждый поток записи успевает ~1 быстрый
# запрос, доля медленных ~0,4, порог 10 % пересекается раньше (firing было # запрос, доля медленных ~0,4, порог 10 % пересекается раньше (firing было
# 165 с из 180 при паузе 0,5 с, «Уточнения apply») # 165 с при паузе 0,5 с, «Уточнения apply», п. 7; срок спека — 4 мин, verify S1)
AC_LOCK_PAUSE_S = 0.2 AC_LOCK_PAUSE_S = 0.2
AC_LOCK_CYCLES = 400 AC_LOCK_CYCLES = 400
AC_LOCK_SQL = f"""\ AC_LOCK_SQL = f"""\
@@ -12788,7 +12791,9 @@ AC_LAG_CLEAR_S = 120
AC_RELAY_FIRING_S = 300 AC_RELAY_FIRING_S = 300
AC_RELAY_SERIES_GONE_S = 120 AC_RELAY_SERIES_GONE_S = 120
AC_RELAY_CLEAR_S = 120 AC_RELAY_CLEAR_S = 120
AC_SLOW_FIRING_S = 180 # firing задают конвейер (экспорт SDK, сбор, слот точки правила — по 15 с) и
# for 1 мин: ~165 с — запас до 3 мин мал, срок 4 мин (verify S1)
AC_SLOW_FIRING_S = 240
AC_SLOW_CLEAR_S = 240 AC_SLOW_CLEAR_S = 240
AC_DB_FIRING_S = 180 AC_DB_FIRING_S = 180
AC_DB_CLEAR_S = 240 AC_DB_CLEAR_S = 240
@@ -12800,11 +12805,13 @@ AC_LOGIN_WATCH_S = 75
# метрика доходит до Prometheus: экспорт SDK 15 с + сбор 15 с # метрика доходит до Prometheus: экспорт SDK 15 с + сбор 15 с
AC_SCRAPE_LAG_S = 35 AC_SCRAPE_LAG_S = 35
AC_SLI_TOLERANCE = 0.01 AC_SLI_TOLERANCE = 0.01
# SLI, которые сверяются и с increase одним окном часа (спек «SLO считается»)
AC_SLI_ONE_WINDOW = ("availability", "latency")
AC_SHARE_TOLERANCE = 0.05 AC_SHARE_TOLERANCE = 0.05
AC_TRACES = 5 AC_TRACES = 5
# фоновая нагрузка драйвера: запись преобладает — блокировка таблицы сообщений # фоновая нагрузка драйвера: запись преобладает — блокировка таблицы сообщений
# делает медленной заметную долю «лёгких» запросов (~29 % при блокировке: порог # делает медленной заметную долю «лёгких» запросов (~29 % при блокировке: порог
# 10 % окна 2 мин пересекается раньше, firing — с запасом до 3 мин) # 10 % окна 2 мин пересекается раньше, firing — с запасом до 4 мин)
LOAD_WRITERS = 6 LOAD_WRITERS = 6
LOAD_READERS = 1 LOAD_READERS = 1
LOAD_PERIOD_S = 0.25 LOAD_PERIOD_S = 0.25
@@ -13477,6 +13484,15 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
def note(text: str) -> None: def note(text: str) -> None:
print(f" observed: {text}", flush=True) print(f" observed: {text}", flush=True)
def pending_note(key: str, since: float) -> None:
"""Момент pending оповещения — рядом с его строкой firing (спек
«Проверка оповещений отказами»: pending на каждом шаге)."""
at = watch.first(key, "pending", since)
note(
f"{key} pending "
+ ("not observed" if at is None else f"after {at - since:.0f} s"),
)
print( print(
f"alerts-check {datetime.now(UTC):%Y-%m-%dT%H:%M:%SZ}: rules, " f"alerts-check {datetime.now(UTC):%Y-%m-%dT%H:%M:%SZ}: rules, "
"quiet stand", "quiet stand",
@@ -13586,11 +13602,7 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
first_upload, first_upload,
AC_LAG_FIRING_S, AC_LAG_FIRING_S,
) )
pending = watch.first("MessengerQueueLagHigh", "pending", first_upload) pending_note("MessengerQueueLagHigh", first_upload)
if pending is not None:
note(
f"MessengerQueueLagHigh pending after {pending - first_upload:.0f} s",
)
rows.append( rows.append(
alert_row( alert_row(
f"[{step}] MessengerQueueLagHigh firing after the first upload", f"[{step}] MessengerQueueLagHigh firing after the first upload",
@@ -13700,10 +13712,13 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
relay_ids = service_ids("relay") relay_ids = service_ids("relay")
detached("docker", "compose", "stop", "relay", timeout=60) detached("docker", "compose", "stop", "relay", timeout=60)
stopped_at = time.time() stopped_at = time.time()
# сценарий «Остановленный relay уходит из рядов»: глубина и возраст
gone = poll( gone = poll(
lambda: ( lambda: (
not grafana.prom( not grafana.prom(
f'messenger_queue_depth{{job="{RELAY_SERVICE_NAME}"}}', "{__name__=~"
'"messenger_queue_depth|messenger_queue_oldest_age_seconds",'
f'job="{RELAY_SERVICE_NAME}"}}',
) )
), ),
timeout=AC_RELAY_SERIES_GONE_S + 30, timeout=AC_RELAY_SERIES_GONE_S + 30,
@@ -13711,7 +13726,8 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
) )
gone_after = time.time() - stopped_at gone_after = time.time() - stopped_at
add( add(
f"[{step}] queue series gone within {AC_RELAY_SERIES_GONE_S} s", f"[{step}] queue depth and age series gone within "
f"{AC_RELAY_SERIES_GONE_S} s",
"yes", "yes",
yes(bool(gone) and gone_after <= AC_RELAY_SERIES_GONE_S), yes(bool(gone) and gone_after <= AC_RELAY_SERIES_GONE_S),
) )
@@ -13722,6 +13738,7 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
stopped_at, stopped_at,
AC_RELAY_FIRING_S, AC_RELAY_FIRING_S,
) )
pending_note("MessengerQueueMetricsMissing", stopped_at)
rows.append( rows.append(
alert_row( alert_row(
f"[{step}] MessengerQueueMetricsMissing firing", f"[{step}] MessengerQueueMetricsMissing firing",
@@ -13764,6 +13781,7 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
locked_at, locked_at,
AC_SLOW_FIRING_S, AC_SLOW_FIRING_S,
) )
pending_note("MessengerSlowRequests", locked_at)
rows.append( rows.append(
alert_row( alert_row(
f"[{step}] MessengerSlowRequests firing", f"[{step}] MessengerSlowRequests firing",
@@ -13935,6 +13953,7 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
stopped_at, stopped_at,
AC_DB_FIRING_S, AC_DB_FIRING_S,
) )
pending_note("MessengerNoReadyReplicas", stopped_at)
rows.append( rows.append(
alert_row( alert_row(
f"[{step}] MessengerNoReadyReplicas firing", f"[{step}] MessengerNoReadyReplicas firing",
@@ -13943,6 +13962,7 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
AC_DB_FIRING_S, AC_DB_FIRING_S,
), ),
) )
pending_note("MessengerHighErrorRate", stopped_at)
rows.append( rows.append(
alert_row( alert_row(
f"[{step}] MessengerHighErrorRate firing", f"[{step}] MessengerHighErrorRate firing",
@@ -14127,8 +14147,9 @@ def sli_rows(
"""Сценарий «SLO считается»: SLI за 7 суток по рядам правил — от 0 до 1; """Сценарий «SLO считается»: SLI за 7 суток по рядам правил — от 0 до 1;
за час — по рядам правил и по исходным счётчикам: сумма `increase(…[5m])` за час — по рядам правил и по исходным счётчикам: сумма `increase(…[5m])`
исходных счётчиков на время каждой точки правила (те же окна), расхождение исходных счётчиков на время каждой точки правила (те же окна), расхождение
не больше 1 п. п.; для сравнения — `increase` за час одним окном и SLI за не больше 1 п. п.; у доступности и задержки — и `increase` за час одним
окно учений (design, «Уточнения apply»).""" окном (тоже 1 п. п.), у времени до `ready` оно — наблюдение; SLI за окно
учений (design, «Уточнения apply», пп. 12, 18)."""
# последнее вычисление группы раз в 5 мин: мгновенный запрос его не видит, # последнее вычисление группы раз в 5 мин: мгновенный запрос его не видит,
# когда точка старше lookback (5 мин) — время берётся из сырых точек # когда точка старше lookback (5 мин) — время берётся из сырых точек
now = time.time() now = time.time()
@@ -14181,6 +14202,16 @@ def sli_rows(
"yes", "yes",
yes(abs(a - b) <= AC_SLI_TOLERANCE), yes(abs(a - b) <= AC_SLI_TOLERANCE),
) )
# у доступности и задержки — и против increase одним окном часа
# (сотни событий: потеря на границах окон — доли п. п.); у времени до
# ready событий единицы — только наблюдение (verify W3)
if name in AC_SLI_ONE_WINDOW:
add(
f"SLI {name} over the hour, rules vs raw increase over one "
"window within 1 pp",
"yes",
yes(abs(a - whole) <= AC_SLI_TOLERANCE),
)
span = f"{int(drill_end - drill_start)}s" span = f"{int(drill_end - drill_start)}s"
drill = ratio( drill = ratio(
grafana.prom_sum(f"sum(increase({bad_expr}[{span}]))", drill_end), grafana.prom_sum(f"sum(increase({bad_expr}[{span}]))", drill_end),
@@ -14267,6 +14298,94 @@ def panel_rows(
# первая панель SLO, оповещений, LB и конвейера в messenger-overview.json # первая панель SLO, оповещений, LB и конвейера в messenger-overview.json
SLO_FIRST_PANEL = 25 SLO_FIRST_PANEL = 25
# панель потерь «Telemetry lost per second by place»: запрос A — правило
# telemetry:lost_items:total по job, B и C — составляющие Collector и SDK
LOSS_PANEL_ID = 40
# тихий стенд для панели потерь: окно её rate() 5 мин, плюс экспорт, сбор и
# точка правила
LOSS_QUIET_WAIT_S = 330
def loss_panel_exprs(grafana: Grafana) -> list[str]:
"""Запросы панели потерь из dashboard в Grafana (по порядку refId)."""
_, dashboard = grafana.request(
"GET",
f"/api/dashboards/uid/{DASHBOARD_UID}",
)
model = (
dashboard.get("dashboard", {}) if isinstance(dashboard, dict) else {}
)
for panel in model.get("panels", []):
if panel.get("id") == LOSS_PANEL_ID:
return [
panel_expr(str(target["expr"]))
for target in panel.get("targets", [])
]
return []
def loss_panel_by_job(
grafana: Grafana,
start: float,
end: float,
) -> dict[str, float]:
"""Наибольшее значение запроса A панели потерь в окне — по `job`
(сценарии «Потери SDK при недоступном Collector», «Потери Collector при
недоступном хранилище»: потери видно на панели)."""
exprs = loss_panel_exprs(grafana)
if not exprs:
return {}
seconds = max(15, int(end - start))
return {
job: round(value, 3)
for job, value in grafana.prom_by(
f"max by (job) (max_over_time(({exprs[0]})[{seconds}s:15s]))",
"job",
end,
).items()
if job
}
def loss_panel_quiet_rows(grafana: Grafana) -> list[tuple[str, str, str]]:
"""Сценарий «Без потерь» (verify S4): на тихом стенде каждый запрос
панели потерь даёт 0, а `TelemetryDataLoss` неактивно. Тихий — без
потерь последние 5 мин (окно `rate()` панели): ожидание до
`LOSS_QUIET_WAIT_S`, время ожидания печатается."""
exprs = loss_panel_exprs(grafana)
started = time.time()
seen: dict[str, object] = {}
def quiet() -> bool:
values = [round(grafana.prom_sum(expr), 6) for expr in exprs]
state = rule_states(grafana).get("TelemetryDataLoss", "inactive")
seen.update(values=values, state=state)
return bool(exprs) and not any(values) and state == "inactive"
ok = bool(poll(quiet, timeout=LOSS_QUIET_WAIT_S, interval=15))
print(
f" observed: loss panel quiet after {time.time() - started:.0f} s: "
f"values {seen.get('values')}, TelemetryDataLoss {seen.get('state')}",
flush=True,
)
return [
("loss panel queries", "3", str(len(exprs))),
(
"loss panel shows zero on a quiet stand",
"[0.0, 0.0, 0.0]",
str(seen.get("values")),
),
(
"TelemetryDataLoss on a quiet stand",
"inactive",
str(seen.get("state")),
),
(
f"loss panel quiet within {LOSS_QUIET_WAIT_S} s",
"yes",
yes(ok),
),
]
class MemorySampler: class MemorySampler:
@@ -14582,6 +14701,13 @@ def backend_outage(
lost = grafana.prom_sum(loss_expr(exporter, signal_name)) - lost_before lost = grafana.prom_sum(loss_expr(exporter, signal_name)) - lost_before
note(f"Collector losses of {exporter}: {lost:.0f} {signal_name}") note(f"Collector losses of {exporter}: {lost:.0f} {signal_name}")
add(prefix + "losses counted by the Collector", "yes", yes(lost > 0)) add(prefix + "losses counted by the Collector", "yes", yes(lost > 0))
panel = loss_panel_by_job(grafana, since, time.time())
note(f"loss panel, max per job since the stop: {panel}")
add(
prefix + "Collector losses on the loss panel",
"yes",
yes(panel.get("otel-collector", 0.0) > 0),
)
request_id, trace_id = own_request() request_id, trace_id = own_request()
add( add(
prefix + "new signals arrive after the return", prefix + "new signals arrive after the return",
@@ -14759,15 +14885,40 @@ def backend_outage(
f"SDK losses before {sdk_before}, after {sdk_loss_by_instance(grafana)}", f"SDK losses before {sdk_before}, after {sdk_loss_by_instance(grafana)}",
) )
add(prefix + "SDK loss counters of replicas grew", "yes", yes(bool(grown))) add(prefix + "SDK loss counters of replicas grew", "yes", yes(bool(grown)))
capacity = grafana.prom_by( # потери SDK видно на панели потерь (verify W1): ряд правила процесса
f'max by (instance) (otel_sdk_processor_log_queue_capacity{{job="{API_SERVICE_NAME}"}})', # начинается с нуля, rate() видит и первую порцию
"instance", panel = poll(
lambda: (
loss_panel_by_job(grafana, since, time.time()).get(
API_SERVICE_NAME,
0.0,
)
> 0
),
timeout=METRIC_WAIT_S,
interval=5,
)
note(
"loss panel, max per job since the stop: "
f"{loss_panel_by_job(grafana, since, time.time())}",
) )
add( add(
prefix + "SDK queue capacity as [telemetry] max_queue_size", prefix + "SDK losses of replicas on the loss panel",
"{2048.0}", "yes",
str(set(capacity.values()) or "{}"), yes(bool(panel)),
) )
for signal_name in ("span", "log"):
capacity = grafana.prom_by(
f"max by (instance) (otel_sdk_processor_{signal_name}_queue_capacity"
f'{{job="{API_SERVICE_NAME}"}})',
"instance",
)
add(
prefix
+ f"SDK {signal_name} queue capacity as [telemetry] max_queue_size",
"{2048.0}",
str(set(capacity.values()) or "{}"),
)
time.sleep(AC_SCRAPE_LAG_S) time.sleep(AC_SCRAPE_LAG_S)
loki = grafana.loki_all( loki = grafana.loki_all(
f'{{service_name="{API_SERVICE_NAME}"}}', f'{{service_name="{API_SERVICE_NAME}"}}',
+3 -3
View File
@@ -552,11 +552,11 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
| `driver.py --port <LB> pipeline-state` | только чтение, JSON: задания по состояниям, due, ждущие срока, опубликованные и не взятые, истёкшие аренды, возраст старейшего, очередь | | `driver.py --port <LB> pipeline-state` | только чтение, JSON: задания по состояниям, due, ждущие срока, опубликованные и не взятые, истёкшие аренды, возраст старейшего, очередь |
| `driver.py --port <LB> worker-memory` | память контейнера worker (~35 с): на девять случаев в пределах контракта два одинаковых файла разом, новая cgroup на случай; `memory.peak`, `VmHWM`, `render_peak`, OOM, сумма пиков меньше 1 ГБ; worker и relay запускаются при любом исходе; `evidence/worker/memory.md` | | `driver.py --port <LB> worker-memory` | память контейнера worker (~35 с): на девять случаев в пределах контракта два одинаковых файла разом, новая cgroup на случай; `memory.peak`, `VmHWM`, `render_peak`, OOM, сумма пиков меньше 1 ГБ; worker и relay запускаются при любом исходе; `evidence/worker/memory.md` |
| `driver.py freeze-sessions [--rounds 6] [--settle 15]` | сессии PostgreSQL и журнал пула после заморозки (~2,5 мин), работает и на рабочем стенде: приложение в процессе одноразового контейнера `api`, PostgreSQL только через TCP-прокси пробы, заморожен прокси, а не сервер; режимы — между блоками и до запросов при пуле 2 и 4; `evidence/storage/freeze-sessions.md` | | `driver.py freeze-sessions [--rounds 6] [--settle 15]` | сессии PostgreSQL и журнал пула после заморозки (~2,5 мин), работает и на рабочем стенде: приложение в процессе одноразового контейнера `api`, PostgreSQL только через TCP-прокси пробы, заморожен прокси, а не сервер; режимы — между блоками и до запросов при пуле 2 и 4; `evidence/storage/freeze-sessions.md` |
| `driver.py --port <LB> telemetry-check` | телеметрия рабочего стенда через HTTP API Grafana с паролем из `.env` (~2 мин, change `otel-telemetry`): вход, порт, источники, dashboard provisioned и неизменяем, цели Prometheus; свой запрос → stdout → Loki → Tempo, traceparent, нестандартный метод, 401, 404; загрузка → трасса worker, недекодируемый JPEG → `failed`; рост счётчиков по репликам и исходам; S3 заморожен → span S3 с ошибкой (`unpause` в `finally`); сети хранилищ из api и worker, разовый контейнер с `OTEL_*`, проба приватности, рестарт Collector и хранилищ; `evidence/telemetry/check.md` | | `driver.py --port <LB> telemetry-check` | телеметрия рабочего стенда через HTTP API Grafana с паролем из `.env` (~2 мин, change `otel-telemetry`): вход, порт, источники, dashboard provisioned и неизменяем, цели Prometheus, метрики LB, панель потерь на тихом стенде — 0 (ожидание до 330 с); свой запрос → stdout → Loki → Tempo, traceparent, нестандартный метод, 401, 404; загрузка → трасса worker, недекодируемый JPEG → `failed`; рост счётчиков по репликам и исходам; S3 заморожен → span S3 с ошибкой (`unpause` в `finally`); сети хранилищ из api и worker, разовый контейнер с `OTEL_*`, проба приватности, рестарт Collector и хранилищ; `evidence/telemetry/check.md` |
| `driver.py --port <LB> telemetry-outage` | Collector `stop` и `pause` (~3,5 мин): `make test`, загрузка до `ready`, записи SDK в stdout; возврат Collector — запись, трасса, span producer и ряды API, worker и relay при прежних `StartedAt` и `RestartCount` их контейнеров; второе окно того же вида — `make test`, `docker stop` реплики, worker и relay быстрее 10 с с кодом 0; все сервисы телеметрии остановлены — рестарт api, worker и relay, `make test`; сигналы (и span producer relay) снова приходят; стенд возвращается в `finally`; `evidence/telemetry/collector-outage.md` | | `driver.py --port <LB> telemetry-outage` | Collector `stop` и `pause` (~3,5 мин): `make test`, загрузка до `ready`, записи SDK в stdout; возврат Collector — запись, трасса, span producer и ряды API, worker и relay при прежних `StartedAt` и `RestartCount` их контейнеров; второе окно того же вида — `make test`, `docker stop` реплики, worker и relay быстрее 10 с с кодом 0; все сервисы телеметрии остановлены — рестарт api, worker и relay, `make test`; сигналы (и span producer relay) снова приходят; стенд возвращается в `finally`; `evidence/telemetry/collector-outage.md` |
| `make alerts_test` | правила Prometheus без стенда и сети (change `slo-alerts`): `tar` файлов `infra/otel/prometheus/` в одноразовый контейнер образа Prometheus из compose (`--network none`) — `promtool check config`, `check rules`, `test rules rules.test.yml`; затем у каждого оповещения `runbook_url` на существующий файл; шаг CI; `evidence/alerts/rules-test.md` | | `make alerts_test` | правила Prometheus без стенда и сети (change `slo-alerts`): `tar` файлов `infra/otel/prometheus/` в одноразовый контейнер образа Prometheus из compose (`--network none`) — `promtool check config`, `check rules`, `test rules rules.test.yml`; затем у каждого оповещения `runbook_url` на существующий файл; шаг CI; `evidence/alerts/rules-test.md` |
| `driver.py --port <LB> alerts-check` | учения оповещений на рабочем стенде (~25 мин, change `slo-alerts`), через HTTP API Grafana: правила загружены, доставки нет, тихий стенд (иначе код 2); фоновая нагрузка драйвера; worker остановлен — `MessengerQueueLagHigh` и счёт времени до готовности по точкам; relay остановлен — `MessengerQueueMetricsMissing`; блокировка таблицы сообщений — `MessengerSlowRequests`, доля span PostgreSQL, пул, CPU; входы по Basic — без оповещения; PostgreSQL остановлен — `MessengerNoReadyReplicas` и `MessengerHighErrorRate`, 5xx LB против API; SLI двумя путями, новые панели и история состояний; в `finally` — нагрузка, сессия блокировки, PostgreSQL, worker, relay, LB; `evidence/alerts/check.md` | | `driver.py --port <LB> alerts-check` | учения оповещений на рабочем стенде (~25 мин, change `slo-alerts`), через HTTP API Grafana: правила загружены, доставки нет, тихий стенд (иначе код 2); фоновая нагрузка драйвера; worker остановлен — `MessengerQueueLagHigh` и счёт времени до готовности по точкам; relay остановлен — `MessengerQueueMetricsMissing`; блокировка таблицы сообщений — `MessengerSlowRequests`, доля span PostgreSQL, пул, CPU; входы по Basic — без оповещения; PostgreSQL остановлен — `MessengerNoReadyReplicas` и `MessengerHighErrorRate`, 5xx LB против API; на каждом шаге моменты pending, firing и снятия; SLI двумя путями (у доступности и задержки — и одним окном часа), новые панели и история состояний; в `finally` — нагрузка, сессия блокировки, PostgreSQL, worker, relay, LB; `evidence/alerts/check.md` |
| `driver.py --port <LB> backend-outage` | отказ хранилищ телеметрии под нагрузкой (~18 мин, change `slo-alerts`): Loki и Tempo 10 с и 120 с, Prometheus 60 с, Collector 120 с — `make test`, 5xx у клиента, очереди и память Collector, память реплик, учёт потерь, `TelemetryTargetDown` и `TelemetryDataLoss`, пики памяти по cgroup; сервисы телеметрии запускаются в `finally`; `evidence/telemetry/backend-outage.md` | | `driver.py --port <LB> backend-outage` | отказ хранилищ телеметрии под нагрузкой (~18 мин, change `slo-alerts`): Loki и Tempo 10 с и 120 с, Prometheus 60 с, Collector 120 с — `make test`, 5xx у клиента, очереди и память Collector, память реплик, учёт потерь и панель потерь (Collector и SDK реплик), `TelemetryTargetDown` и `TelemetryDataLoss`, пики памяти по cgroup; сервисы телеметрии запускаются в `finally`; `evidence/telemetry/backend-outage.md` |
| `driver.py --port <LB> trace-chain` | сквозная трасса и сигналы уровня 4 на рабочем стенде (~5 мин, change `job-trace-propagation`), через HTTP API Grafana: предусловие — глубина очереди 0 за 120 с (иначе код 2 «stand is not quiet»); очередь и её возраст при остановленном worker и спад до 0; загрузка с повтором при замороженном S3 — одна трасса: server span API, два span producer relay, два consumer span worker (parent и link, span S3 с ошибкой, запись оригинала и вариантов); replay в той же трассе; задание без контекста (`UPDATE` колонок своей строки) — корень worker; время до `ready`, пулы, ёмкость worker, пределы контейнеров = `docker inspect` и рост CPU каждого за прогон, нет сокета Docker, панели уровня 4 с данными; `unpause s3`, worker и relay — в `finally`; `evidence/telemetry/trace-chain.md` | | `driver.py --port <LB> trace-chain` | сквозная трасса и сигналы уровня 4 на рабочем стенде (~5 мин, change `job-trace-propagation`), через HTTP API Grafana: предусловие — глубина очереди 0 за 120 с (иначе код 2 «stand is not quiet»); очередь и её возраст при остановленном worker и спад до 0; загрузка с повтором при замороженном S3 — одна трасса: server span API, два span producer relay, два consumer span worker (parent и link, span S3 с ошибкой, запись оригинала и вариантов); replay в той же трассе; задание без контекста (`UPDATE` колонок своей строки) — корень worker; время до `ready`, пулы, ёмкость worker, пределы контейнеров = `docker inspect` и рост CPU каждого за прогон, нет сокета Docker, панели уровня 4 с данными; `unpause s3`, worker и relay — в `finally`; `evidence/telemetry/trace-chain.md` |
| `driver.py stand-from-scratch [--runs 2]` | `make run_docker` на пустых volumes своим проектом `mtusi-lab6-scratch` (рабочий — код 2) на свободных портах (~1 мин на прогон): код 0, состояния, `RestartCount` брокера и телеметрии 0, нет `eacces`, provisioning, `make test`; проект удаляется с volumes при любом исходе, ID контейнеров рабочего стенда прежние; `evidence/stand/from-scratch.md` | | `driver.py stand-from-scratch [--runs 2]` | `make run_docker` на пустых volumes своим проектом `mtusi-lab6-scratch` (рабочий — код 2) на свободных портах (~1 мин на прогон): код 0, состояния, `RestartCount` брокера и телеметрии 0, нет `eacces`, provisioning, `make test`; проект удаляется с volumes при любом исходе, ID контейнеров рабочего стенда прежние; `evidence/stand/from-scratch.md` |
| `driver.py freeze-lb [--rounds 3]` | только не рабочий проект compose (`COMPOSE_PROJECT_NAME`, по умолчанию `mtusi-lab6-freeze`; `mtusi-lab6` — код 2): сама поднимает стенд с данными в tmpfs (volumes нет) на образе `mtusi-messenger:lab6` и убирает его при любом исходе; `docker pause` PostgreSQL, шесть запросов через LB — 503 за ~8 с, 504 нет, `unpause` в `finally`, сессий не больше пулов (~1,5 мин); раздел `evidence/storage/freeze-sessions.md` | | `driver.py freeze-lb [--rounds 3]` | только не рабочий проект compose (`COMPOSE_PROJECT_NAME`, по умолчанию `mtusi-lab6-freeze`; `mtusi-lab6` — код 2): сама поднимает стенд с данными в tmpfs (volumes нет) на образе `mtusi-messenger:lab6` и убирает его при любом исходе; `docker pause` PostgreSQL, шесть запросов через LB — 503 за ~8 с, 504 нет, `unpause` в `finally`, сессий не больше пулов (~1,5 мин); раздел `evidence/storage/freeze-sessions.md` |
+16
View File
@@ -359,10 +359,26 @@ Change `openspec/changes/slo-alerts/` (propose 2026-11-11). Номера — р
Вопрос verify: устраивает ли такая трактовка двух сценариев спека («SLO считается» — те же окна; «Медленный handler» — Вопрос verify: устраивает ли такая трактовка двух сценариев спека («SLO считается» — те же окна; «Медленный handler» —
место в пуле, а не мгновенный `pending`)? Иначе — правка спека или новый счётчик «ждут места» отдельно от открытия. место в пуле, а не мгновенный `pending`)? Иначе — правка спека или новый счётчик «ждут места» отдельно от открытия.
**Ответ verify (2026-11-14):** трактовка устраивает, новых счётчиков не нужно — исправлен текст двух сценариев дельты
`observability` под проверку; у доступности и задержки `alerts-check` сверяет ещё и с `increase` одним окном часа
(design, «Уточнения apply», п. 18).
- Evidence раздела 11 — на commit `15ea156` без правок кода; `rules-test.md` от 2026-11-11 оставлен (повторный прогон — - Evidence раздела 11 — на commit `15ea156` без правок кода; `rules-test.md` от 2026-11-11 оставлен (повторный прогон —
тот же вывод); пик Collector в долгом отказе хранилища — по `docker stats` и метрикам Collector, а не по тот же вывод); пик Collector в долгом отказе хранилища — по `docker stats` и метрикам Collector, а не по
`memory.peak`: шаг отказа Collector в той же команде начинает новую cgroup (design, «Уточнения apply», п. 16). `memory.peak`: шаг отказа Collector в той же команде начинает новую cgroup (design, «Уточнения apply», п. 16).
### Решения apply по verify
Без пользователя (verify 2026-11-14, tasks, раздел 12); подробности — design, «Уточнения apply», пп. 17–22.
- Ноль ряда потерь процесса SDK — по ряду ёмкости очереди span (`… or sum by (job, instance)
(otel_sdk_processor_span_queue_capacity) * 0`), как предложил verify; у Collector отдельной части не нужно: его ряды
`otelcol_receiver_refused_*` есть с нуля со старта (п. 17).
- Описание с текущим значением там, где `$value` пустое по смыслу (`absent()`, `up == 0`), — возраст последнего снимка
очереди и число недоступных целей шаблоном `query` (п. 21).
- Проверка «Без потерь» в `telemetry-check` ждёт тихого стенда до 330 с (окно `rate()` панели 5 мин), а не падает сразу:
иначе прогон сразу после `backend-outage` видел бы его потери (п. 22).
- Срок медленной БД — 4 мин в спеке и драйвере (п. 20).
### Вопросы ### Вопросы
Не блокируют работу; ответ меняет только указанное место. Не блокируют работу; ответ меняет только указанное место.
+13 -4
View File
@@ -305,8 +305,11 @@ runbooks — `infra/otel/runbooks/`.
- Формулы окна W: доступность — `1 - sum_over_time(messenger:slo_availability_bad:increase5m[W]) / - Формулы окна W: доступность — `1 - sum_over_time(messenger:slo_availability_bad:increase5m[W]) /
sum_over_time(messenger:slo_availability_total:increase5m[W])`; задержка и время до `ready` — sum_over_time(messenger:slo_availability_total:increase5m[W])`; задержка и время до `ready` —
`sum_over_time(messenger:slo_<sli>_good:increase5m[W]) / sum_over_time(messenger:slo_<sli>_total:increase5m[W])`. `sum_over_time(messenger:slo_<sli>_good:increase5m[W]) / sum_over_time(messenger:slo_<sli>_total:increase5m[W])`.
Те же SLI по исходным счётчикам — `increase(…[W])` тех же селекторов (панели и `alerts-check` Панели SLI (26 — за 7 суток, 28 — за интервал дашборда) считают по рядам правил. Те же SLI по
считают обоими путями и сверяют, расхождение ≤ 1 п. п.). исходным счётчикам — `increase(…[W])` тех же селекторов; `alerts-check` сверяет пути за час:
ряды правил против суммы `increase(…[5m])` исходных счётчиков на время каждой точки правил (те же
окна, расхождение ≤ 1 п. п.), а у доступности и задержки — ещё против `increase(…[1h])` одним
окном (тоже ≤ 1 п. п.; у времени до `ready` одно окно — наблюдение, см. ограничения ниже).
- «Лёгкие» маршруты — `http_route!~"/api/v1/users|/api/v1/auth/sessions|/api/v1/chats/.+/attachments|/api/v1/attachments/.+/content"`: - «Лёгкие» маршруты — `http_route!~"/api/v1/users|/api/v1/auth/sessions|/api/v1/chats/.+/attachments|/api/v1/attachments/.+/content"`:
вне SLI — KDF регистрации и входа (и `DELETE /api/v1/users` того же шаблона), загрузка и вне SLI — KDF регистрации и входа (и `DELETE /api/v1/users` того же шаблона), загрузка и
скачивание байтов; запросы без маршрута (404) входят. 5xx в SLI задержки не входят — это плохие скачивание байтов; запросы без маршрута (404) входят. 5xx в SLI задержки не входят — это плохие
@@ -388,7 +391,13 @@ true`), панель «Alert states». Правила Grafana отвергнут
Сумма по процессу — правило `telemetry:lost_items:total`; оповещение — рост суммы, а не Сумма по процессу — правило `telemetry:lost_items:total`; оповещение — рост суммы, а не
`increase()`: ряд отказов появляется с первой потерей, у собственных метрик Collector нет времени `increase()`: ряд отказов появляется с первой потерей, у собственных метрик Collector нет времени
начала. Внутренние метрики SDK (`otel.sdk.*`) включает код: процессоры и экспортёры OTLP span и начала. Ряд суммы начинается с нуля со старта процесса — у Collector по его рядам
`otelcol_receiver_refused_*` (есть с нуля), у процессов SDK по ряду ёмкости очереди span (`… or
sum by (job, instance) (otel_sdk_processor_span_queue_capacity) * 0`), поэтому `rate()` панели
потерь видит и первую потерю процесса (без нуля первое значение нового ряда `rate()` отбрасывал:
verify, W1). Остаётся: процесс SDK, запущенный при уже недоступном Collector, или отказ Collector
дольше окна панели (5 мин) — первая точка ряда после возврата снова без нуля в окне; оповещение
`TelemetryDataLoss` это видит (рост против `offset 2m` или нуля). Внутренние метрики SDK (`otel.sdk.*`) включает код: процессоры и экспортёры OTLP span и
журнала строятся после `MeterProvider` с ним и с переменной SDK только на время сборки; внешняя журнала строятся после `MeterProvider` с ним и с переменной SDK только на время сборки; внешняя
`OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED` удаляется, как любая `OTEL_*`; гистограммы SDK не `OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED` удаляется, как любая `OTEL_*`; гистограммы SDK не
отдаются. Результаты отказа каждого хранилища и Collector под нагрузкой драйвера (~25 запросов/с; отдаются. Результаты отказа каждого хранилища и Collector под нагрузкой драйвера (~25 запросов/с;
@@ -497,7 +506,7 @@ Collector без времени начала (их закрывает прави
| Уровень 4: dashboard — p50 / p95 / p99, доля ошибок, глубина и возраст очереди, пул БД, насыщение worker, контейнеры | `driver.py --port 8080 trace-chain`, `telemetry-check` | запросы панелей уровня 4 без ошибок и с данными; ряды очереди только у relay; пределы = `docker inspect`; нет сокета Docker | `evidence/telemetry/trace-chain.md`, `evidence/telemetry/check.md` | | Уровень 4: dashboard — p50 / p95 / p99, доля ошибок, глубина и возраст очереди, пул БД, насыщение worker, контейнеры | `driver.py --port 8080 trace-chain`, `telemetry-check` | запросы панелей уровня 4 без ошибок и с данными; ряды очереди только у relay; пределы = `docker inspect`; нет сокета Docker | `evidence/telemetry/trace-chain.md`, `evidence/telemetry/check.md` |
| Уровень 4: relay с SDK не меняет остановку | `driver.py --port 8080 telemetry-outage` | `docker stop` relay < 10 с, код 0, «Stopped relay» при остановленном и замороженном Collector | `evidence/telemetry/collector-outage.md` | | Уровень 4: relay с SDK не меняет остановку | `driver.py --port 8080 telemetry-outage` | `docker stop` relay < 10 с, код 0, «Stopped relay» при остановленном и замороженном Collector | `evidence/telemetry/collector-outage.md` |
| Уровень 4: схема контекста задания | миграция с нуля, повтор, откат, `--sql`, `make rolling_update`; план снимка очереди | `lock_timeout`, `NOT VALID`; без Seq Scan | `evidence/migrations/job-trace-context.md`, `evidence/telemetry/queue-snapshot.md` (commit `72cfa9a`) | | Уровень 4: схема контекста задания | миграция с нуля, повтор, откат, `--sql`, `make rolling_update`; план снимка очереди | `lock_timeout`, `NOT VALID`; без Seq Scan | `evidence/migrations/job-trace-context.md`, `evidence/telemetry/queue-snapshot.md` (commit `72cfa9a`) |
| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules` (39 проверок оповещений и 6 правил записи); у каждого из 7 оповещений есть runbook | `evidence/alerts/rules-test.md` (commit `15ea156`) | | Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules` (22 блока синтетических рядов: 43 проверки оповещений, 17 проверок выражений правил записи в 7 блоках); у каждого из 7 оповещений есть runbook | `evidence/alerts/rules-test.md` (commit `15ea156`) |
| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0 (~20 мин): остановленный worker — firing через 158 с, снято через 44 с; relay — 220 / 45 с; медленная БД — 165 / 89 с; медленный handler — оповещения нет; недоступная БД — 60 и 105 / 29 и 135 с; лишних нет; SLI двумя путями совпали | `evidence/alerts/check.md` (commit `15ea156`) | | Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0 (~20 мин): остановленный worker — firing через 158 с, снято через 44 с; relay — 220 / 45 с; медленная БД — 165 / 89 с; медленный handler — оповещения нет; недоступная БД — 60 и 105 / 29 и 135 с; лишних нет; SLI двумя путями совпали | `evidence/alerts/check.md` (commit `15ea156`) |
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 93 МиБ из 256, реплики без роста; потери учтены (443 записи, 1342 span, SDK 11 683 и 11 810); `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `15ea156`) | | Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 93 МиБ из 256, реплики без роста; потери учтены (443 записи, 1342 span, SDK 11 683 и 11 810); `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `15ea156`) |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO | | Выбранный трек 5, если заявлен | TODO | TODO | TODO |
+95 -2
View File
@@ -279,11 +279,28 @@ tests:
job: messenger-relay job: messenger-relay
exp_annotations: exp_annotations:
summary: The relay queue snapshot is missing summary: The relay queue snapshot is missing
description: 'There is no queue depth and age snapshot of the relay while the Collector exporter is up: the relay is stopped or cannot read PostgreSQL, and MessengerQueueLagHigh is blind. Runbook: infra/otel/runbooks/MessengerQueueMetricsMissing.md' # последний снимок — точка 60 с, вычисление — 240 с
description: 'There is no queue depth and age snapshot of the relay while the Collector exporter is up (last snapshot 3m 0s ago): the relay is stopped or cannot read PostgreSQL, and MessengerQueueLagHigh is blind. Runbook: infra/otel/runbooks/MessengerQueueMetricsMissing.md'
runbook_url: infra/otel/runbooks/MessengerQueueMetricsMissing.md runbook_url: infra/otel/runbooks/MessengerQueueMetricsMissing.md
- eval_time: 6m - eval_time: 6m
alertname: MessengerQueueMetricsMissing alertname: MessengerQueueMetricsMissing
exp_alerts: [] exp_alerts: []
# снимка не было вовсе (за час): описание без возраста
- interval: 15s
input_series:
- series: 'up{job="otel-collector-exporter",instance="otel-collector:8889"}'
values: '1x20'
alert_rule_test:
- eval_time: 3m
alertname: MessengerQueueMetricsMissing
exp_alerts:
- exp_labels:
severity: warning
job: messenger-relay
exp_annotations:
summary: The relay queue snapshot is missing
description: 'There is no queue depth and age snapshot of the relay while the Collector exporter is up (last snapshot more than an hour ago): the relay is stopped or cannot read PostgreSQL, and MessengerQueueLagHigh is blind. Runbook: infra/otel/runbooks/MessengerQueueMetricsMissing.md'
runbook_url: infra/otel/runbooks/MessengerQueueMetricsMissing.md
# экспортёр Collector недоступен: снимка нет, но молчит (TelemetryTargetDown) # экспортёр Collector недоступен: снимка нет, но молчит (TelemetryTargetDown)
- interval: 15s - interval: 15s
input_series: input_series:
@@ -333,11 +350,41 @@ tests:
instance: tempo:3200 instance: tempo:3200
exp_annotations: exp_annotations:
summary: Metrics target tempo is down summary: Metrics target tempo is down
description: 'Prometheus cannot scrape tempo (tempo:3200) for a minute; with job haproxy the load balancer metrics are missing and MessengerHighErrorRate is blind. Runbook: infra/otel/runbooks/TelemetryTargetDown.md' # Loki к 2 мин вернулся: недоступна одна цель
description: 'Prometheus cannot scrape tempo (tempo:3200) for a minute (up 0; targets of the rule down now: 1); with job haproxy the load balancer metrics are missing and MessengerHighErrorRate is blind. Runbook: infra/otel/runbooks/TelemetryTargetDown.md'
runbook_url: infra/otel/runbooks/TelemetryTargetDown.md runbook_url: infra/otel/runbooks/TelemetryTargetDown.md
- eval_time: 5m - eval_time: 5m
alertname: TelemetryTargetDown alertname: TelemetryTargetDown
exp_alerts: [] exp_alerts: []
# Loki и Tempo недоступны вместе: по оповещению на цель, недоступны две
- interval: 15s
input_series:
- series: 'up{job="tempo",instance="tempo:3200"}'
values: '1x3 0x20'
- series: 'up{job="loki",instance="loki:3100"}'
values: '1x3 0x20'
- series: 'up{job="haproxy",instance="haproxy:8404"}'
values: '1x23'
alert_rule_test:
- eval_time: 3m
alertname: TelemetryTargetDown
exp_alerts:
- exp_labels:
severity: warning
job: loki
instance: loki:3100
exp_annotations:
summary: Metrics target loki is down
description: 'Prometheus cannot scrape loki (loki:3100) for a minute (up 0; targets of the rule down now: 2); with job haproxy the load balancer metrics are missing and MessengerHighErrorRate is blind. Runbook: infra/otel/runbooks/TelemetryTargetDown.md'
runbook_url: infra/otel/runbooks/TelemetryTargetDown.md
- exp_labels:
severity: warning
job: tempo
instance: tempo:3200
exp_annotations:
summary: Metrics target tempo is down
description: 'Prometheus cannot scrape tempo (tempo:3200) for a minute (up 0; targets of the rule down now: 2); with job haproxy the load balancer metrics are missing and MessengerHighErrorRate is blind. Runbook: infra/otel/runbooks/TelemetryTargetDown.md'
runbook_url: infra/otel/runbooks/TelemetryTargetDown.md
# --- TelemetryDataLoss и сумма потерь ------------------------------------- # --- TelemetryDataLoss и сумма потерь -------------------------------------
# Collector: ряд отказов очереди Tempo появился на шаге 9 (135 с) сразу со # Collector: ряд отказов очереди Tempo появился на шаге 9 (135 с) сразу со
@@ -410,6 +457,52 @@ tests:
- eval_time: 11m - eval_time: 11m
alertname: TelemetryDataLoss alertname: TelemetryDataLoss
exp_alerts: [] exp_alerts: []
# первая потеря процесса SDK видна в increase() панели потерь (verify W1):
# ряд ёмкости очереди span есть с запуска процесса — ряд суммы с нуля; ряд
# отказов реплики появился на шаге 16 (240 с) сразу со значением 36. relay
# без потерь — ноль, оповещения нет
- interval: 15s
input_series:
- series: 'otel_sdk_processor_span_queue_capacity{job="messenger-api",instance="a1",otel_component_type="batching_span_processor",otel_component_name="batching_span_processor/0"}'
values: '2048x40'
- series: 'otel_sdk_processor_span_queue_capacity{job="messenger-relay",instance="r1",otel_component_type="batching_span_processor",otel_component_name="batching_span_processor/0"}'
values: '2048x40'
- series: 'otel_sdk_processor_span_processed_total{job="messenger-api",instance="a1",otel_component_type="batching_span_processor",otel_component_name="batching_span_processor/0"}'
values: '0+100x40'
- series: 'otel_sdk_processor_span_processed_total{job="messenger-api",instance="a1",otel_component_type="batching_span_processor",otel_component_name="batching_span_processor/0",error_type="queue_full"}'
values: '_x16 36x24'
promql_expr_test:
- expr: telemetry:lost_items:total
eval_time: 3m
exp_samples:
- labels: 'telemetry:lost_items:total{job="messenger-api",instance="a1"}'
value: 0
- labels: 'telemetry:lost_items:total{job="messenger-relay",instance="r1"}'
value: 0
# запрос A панели 40 без суммы по job: приращение за 5 мин — вся потеря
- expr: increase(telemetry:lost_items:total[5m])
eval_time: 6m
exp_samples:
- labels: '{job="messenger-api",instance="a1"}'
value: 36
- labels: '{job="messenger-relay",instance="r1"}'
value: 0
alert_rule_test:
- eval_time: 5m
alertname: TelemetryDataLoss
exp_alerts:
- exp_labels:
severity: warning
job: messenger-api
instance: a1
exp_annotations:
summary: Telemetry of messenger-api is being lost
description: 'messenger-api (a1) lost 36 spans, log records or metric points in the last 2 minutes (full queue, failed export or refused by the memory limiter). Runbook: infra/otel/runbooks/TelemetryDataLoss.md'
runbook_url: infra/otel/runbooks/TelemetryDataLoss.md
- eval_time: 9m
alertname: TelemetryDataLoss
exp_alerts: []
# без потерь — тихо, сумма потерь пуста # без потерь — тихо, сумма потерь пуста
- interval: 15s - interval: 15s
input_series: input_series:
+19 -4
View File
@@ -43,12 +43,17 @@ groups:
# worker и relay — отброшено из-за полной очереди и неудачные отправки. # worker и relay — отброшено из-за полной очереди и неудачные отправки.
# Сумма, а не increase(): ряд отказов появляется с первой потерей, у # Сумма, а не increase(): ряд отказов появляется с первой потерей, у
# метрик Collector нет времени начала — первое значение нового ряда # метрик Collector нет времени начала — первое значение нового ряда
# целиком рост # целиком рост. Третья часть — ноль процесса SDK по ряду ёмкости очереди
# span (есть с запуска): ряд суммы начинается с нуля, и rate() панели
# потерь видит первую потерю (verify W1; у Collector ряды
# otelcol_receiver_refused_* есть с нуля с его старта)
- record: telemetry:lost_items:total - record: telemetry:lost_items:total
expr: >- expr: >-
sum by (job, instance) ({__name__=~"otelcol_(receiver_refused|exporter_send_failed|exporter_enqueue_failed)_(spans|log_records|metric_points)"}) sum by (job, instance) ({__name__=~"otelcol_(receiver_refused|exporter_send_failed|exporter_enqueue_failed)_(spans|log_records|metric_points)"})
or or
sum by (job, instance) ({__name__=~"otel_sdk_(processor|exporter)_(span|log)_(processed|exported)_total",error_type!=""}) sum by (job, instance) ({__name__=~"otel_sdk_(processor|exporter)_(span|log)_(processed|exported)_total",error_type!=""})
or
sum by (job, instance) (otel_sdk_processor_span_queue_capacity) * 0
# приращения событий SLI за непересекающиеся 5-минутные окна: SLI любого # приращения событий SLI за непересекающиеся 5-минутные окна: SLI любого
# окна — отношение сумм, без чтения 7 суток histogram на каждое обновление # окна — отношение сумм, без чтения 7 суток histogram на каждое обновление
@@ -133,11 +138,16 @@ groups:
for: 2m for: 2m
labels: labels:
severity: warning severity: warning
# $value у absent() — всегда 1; текущее значение в описании — возраст
# последнего снимка за час (verify S3)
annotations: annotations:
summary: The relay queue snapshot is missing summary: The relay queue snapshot is missing
description: >- description: >-
There is no queue depth and age snapshot of the relay while the There is no queue depth and age snapshot of the relay while the
Collector exporter is up: the relay is stopped or cannot read Collector exporter is up (last snapshot {{ with query `time() -
max(max_over_time(timestamp(messenger_queue_oldest_age_seconds{job="messenger-relay"})[1h:15s]))`
}}{{ . | first | value | humanizeDuration }} ago{{ else }}more
than an hour ago{{ end }}): the relay is stopped or cannot read
PostgreSQL, and MessengerQueueLagHigh is blind. Runbook: PostgreSQL, and MessengerQueueLagHigh is blind. Runbook:
infra/otel/runbooks/MessengerQueueMetricsMissing.md infra/otel/runbooks/MessengerQueueMetricsMissing.md
runbook_url: infra/otel/runbooks/MessengerQueueMetricsMissing.md runbook_url: infra/otel/runbooks/MessengerQueueMetricsMissing.md
@@ -153,10 +163,15 @@ groups:
severity: warning severity: warning
annotations: annotations:
summary: 'Metrics target {{ $labels.job }} is down' summary: 'Metrics target {{ $labels.job }} is down'
# $value — up цели (0); рядом — сколько целей правила недоступно
# сейчас (verify S3)
description: >- description: >-
Prometheus cannot scrape {{ $labels.job }} ({{ $labels.instance }}) Prometheus cannot scrape {{ $labels.job }} ({{ $labels.instance }})
for a minute; with job haproxy the load balancer metrics are missing for a minute (up {{ $value }}; targets of the rule down now: {{
and MessengerHighErrorRate is blind. Runbook: with query `count(up{job=~"otel-collector|loki|tempo|haproxy"} ==
0)` }}{{ . | first | value }}{{ else }}0{{ end }}); with job
haproxy the load balancer metrics are missing and
MessengerHighErrorRate is blind. Runbook:
infra/otel/runbooks/TelemetryTargetDown.md infra/otel/runbooks/TelemetryTargetDown.md
runbook_url: infra/otel/runbooks/TelemetryTargetDown.md runbook_url: infra/otel/runbooks/TelemetryTargetDown.md
- alert: TelemetryDataLoss - alert: TelemetryDataLoss
+37
View File
@@ -327,6 +327,8 @@ telemetry:lost_items:total =
sum by (job, instance) ({__name__=~"otelcol_(receiver_refused|exporter_send_failed|exporter_enqueue_failed)_(spans|log_records|metric_points)"}) sum by (job, instance) ({__name__=~"otelcol_(receiver_refused|exporter_send_failed|exporter_enqueue_failed)_(spans|log_records|metric_points)"})
or or
sum by (job, instance) ({__name__=~"otel_sdk_(processor|exporter)_(span|log)_(processed|exported)_total", error_type!=""}) sum by (job, instance) ({__name__=~"otel_sdk_(processor|exporter)_(span|log)_(processed|exported)_total", error_type!=""})
or
sum by (job, instance) (otel_sdk_processor_span_queue_capacity) * 0 # verify W1, «Уточнения apply», п. 17
``` ```
Оповещение: `telemetry:lost_items:total - (telemetry:lost_items:total offset 2m or telemetry:lost_items:total * 0) > 0`. Оповещение: `telemetry:lost_items:total - (telemetry:lost_items:total offset 2m or telemetry:lost_items:total * 0) > 0`.
@@ -583,3 +585,38 @@ COMMIT=<прежний> MIGRATE=0`; схема не меняется, нули
не снят: шаг `[collector]` той же команды перезапускает контейнер (новая cgroup), поэтому в бюджете пик Collector — не снят: шаг `[collector]` той же команды перезапускает контейнер (новая cgroup), поэтому в бюджете пик Collector —
`docker stats` и `otelcol_process_runtime_*` окна долгого отказа (до 93 и 84 МиБ) и `memory.peak` за `alerts-check` `docker stats` и `otelcol_process_runtime_*` окна долгого отказа (до 93 и 84 МиБ) и `memory.peak` за `alerts-check`
(76 МиБ), а пробные числа п. 13 названы рядом; правило «лимит ≥ 1,5 × пика» выполнено по всем. (76 МиБ), а пробные числа п. 13 названы рядом; правило «лимит ≥ 1,5 × пика» выполнено по всем.
Правки по verify (2026-11-14, tasks, раздел 12):
17. **Первая потеря на панели (W1, решение 9).** Ряд суммы процесса SDK появлялся только с первой потерей сразу с её
значением, и `rate(telemetry:lost_items:total[5m])` панели 40 это первое значение отбрасывал (`backend-outage`: ряды
`messenger-api` 11 683 и 11 810 появились разом, панель — 0). К правилу добавлена третья часть `or sum by (job,
instance) (otel_sdk_processor_span_queue_capacity) * 0`: ряд ёмкости очереди span есть с запуска процесса, ряд суммы
— с нуля. У Collector ноль уже был: его ряды `otelcol_receiver_refused_*` есть с нуля со старта (проверено на стенде),
отдельной части не нужно. `TelemetryDataLoss` не меняется: рост против `offset 2m` (теперь чаще ноль, а не
отсутствие) — то же значение; тест `rules.test.yml` — ёмкость с начала, потеря на 240 с: ряд 0 до потери,
`increase(…[5m])` = 36 (первая точка окна — ноль, экстраполяции к началу нет), оповещение с 36; на прежнем правиле
тест красный (`got: nil` и `0`). Остаётся: процесс SDK, запущенный при уже недоступном Collector, и отказ Collector
дольше окна панели (5 мин) — нуля в окне нет (ограничение в `REPORT.md`). Составляющие B и C панели — исходные ряды,
они первое значение по-прежнему не видят: панель называет их частями суммы, учёт — запрос A. `backend-outage`
проверяет запрос A панели (из dashboard Grafana) в долгом отказе хранилища (`job="otel-collector"`) и отказе Collector
(`job="messenger-api"`).
18. **Сверка SLI (W3, спек «SLO считается»).** Текст сценария исправлен под проверку (ответ verify на вопрос apply:
трактовка устраивает, новых счётчиков не нужно): за час — ряды правил против суммы `increase(…[5m])` исходных
счётчиков в тех же окнах, у доступности и задержки — и против `increase` одним окном часа; `alerts-check` печатает эту
строку (`AC_SLI_ONE_WINDOW`), у времени до `ready` одно окно — наблюдение (п. 12). «Медленный handler» — «пул ни одной
реплики не занят целиком, отказов по сроку нет, `pending_requests` — наблюдение» (п. 14).
19. **Pending (W4).** `alerts-check` печатает момент pending рядом с каждой строкой firing (`pending_note`): worker,
relay, медленная БД, недоступная БД — оба оповещения; «not observed» — если опрос раз в 5 с pending не застал.
20. **Срок медленной БД (S1).** firing через 165 с при сроке 180 с — время задают конвейер (экспорт SDK, сбор, слот точки
правила по 15 с) и `for` 1 мин, а не доля; срок сценария и `AC_SLOW_FIRING_S` — 4 мин.
21. **Описание с текущим значением (S3).** У `MessengerQueueMetricsMissing` `$value` от `absent()` всегда 1, у
`TelemetryTargetDown` — 0. Вместо пустого значения описание называет осмысленное: возраст последнего снимка очереди
relay за час (шаблон `query`: `time() - max(max_over_time(timestamp(…)[1h:15s]))`, «more than an hour ago», если
снимков не было) и у цели — `up` (`$value`) плюс число недоступных сейчас целей правила. Тесты — оба варианта
описания очереди и две цели разом.
22. **Без потерь и ряды relay (S4, S5).** `telemetry-check` в начале, до своих рестартов Collector и хранилищ, проверяет:
все три запроса панели потерь — 0, `TelemetryDataLoss` неактивно; «тихий» — без потерь последние 5 мин (окно
`rate()`), поэтому ожидание до 330 с с печатью времени ожидания: прогон сразу после `backend-outage` иначе видел бы
его потери. «Остановленный relay уходит из рядов» — опрос рядов глубины и возраста; `backend-outage` — ёмкость
очередей SDK span и журнала.
@@ -54,8 +54,10 @@ SHALL быть по меньшей мере:
#### Scenario: SLO считается #### Scenario: SLO считается
- **WHEN** стенд работает с трафиком не меньше 15 минут, и проверка читает SLI через источник Prometheus в Grafana - **WHEN** стенд работает с трафиком не меньше 15 минут, и проверка читает SLI через источник Prometheus в Grafana
- **THEN** каждое из трёх SLI за 7 суток — число от 0 до 1 по рядам правил записи, за последний час оно отличается от того - **THEN** каждое из трёх SLI за 7 суток — число от 0 до 1 по рядам правил записи, за последний час SLI по рядам правил
же SLI по исходным счётчикам не больше чем на 1 процентный пункт, а dashboard показывает SLI, SLO и остаток бюджета отличается от SLI по исходным счётчикам в тех же 5-минутных окнах (сумма их `increase(…[5m])` на время каждой точки
правил) не больше чем на 1 процентный пункт, у доступности и задержки — и от `increase` исходных счётчиков одним окном
того же интервала, а dashboard показывает SLI, SLO и остаток бюджета
#### Scenario: Отказ БД виден в SLI доступности #### Scenario: Отказ БД виден в SLI доступности
@@ -146,15 +148,16 @@ SHALL печатать таблицу «шаг → ожидаемо → полу
#### Scenario: Медленная БД #### Scenario: Медленная БД
- **WHEN** под нагрузкой запись сообщений ждёт блокировку таблицы в PostgreSQL - **WHEN** под нагрузкой запись сообщений ждёт блокировку таблицы в PostgreSQL
- **THEN** `MessengerSlowRequests` в firing не позже чем через 3 минуты, в медленных трассах отправки больше половины - **THEN** `MessengerSlowRequests` в firing не позже чем через 4 минуты, в медленных трассах отправки больше половины
времени server span занимают span PostgreSQL, занятость пула выше, чем до отказа, CPU реплик ниже половины предела, времени server span занимают span PostgreSQL, занятость пула выше, чем до отказа, CPU реплик ниже половины предела,
`MessengerHighErrorRate` не срабатывает, а после снятия блокировки оповещение снято не позже чем через 4 минуты `MessengerHighErrorRate` не срабатывает, а после снятия блокировки оповещение снято не позже чем через 4 минуты
#### Scenario: Медленный handler не путается с БД #### Scenario: Медленный handler не путается с БД
- **WHEN** участники параллельно входят по Basic, и вход медленнее 0,25 с - **WHEN** участники параллельно входят по Basic, и вход медленнее 0,25 с
- **THEN** в трассах входа span PostgreSQL занимают меньше пятой части времени server span, ожидающих соединения пула нет, а - **THEN** в трассах входа span PostgreSQL занимают меньше пятой части времени server span, пул ни одной реплики не занят
`MessengerSlowRequests` остаётся неактивным целиком и отказов по сроку ожидания пула нет (`pending_requests` — наблюдение), а `MessengerSlowRequests` остаётся
неактивным
#### Scenario: Недоступная БД #### Scenario: Недоступная БД
@@ -227,7 +230,8 @@ test` проходит, вложения становятся `ready`, 5xx из-
- **WHEN** Collector остановлен под нагрузкой дольше, чем нужно для заполнения очередей SDK, а затем запущен - **WHEN** Collector остановлен под нагрузкой дольше, чем нужно для заполнения очередей SDK, а затем запущен
- **THEN** после возврата у реплик API выросли счётчики отброшенного из-за полной очереди или неудачных отправок SDK, - **THEN** после возврата у реплик API выросли счётчики отброшенного из-за полной очереди или неудачных отправок SDK,
ёмкость очередей SDK — как в `[telemetry]`, а записей Loki из окна отказа меньше, чем записей stdout за то же время ёмкость очередей SDK — как в `[telemetry]`, а записей Loki из окна отказа меньше, чем записей stdout за то же время, и
эти потери SDK видно на панели потерь
#### Scenario: Потери Collector при недоступном хранилище #### Scenario: Потери Collector при недоступном хранилище
+42
View File
@@ -161,3 +161,45 @@
- [x] 11.5 Числа и наблюдения инцидентов в `REPORT.md` из 11.2–11.4, ссылки `REPORT.md` и `AGENTS.md` на файлы evidence и их - [x] 11.5 Числа и наблюдения инцидентов в `REPORT.md` из 11.2–11.4, ссылки `REPORT.md` и `AGENTS.md` на файлы evidence и их
commit; `graphify update .`. Проверка: файлы, названные в `REPORT.md`, существуют; у каждого инцидента — шаги со ссылкой commit; `graphify update .`. Проверка: файлы, названные в `REPORT.md`, существуют; у каждого инцидента — шаги со ссылкой
на строки evidence. на строки evidence.
## 12. Замечания проверки (verify 2026-11-14)
Код change — commit `15ea156`, evidence — `107fe7f`. Находки W1–W4, S1–S5 verify; решения без пользователя — design,
«Уточнения apply», пп. 17–22, и `QUESTIONS.md`, `## slo-alerts`, «Решения apply по verify».
- [x] 12.1 W1, первая потеря процесса SDK на панели потерь: в `rules.yml` к `telemetry:lost_items:total` — `or sum by (job,
instance) (otel_sdk_processor_span_queue_capacity) * 0` (ряд процесса SDK с нуля с его запуска); `TelemetryDataLoss` не
меняется. Тест `rules.test.yml`: ёмкость с начала, потеря позже — `increase(telemetry:lost_items:total[5m])` равен потере,
до потери ряд 0, оповещение с тем же значением. Дельта `observability`, «Потери SDK при недоступном Collector»: «и это
видно на панели потерь»; `backend-outage` проверяет панель 40 (запрос A из dashboard) в шагах `[tempo long]` /
`[loki long]` (Collector) и `[collector]` (SDK реплик). Проверка: новый тест красный на прежнем правиле (вывод в отчёте) и
зелёный после; на стенде после рестарта Prometheus ряд правила есть у каждого процесса SDK со значением ≥ 0.
- [x] 12.2 W2: `REPORT.md`, формулы SLI — сверка путей описана как в ограничениях (панели 26 и 28 — по рядам правил,
`alerts-check` — сумма `increase(…[5m])` исходных счётчиков в тех же окнах и `increase` одним окном часа). Проверка: текст
не противоречит разделу «Ограничения SLI» и `sli_rows` драйвера.
- [x] 12.3 W3: дельта `observability` — THEN «SLO считается» (те же 5-минутные окна; у доступности и задержки — и `increase`
одним окном того же интервала) и «Медленный handler не путается с БД» (пул ни одной реплики не занят целиком, отказов по
сроку нет, `pending_requests` — наблюдение); `alerts-check` — строка сверки SLI доступности и задержки с `increase` одним
окном часа (≤ 1 п. п.); вопрос verify в `QUESTIONS.md` закрыт ответом. Проверка: `openspec validate slo-alerts --strict`,
`py_compile`.
- [x] 12.4 W4: `alerts-check` печатает момент pending рядом с каждой строкой firing (worker, relay, медленная БД, недоступная
БД — оба оповещения). Проверка: `py_compile`; в коде у каждого `alert_row` firing — `pending_note`.
- [x] 12.5 S1: медленная БД — firing не позже 4 мин (дельта «Медленная БД», `AC_SLOW_FIRING_S` = 240, комментарии
драйвера). Проверка: `grep` срока в спеке и драйвере.
- [x] 12.6 S2: `REPORT.md` — тесты правил записи названы блоками и проверками выражений, число — после 12.1 и 12.7 (по
`rules.test.yml`); `rules-test.md` — при пересъёмке (12.10). Проверка: счёт по файлу тестов.
- [x] 12.7 S3: `description` у `MessengerQueueMetricsMissing` — возраст последнего снимка очереди (шаблон `query`), у
`TelemetryTargetDown` — `up` цели (`$value`) и число недоступных целей правила; тесты `exp_annotations`. Проверка: `make
alerts_test`.
- [x] 12.8 S4: `telemetry-check` — запросы панели потерь (id 40) на тихом стенде дают 0, `TelemetryDataLoss` неактивно
(ожидание тишины до 330 с, время ожидания печатается). Проверка: `py_compile`; функция на стенде — 0.
- [x] 12.9 S5: «Остановленный relay уходит из рядов» — опрос рядов глубины и возраста очереди; `backend-outage` — ёмкость
очередей SDK span и журнала. Проверка: `py_compile`.
- [x] 12.10 Применение и регрессия: Prometheus и Grafana перезапущены с новыми файлами (правила загружены без ошибок,
dashboard provisioned); `make lint`, `make alerts_test`, `make service_test`, `py_compile` драйвера системным `python3`,
`docker compose config --quiet`, `openspec validate slo-alerts --strict`, `make test`; стенд в штатном состоянии.
Проверка: коды 0, `make lb_stats` — `UP` без ручных состояний.
- [ ] 12.11 Пересъёмка evidence на commit правок (после коммита основной сессией): `make alerts_test` →
`evidence/alerts/rules-test.md` (счёт S2), `alerts-check` → `evidence/alerts/check.md`, `telemetry-check` →
`evidence/telemetry/check.md`, `backend-outage` → `evidence/telemetry/backend-outage.md`; числа и ссылки на строки в
`REPORT.md`. Проверка: коды 0; сценарии 11.1–11.3 и новые строки (панель потерь, pending, одно окно).