fix: address slo-alerts verify findings

Count the first SDK telemetry loss on the loss panel, print pending
moments on every alerts-check step, check the loss panel on a quiet
stand, align two scenarios and the SLI cross-check text with what the
driver verifies.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-11-14 04:08:13 +03:00
co-authored by Claude Opus 5.5
parent 107fe7f033
commit ef60b47246
11 changed files with 425 additions and 49 deletions
+6 -2
View File
@@ -126,13 +126,17 @@ paths:
— `infra/otel/prometheus/rules.yml` (bind mount и `configs` CI), тесты — `rules.test.yml` (`make
alerts_test`: `promtool` в одноразовом контейнере через `tar`, затем проверка `runbook_url`), в
контейнер не монтируются. Новое оповещение — правило с `for`, `severity`, `summary`,
`description` с `$value`, `runbook_url` на `infra/otel/runbooks/<имя>.md`, тест срабатывания,
`description` с `$value` (у `absent()` и `up == 0` значение пустое по смыслу — вместо него
шаблон `query`: возраст последней точки, число недоступных целей; design `slo-alerts`,
«Уточнения apply», п. 21), `runbook_url` на `infra/otel/runbooks/<имя>.md`, тест срабатывания,
порога, «без трафика» и снятия (в `exp_annotations` — все аннотации дословно). Блока `alerting`
нет: доставки нет, Alertmanager отвергнут по функции (SA-3). Флаг
`created-timestamp-zero-ingestion`, у цели `otel-collector-exporter` — protobuf первым, глобально
— прежний текстовый список Prometheus 3: время начала нужно только экспортёру Collector.
Потери — правило `telemetry:lost_items:total` (сумма по процессу, не `increase()`); новое
место потерь — его составляющая. `le` в запросах — как в хранилище (`"0.25"`, `"30.0"`).
место потерь — его составляющая. Ряд суммы каждого процесса начинается с нуля со старта (у SDK —
часть `… * 0` по ряду ёмкости очереди span, у Collector — его ряды `receiver_refused`): иначе
первое значение нового ряда `rate()` панели потерь отбрасывает (verify, W1). `le` в запросах — как в хранилище (`"0.25"`, `"30.0"`).
- **Панели с change `slo-alerts`** (SA-10): строки «SLO and alerts», «Load balancer», «Telemetry
pipeline», id с 25. Ряд, которого может не быть (оповещения, потери, 5xx API), — `… or on()
vector(0)`: обход панелей драйвером требует данных. Макрос `$__range` драйвер подменяет на
+15 -10
View File
@@ -498,10 +498,11 @@ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 backend-outage
`outbox` + `published` +3, consumer span после остановки нет, последняя запись worker в Loki;
worker стоит не меньше 130 с (ряды процесса ушли), `docker start` — все `ready`, снято ≤ 2 мин,
счёт `messenger_job_time_to_ready_seconds_count` по точкам (без экстраполяции, первая точка —
ноль времени начала нового процесса) +3; 2) `docker compose stop relay` — ряды глубины уходят
≤ 2 мин, `MessengerQueueMetricsMissing` ≤ 5 мин, `docker start` — снято ≤ 2 мин; 3) сессия psql
ноль времени начала нового процесса) +3; 2) `docker compose stop relay` — ряды глубины и
возраста очереди уходят ≤ 2 мин, `MessengerQueueMetricsMissing` ≤ 5 мин, `docker start` — снято
≤ 2 мин; 3) сессия psql
`application_name = mtusi-alerts-check` циклами держит `LOCK TABLE messages IN SHARE MODE` 2 с с
паузой 0,2 с — `MessengerSlowRequests` ≤ 3 мин, медиана доли span PostgreSQL в медленных трассах
паузой 0,2 с — `MessengerSlowRequests` ≤ 4 мин, медиана доли span PostgreSQL в медленных трассах
отправки > 0,5, пул занят больше, чем до шагов, CPU реплик < 0,5 предела; сессия завершена
(`pg_terminate_backend`) — снято ≤ 4 мин; 4) 3 потока входят по Basic 45 с — медиана доли span
PostgreSQL в трассах входа < 0,2, свободное место в пуле ждать не пришлось (доля занятых < 1,
@@ -511,11 +512,12 @@ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 backend-outage
5xx API и не меньше 503 самого LB у клиента, доля 5xx LB = доля клиента ± 5 п. п.; `docker
compose start postgres` — сняты ≤ 4 мин (`MessengerQueueMetricsMissing` в pending допустим);
6) SLI за 7 суток в [0, 1], за час — по рядам правил и по исходным счётчикам: сумма
`increase(…[5m])` на время каждой точки `messenger-slo` (≤ 1 п. п.; рядом — `increase` за час
одним окном и число окон за час: пока Prometheus стоял, окон нет), перед шагами — 20 загрузок
`increase(…[5m])` на время каждой точки `messenger-slo` (≤ 1 п. п.), у доступности и задержки —
и `increase` за час одним окном (≤ 1 п. п.; у времени до `ready` — наблюдение), число окон за
час (пока Prometheus стоял, окон нет), перед шагами — 20 загрузок
при работающем worker (хорошие события времени до `ready`), SLI за окно учений, запросы панелей с id от 25 с данными,
панель истории состояний показывает firing всех шагов; пики памяти Prometheus и Collector. На
каждом шаге — «other alerts firing» (лишних нет). В `finally` — нагрузка остановлена, сессия
каждом шаге — момент pending рядом с каждой строкой firing и «other alerts firing» (лишних нет). В `finally` — нагрузка остановлена, сессия
блокировки завершена, PostgreSQL запущен, worker и relay — `docker start` тех же контейнеров, LB
готов. Код 0 / 1 / 2.
- **`backend-outage`** — та же нагрузка и опрос правил; память раз в 2 с (`memory.current` реплик
@@ -523,12 +525,13 @@ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 backend-outage
очереди: 10 с (свой запрос находится в хранилище после возврата, счётчики `send_failed` /
`enqueue_failed` экспортёра не выросли) и 120 с (`make test` PASS, 5xx у клиента 0, очередь
экспорта ≤ ёмкости, память Collector ниже лимита, `TelemetryTargetDown{job=…}` ≤ 110 с,
`TelemetryDataLoss` firing, потери Collector > 0, новые сигналы после возврата, оба сняты ≤ 4
мин); Prometheus 60 с (5xx 0, приращение счёта запросов API между точками до и после не меньше
`TelemetryDataLoss` firing, потери Collector > 0 и видны на панели потерь (запрос A панели 40,
`job="otel-collector"`), новые сигналы после возврата, оба сняты ≤ 4 мин); Prometheus 60 с (5xx 0, приращение счёта запросов API между точками до и после не меньше
запросов нагрузки); Collector 120 с (`make test` PASS, `TelemetryTargetDown` firing, память
каждой реплики: максимум последней трети окна не выше первой больше чем на 16 МиБ и ниже
лимита, `MessengerQueueMetricsMissing` не pending; после возврата — снято, счётчики потерь SDK
реплик выросли, ёмкость очередей SDK 2048, записей Loki в окне меньше stdout). В конце — пики
реплик выросли и видны на панели потерь (`job="messenger-api"`: ряд правила процесса SDK
начинается с нуля), ёмкость очередей SDK span и журнала 2048, записей Loki в окне меньше stdout). В конце — пики
памяти Collector, Prometheus и реплик по cgroup (`memory.peak`, `anon` + `kernel` + `shmem`,
`file`, лимит — для бюджета). В `finally` — сервисы телеметрии запущены, worker и relay. Код 0 /
1 / 2.
@@ -564,7 +567,9 @@ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 backend-outage
- **`telemetry-check`** — всё через HTTP API Grafana (источники-прокси Prometheus, Loki, Tempo):
вход 401 / 401 / 200, порт только на `127.0.0.1`, источники по uid и их проверка, dashboard
provisioned и отказ его сохранения, цели Prometheus `up`; затем «тихая» база счётчиков (35 с без
provisioned и отказ его сохранения, цели Prometheus `up`, метрики LB; панель потерь (id 40) на
тихом стенде — все три запроса 0, `TelemetryDataLoss` неактивно (ждёт до 330 с: окно `rate()`
панели 5 мин, время ожидания печатается); затем «тихая» база счётчиков (35 с без
изменений), свой пользователь, сообщение, 10 GET чата, 401, 404, `PROPFIND` и `GET` к
неизвестному пути с UUID (ряды `_OTHER` и `GET` без `http_route` выросли на 1; `BREW` —
только 400 парсера, ограничение), `traceparent`, загрузка и недекодируемый JPEG (12 бит,
+169 -18
View File
@@ -10364,6 +10364,9 @@ def telemetry_check(port: int, grafana: Grafana, paused: list[str]) -> int:
# метрики LB (design change slo-alerts, решение 2)
for name, expected, got in lb_metrics_rows(port, grafana):
step(name, expected, got)
# панель потерь до своих рестартов Collector и хранилищ (verify S4)
for name, expected, got in loss_panel_quiet_rows(grafana):
step(name, expected, got)
# --- база метрик до своего трафика -----------------------------------
chat_route = '"/api/v1/chats/{chat_id}"'
@@ -12759,7 +12762,7 @@ AC_SESSION = "mtusi-alerts-check"
AC_LOCK_HOLD_S = 2
# пауза короче 0,5 с design: в ней каждый поток записи успевает ~1 быстрый
# запрос, доля медленных ~0,4, порог 10 % пересекается раньше (firing было
# 165 с из 180 при паузе 0,5 с, «Уточнения apply»)
# 165 с при паузе 0,5 с, «Уточнения apply», п. 7; срок спека — 4 мин, verify S1)
AC_LOCK_PAUSE_S = 0.2
AC_LOCK_CYCLES = 400
AC_LOCK_SQL = f"""\
@@ -12788,7 +12791,9 @@ AC_LAG_CLEAR_S = 120
AC_RELAY_FIRING_S = 300
AC_RELAY_SERIES_GONE_S = 120
AC_RELAY_CLEAR_S = 120
AC_SLOW_FIRING_S = 180
# firing задают конвейер (экспорт SDK, сбор, слот точки правила — по 15 с) и
# for 1 мин: ~165 с — запас до 3 мин мал, срок 4 мин (verify S1)
AC_SLOW_FIRING_S = 240
AC_SLOW_CLEAR_S = 240
AC_DB_FIRING_S = 180
AC_DB_CLEAR_S = 240
@@ -12800,11 +12805,13 @@ AC_LOGIN_WATCH_S = 75
# метрика доходит до Prometheus: экспорт SDK 15 с + сбор 15 с
AC_SCRAPE_LAG_S = 35
AC_SLI_TOLERANCE = 0.01
# SLI, которые сверяются и с increase одним окном часа (спек «SLO считается»)
AC_SLI_ONE_WINDOW = ("availability", "latency")
AC_SHARE_TOLERANCE = 0.05
AC_TRACES = 5
# фоновая нагрузка драйвера: запись преобладает — блокировка таблицы сообщений
# делает медленной заметную долю «лёгких» запросов (~29 % при блокировке: порог
# 10 % окна 2 мин пересекается раньше, firing — с запасом до 3 мин)
# 10 % окна 2 мин пересекается раньше, firing — с запасом до 4 мин)
LOAD_WRITERS = 6
LOAD_READERS = 1
LOAD_PERIOD_S = 0.25
@@ -13477,6 +13484,15 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
def note(text: str) -> None:
print(f" observed: {text}", flush=True)
def pending_note(key: str, since: float) -> None:
"""Момент pending оповещения — рядом с его строкой firing (спек
«Проверка оповещений отказами»: pending на каждом шаге)."""
at = watch.first(key, "pending", since)
note(
f"{key} pending "
+ ("not observed" if at is None else f"after {at - since:.0f} s"),
)
print(
f"alerts-check {datetime.now(UTC):%Y-%m-%dT%H:%M:%SZ}: rules, "
"quiet stand",
@@ -13586,11 +13602,7 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
first_upload,
AC_LAG_FIRING_S,
)
pending = watch.first("MessengerQueueLagHigh", "pending", first_upload)
if pending is not None:
note(
f"MessengerQueueLagHigh pending after {pending - first_upload:.0f} s",
)
pending_note("MessengerQueueLagHigh", first_upload)
rows.append(
alert_row(
f"[{step}] MessengerQueueLagHigh firing after the first upload",
@@ -13700,10 +13712,13 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
relay_ids = service_ids("relay")
detached("docker", "compose", "stop", "relay", timeout=60)
stopped_at = time.time()
# сценарий «Остановленный relay уходит из рядов»: глубина и возраст
gone = poll(
lambda: (
not grafana.prom(
f'messenger_queue_depth{{job="{RELAY_SERVICE_NAME}"}}',
"{__name__=~"
'"messenger_queue_depth|messenger_queue_oldest_age_seconds",'
f'job="{RELAY_SERVICE_NAME}"}}',
)
),
timeout=AC_RELAY_SERIES_GONE_S + 30,
@@ -13711,7 +13726,8 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
)
gone_after = time.time() - stopped_at
add(
f"[{step}] queue series gone within {AC_RELAY_SERIES_GONE_S} s",
f"[{step}] queue depth and age series gone within "
f"{AC_RELAY_SERIES_GONE_S} s",
"yes",
yes(bool(gone) and gone_after <= AC_RELAY_SERIES_GONE_S),
)
@@ -13722,6 +13738,7 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
stopped_at,
AC_RELAY_FIRING_S,
)
pending_note("MessengerQueueMetricsMissing", stopped_at)
rows.append(
alert_row(
f"[{step}] MessengerQueueMetricsMissing firing",
@@ -13764,6 +13781,7 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
locked_at,
AC_SLOW_FIRING_S,
)
pending_note("MessengerSlowRequests", locked_at)
rows.append(
alert_row(
f"[{step}] MessengerSlowRequests firing",
@@ -13935,6 +13953,7 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
stopped_at,
AC_DB_FIRING_S,
)
pending_note("MessengerNoReadyReplicas", stopped_at)
rows.append(
alert_row(
f"[{step}] MessengerNoReadyReplicas firing",
@@ -13943,6 +13962,7 @@ def alerts_check(port: int, grafana: Grafana, state: dict[str, object]) -> int:
AC_DB_FIRING_S,
),
)
pending_note("MessengerHighErrorRate", stopped_at)
rows.append(
alert_row(
f"[{step}] MessengerHighErrorRate firing",
@@ -14127,8 +14147,9 @@ def sli_rows(
"""Сценарий «SLO считается»: SLI за 7 суток по рядам правил — от 0 до 1;
за час — по рядам правил и по исходным счётчикам: сумма `increase(…[5m])`
исходных счётчиков на время каждой точки правила (те же окна), расхождение
не больше 1 п. п.; для сравнения — `increase` за час одним окном и SLI за
окно учений (design, «Уточнения apply»)."""
не больше 1 п. п.; у доступности и задержки — и `increase` за час одним
окном (тоже 1 п. п.), у времени до `ready` оно — наблюдение; SLI за окно
учений (design, «Уточнения apply», пп. 12, 18)."""
# последнее вычисление группы раз в 5 мин: мгновенный запрос его не видит,
# когда точка старше lookback (5 мин) — время берётся из сырых точек
now = time.time()
@@ -14181,6 +14202,16 @@ def sli_rows(
"yes",
yes(abs(a - b) <= AC_SLI_TOLERANCE),
)
# у доступности и задержки — и против increase одним окном часа
# (сотни событий: потеря на границах окон — доли п. п.); у времени до
# ready событий единицы — только наблюдение (verify W3)
if name in AC_SLI_ONE_WINDOW:
add(
f"SLI {name} over the hour, rules vs raw increase over one "
"window within 1 pp",
"yes",
yes(abs(a - whole) <= AC_SLI_TOLERANCE),
)
span = f"{int(drill_end - drill_start)}s"
drill = ratio(
grafana.prom_sum(f"sum(increase({bad_expr}[{span}]))", drill_end),
@@ -14267,6 +14298,94 @@ def panel_rows(
# первая панель SLO, оповещений, LB и конвейера в messenger-overview.json
SLO_FIRST_PANEL = 25
# панель потерь «Telemetry lost per second by place»: запрос A — правило
# telemetry:lost_items:total по job, B и C — составляющие Collector и SDK
LOSS_PANEL_ID = 40
# тихий стенд для панели потерь: окно её rate() 5 мин, плюс экспорт, сбор и
# точка правила
LOSS_QUIET_WAIT_S = 330
def loss_panel_exprs(grafana: Grafana) -> list[str]:
"""Запросы панели потерь из dashboard в Grafana (по порядку refId)."""
_, dashboard = grafana.request(
"GET",
f"/api/dashboards/uid/{DASHBOARD_UID}",
)
model = (
dashboard.get("dashboard", {}) if isinstance(dashboard, dict) else {}
)
for panel in model.get("panels", []):
if panel.get("id") == LOSS_PANEL_ID:
return [
panel_expr(str(target["expr"]))
for target in panel.get("targets", [])
]
return []
def loss_panel_by_job(
grafana: Grafana,
start: float,
end: float,
) -> dict[str, float]:
"""Наибольшее значение запроса A панели потерь в окне — по `job`
(сценарии «Потери SDK при недоступном Collector», «Потери Collector при
недоступном хранилище»: потери видно на панели)."""
exprs = loss_panel_exprs(grafana)
if not exprs:
return {}
seconds = max(15, int(end - start))
return {
job: round(value, 3)
for job, value in grafana.prom_by(
f"max by (job) (max_over_time(({exprs[0]})[{seconds}s:15s]))",
"job",
end,
).items()
if job
}
def loss_panel_quiet_rows(grafana: Grafana) -> list[tuple[str, str, str]]:
"""Сценарий «Без потерь» (verify S4): на тихом стенде каждый запрос
панели потерь даёт 0, а `TelemetryDataLoss` неактивно. Тихий — без
потерь последние 5 мин (окно `rate()` панели): ожидание до
`LOSS_QUIET_WAIT_S`, время ожидания печатается."""
exprs = loss_panel_exprs(grafana)
started = time.time()
seen: dict[str, object] = {}
def quiet() -> bool:
values = [round(grafana.prom_sum(expr), 6) for expr in exprs]
state = rule_states(grafana).get("TelemetryDataLoss", "inactive")
seen.update(values=values, state=state)
return bool(exprs) and not any(values) and state == "inactive"
ok = bool(poll(quiet, timeout=LOSS_QUIET_WAIT_S, interval=15))
print(
f" observed: loss panel quiet after {time.time() - started:.0f} s: "
f"values {seen.get('values')}, TelemetryDataLoss {seen.get('state')}",
flush=True,
)
return [
("loss panel queries", "3", str(len(exprs))),
(
"loss panel shows zero on a quiet stand",
"[0.0, 0.0, 0.0]",
str(seen.get("values")),
),
(
"TelemetryDataLoss on a quiet stand",
"inactive",
str(seen.get("state")),
),
(
f"loss panel quiet within {LOSS_QUIET_WAIT_S} s",
"yes",
yes(ok),
),
]
class MemorySampler:
@@ -14582,6 +14701,13 @@ def backend_outage(
lost = grafana.prom_sum(loss_expr(exporter, signal_name)) - lost_before
note(f"Collector losses of {exporter}: {lost:.0f} {signal_name}")
add(prefix + "losses counted by the Collector", "yes", yes(lost > 0))
panel = loss_panel_by_job(grafana, since, time.time())
note(f"loss panel, max per job since the stop: {panel}")
add(
prefix + "Collector losses on the loss panel",
"yes",
yes(panel.get("otel-collector", 0.0) > 0),
)
request_id, trace_id = own_request()
add(
prefix + "new signals arrive after the return",
@@ -14759,15 +14885,40 @@ def backend_outage(
f"SDK losses before {sdk_before}, after {sdk_loss_by_instance(grafana)}",
)
add(prefix + "SDK loss counters of replicas grew", "yes", yes(bool(grown)))
capacity = grafana.prom_by(
f'max by (instance) (otel_sdk_processor_log_queue_capacity{{job="{API_SERVICE_NAME}"}})',
"instance",
# потери SDK видно на панели потерь (verify W1): ряд правила процесса
# начинается с нуля, rate() видит и первую порцию
panel = poll(
lambda: (
loss_panel_by_job(grafana, since, time.time()).get(
API_SERVICE_NAME,
0.0,
)
> 0
),
timeout=METRIC_WAIT_S,
interval=5,
)
note(
"loss panel, max per job since the stop: "
f"{loss_panel_by_job(grafana, since, time.time())}",
)
add(
prefix + "SDK queue capacity as [telemetry] max_queue_size",
"{2048.0}",
str(set(capacity.values()) or "{}"),
prefix + "SDK losses of replicas on the loss panel",
"yes",
yes(bool(panel)),
)
for signal_name in ("span", "log"):
capacity = grafana.prom_by(
f"max by (instance) (otel_sdk_processor_{signal_name}_queue_capacity"
f'{{job="{API_SERVICE_NAME}"}})',
"instance",
)
add(
prefix
+ f"SDK {signal_name} queue capacity as [telemetry] max_queue_size",
"{2048.0}",
str(set(capacity.values()) or "{}"),
)
time.sleep(AC_SCRAPE_LAG_S)
loki = grafana.loki_all(
f'{{service_name="{API_SERVICE_NAME}"}}',
+3 -3
View File
@@ -552,11 +552,11 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
| `driver.py --port <LB> pipeline-state` | только чтение, JSON: задания по состояниям, due, ждущие срока, опубликованные и не взятые, истёкшие аренды, возраст старейшего, очередь |
| `driver.py --port <LB> worker-memory` | память контейнера worker (~35 с): на девять случаев в пределах контракта два одинаковых файла разом, новая cgroup на случай; `memory.peak`, `VmHWM`, `render_peak`, OOM, сумма пиков меньше 1 ГБ; worker и relay запускаются при любом исходе; `evidence/worker/memory.md` |
| `driver.py freeze-sessions [--rounds 6] [--settle 15]` | сессии PostgreSQL и журнал пула после заморозки (~2,5 мин), работает и на рабочем стенде: приложение в процессе одноразового контейнера `api`, PostgreSQL только через TCP-прокси пробы, заморожен прокси, а не сервер; режимы — между блоками и до запросов при пуле 2 и 4; `evidence/storage/freeze-sessions.md` |
| `driver.py --port <LB> telemetry-check` | телеметрия рабочего стенда через HTTP API Grafana с паролем из `.env` (~2 мин, change `otel-telemetry`): вход, порт, источники, dashboard provisioned и неизменяем, цели Prometheus; свой запрос → stdout → Loki → Tempo, traceparent, нестандартный метод, 401, 404; загрузка → трасса worker, недекодируемый JPEG → `failed`; рост счётчиков по репликам и исходам; S3 заморожен → span S3 с ошибкой (`unpause` в `finally`); сети хранилищ из api и worker, разовый контейнер с `OTEL_*`, проба приватности, рестарт Collector и хранилищ; `evidence/telemetry/check.md` |
| `driver.py --port <LB> telemetry-check` | телеметрия рабочего стенда через HTTP API Grafana с паролем из `.env` (~2 мин, change `otel-telemetry`): вход, порт, источники, dashboard provisioned и неизменяем, цели Prometheus, метрики LB, панель потерь на тихом стенде — 0 (ожидание до 330 с); свой запрос → stdout → Loki → Tempo, traceparent, нестандартный метод, 401, 404; загрузка → трасса worker, недекодируемый JPEG → `failed`; рост счётчиков по репликам и исходам; S3 заморожен → span S3 с ошибкой (`unpause` в `finally`); сети хранилищ из api и worker, разовый контейнер с `OTEL_*`, проба приватности, рестарт Collector и хранилищ; `evidence/telemetry/check.md` |
| `driver.py --port <LB> telemetry-outage` | Collector `stop` и `pause` (~3,5 мин): `make test`, загрузка до `ready`, записи SDK в stdout; возврат Collector — запись, трасса, span producer и ряды API, worker и relay при прежних `StartedAt` и `RestartCount` их контейнеров; второе окно того же вида — `make test`, `docker stop` реплики, worker и relay быстрее 10 с с кодом 0; все сервисы телеметрии остановлены — рестарт api, worker и relay, `make test`; сигналы (и span producer relay) снова приходят; стенд возвращается в `finally`; `evidence/telemetry/collector-outage.md` |
| `make alerts_test` | правила Prometheus без стенда и сети (change `slo-alerts`): `tar` файлов `infra/otel/prometheus/` в одноразовый контейнер образа Prometheus из compose (`--network none`) — `promtool check config`, `check rules`, `test rules rules.test.yml`; затем у каждого оповещения `runbook_url` на существующий файл; шаг CI; `evidence/alerts/rules-test.md` |
| `driver.py --port <LB> alerts-check` | учения оповещений на рабочем стенде (~25 мин, change `slo-alerts`), через HTTP API Grafana: правила загружены, доставки нет, тихий стенд (иначе код 2); фоновая нагрузка драйвера; worker остановлен — `MessengerQueueLagHigh` и счёт времени до готовности по точкам; relay остановлен — `MessengerQueueMetricsMissing`; блокировка таблицы сообщений — `MessengerSlowRequests`, доля span PostgreSQL, пул, CPU; входы по Basic — без оповещения; PostgreSQL остановлен — `MessengerNoReadyReplicas` и `MessengerHighErrorRate`, 5xx LB против API; SLI двумя путями, новые панели и история состояний; в `finally` — нагрузка, сессия блокировки, PostgreSQL, worker, relay, LB; `evidence/alerts/check.md` |
| `driver.py --port <LB> backend-outage` | отказ хранилищ телеметрии под нагрузкой (~18 мин, change `slo-alerts`): Loki и Tempo 10 с и 120 с, Prometheus 60 с, Collector 120 с — `make test`, 5xx у клиента, очереди и память Collector, память реплик, учёт потерь, `TelemetryTargetDown` и `TelemetryDataLoss`, пики памяти по cgroup; сервисы телеметрии запускаются в `finally`; `evidence/telemetry/backend-outage.md` |
| `driver.py --port <LB> alerts-check` | учения оповещений на рабочем стенде (~25 мин, change `slo-alerts`), через HTTP API Grafana: правила загружены, доставки нет, тихий стенд (иначе код 2); фоновая нагрузка драйвера; worker остановлен — `MessengerQueueLagHigh` и счёт времени до готовности по точкам; relay остановлен — `MessengerQueueMetricsMissing`; блокировка таблицы сообщений — `MessengerSlowRequests`, доля span PostgreSQL, пул, CPU; входы по Basic — без оповещения; PostgreSQL остановлен — `MessengerNoReadyReplicas` и `MessengerHighErrorRate`, 5xx LB против API; на каждом шаге моменты pending, firing и снятия; SLI двумя путями (у доступности и задержки — и одним окном часа), новые панели и история состояний; в `finally` — нагрузка, сессия блокировки, PostgreSQL, worker, relay, LB; `evidence/alerts/check.md` |
| `driver.py --port <LB> backend-outage` | отказ хранилищ телеметрии под нагрузкой (~18 мин, change `slo-alerts`): Loki и Tempo 10 с и 120 с, Prometheus 60 с, Collector 120 с — `make test`, 5xx у клиента, очереди и память Collector, память реплик, учёт потерь и панель потерь (Collector и SDK реплик), `TelemetryTargetDown` и `TelemetryDataLoss`, пики памяти по cgroup; сервисы телеметрии запускаются в `finally`; `evidence/telemetry/backend-outage.md` |
| `driver.py --port <LB> trace-chain` | сквозная трасса и сигналы уровня 4 на рабочем стенде (~5 мин, change `job-trace-propagation`), через HTTP API Grafana: предусловие — глубина очереди 0 за 120 с (иначе код 2 «stand is not quiet»); очередь и её возраст при остановленном worker и спад до 0; загрузка с повтором при замороженном S3 — одна трасса: server span API, два span producer relay, два consumer span worker (parent и link, span S3 с ошибкой, запись оригинала и вариантов); replay в той же трассе; задание без контекста (`UPDATE` колонок своей строки) — корень worker; время до `ready`, пулы, ёмкость worker, пределы контейнеров = `docker inspect` и рост CPU каждого за прогон, нет сокета Docker, панели уровня 4 с данными; `unpause s3`, worker и relay — в `finally`; `evidence/telemetry/trace-chain.md` |
| `driver.py stand-from-scratch [--runs 2]` | `make run_docker` на пустых volumes своим проектом `mtusi-lab6-scratch` (рабочий — код 2) на свободных портах (~1 мин на прогон): код 0, состояния, `RestartCount` брокера и телеметрии 0, нет `eacces`, provisioning, `make test`; проект удаляется с volumes при любом исходе, ID контейнеров рабочего стенда прежние; `evidence/stand/from-scratch.md` |
| `driver.py freeze-lb [--rounds 3]` | только не рабочий проект compose (`COMPOSE_PROJECT_NAME`, по умолчанию `mtusi-lab6-freeze`; `mtusi-lab6` — код 2): сама поднимает стенд с данными в tmpfs (volumes нет) на образе `mtusi-messenger:lab6` и убирает его при любом исходе; `docker pause` PostgreSQL, шесть запросов через LB — 503 за ~8 с, 504 нет, `unpause` в `finally`, сессий не больше пулов (~1,5 мин); раздел `evidence/storage/freeze-sessions.md` |
+16
View File
@@ -359,10 +359,26 @@ Change `openspec/changes/slo-alerts/` (propose 2026-11-11). Номера — р
Вопрос verify: устраивает ли такая трактовка двух сценариев спека («SLO считается» — те же окна; «Медленный handler» —
место в пуле, а не мгновенный `pending`)? Иначе — правка спека или новый счётчик «ждут места» отдельно от открытия.
**Ответ verify (2026-11-14):** трактовка устраивает, новых счётчиков не нужно — исправлен текст двух сценариев дельты
`observability` под проверку; у доступности и задержки `alerts-check` сверяет ещё и с `increase` одним окном часа
(design, «Уточнения apply», п. 18).
- Evidence раздела 11 — на commit `15ea156` без правок кода; `rules-test.md` от 2026-11-11 оставлен (повторный прогон —
тот же вывод); пик Collector в долгом отказе хранилища — по `docker stats` и метрикам Collector, а не по
`memory.peak`: шаг отказа Collector в той же команде начинает новую cgroup (design, «Уточнения apply», п. 16).
### Решения apply по verify
Без пользователя (verify 2026-11-14, tasks, раздел 12); подробности — design, «Уточнения apply», пп. 17–22.
- Ноль ряда потерь процесса SDK — по ряду ёмкости очереди span (`… or sum by (job, instance)
(otel_sdk_processor_span_queue_capacity) * 0`), как предложил verify; у Collector отдельной части не нужно: его ряды
`otelcol_receiver_refused_*` есть с нуля со старта (п. 17).
- Описание с текущим значением там, где `$value` пустое по смыслу (`absent()`, `up == 0`), — возраст последнего снимка
очереди и число недоступных целей шаблоном `query` (п. 21).
- Проверка «Без потерь» в `telemetry-check` ждёт тихого стенда до 330 с (окно `rate()` панели 5 мин), а не падает сразу:
иначе прогон сразу после `backend-outage` видел бы его потери (п. 22).
- Срок медленной БД — 4 мин в спеке и драйвере (п. 20).
### Вопросы
Не блокируют работу; ответ меняет только указанное место.
+13 -4
View File
@@ -305,8 +305,11 @@ runbooks — `infra/otel/runbooks/`.
- Формулы окна W: доступность — `1 - sum_over_time(messenger:slo_availability_bad:increase5m[W]) /
sum_over_time(messenger:slo_availability_total:increase5m[W])`; задержка и время до `ready` —
`sum_over_time(messenger:slo_<sli>_good:increase5m[W]) / sum_over_time(messenger:slo_<sli>_total:increase5m[W])`.
Те же SLI по исходным счётчикам — `increase(…[W])` тех же селекторов (панели и `alerts-check`
считают обоими путями и сверяют, расхождение ≤ 1 п. п.).
Панели SLI (26 — за 7 суток, 28 — за интервал дашборда) считают по рядам правил. Те же SLI по
исходным счётчикам — `increase(…[W])` тех же селекторов; `alerts-check` сверяет пути за час:
ряды правил против суммы `increase(…[5m])` исходных счётчиков на время каждой точки правил (те же
окна, расхождение ≤ 1 п. п.), а у доступности и задержки — ещё против `increase(…[1h])` одним
окном (тоже ≤ 1 п. п.; у времени до `ready` одно окно — наблюдение, см. ограничения ниже).
- «Лёгкие» маршруты — `http_route!~"/api/v1/users|/api/v1/auth/sessions|/api/v1/chats/.+/attachments|/api/v1/attachments/.+/content"`:
вне SLI — KDF регистрации и входа (и `DELETE /api/v1/users` того же шаблона), загрузка и
скачивание байтов; запросы без маршрута (404) входят. 5xx в SLI задержки не входят — это плохие
@@ -388,7 +391,13 @@ true`), панель «Alert states». Правила Grafana отвергнут
Сумма по процессу — правило `telemetry:lost_items:total`; оповещение — рост суммы, а не
`increase()`: ряд отказов появляется с первой потерей, у собственных метрик Collector нет времени
начала. Внутренние метрики SDK (`otel.sdk.*`) включает код: процессоры и экспортёры OTLP span и
начала. Ряд суммы начинается с нуля со старта процесса — у Collector по его рядам
`otelcol_receiver_refused_*` (есть с нуля), у процессов SDK по ряду ёмкости очереди span (`… or
sum by (job, instance) (otel_sdk_processor_span_queue_capacity) * 0`), поэтому `rate()` панели
потерь видит и первую потерю процесса (без нуля первое значение нового ряда `rate()` отбрасывал:
verify, W1). Остаётся: процесс SDK, запущенный при уже недоступном Collector, или отказ Collector
дольше окна панели (5 мин) — первая точка ряда после возврата снова без нуля в окне; оповещение
`TelemetryDataLoss` это видит (рост против `offset 2m` или нуля). Внутренние метрики SDK (`otel.sdk.*`) включает код: процессоры и экспортёры OTLP span и
журнала строятся после `MeterProvider` с ним и с переменной SDK только на время сборки; внешняя
`OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED` удаляется, как любая `OTEL_*`; гистограммы SDK не
отдаются. Результаты отказа каждого хранилища и Collector под нагрузкой драйвера (~25 запросов/с;
@@ -497,7 +506,7 @@ Collector без времени начала (их закрывает прави
| Уровень 4: dashboard — p50 / p95 / p99, доля ошибок, глубина и возраст очереди, пул БД, насыщение worker, контейнеры | `driver.py --port 8080 trace-chain`, `telemetry-check` | запросы панелей уровня 4 без ошибок и с данными; ряды очереди только у relay; пределы = `docker inspect`; нет сокета Docker | `evidence/telemetry/trace-chain.md`, `evidence/telemetry/check.md` |
| Уровень 4: relay с SDK не меняет остановку | `driver.py --port 8080 telemetry-outage` | `docker stop` relay < 10 с, код 0, «Stopped relay» при остановленном и замороженном Collector | `evidence/telemetry/collector-outage.md` |
| Уровень 4: схема контекста задания | миграция с нуля, повтор, откат, `--sql`, `make rolling_update`; план снимка очереди | `lock_timeout`, `NOT VALID`; без Seq Scan | `evidence/migrations/job-trace-context.md`, `evidence/telemetry/queue-snapshot.md` (commit `72cfa9a`) |
| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules` (39 проверок оповещений и 6 правил записи); у каждого из 7 оповещений есть runbook | `evidence/alerts/rules-test.md` (commit `15ea156`) |
| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules` (22 блока синтетических рядов: 43 проверки оповещений, 17 проверок выражений правил записи в 7 блоках); у каждого из 7 оповещений есть runbook | `evidence/alerts/rules-test.md` (commit `15ea156`) |
| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0 (~20 мин): остановленный worker — firing через 158 с, снято через 44 с; relay — 220 / 45 с; медленная БД — 165 / 89 с; медленный handler — оповещения нет; недоступная БД — 60 и 105 / 29 и 135 с; лишних нет; SLI двумя путями совпали | `evidence/alerts/check.md` (commit `15ea156`) |
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 93 МиБ из 256, реплики без роста; потери учтены (443 записи, 1342 span, SDK 11 683 и 11 810); `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `15ea156`) |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
+95 -2
View File
@@ -279,11 +279,28 @@ tests:
job: messenger-relay
exp_annotations:
summary: The relay queue snapshot is missing
description: 'There is no queue depth and age snapshot of the relay while the Collector exporter is up: the relay is stopped or cannot read PostgreSQL, and MessengerQueueLagHigh is blind. Runbook: infra/otel/runbooks/MessengerQueueMetricsMissing.md'
# последний снимок — точка 60 с, вычисление — 240 с
description: 'There is no queue depth and age snapshot of the relay while the Collector exporter is up (last snapshot 3m 0s ago): the relay is stopped or cannot read PostgreSQL, and MessengerQueueLagHigh is blind. Runbook: infra/otel/runbooks/MessengerQueueMetricsMissing.md'
runbook_url: infra/otel/runbooks/MessengerQueueMetricsMissing.md
- eval_time: 6m
alertname: MessengerQueueMetricsMissing
exp_alerts: []
# снимка не было вовсе (за час): описание без возраста
- interval: 15s
input_series:
- series: 'up{job="otel-collector-exporter",instance="otel-collector:8889"}'
values: '1x20'
alert_rule_test:
- eval_time: 3m
alertname: MessengerQueueMetricsMissing
exp_alerts:
- exp_labels:
severity: warning
job: messenger-relay
exp_annotations:
summary: The relay queue snapshot is missing
description: 'There is no queue depth and age snapshot of the relay while the Collector exporter is up (last snapshot more than an hour ago): the relay is stopped or cannot read PostgreSQL, and MessengerQueueLagHigh is blind. Runbook: infra/otel/runbooks/MessengerQueueMetricsMissing.md'
runbook_url: infra/otel/runbooks/MessengerQueueMetricsMissing.md
# экспортёр Collector недоступен: снимка нет, но молчит (TelemetryTargetDown)
- interval: 15s
input_series:
@@ -333,11 +350,41 @@ tests:
instance: tempo:3200
exp_annotations:
summary: Metrics target tempo is down
description: 'Prometheus cannot scrape tempo (tempo:3200) for a minute; with job haproxy the load balancer metrics are missing and MessengerHighErrorRate is blind. Runbook: infra/otel/runbooks/TelemetryTargetDown.md'
# Loki к 2 мин вернулся: недоступна одна цель
description: 'Prometheus cannot scrape tempo (tempo:3200) for a minute (up 0; targets of the rule down now: 1); with job haproxy the load balancer metrics are missing and MessengerHighErrorRate is blind. Runbook: infra/otel/runbooks/TelemetryTargetDown.md'
runbook_url: infra/otel/runbooks/TelemetryTargetDown.md
- eval_time: 5m
alertname: TelemetryTargetDown
exp_alerts: []
# Loki и Tempo недоступны вместе: по оповещению на цель, недоступны две
- interval: 15s
input_series:
- series: 'up{job="tempo",instance="tempo:3200"}'
values: '1x3 0x20'
- series: 'up{job="loki",instance="loki:3100"}'
values: '1x3 0x20'
- series: 'up{job="haproxy",instance="haproxy:8404"}'
values: '1x23'
alert_rule_test:
- eval_time: 3m
alertname: TelemetryTargetDown
exp_alerts:
- exp_labels:
severity: warning
job: loki
instance: loki:3100
exp_annotations:
summary: Metrics target loki is down
description: 'Prometheus cannot scrape loki (loki:3100) for a minute (up 0; targets of the rule down now: 2); with job haproxy the load balancer metrics are missing and MessengerHighErrorRate is blind. Runbook: infra/otel/runbooks/TelemetryTargetDown.md'
runbook_url: infra/otel/runbooks/TelemetryTargetDown.md
- exp_labels:
severity: warning
job: tempo
instance: tempo:3200
exp_annotations:
summary: Metrics target tempo is down
description: 'Prometheus cannot scrape tempo (tempo:3200) for a minute (up 0; targets of the rule down now: 2); with job haproxy the load balancer metrics are missing and MessengerHighErrorRate is blind. Runbook: infra/otel/runbooks/TelemetryTargetDown.md'
runbook_url: infra/otel/runbooks/TelemetryTargetDown.md
# --- TelemetryDataLoss и сумма потерь -------------------------------------
# Collector: ряд отказов очереди Tempo появился на шаге 9 (135 с) сразу со
@@ -410,6 +457,52 @@ tests:
- eval_time: 11m
alertname: TelemetryDataLoss
exp_alerts: []
# первая потеря процесса SDK видна в increase() панели потерь (verify W1):
# ряд ёмкости очереди span есть с запуска процесса — ряд суммы с нуля; ряд
# отказов реплики появился на шаге 16 (240 с) сразу со значением 36. relay
# без потерь — ноль, оповещения нет
- interval: 15s
input_series:
- series: 'otel_sdk_processor_span_queue_capacity{job="messenger-api",instance="a1",otel_component_type="batching_span_processor",otel_component_name="batching_span_processor/0"}'
values: '2048x40'
- series: 'otel_sdk_processor_span_queue_capacity{job="messenger-relay",instance="r1",otel_component_type="batching_span_processor",otel_component_name="batching_span_processor/0"}'
values: '2048x40'
- series: 'otel_sdk_processor_span_processed_total{job="messenger-api",instance="a1",otel_component_type="batching_span_processor",otel_component_name="batching_span_processor/0"}'
values: '0+100x40'
- series: 'otel_sdk_processor_span_processed_total{job="messenger-api",instance="a1",otel_component_type="batching_span_processor",otel_component_name="batching_span_processor/0",error_type="queue_full"}'
values: '_x16 36x24'
promql_expr_test:
- expr: telemetry:lost_items:total
eval_time: 3m
exp_samples:
- labels: 'telemetry:lost_items:total{job="messenger-api",instance="a1"}'
value: 0
- labels: 'telemetry:lost_items:total{job="messenger-relay",instance="r1"}'
value: 0
# запрос A панели 40 без суммы по job: приращение за 5 мин — вся потеря
- expr: increase(telemetry:lost_items:total[5m])
eval_time: 6m
exp_samples:
- labels: '{job="messenger-api",instance="a1"}'
value: 36
- labels: '{job="messenger-relay",instance="r1"}'
value: 0
alert_rule_test:
- eval_time: 5m
alertname: TelemetryDataLoss
exp_alerts:
- exp_labels:
severity: warning
job: messenger-api
instance: a1
exp_annotations:
summary: Telemetry of messenger-api is being lost
description: 'messenger-api (a1) lost 36 spans, log records or metric points in the last 2 minutes (full queue, failed export or refused by the memory limiter). Runbook: infra/otel/runbooks/TelemetryDataLoss.md'
runbook_url: infra/otel/runbooks/TelemetryDataLoss.md
- eval_time: 9m
alertname: TelemetryDataLoss
exp_alerts: []
# без потерь — тихо, сумма потерь пуста
- interval: 15s
input_series:
+19 -4
View File
@@ -43,12 +43,17 @@ groups:
# worker и relay — отброшено из-за полной очереди и неудачные отправки.
# Сумма, а не increase(): ряд отказов появляется с первой потерей, у
# метрик Collector нет времени начала — первое значение нового ряда
# целиком рост
# целиком рост. Третья часть — ноль процесса SDK по ряду ёмкости очереди
# span (есть с запуска): ряд суммы начинается с нуля, и rate() панели
# потерь видит первую потерю (verify W1; у Collector ряды
# otelcol_receiver_refused_* есть с нуля с его старта)
- record: telemetry:lost_items:total
expr: >-
sum by (job, instance) ({__name__=~"otelcol_(receiver_refused|exporter_send_failed|exporter_enqueue_failed)_(spans|log_records|metric_points)"})
or
sum by (job, instance) ({__name__=~"otel_sdk_(processor|exporter)_(span|log)_(processed|exported)_total",error_type!=""})
or
sum by (job, instance) (otel_sdk_processor_span_queue_capacity) * 0
# приращения событий SLI за непересекающиеся 5-минутные окна: SLI любого
# окна — отношение сумм, без чтения 7 суток histogram на каждое обновление
@@ -133,11 +138,16 @@ groups:
for: 2m
labels:
severity: warning
# $value у absent() — всегда 1; текущее значение в описании — возраст
# последнего снимка за час (verify S3)
annotations:
summary: The relay queue snapshot is missing
description: >-
There is no queue depth and age snapshot of the relay while the
Collector exporter is up: the relay is stopped or cannot read
Collector exporter is up (last snapshot {{ with query `time() -
max(max_over_time(timestamp(messenger_queue_oldest_age_seconds{job="messenger-relay"})[1h:15s]))`
}}{{ . | first | value | humanizeDuration }} ago{{ else }}more
than an hour ago{{ end }}): the relay is stopped or cannot read
PostgreSQL, and MessengerQueueLagHigh is blind. Runbook:
infra/otel/runbooks/MessengerQueueMetricsMissing.md
runbook_url: infra/otel/runbooks/MessengerQueueMetricsMissing.md
@@ -153,10 +163,15 @@ groups:
severity: warning
annotations:
summary: 'Metrics target {{ $labels.job }} is down'
# $value — up цели (0); рядом — сколько целей правила недоступно
# сейчас (verify S3)
description: >-
Prometheus cannot scrape {{ $labels.job }} ({{ $labels.instance }})
for a minute; with job haproxy the load balancer metrics are missing
and MessengerHighErrorRate is blind. Runbook:
for a minute (up {{ $value }}; targets of the rule down now: {{
with query `count(up{job=~"otel-collector|loki|tempo|haproxy"} ==
0)` }}{{ . | first | value }}{{ else }}0{{ end }}); with job
haproxy the load balancer metrics are missing and
MessengerHighErrorRate is blind. Runbook:
infra/otel/runbooks/TelemetryTargetDown.md
runbook_url: infra/otel/runbooks/TelemetryTargetDown.md
- alert: TelemetryDataLoss
+37
View File
@@ -327,6 +327,8 @@ telemetry:lost_items:total =
sum by (job, instance) ({__name__=~"otelcol_(receiver_refused|exporter_send_failed|exporter_enqueue_failed)_(spans|log_records|metric_points)"})
or
sum by (job, instance) ({__name__=~"otel_sdk_(processor|exporter)_(span|log)_(processed|exported)_total", error_type!=""})
or
sum by (job, instance) (otel_sdk_processor_span_queue_capacity) * 0 # verify W1, «Уточнения apply», п. 17
```
Оповещение: `telemetry:lost_items:total - (telemetry:lost_items:total offset 2m or telemetry:lost_items:total * 0) > 0`.
@@ -583,3 +585,38 @@ COMMIT=<прежний> MIGRATE=0`; схема не меняется, нули
не снят: шаг `[collector]` той же команды перезапускает контейнер (новая cgroup), поэтому в бюджете пик Collector —
`docker stats` и `otelcol_process_runtime_*` окна долгого отказа (до 93 и 84 МиБ) и `memory.peak` за `alerts-check`
(76 МиБ), а пробные числа п. 13 названы рядом; правило «лимит ≥ 1,5 × пика» выполнено по всем.
Правки по verify (2026-11-14, tasks, раздел 12):
17. **Первая потеря на панели (W1, решение 9).** Ряд суммы процесса SDK появлялся только с первой потерей сразу с её
значением, и `rate(telemetry:lost_items:total[5m])` панели 40 это первое значение отбрасывал (`backend-outage`: ряды
`messenger-api` 11 683 и 11 810 появились разом, панель — 0). К правилу добавлена третья часть `or sum by (job,
instance) (otel_sdk_processor_span_queue_capacity) * 0`: ряд ёмкости очереди span есть с запуска процесса, ряд суммы
— с нуля. У Collector ноль уже был: его ряды `otelcol_receiver_refused_*` есть с нуля со старта (проверено на стенде),
отдельной части не нужно. `TelemetryDataLoss` не меняется: рост против `offset 2m` (теперь чаще ноль, а не
отсутствие) — то же значение; тест `rules.test.yml` — ёмкость с начала, потеря на 240 с: ряд 0 до потери,
`increase(…[5m])` = 36 (первая точка окна — ноль, экстраполяции к началу нет), оповещение с 36; на прежнем правиле
тест красный (`got: nil` и `0`). Остаётся: процесс SDK, запущенный при уже недоступном Collector, и отказ Collector
дольше окна панели (5 мин) — нуля в окне нет (ограничение в `REPORT.md`). Составляющие B и C панели — исходные ряды,
они первое значение по-прежнему не видят: панель называет их частями суммы, учёт — запрос A. `backend-outage`
проверяет запрос A панели (из dashboard Grafana) в долгом отказе хранилища (`job="otel-collector"`) и отказе Collector
(`job="messenger-api"`).
18. **Сверка SLI (W3, спек «SLO считается»).** Текст сценария исправлен под проверку (ответ verify на вопрос apply:
трактовка устраивает, новых счётчиков не нужно): за час — ряды правил против суммы `increase(…[5m])` исходных
счётчиков в тех же окнах, у доступности и задержки — и против `increase` одним окном часа; `alerts-check` печатает эту
строку (`AC_SLI_ONE_WINDOW`), у времени до `ready` одно окно — наблюдение (п. 12). «Медленный handler» — «пул ни одной
реплики не занят целиком, отказов по сроку нет, `pending_requests` — наблюдение» (п. 14).
19. **Pending (W4).** `alerts-check` печатает момент pending рядом с каждой строкой firing (`pending_note`): worker,
relay, медленная БД, недоступная БД — оба оповещения; «not observed» — если опрос раз в 5 с pending не застал.
20. **Срок медленной БД (S1).** firing через 165 с при сроке 180 с — время задают конвейер (экспорт SDK, сбор, слот точки
правила по 15 с) и `for` 1 мин, а не доля; срок сценария и `AC_SLOW_FIRING_S` — 4 мин.
21. **Описание с текущим значением (S3).** У `MessengerQueueMetricsMissing` `$value` от `absent()` всегда 1, у
`TelemetryTargetDown` — 0. Вместо пустого значения описание называет осмысленное: возраст последнего снимка очереди
relay за час (шаблон `query`: `time() - max(max_over_time(timestamp(…)[1h:15s]))`, «more than an hour ago», если
снимков не было) и у цели — `up` (`$value`) плюс число недоступных сейчас целей правила. Тесты — оба варианта
описания очереди и две цели разом.
22. **Без потерь и ряды relay (S4, S5).** `telemetry-check` в начале, до своих рестартов Collector и хранилищ, проверяет:
все три запроса панели потерь — 0, `TelemetryDataLoss` неактивно; «тихий» — без потерь последние 5 мин (окно
`rate()`), поэтому ожидание до 330 с с печатью времени ожидания: прогон сразу после `backend-outage` иначе видел бы
его потери. «Остановленный relay уходит из рядов» — опрос рядов глубины и возраста; `backend-outage` — ёмкость
очередей SDK span и журнала.
@@ -54,8 +54,10 @@ SHALL быть по меньшей мере:
#### Scenario: SLO считается
- **WHEN** стенд работает с трафиком не меньше 15 минут, и проверка читает SLI через источник Prometheus в Grafana
- **THEN** каждое из трёх SLI за 7 суток — число от 0 до 1 по рядам правил записи, за последний час оно отличается от того
же SLI по исходным счётчикам не больше чем на 1 процентный пункт, а dashboard показывает SLI, SLO и остаток бюджета
- **THEN** каждое из трёх SLI за 7 суток — число от 0 до 1 по рядам правил записи, за последний час SLI по рядам правил
отличается от SLI по исходным счётчикам в тех же 5-минутных окнах (сумма их `increase(…[5m])` на время каждой точки
правил) не больше чем на 1 процентный пункт, у доступности и задержки — и от `increase` исходных счётчиков одним окном
того же интервала, а dashboard показывает SLI, SLO и остаток бюджета
#### Scenario: Отказ БД виден в SLI доступности
@@ -146,15 +148,16 @@ SHALL печатать таблицу «шаг → ожидаемо → полу
#### Scenario: Медленная БД
- **WHEN** под нагрузкой запись сообщений ждёт блокировку таблицы в PostgreSQL
- **THEN** `MessengerSlowRequests` в firing не позже чем через 3 минуты, в медленных трассах отправки больше половины
- **THEN** `MessengerSlowRequests` в firing не позже чем через 4 минуты, в медленных трассах отправки больше половины
времени server span занимают span PostgreSQL, занятость пула выше, чем до отказа, CPU реплик ниже половины предела,
`MessengerHighErrorRate` не срабатывает, а после снятия блокировки оповещение снято не позже чем через 4 минуты
#### Scenario: Медленный handler не путается с БД
- **WHEN** участники параллельно входят по Basic, и вход медленнее 0,25 с
- **THEN** в трассах входа span PostgreSQL занимают меньше пятой части времени server span, ожидающих соединения пула нет, а
`MessengerSlowRequests` остаётся неактивным
- **THEN** в трассах входа span PostgreSQL занимают меньше пятой части времени server span, пул ни одной реплики не занят
целиком и отказов по сроку ожидания пула нет (`pending_requests` — наблюдение), а `MessengerSlowRequests` остаётся
неактивным
#### Scenario: Недоступная БД
@@ -227,7 +230,8 @@ test` проходит, вложения становятся `ready`, 5xx из-
- **WHEN** Collector остановлен под нагрузкой дольше, чем нужно для заполнения очередей SDK, а затем запущен
- **THEN** после возврата у реплик API выросли счётчики отброшенного из-за полной очереди или неудачных отправок SDK,
ёмкость очередей SDK — как в `[telemetry]`, а записей Loki из окна отказа меньше, чем записей stdout за то же время
ёмкость очередей SDK — как в `[telemetry]`, а записей Loki из окна отказа меньше, чем записей stdout за то же время, и
эти потери SDK видно на панели потерь
#### Scenario: Потери Collector при недоступном хранилище
+42
View File
@@ -161,3 +161,45 @@
- [x] 11.5 Числа и наблюдения инцидентов в `REPORT.md` из 11.2–11.4, ссылки `REPORT.md` и `AGENTS.md` на файлы evidence и их
commit; `graphify update .`. Проверка: файлы, названные в `REPORT.md`, существуют; у каждого инцидента — шаги со ссылкой
на строки evidence.
## 12. Замечания проверки (verify 2026-11-14)
Код change — commit `15ea156`, evidence — `107fe7f`. Находки W1–W4, S1–S5 verify; решения без пользователя — design,
«Уточнения apply», пп. 17–22, и `QUESTIONS.md`, `## slo-alerts`, «Решения apply по verify».
- [x] 12.1 W1, первая потеря процесса SDK на панели потерь: в `rules.yml` к `telemetry:lost_items:total` — `or sum by (job,
instance) (otel_sdk_processor_span_queue_capacity) * 0` (ряд процесса SDK с нуля с его запуска); `TelemetryDataLoss` не
меняется. Тест `rules.test.yml`: ёмкость с начала, потеря позже — `increase(telemetry:lost_items:total[5m])` равен потере,
до потери ряд 0, оповещение с тем же значением. Дельта `observability`, «Потери SDK при недоступном Collector»: «и это
видно на панели потерь»; `backend-outage` проверяет панель 40 (запрос A из dashboard) в шагах `[tempo long]` /
`[loki long]` (Collector) и `[collector]` (SDK реплик). Проверка: новый тест красный на прежнем правиле (вывод в отчёте) и
зелёный после; на стенде после рестарта Prometheus ряд правила есть у каждого процесса SDK со значением ≥ 0.
- [x] 12.2 W2: `REPORT.md`, формулы SLI — сверка путей описана как в ограничениях (панели 26 и 28 — по рядам правил,
`alerts-check` — сумма `increase(…[5m])` исходных счётчиков в тех же окнах и `increase` одним окном часа). Проверка: текст
не противоречит разделу «Ограничения SLI» и `sli_rows` драйвера.
- [x] 12.3 W3: дельта `observability` — THEN «SLO считается» (те же 5-минутные окна; у доступности и задержки — и `increase`
одним окном того же интервала) и «Медленный handler не путается с БД» (пул ни одной реплики не занят целиком, отказов по
сроку нет, `pending_requests` — наблюдение); `alerts-check` — строка сверки SLI доступности и задержки с `increase` одним
окном часа (≤ 1 п. п.); вопрос verify в `QUESTIONS.md` закрыт ответом. Проверка: `openspec validate slo-alerts --strict`,
`py_compile`.
- [x] 12.4 W4: `alerts-check` печатает момент pending рядом с каждой строкой firing (worker, relay, медленная БД, недоступная
БД — оба оповещения). Проверка: `py_compile`; в коде у каждого `alert_row` firing — `pending_note`.
- [x] 12.5 S1: медленная БД — firing не позже 4 мин (дельта «Медленная БД», `AC_SLOW_FIRING_S` = 240, комментарии
драйвера). Проверка: `grep` срока в спеке и драйвере.
- [x] 12.6 S2: `REPORT.md` — тесты правил записи названы блоками и проверками выражений, число — после 12.1 и 12.7 (по
`rules.test.yml`); `rules-test.md` — при пересъёмке (12.10). Проверка: счёт по файлу тестов.
- [x] 12.7 S3: `description` у `MessengerQueueMetricsMissing` — возраст последнего снимка очереди (шаблон `query`), у
`TelemetryTargetDown` — `up` цели (`$value`) и число недоступных целей правила; тесты `exp_annotations`. Проверка: `make
alerts_test`.
- [x] 12.8 S4: `telemetry-check` — запросы панели потерь (id 40) на тихом стенде дают 0, `TelemetryDataLoss` неактивно
(ожидание тишины до 330 с, время ожидания печатается). Проверка: `py_compile`; функция на стенде — 0.
- [x] 12.9 S5: «Остановленный relay уходит из рядов» — опрос рядов глубины и возраста очереди; `backend-outage` — ёмкость
очередей SDK span и журнала. Проверка: `py_compile`.
- [x] 12.10 Применение и регрессия: Prometheus и Grafana перезапущены с новыми файлами (правила загружены без ошибок,
dashboard provisioned); `make lint`, `make alerts_test`, `make service_test`, `py_compile` драйвера системным `python3`,
`docker compose config --quiet`, `openspec validate slo-alerts --strict`, `make test`; стенд в штатном состоянии.
Проверка: коды 0, `make lb_stats` — `UP` без ручных состояний.
- [ ] 12.11 Пересъёмка evidence на commit правок (после коммита основной сессией): `make alerts_test` →
`evidence/alerts/rules-test.md` (счёт S2), `alerts-check` → `evidence/alerts/check.md`, `telemetry-check` →
`evidence/telemetry/check.md`, `backend-outage` → `evidence/telemetry/backend-outage.md`; числа и ссылки на строки в
`REPORT.md`. Проверка: коды 0; сценарии 11.1–11.3 и новые строки (панель потерь, pending, одно окно).