6.8 KiB
make alerts_test (change slo-alerts, задачи 11.1 и 12.11)
- Основа: commit
ef60b47(fix: address slo-alerts verify findings), рабочее дерево чистое (git status --shortпуст до прогона; новые файлы — толькоevidence/). Прежний прогон этого файла — на15ea156(до правок verify: 19 групп, 39 проверок оповещений, 15 проверок выражений). - Дата: 2026-11-14, 01:09:19Z – 01:09:20Z (~1 с); хост macOS, Docker 29.9.2, Compose 5.6.1. Стенд
не нужен: файлы
infra/otel/prometheus/(prometheus.yml,rules.yml,rules.test.yml) уходятtarчерез stdin в одноразовый контейнер закреплённого образа Prometheus с--network none, тамpromtool check config,promtool check rules,promtool test rules rules.test.yml; затем у каждого из семи оповещенийrules.ymlполеrunbook_url— существующий файл репозитория. Команда из корня репозитория:make alerts_test, код выхода 0. - Состав тестов
rules.test.yml: 22 блока синтетических рядов (интервал 15 с, как у стенда); 43 проверки оповещений (alert_rule_test, в 21 блоке) и 17 проверок выражений правил записи (promql_expr_test, в 7 блоках). На каждое оповещение — срабатывание послеfor, нет срабатывания ниже порога и без трафика, снятие после восстановления (вexp_annotations— все аннотации дословно, с подставленным значением);MessengerQueueMetricsMissingмолчит при недоступном экспортёре Collector, его описание называет возраст последнего снимка (и «more than an hour ago», если снимков не было);TelemetryTargetDown—upцели и число недоступных целей (одна и две разом);TelemetryDataLoss— новый ряд, рост, сброс счётчика; первая потеря процесса SDK: ряд суммы 0 до потери,increase(telemetry:lost_items:total[5m])равен потере (verify W1). - Сценарии:
observability«Тесты правил» (проверка синтаксиса и модульные тесты правил — код 0); «Правила оповещений» — у каждого оповещения есть runbook в git, описание с текущим значением.
promtool from prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
Checking prometheus.yml
SUCCESS: 1 rule files found
SUCCESS: prometheus.yml is valid prometheus config file syntax
Checking /etc/prometheus/rules.yml
SUCCESS: 20 rules found
Checking rules.yml
SUCCESS: 20 rules found
SUCCESS
runbook infra/otel/runbooks/MessengerHighErrorRate.md: ok
runbook infra/otel/runbooks/MessengerSlowRequests.md: ok
runbook infra/otel/runbooks/MessengerNoReadyReplicas.md: ok
runbook infra/otel/runbooks/MessengerQueueLagHigh.md: ok
runbook infra/otel/runbooks/MessengerQueueMetricsMissing.md: ok
runbook infra/otel/runbooks/TelemetryTargetDown.md: ok
runbook infra/otel/runbooks/TelemetryDataLoss.md: ok
alerts: 7, each with an existing runbook
Строки по шагам: Checking prometheus.yml и Checking /etc/prometheus/rules.yml — check config
(он проверяет и файл из rule_files), Checking rules.yml — check rules, одиночное SUCCESS —
итог test rules (43 + 17 проверок; при отказе он печатает каждую несовпавшую, как ниже).
Контроли (не в git)
Тот же образ; три файла дерева ef60b47 (git archive) — во временном каталоге вне репозитория,
в копии rules.yml — одна правка, файлы репозитория не менялись; promtool test rules rules.test.yml на копии.
Изменённый порог
Порог доли медленных «лёгких» запросов у MessengerSlowRequests поднят с 0.1 до 0.5:
- expr: messenger:http_light_slow:ratio_rate2m > 0.1 and messenger:http_light_requests:rate2m > 0.1
+ expr: messenger:http_light_slow:ratio_rate2m > 0.5 and messenger:http_light_requests:rate2m > 0.1
Код 1:
FAILED:
alertname: MessengerSlowRequests, time: 6m,
exp:[
0:
Labels:{alertname="MessengerSlowRequests", severity="warning"}
Annotations:{description="50% of light API requests without 5xx in the last 2 minutes took longer than 0.25 s (threshold 10 %, SLO 99 %); login, registration and attachment bytes are not counted. Runbook: infra/otel/runbooks/MessengerSlowRequests.md", runbook_url="infra/otel/runbooks/MessengerSlowRequests.md", summary="Many light API requests are slower than 0.25 s"}
],
got:[]
Доля медленных в тесте — ровно 50 %, поэтому с порогом > 0.5 оповещение не срабатывает, и тест
«срабатывание после for» красный.
Правило потерь без нуля процесса SDK (verify W1)
Убрана третья часть telemetry:lost_items:total — ноль по ряду ёмкости очереди span (правило
15ea156):
sum by (job, instance) ({__name__=~"otel_sdk_(processor|exporter)_(span|log)_(processed|exported)_total",error_type!=""})
- or
- sum by (job, instance) (otel_sdk_processor_span_queue_capacity) * 0
Код 1:
FAILED:
expr: "telemetry:lost_items:total", time: 3m,
exp: {__name__="telemetry:lost_items:total", instance="a1", job="messenger-api"} 0E+00, {__name__="telemetry:lost_items:total", instance="r1", job="messenger-relay"} 0E+00
got: nil
expr: "increase(telemetry:lost_items:total[5m])", time: 6m,
exp: {instance="a1", job="messenger-api"} 3.6E+01, {instance="r1", job="messenger-relay"} 0E+00
got: {instance="a1", job="messenger-api"} 0E+00
Без нуля ряда процесса нет до первой потери, ряд появляется сразу со значением 36, и increase()
(как rate() панели потерь) это первое значение отбрасывает — 0 вместо 36. С правилом ef60b47
тот же тест зелёный (вывод выше).