Files
mtusi2026lab6/evidence/alerts/rules-test.md
T

6.8 KiB
Raw Blame History

make alerts_test (change slo-alerts, задачи 11.1 и 12.11)

  • Основа: commit ef60b47 (fix: address slo-alerts verify findings), рабочее дерево чистое (git status --short пуст до прогона; новые файлы — только evidence/). Прежний прогон этого файла — на 15ea156 (до правок verify: 19 групп, 39 проверок оповещений, 15 проверок выражений).
  • Дата: 2026-11-14, 01:09:19Z – 01:09:20Z (~1 с); хост macOS, Docker 29.9.2, Compose 5.6.1. Стенд не нужен: файлы infra/otel/prometheus/ (prometheus.yml, rules.yml, rules.test.yml) уходят tar через stdin в одноразовый контейнер закреплённого образа Prometheus с --network none, там promtool check config, promtool check rules, promtool test rules rules.test.yml; затем у каждого из семи оповещений rules.yml поле runbook_url — существующий файл репозитория. Команда из корня репозитория: make alerts_test, код выхода 0.
  • Состав тестов rules.test.yml: 22 блока синтетических рядов (интервал 15 с, как у стенда); 43 проверки оповещений (alert_rule_test, в 21 блоке) и 17 проверок выражений правил записи (promql_expr_test, в 7 блоках). На каждое оповещение — срабатывание после for, нет срабатывания ниже порога и без трафика, снятие после восстановления (в exp_annotations — все аннотации дословно, с подставленным значением); MessengerQueueMetricsMissing молчит при недоступном экспортёре Collector, его описание называет возраст последнего снимка (и «more than an hour ago», если снимков не было); TelemetryTargetDown — up цели и число недоступных целей (одна и две разом); TelemetryDataLoss — новый ряд, рост, сброс счётчика; первая потеря процесса SDK: ряд суммы 0 до потери, increase(telemetry:lost_items:total[5m]) равен потере (verify W1).
  • Сценарии: observability «Тесты правил» (проверка синтаксиса и модульные тесты правил — код 0); «Правила оповещений» — у каждого оповещения есть runbook в git, описание с текущим значением.
promtool from prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
Checking prometheus.yml
  SUCCESS: 1 rule files found
 SUCCESS: prometheus.yml is valid prometheus config file syntax

Checking /etc/prometheus/rules.yml
  SUCCESS: 20 rules found

Checking rules.yml
  SUCCESS: 20 rules found

  SUCCESS

runbook infra/otel/runbooks/MessengerHighErrorRate.md: ok
runbook infra/otel/runbooks/MessengerSlowRequests.md: ok
runbook infra/otel/runbooks/MessengerNoReadyReplicas.md: ok
runbook infra/otel/runbooks/MessengerQueueLagHigh.md: ok
runbook infra/otel/runbooks/MessengerQueueMetricsMissing.md: ok
runbook infra/otel/runbooks/TelemetryTargetDown.md: ok
runbook infra/otel/runbooks/TelemetryDataLoss.md: ok
alerts: 7, each with an existing runbook

Строки по шагам: Checking prometheus.yml и Checking /etc/prometheus/rules.yml — check config (он проверяет и файл из rule_files), Checking rules.yml — check rules, одиночное SUCCESS — итог test rules (43 + 17 проверок; при отказе он печатает каждую несовпавшую, как ниже).

Контроли (не в git)

Тот же образ; три файла дерева ef60b47 (git archive) — во временном каталоге вне репозитория, в копии rules.yml — одна правка, файлы репозитория не менялись; promtool test rules rules.test.yml на копии.

Изменённый порог

Порог доли медленных «лёгких» запросов у MessengerSlowRequests поднят с 0.1 до 0.5:

-        expr: messenger:http_light_slow:ratio_rate2m > 0.1 and messenger:http_light_requests:rate2m > 0.1
+        expr: messenger:http_light_slow:ratio_rate2m > 0.5 and messenger:http_light_requests:rate2m > 0.1

Код 1:

  FAILED:
    alertname: MessengerSlowRequests, time: 6m, 
        exp:[
            0:
              Labels:{alertname="MessengerSlowRequests", severity="warning"}
              Annotations:{description="50% of light API requests without 5xx in the last 2 minutes took longer than 0.25 s (threshold 10 %, SLO 99 %); login, registration and attachment bytes are not counted. Runbook: infra/otel/runbooks/MessengerSlowRequests.md", runbook_url="infra/otel/runbooks/MessengerSlowRequests.md", summary="Many light API requests are slower than 0.25 s"}
            ], 
        got:[]

Доля медленных в тесте — ровно 50 %, поэтому с порогом > 0.5 оповещение не срабатывает, и тест «срабатывание после for» красный.

Правило потерь без нуля процесса SDK (verify W1)

Убрана третья часть telemetry:lost_items:total — ноль по ряду ёмкости очереди span (правило 15ea156):

           sum by (job, instance) ({__name__=~"otel_sdk_(processor|exporter)_(span|log)_(processed|exported)_total",error_type!=""})
-          or
-          sum by (job, instance) (otel_sdk_processor_span_queue_capacity) * 0

Код 1:

  FAILED:
    expr: "telemetry:lost_items:total", time: 3m,
        exp: {__name__="telemetry:lost_items:total", instance="a1", job="messenger-api"} 0E+00, {__name__="telemetry:lost_items:total", instance="r1", job="messenger-relay"} 0E+00
        got: nil
    expr: "increase(telemetry:lost_items:total[5m])", time: 6m,
        exp: {instance="a1", job="messenger-api"} 3.6E+01, {instance="r1", job="messenger-relay"} 0E+00
        got: {instance="a1", job="messenger-api"} 0E+00

Без нуля ряда процесса нет до первой потери, ряд появляется сразу со значением 36, и increase() (как rate() панели потерь) это первое значение отбрасывает — 0 вместо 36. С правилом ef60b47 тот же тест зелёный (вывод выше).