fix: Hold long SLO burn alert through brief spikes (U4 setup)

This commit is contained in:
Самохвалов Андрей Ремович
2026-10-02 15:35:32 +03:00
parent 5deecdf545
commit 43bcde73de
2 changed files with 5 additions and 4 deletions
+3 -2
View File
@@ -33,7 +33,7 @@ Grafana. На момент фиксации fault matrix из перенесён
Локальные burn-rate окна уменьшены пропорционально времени демонстрации:
short требует одновременно 15 и 30 секунд, threshold 14,4 бюджета и `for:10s`;
long требует одновременно 60 и 120 секунд, threshold 6 и `for:10s`.
long требует одновременно 60 и 120 секунд, threshold 6 и `for:90s`.
Для API error budget 1% это error ratio >14,4% / >6%; для ready budget 5%
slow ratio >72% / >30%. Оценка правил каждые 5 секунд. Operational alerts:
HTTP 5xx >10% за 30 с при `for:10s`, oldest queued age >10 с при
@@ -41,7 +41,8 @@ HTTP 5xx >10% за 30 с при `for:10s`, oldest queued age >10 с при
эксперимент не меняет его после наблюдений.
Профиль опыта: одинаковые API/worker/DB лимиты и синтетические данные.
Короткий сбой ожидается увидеть short-правилом без long; длинный — обоими.
Короткий сбой ожидается увидеть short-правилом без long; длительное `for`
подавляет long на кратких всплесках. Длинный сбой должен вызвать оба.
Записываются UTC timestamps воздействия, pending/firing/inactive из
Prometheus rule API каждые 5 с, detection/recovery, false positives на
спокойном baseline и выбранные SLI/queue values. Эти окна учебные и не
+2 -2
View File
@@ -47,7 +47,7 @@ groups:
and
((sum(rate(messenger_http_requests_total{status_class="5xx",route!~"/health/.*"}[120s])) or vector(0))
/ clamp_min(sum(rate(messenger_http_requests_total{route!~"/health/.*"}[120s])),0.001) > 0.06)
for: 10s
for: 90s
labels:
severity: warning
slo: api
@@ -81,7 +81,7 @@ groups:
((sum(rate(messenger_attachments_ready_duration_seconds_count[120s]))
- sum(rate(messenger_attachments_ready_duration_seconds_bucket{le="5"}[120s])))
/ clamp_min(sum(rate(messenger_attachments_ready_duration_seconds_count[120s])),0.001) > 0.30)
for: 10s
for: 90s
labels:
severity: warning
slo: ready