fix: Hold long SLO burn alert through brief spikes (U4 setup)
This commit is contained in:
@@ -33,7 +33,7 @@ Grafana. На момент фиксации fault matrix из перенесён
|
||||
|
||||
Локальные burn-rate окна уменьшены пропорционально времени демонстрации:
|
||||
short требует одновременно 15 и 30 секунд, threshold 14,4 бюджета и `for:10s`;
|
||||
long требует одновременно 60 и 120 секунд, threshold 6 и `for:10s`.
|
||||
long требует одновременно 60 и 120 секунд, threshold 6 и `for:90s`.
|
||||
Для API error budget 1% это error ratio >14,4% / >6%; для ready budget 5%
|
||||
slow ratio >72% / >30%. Оценка правил каждые 5 секунд. Operational alerts:
|
||||
HTTP 5xx >10% за 30 с при `for:10s`, oldest queued age >10 с при
|
||||
@@ -41,7 +41,8 @@ HTTP 5xx >10% за 30 с при `for:10s`, oldest queued age >10 с при
|
||||
эксперимент не меняет его после наблюдений.
|
||||
|
||||
Профиль опыта: одинаковые API/worker/DB лимиты и синтетические данные.
|
||||
Короткий сбой ожидается увидеть short-правилом без long; длинный — обоими.
|
||||
Короткий сбой ожидается увидеть short-правилом без long; длительное `for`
|
||||
подавляет long на кратких всплесках. Длинный сбой должен вызвать оба.
|
||||
Записываются UTC timestamps воздействия, pending/firing/inactive из
|
||||
Prometheus rule API каждые 5 с, detection/recovery, false positives на
|
||||
спокойном baseline и выбранные SLI/queue values. Эти окна учебные и не
|
||||
|
||||
@@ -47,7 +47,7 @@ groups:
|
||||
and
|
||||
((sum(rate(messenger_http_requests_total{status_class="5xx",route!~"/health/.*"}[120s])) or vector(0))
|
||||
/ clamp_min(sum(rate(messenger_http_requests_total{route!~"/health/.*"}[120s])),0.001) > 0.06)
|
||||
for: 10s
|
||||
for: 90s
|
||||
labels:
|
||||
severity: warning
|
||||
slo: api
|
||||
@@ -81,7 +81,7 @@ groups:
|
||||
((sum(rate(messenger_attachments_ready_duration_seconds_count[120s]))
|
||||
- sum(rate(messenger_attachments_ready_duration_seconds_bucket{le="5"}[120s])))
|
||||
/ clamp_min(sum(rate(messenger_attachments_ready_duration_seconds_count[120s])),0.001) > 0.30)
|
||||
for: 10s
|
||||
for: 90s
|
||||
labels:
|
||||
severity: warning
|
||||
slo: ready
|
||||
|
||||
Reference in New Issue
Block a user