From 43bcde73de6fa2228d841c6add3e78875faaaf99 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=D0=A1=D0=B0=D0=BC=D0=BE=D1=85=D0=B2=D0=B0=D0=BB=D0=BE?= =?UTF-8?q?=D0=B2=20=D0=90=D0=BD=D0=B4=D1=80=D0=B5=D0=B9=20=D0=A0=D0=B5?= =?UTF-8?q?=D0=BC=D0=BE=D0=B2=D0=B8=D1=87?= Date: Fri, 2 Oct 2026 15:35:32 +0300 Subject: [PATCH] fix: Hold long SLO burn alert through brief spikes (U4 setup) --- evidence/slo-thresholds-2026-10-02.md | 5 +++-- infra/prometheus/rules.yml | 4 ++-- 2 files changed, 5 insertions(+), 4 deletions(-) diff --git a/evidence/slo-thresholds-2026-10-02.md b/evidence/slo-thresholds-2026-10-02.md index 4c39d7d..1ecb8be 100644 --- a/evidence/slo-thresholds-2026-10-02.md +++ b/evidence/slo-thresholds-2026-10-02.md @@ -33,7 +33,7 @@ Grafana. На момент фиксации fault matrix из перенесён Локальные burn-rate окна уменьшены пропорционально времени демонстрации: short требует одновременно 15 и 30 секунд, threshold 14,4 бюджета и `for:10s`; -long требует одновременно 60 и 120 секунд, threshold 6 и `for:10s`. +long требует одновременно 60 и 120 секунд, threshold 6 и `for:90s`. Для API error budget 1% это error ratio >14,4% / >6%; для ready budget 5% slow ratio >72% / >30%. Оценка правил каждые 5 секунд. Operational alerts: HTTP 5xx >10% за 30 с при `for:10s`, oldest queued age >10 с при @@ -41,7 +41,8 @@ HTTP 5xx >10% за 30 с при `for:10s`, oldest queued age >10 с при эксперимент не меняет его после наблюдений. Профиль опыта: одинаковые API/worker/DB лимиты и синтетические данные. -Короткий сбой ожидается увидеть short-правилом без long; длинный — обоими. +Короткий сбой ожидается увидеть short-правилом без long; длительное `for` +подавляет long на кратких всплесках. Длинный сбой должен вызвать оба. Записываются UTC timestamps воздействия, pending/firing/inactive из Prometheus rule API каждые 5 с, detection/recovery, false positives на спокойном baseline и выбранные SLI/queue values. Эти окна учебные и не diff --git a/infra/prometheus/rules.yml b/infra/prometheus/rules.yml index 3cd1414..1b0729d 100644 --- a/infra/prometheus/rules.yml +++ b/infra/prometheus/rules.yml @@ -47,7 +47,7 @@ groups: and ((sum(rate(messenger_http_requests_total{status_class="5xx",route!~"/health/.*"}[120s])) or vector(0)) / clamp_min(sum(rate(messenger_http_requests_total{route!~"/health/.*"}[120s])),0.001) > 0.06) - for: 10s + for: 90s labels: severity: warning slo: api @@ -81,7 +81,7 @@ groups: ((sum(rate(messenger_attachments_ready_duration_seconds_count[120s])) - sum(rate(messenger_attachments_ready_duration_seconds_bucket{le="5"}[120s]))) / clamp_min(sum(rate(messenger_attachments_ready_duration_seconds_count[120s])),0.001) > 0.30) - for: 10s + for: 90s labels: severity: warning slo: ready