Files
mtusi2026lab6/docs/runbooks/MessengerApiHighErrorRate.md

21 lines
2.7 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# MessengerApiHighErrorRate
**Условие:** `messenger:api_errors:rate1m / messenger:api_requests:rate1m > 0.05` при `messenger:api_requests:rate1m > 0.1`, держится 30 с (warning).
SLI: 5xx / все бизнес-запросы API (маршруты `/health*`, `/internal/*` исключены, 4xx не ошибка). Локальная цель: availability ≥ 99.5% за 5m (`messenger:api_availability:ratio5m`).
## Источник сигнала
Histogram `http_server_request_duration_seconds_count{job="messenger-api"}` (OTLP, обе реплики); правила — `infra/prometheus/rules/recording.yml`.
## Диагностика (Grafana: «Messenger: API и worker»)
1. **Какие маршруты и коды.** Панель «RPS по маршруту и классу статуса»: 5xx на одном маршруте или на всех.
2. **Балансировщик или приложение.** `sum(rate(haproxy_backend_http_responses_total{proxy="api",code="5xx"}[1m]))` против 5xx API. 503 от HAProxy без 5xx API — нет готовых реплик (`haproxy_backend_active_servers{proxy="api"}`, `/health/ready`).
3. **БД.** `histogram_quantile(0.95, sum by (le, db_operation_name)(rate(db_client_operation_duration_seconds_bucket[1m])))`, пул: `db_client_connection_count` (used/idle), `db_client_connection_pending_requests`, wait p95. Рост длительности операций с `error_type` и 5xx — БД (блокировка, недоступность). Откройте трассу 5xx-запроса (Loki: `{service_name="messenger-api"} |= "5"` → поле TraceID): время ушло в CLIENT-span БД.
4. **Handler.** Если SERVER-span длиннее суммы DB-span, а операции БД быстрые — задержка в коде handler (разрыв между дочерними span-ами).
5. **S3/Redis/брокер.** Логи `ObjectStorage`, `OutboxRelay` (WARN) и span-ы ошибок; `rabbitmq_queue_messages_unacked`.
## Действие
Устранить причину: снять блокировку/вернуть БД (`pg_stat_activity`, `pg_locks`), вернуть недоступную реплику (`scripts/start-replica.sh`), восстановить S3/Redis. Перезапуск реплик — только после выяснения причины.
## Критерий восстановления
`messenger:api_errors:rate1m` близок к 0 и alert перешёл в resolved; `messenger:api_availability:ratio5m` возвращается ≥ 0.995 (окно 5m даёт запаздывание); очередь задач разобрана (`messenger_jobs_queue_depth` → 0).