forked from mtusi2026/mtusi2026lab6
21 lines
2.7 KiB
Markdown
21 lines
2.7 KiB
Markdown
# MessengerApiHighErrorRate
|
||
|
||
**Условие:** `messenger:api_errors:rate1m / messenger:api_requests:rate1m > 0.05` при `messenger:api_requests:rate1m > 0.1`, держится 30 с (warning).
|
||
SLI: 5xx / все бизнес-запросы API (маршруты `/health*`, `/internal/*` исключены, 4xx не ошибка). Локальная цель: availability ≥ 99.5% за 5m (`messenger:api_availability:ratio5m`).
|
||
|
||
## Источник сигнала
|
||
Histogram `http_server_request_duration_seconds_count{job="messenger-api"}` (OTLP, обе реплики); правила — `infra/prometheus/rules/recording.yml`.
|
||
|
||
## Диагностика (Grafana: «Messenger: API и worker»)
|
||
1. **Какие маршруты и коды.** Панель «RPS по маршруту и классу статуса»: 5xx на одном маршруте или на всех.
|
||
2. **Балансировщик или приложение.** `sum(rate(haproxy_backend_http_responses_total{proxy="api",code="5xx"}[1m]))` против 5xx API. 503 от HAProxy без 5xx API — нет готовых реплик (`haproxy_backend_active_servers{proxy="api"}`, `/health/ready`).
|
||
3. **БД.** `histogram_quantile(0.95, sum by (le, db_operation_name)(rate(db_client_operation_duration_seconds_bucket[1m])))`, пул: `db_client_connection_count` (used/idle), `db_client_connection_pending_requests`, wait p95. Рост длительности операций с `error_type` и 5xx — БД (блокировка, недоступность). Откройте трассу 5xx-запроса (Loki: `{service_name="messenger-api"} |= "5"` → поле TraceID): время ушло в CLIENT-span БД.
|
||
4. **Handler.** Если SERVER-span длиннее суммы DB-span, а операции БД быстрые — задержка в коде handler (разрыв между дочерними span-ами).
|
||
5. **S3/Redis/брокер.** Логи `ObjectStorage`, `OutboxRelay` (WARN) и span-ы ошибок; `rabbitmq_queue_messages_unacked`.
|
||
|
||
## Действие
|
||
Устранить причину: снять блокировку/вернуть БД (`pg_stat_activity`, `pg_locks`), вернуть недоступную реплику (`scripts/start-replica.sh`), восстановить S3/Redis. Перезапуск реплик — только после выяснения причины.
|
||
|
||
## Критерий восстановления
|
||
`messenger:api_errors:rate1m` близок к 0 и alert перешёл в resolved; `messenger:api_availability:ratio5m` возвращается ≥ 0.995 (окно 5m даёт запаздывание); очередь задач разобрана (`messenger_jobs_queue_depth` → 0).
|