2.7 KiB
MessengerApiHighErrorRate
Условие: messenger:api_errors:rate1m / messenger:api_requests:rate1m > 0.05 при messenger:api_requests:rate1m > 0.1, держится 30 с (warning).
SLI: 5xx / все бизнес-запросы API (маршруты /health*, /internal/* исключены, 4xx не ошибка). Локальная цель: availability ≥ 99.5% за 5m (messenger:api_availability:ratio5m).
Источник сигнала
Histogram http_server_request_duration_seconds_count{job="messenger-api"} (OTLP, обе реплики); правила — infra/prometheus/rules/recording.yml.
Диагностика (Grafana: «Messenger: API и worker»)
- Какие маршруты и коды. Панель «RPS по маршруту и классу статуса»: 5xx на одном маршруте или на всех.
- Балансировщик или приложение.
sum(rate(haproxy_backend_http_responses_total{proxy="api",code="5xx"}[1m]))против 5xx API. 503 от HAProxy без 5xx API — нет готовых реплик (haproxy_backend_active_servers{proxy="api"},/health/ready). - БД.
histogram_quantile(0.95, sum by (le, db_operation_name)(rate(db_client_operation_duration_seconds_bucket[1m]))), пул:db_client_connection_count(used/idle),db_client_connection_pending_requests, wait p95. Рост длительности операций сerror_typeи 5xx — БД (блокировка, недоступность). Откройте трассу 5xx-запроса (Loki:{service_name="messenger-api"} |= "5"→ поле TraceID): время ушло в CLIENT-span БД. - Handler. Если SERVER-span длиннее суммы DB-span, а операции БД быстрые — задержка в коде handler (разрыв между дочерними span-ами).
- S3/Redis/брокер. Логи
ObjectStorage,OutboxRelay(WARN) и span-ы ошибок;rabbitmq_queue_messages_unacked.
Действие
Устранить причину: снять блокировку/вернуть БД (pg_stat_activity, pg_locks), вернуть недоступную реплику (scripts/start-replica.sh), восстановить S3/Redis. Перезапуск реплик — только после выяснения причины.
Критерий восстановления
messenger:api_errors:rate1m близок к 0 и alert перешёл в resolved; messenger:api_availability:ratio5m возвращается ≥ 0.995 (окно 5m даёт запаздывание); очередь задач разобрана (messenger_jobs_queue_depth → 0).