Files
mtusi2026lab6/docs/runbooks/MessengerApiHighErrorRate.md

2.7 KiB
Raw Permalink Blame History

MessengerApiHighErrorRate

Условие: messenger:api_errors:rate1m / messenger:api_requests:rate1m > 0.05 при messenger:api_requests:rate1m > 0.1, держится 30 с (warning). SLI: 5xx / все бизнес-запросы API (маршруты /health*, /internal/* исключены, 4xx не ошибка). Локальная цель: availability ≥ 99.5% за 5m (messenger:api_availability:ratio5m).

Источник сигнала

Histogram http_server_request_duration_seconds_count{job="messenger-api"} (OTLP, обе реплики); правила — infra/prometheus/rules/recording.yml.

Диагностика (Grafana: «Messenger: API и worker»)

  1. Какие маршруты и коды. Панель «RPS по маршруту и классу статуса»: 5xx на одном маршруте или на всех.
  2. Балансировщик или приложение. sum(rate(haproxy_backend_http_responses_total{proxy="api",code="5xx"}[1m])) против 5xx API. 503 от HAProxy без 5xx API — нет готовых реплик (haproxy_backend_active_servers{proxy="api"}, /health/ready).
  3. БД. histogram_quantile(0.95, sum by (le, db_operation_name)(rate(db_client_operation_duration_seconds_bucket[1m]))), пул: db_client_connection_count (used/idle), db_client_connection_pending_requests, wait p95. Рост длительности операций с error_type и 5xx — БД (блокировка, недоступность). Откройте трассу 5xx-запроса (Loki: {service_name="messenger-api"} |= "5" → поле TraceID): время ушло в CLIENT-span БД.
  4. Handler. Если SERVER-span длиннее суммы DB-span, а операции БД быстрые — задержка в коде handler (разрыв между дочерними span-ами).
  5. S3/Redis/брокер. Логи ObjectStorage, OutboxRelay (WARN) и span-ы ошибок; rabbitmq_queue_messages_unacked.

Действие

Устранить причину: снять блокировку/вернуть БД (pg_stat_activity, pg_locks), вернуть недоступную реплику (scripts/start-replica.sh), восстановить S3/Redis. Перезапуск реплик — только после выяснения причины.

Критерий восстановления

messenger:api_errors:rate1m близок к 0 и alert перешёл в resolved; messenger:api_availability:ratio5m возвращается ≥ 0.995 (окно 5m даёт запаздывание); очередь задач разобрана (messenger_jobs_queue_depth → 0).