|
|
|
@@ -0,0 +1,35 @@
|
|
|
|
|
# Runbooks alert-ов мессенджера
|
|
|
|
|
|
|
|
|
|
Все шаги выполняются только по сохранённым наблюдениям: Grafana (dashboard «Messenger — API, worker, очередь», Explore → Prometheus / Loki / Tempo). Доступ к контейнерам нужен только для устранения причины, не для поиска.
|
|
|
|
|
|
|
|
|
|
## MessengerHighErrorRate
|
|
|
|
|
|
|
|
|
|
**Условие:** доля 5xx среди бизнес-запросов (все маршруты, кроме `/health/*`) за 1 минуту > 5% при ≥ 0.5 запроса/с, 30 s подряд. 4xx — ошибки клиента — не учитываются.
|
|
|
|
|
|
|
|
|
|
1. Dashboard → «Доля ошибок 5xx и 4xx» и «p95 по маршруту»: один маршрут или все? Если все — общая зависимость (БД, Redis, S3); если один — его обработчик.
|
|
|
|
|
2. «Пул БД: занято / ожидания»: `pgxpool_acquired_connections` упёрся в `pgxpool_max_connections` и растут ожидания (`pgxpool_empty_acquire_total`) — БД не отдаёт соединения или запросы висят.
|
|
|
|
|
3. Explore → Tempo: `{resource.service.name="messenger-api" && span.http.response.status_code >= 500}`. Открыть трассу и посмотреть, какой дочерний span занимает время:
|
|
|
|
|
* длинный `query …` / `acquire` (PostgreSQL) — проблема БД (блокировка, недоступность); подтвердить в БД `pg_stat_activity` (wait_event = Lock);
|
|
|
|
|
* длинный `S3 …` — хранилище файлов;
|
|
|
|
|
* дочерние spans короткие, а server span длинный — медленный сам обработчик/тело запроса.
|
|
|
|
|
4. Explore → Loki: `{service_name="messenger-api"} | detected_level=~"error|ERROR"` за то же окно; по `trace_id` из лога — переход в трассу.
|
|
|
|
|
5. Устранить причину; alert перейдёт в resolved, когда окно 1m очистится от ошибок.
|
|
|
|
|
|
|
|
|
|
## MessengerQueueLagGrowing
|
|
|
|
|
|
|
|
|
|
**Условие:** старейшая незавершённая job (queued/processing) старше 60 s, 30 s подряд. Возраст считается по PostgreSQL (источник истины), не по брокеру.
|
|
|
|
|
|
|
|
|
|
1. Dashboard → «Очередь: jobs по состоянию»: растёт `queued` при нулевом `processing` — задания никто не берёт; растёт `processing` — worker берёт, но не завершает.
|
|
|
|
|
2. «Jobs по исходу (rate)»: нет `done` — worker стоит; много `retry`/`requeue` — worker работает, но падает на зависимости (S3/БД).
|
|
|
|
|
3. `messenger_worker_capacity` есть? Нет серии ≥ 1 мин → worker не запущен (сработает и `MessengerWorkerAbsent`).
|
|
|
|
|
4. «RabbitMQ: сообщения в очередях»: ready растёт — сообщения есть, потребителя нет; ready = 0 при queued в БД — relay не публикует outbox (см. «outbox не опубликовано» и возраст outbox).
|
|
|
|
|
5. Tempo: последние `attachment.process process` (worker) и `attachment.process publish` (relay) — что выполнялось последним; Loki `{service_name="messenger-worker"}` — последние события (`worker.start`, `job.retry`, `shutdown`).
|
|
|
|
|
6. После запуска/починки worker backlog уменьшается (панель возраста падает до 0), alert — resolved.
|
|
|
|
|
|
|
|
|
|
## MessengerWorkerAbsent
|
|
|
|
|
|
|
|
|
|
Нет метрик ни одного worker 1 минуту (серии исчезают через 1 мин после остановки процесса: `metric_expiration` Collector). Проверить `docker compose ps worker`, логи запуска (`worker.start`) и доступность Collector (если Collector недоступен, исчезают метрики всех сервисов — смотреть `MessengerTelemetryExportFailing` и метрики самого Collector).
|
|
|
|
|
|
|
|
|
|
## MessengerTelemetryExportFailing
|
|
|
|
|
|
|
|
|
|
Collector не может доставить spans/логи в Tempo/Loki (после ограниченной очереди и 60 s повторов данные отбрасываются, счётчики `otelcol_exporter_send_failed_*`). Бизнес-API не затронут. Проверить доступность Tempo/Loki, `otelcol_exporter_queue_size` относительно `otelcol_exporter_queue_capacity`. Потерянные за время отказа трассы/логи не восстанавливаются; метрики приложения при этом продолжают собираться (Prometheus забирает их напрямую из Collector).
|