6.4 KiB
Runbooks
Alert rules: infra/prometheus/rules/messenger.yml. Состояние: Grafana → dashboard «Messenger overview» → панель «Alerts»; или Prometheus API GET /api/v1/alerts (из контейнера tools: wget -qO- http://grafana:3000/api/datasources/proxy/uid/prometheus/api/v1/alerts). Уведомления наружу не отправляются.
SLO
| SLI | Формула | SLO | Окно |
|---|---|---|---|
| Доступность API | 1 − 5xx / все бизнес-запросы (без /health/*) |
≥ 99% | 1 ч (учебный стенд; в эксплуатации — 30 дней) |
| Задержка API | доля бизнес-запросов с длительностью ≤ 0,5 с (bucket le="0.5") |
≥ 95% | 1 ч |
| Готовность вложений | доля вложений, ставших ready за ≤ 10 с от принятия upload (bucket le="10") |
≥ 95% | 1 ч |
MessengerHighErrorRate
Условие: доля 5xx среди бизнес-запросов за 5 минут > 5% при трафике > 0,05 rps, держится 1 минуту. При SLO 99% это сжигание бюджета ошибок в 5 раз быстрее допустимого.
Проверить:
- Панель «Ответы по классам статуса» и «p95 по маршрутам»: какой маршрут даёт 5xx.
- Loki:
{service_name="messenger-api"} | event="http.error"— полеmessage(database unavailable,object storage unavailable,Internal server error),route,request_id. Поtrace_idзаписи — trace в Tempo. - В trace: на каком span ошибка —
prisma:engine:db_query,S3.PutObjectили код обработчика. docker compose ps— живы ли postgres, s3, redis;/health/readyреплик.
Действия: восстановить зависимость (docker compose start postgres и т. п.); при ошибке кода — откат образа. Readiness исключает реплику без БД из HAProxy автоматически.
Resolved: доля 5xx за 5 минут снова ниже 5%.
MessengerJobQueueLag
Условие: старейшее задание в состоянии queued с наступившим next_attempt_at ждёт дольше 60 с, держится 1 минуту. Источник — таблица attachment_jobs (метрика jobs_queue_oldest_age_seconds от relay), а не брокер: она показывает и задания, сообщения которых ещё не опубликованы.
Проверить:
- Панель «Worker: занято / ёмкость».
busy = capacity— worker насыщен (медленная обработка); метрик worker нет совсем — процесс остановлен;busy = 0при растущей очереди — worker не получает сообщения (брокер, relay). - «Задания по исходу»: много
retry— зависимость worker (S3/БД) отвечает ошибками. docker compose ps worker relay rabbitmq; логи worker в Loki:{service_name="messenger-worker"}.- Возраст отдельных заданий:
SELECT id, status, attempt, next_attempt_at FROM attachment_jobs WHERE status='queued' ORDER BY next_attempt_at LIMIT 10;
Действия: запустить worker (docker compose start worker) или добавить реплик/увеличить WORKER_CONCURRENCY при насыщении. Задания не теряются: при старте worker обрабатывает backlog.
Resolved: backlog разобран, возраст старейшего задания < 60 с.
MessengerSlowApi
Условие: p95 бизнес-запросов за 5 минут > 1 с при трафике > 0,05 rps, держится 2 минуты.
Как отличить медленную БД от медленного обработчика:
- медленная/недоступная БД: растёт
db_client_connection_pending_requests(ожидание пула) и/или в trace медленного запроса основное время — spansprisma:engine:db_query; ошибкиdatabase unavailable(503); - медленный обработчик: пул свободен, spans БД короткие, время приходится на сам SERVER span или S3/рендеринг; растёт CPU API.
Действия: для БД — проверить postgres (pg_stat_activity, блокировки, ресурсы контейнера); для обработчика — профилировать маршрут, найденный в «p95 по маршрутам».
Resolved: p95 за 5 минут < 1 с.
TelemetryExportFailing
Условие: Collector получает ошибки при отправке в Loki/Tempo/Prometheus или очередь exporter заполнена больше чем наполовину, держится 1 минуту.
Что происходит: API и worker продолжают работать: SDK отправляет телеметрию асинхронно с таймаутом 5 с и ограниченными очередями (2048 записей), Collector держит ограниченную очередь (queue_size: 200 batch на exporter), повторяет отправку до 60 с и затем отбрасывает данные. memory_limiter (160 MiB) отказывает в приёме при нехватке памяти. Потери видны в otelcol_exporter_send_failed_* и otelcol_receiver_refused_*.
Проверить: панель «Конвейер телеметрии»; docker compose ps loki tempo prometheus; логи Collector docker compose logs otel-collector.
Действия: запустить хранилище (docker compose start loki tempo). Данные, отброшенные за время недоступности, не восстанавливаются; логи остаются в stdout контейнеров (docker compose logs).
Resolved: отказов отправки нет, очередь exporter опустела.