Files
mtusi2026lab6/docs/runbooks.md
T

6.4 KiB
Raw Blame History

Runbooks

Alert rules: infra/prometheus/rules/messenger.yml. Состояние: Grafana → dashboard «Messenger overview» → панель «Alerts»; или Prometheus API GET /api/v1/alerts (из контейнера tools: wget -qO- http://grafana:3000/api/datasources/proxy/uid/prometheus/api/v1/alerts). Уведомления наружу не отправляются.

SLO

SLI Формула SLO Окно
Доступность API 1 − 5xx / все бизнес-запросы (без /health/*) ≥ 99% 1 ч (учебный стенд; в эксплуатации — 30 дней)
Задержка API доля бизнес-запросов с длительностью ≤ 0,5 с (bucket le="0.5") ≥ 95% 1 ч
Готовность вложений доля вложений, ставших ready за ≤ 10 с от принятия upload (bucket le="10") ≥ 95% 1 ч

MessengerHighErrorRate

Условие: доля 5xx среди бизнес-запросов за 5 минут > 5% при трафике > 0,05 rps, держится 1 минуту. При SLO 99% это сжигание бюджета ошибок в 5 раз быстрее допустимого.

Проверить:

  1. Панель «Ответы по классам статуса» и «p95 по маршрутам»: какой маршрут даёт 5xx.
  2. Loki: {service_name="messenger-api"} | event="http.error" — поле message (database unavailable, object storage unavailable, Internal server error), route, request_id. По trace_id записи — trace в Tempo.
  3. В trace: на каком span ошибка — prisma:engine:db_query, S3.PutObject или код обработчика.
  4. docker compose ps — живы ли postgres, s3, redis; /health/ready реплик.

Действия: восстановить зависимость (docker compose start postgres и т. п.); при ошибке кода — откат образа. Readiness исключает реплику без БД из HAProxy автоматически.

Resolved: доля 5xx за 5 минут снова ниже 5%.

MessengerJobQueueLag

Условие: старейшее задание в состоянии queued с наступившим next_attempt_at ждёт дольше 60 с, держится 1 минуту. Источник — таблица attachment_jobs (метрика jobs_queue_oldest_age_seconds от relay), а не брокер: она показывает и задания, сообщения которых ещё не опубликованы.

Проверить:

  1. Панель «Worker: занято / ёмкость». busy = capacity — worker насыщен (медленная обработка); метрик worker нет совсем — процесс остановлен; busy = 0 при растущей очереди — worker не получает сообщения (брокер, relay).
  2. «Задания по исходу»: много retry — зависимость worker (S3/БД) отвечает ошибками.
  3. docker compose ps worker relay rabbitmq; логи worker в Loki: {service_name="messenger-worker"}.
  4. Возраст отдельных заданий: SELECT id, status, attempt, next_attempt_at FROM attachment_jobs WHERE status='queued' ORDER BY next_attempt_at LIMIT 10;

Действия: запустить worker (docker compose start worker) или добавить реплик/увеличить WORKER_CONCURRENCY при насыщении. Задания не теряются: при старте worker обрабатывает backlog.

Resolved: backlog разобран, возраст старейшего задания < 60 с.

MessengerSlowApi

Условие: p95 бизнес-запросов за 5 минут > 1 с при трафике > 0,05 rps, держится 2 минуты.

Как отличить медленную БД от медленного обработчика:

  • медленная/недоступная БД: растёт db_client_connection_pending_requests (ожидание пула) и/или в trace медленного запроса основное время — spans prisma:engine:db_query; ошибки database unavailable (503);
  • медленный обработчик: пул свободен, spans БД короткие, время приходится на сам SERVER span или S3/рендеринг; растёт CPU API.

Действия: для БД — проверить postgres (pg_stat_activity, блокировки, ресурсы контейнера); для обработчика — профилировать маршрут, найденный в «p95 по маршрутам».

Resolved: p95 за 5 минут < 1 с.

TelemetryExportFailing

Условие: Collector получает ошибки при отправке в Loki/Tempo/Prometheus или очередь exporter заполнена больше чем наполовину, держится 1 минуту.

Что происходит: API и worker продолжают работать: SDK отправляет телеметрию асинхронно с таймаутом 5 с и ограниченными очередями (2048 записей), Collector держит ограниченную очередь (queue_size: 200 batch на exporter), повторяет отправку до 60 с и затем отбрасывает данные. memory_limiter (160 MiB) отказывает в приёме при нехватке памяти. Потери видны в otelcol_exporter_send_failed_* и otelcol_receiver_refused_*.

Проверить: панель «Конвейер телеметрии»; docker compose ps loki tempo prometheus; логи Collector docker compose logs otel-collector.

Действия: запустить хранилище (docker compose start loki tempo). Данные, отброшенные за время недоступности, не восстанавливаются; логи остаются в stdout контейнеров (docker compose logs).

Resolved: отказов отправки нет, очередь exporter опустела.