Files
mtusi2026lab6-fork/docs/runbooks.md
T

4.9 KiB
Raw Blame History

Runbooks (lab6)

Локальные инструкции для alert rules из infra/prometheus/rules/messenger.yml. Состояние alerts: Prometheus http://127.0.0.1:9090/alerts или Grafana → Alerting → Alert rules (источник Prometheus). Доставка наружу не настроена (не требуется).

Общий порядок: метрика говорит «что и сколько» → trace говорит «где именно» → лог говорит «почему».

ApiHighErrorRate

Условие: messenger:http_error_ratio:rate1m > 0.05 при трафике ≥ 0.2 RPS, for: 1m. SLI = 5xx / все бизнес-запросы (health исключены инструментацией, 4xx не считаются).

  1. Dashboard «Messenger lab6» → «RPS по маршруту и классу статуса»: какие http_route дают 5xx? Один маршрут (например /api/v1/chats/{chat_id}/messages) → проблема в его зависимостях; все маршруты → общая зависимость (БД, сеть).
  2. «p95 по маршруту» и «DB pool: занято / ожидают». Растёт waiting и p95 ≈ 3 с → пул БД исчерпан (DB_POOL_TIMEOUT_SECONDS=3). p95 ≈ 5 с → statement_timeout (DB_STATEMENT_TIMEOUT_MS=5000) — БД медленная или заблокирована.
  3. Grafana → Explore → Tempo, TraceQL: { resource.service.name="messenger-api" && status=error }. Откройте trace: если длинный и красный — CLIENT span INSERT/SELECT (psycopg) с QueryCanceled → виновата БД, handler ни при чём. Если SQL-spans короткие, а SERVER span длинный → медленный код handler'а.
  4. Кнопка «Logs for this span» (или Loki {service_name="messenger-api"} | trace_id="<id>") — лог messenger.api database unavailable: QueryCanceled.
  5. Проверка БД: docker compose --env-file .env exec postgres psql -U messenger -d messenger -c "select pid, state, wait_event_type, now()-query_start as dur, left(query,60) from pg_stat_activity where datname='messenger' order by dur desc nulls last;" Видна блокирующая транзакция (LOCK TABLE ..., idle in transaction) → завершить: select pg_terminate_backend(<pid>);
  6. Resolved: доля 5xx < 5% — через ~20–60 с после устранения (окно 1m).

QueueLagGrowing

Условие: max(messenger_queue_oldest_age_seconds{queue="attachments.jobs"}) > 60, for: 30s. Метрику публикуют API-реплики из PostgreSQL, поэтому она жива и при остановленном worker.

  1. Dashboard → «Глубина очереди»: растёт queued, а processing = 0 → никто не берёт задания. outbox (не опубликовано) > 0 → проблема до брокера (брокер недоступен), а не в worker.
  2. «Saturation worker»: серии capacity нет → worker не работает (docker compose ps worker). busy/capacity = 100% долгое время → worker жив, но не успевает: смотреть «Длительность задания p95» и «Задания по исходу» (много retry/error?).
  3. Tempo: { resource.service.name="messenger-worker" && kind=consumer && status=error } — ошибки обработки; в trace видно, на каком S3/SQL span упала попытка, retry идут в той же трассе.
  4. Loki: {service_name="messenger-worker"} | event="job.processed" | outcome!="succeeded".
  5. Действие: python scripts/ops.py worker-start (или docker compose --env-file .env up -d worker); при постоянных ошибках — make jobs-stats, make jobs-failed.
  6. Resolved: после запуска worker очередь разбирается (в замере — за секунды), возраст → 0.

TelemetryExportFailing

Условие: Collector не отправляет spans/logs (otelcol_exporter_send_failed_* или enqueue_failed_* растут), for: 1m.

  1. Dashboard → «Collector: принято / отправлено / потеряно» и «очередь экспорта»: queue_size упирается в 20 → backend недоступен.
  2. docker compose --env-file .env ps tempo loki — какой backend лежит; docker compose logs --tail 50 otel-collector.
  3. API и worker продолжают работать: проверить make test. Потери телеметрии = значение enqueue_failed_* + send_failed_* за период.
  4. Действие: docker compose --env-file .env up -d tempo loki. После возврата очередь опустошается, sent_* растёт.