# Runbooks (lab6) Локальные инструкции для alert rules из `infra/prometheus/rules/messenger.yml`. Состояние alerts: Prometheus `http://127.0.0.1:9090/alerts` или Grafana → Alerting → Alert rules (источник Prometheus). Доставка наружу не настроена (не требуется). Общий порядок: **метрика говорит «что и сколько» → trace говорит «где именно» → лог говорит «почему»**. ## ApiHighErrorRate **Условие:** `messenger:http_error_ratio:rate1m > 0.05` при трафике ≥ 0.2 RPS, `for: 1m`. SLI = 5xx / все бизнес-запросы (health исключены инструментацией, 4xx не считаются). 1. Dashboard «Messenger lab6» → «RPS по маршруту и классу статуса»: какие `http_route` дают 5xx? Один маршрут (например `/api/v1/chats/{chat_id}/messages`) → проблема в его зависимостях; все маршруты → общая зависимость (БД, сеть). 2. «p95 по маршруту» и «DB pool: занято / ожидают». Растёт `waiting` и p95 ≈ 3 с → пул БД исчерпан (`DB_POOL_TIMEOUT_SECONDS=3`). p95 ≈ 5 с → `statement_timeout` (`DB_STATEMENT_TIMEOUT_MS=5000`) — БД медленная или заблокирована. 3. Grafana → Explore → Tempo, TraceQL: `{ resource.service.name="messenger-api" && status=error }`. Откройте trace: если длинный и красный — CLIENT span `INSERT`/`SELECT` (psycopg) с `QueryCanceled` → виновата БД, handler ни при чём. Если SQL-spans короткие, а SERVER span длинный → медленный код handler'а. 4. Кнопка «Logs for this span» (или Loki `{service_name="messenger-api"} | trace_id=""`) — лог `messenger.api database unavailable: QueryCanceled`. 5. Проверка БД: `docker compose --env-file .env exec postgres psql -U messenger -d messenger -c "select pid, state, wait_event_type, now()-query_start as dur, left(query,60) from pg_stat_activity where datname='messenger' order by dur desc nulls last;"` Видна блокирующая транзакция (`LOCK TABLE ...`, `idle in transaction`) → завершить: `select pg_terminate_backend();` 6. Resolved: доля 5xx < 5% — через ~20–60 с после устранения (окно 1m). ## QueueLagGrowing **Условие:** `max(messenger_queue_oldest_age_seconds{queue="attachments.jobs"}) > 60`, `for: 30s`. Метрику публикуют API-реплики из PostgreSQL, поэтому она жива и при остановленном worker. 1. Dashboard → «Глубина очереди»: растёт `queued`, а `processing` = 0 → никто не берёт задания. `outbox (не опубликовано)` > 0 → проблема до брокера (брокер недоступен), а не в worker. 2. «Saturation worker»: серии `capacity` нет → worker не работает (`docker compose ps worker`). busy/capacity = 100% долгое время → worker жив, но не успевает: смотреть «Длительность задания p95» и «Задания по исходу» (много `retry`/`error`?). 3. Tempo: `{ resource.service.name="messenger-worker" && kind=consumer && status=error }` — ошибки обработки; в trace видно, на каком S3/SQL span упала попытка, retry идут в той же трассе. 4. Loki: `{service_name="messenger-worker"} | event="job.processed" | outcome!="succeeded"`. 5. Действие: `python scripts/ops.py worker-start` (или `docker compose --env-file .env up -d worker`); при постоянных ошибках — `make jobs-stats`, `make jobs-failed`. 6. Resolved: после запуска worker очередь разбирается (в замере — за секунды), возраст → 0. ## TelemetryExportFailing **Условие:** Collector не отправляет spans/logs (`otelcol_exporter_send_failed_*` или `enqueue_failed_*` растут), `for: 1m`. 1. Dashboard → «Collector: принято / отправлено / потеряно» и «очередь экспорта»: `queue_size` упирается в 20 → backend недоступен. 2. `docker compose --env-file .env ps tempo loki` — какой backend лежит; `docker compose logs --tail 50 otel-collector`. 3. API и worker продолжают работать: проверить `make test`. Потери телеметрии = значение `enqueue_failed_*` + `send_failed_*` за период. 4. Действие: `docker compose --env-file .env up -d tempo loki`. После возврата очередь опустошается, `sent_*` растёт.