Files
mtusi2026lab6-fork/docs/runbooks.md
T

46 lines
4.9 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Runbooks (lab6)
Локальные инструкции для alert rules из `infra/prometheus/rules/messenger.yml`.
Состояние alerts: Prometheus `http://127.0.0.1:9090/alerts` или Grafana → Alerting → Alert rules
(источник Prometheus). Доставка наружу не настроена (не требуется).
Общий порядок: **метрика говорит «что и сколько» → trace говорит «где именно» → лог говорит «почему»**.
## ApiHighErrorRate
**Условие:** `messenger:http_error_ratio:rate1m > 0.05` при трафике ≥ 0.2 RPS, `for: 1m`.
SLI = 5xx / все бизнес-запросы (health исключены инструментацией, 4xx не считаются).
1. Dashboard «Messenger lab6» → «RPS по маршруту и классу статуса»: какие `http_route` дают 5xx?
Один маршрут (например `/api/v1/chats/{chat_id}/messages`) → проблема в его зависимостях; все маршруты → общая зависимость (БД, сеть).
2. «p95 по маршруту» и «DB pool: занято / ожидают». Растёт `waiting` и p95 ≈ 3 с → пул БД исчерпан (`DB_POOL_TIMEOUT_SECONDS=3`). p95 ≈ 5 с → `statement_timeout` (`DB_STATEMENT_TIMEOUT_MS=5000`) — БД медленная или заблокирована.
3. Grafana → Explore → Tempo, TraceQL: `{ resource.service.name="messenger-api" && status=error }`.
Откройте trace: если длинный и красный — CLIENT span `INSERT`/`SELECT` (psycopg) с `QueryCanceled` → виновата БД, handler ни при чём. Если SQL-spans короткие, а SERVER span длинный → медленный код handler'а.
4. Кнопка «Logs for this span» (или Loki `{service_name="messenger-api"} | trace_id="<id>"`) — лог `messenger.api database unavailable: QueryCanceled`.
5. Проверка БД: `docker compose --env-file .env exec postgres psql -U messenger -d messenger -c "select pid, state, wait_event_type, now()-query_start as dur, left(query,60) from pg_stat_activity where datname='messenger' order by dur desc nulls last;"`
Видна блокирующая транзакция (`LOCK TABLE ...`, `idle in transaction`) → завершить: `select pg_terminate_backend(<pid>);`
6. Resolved: доля 5xx < 5% — через ~20–60 с после устранения (окно 1m).
## QueueLagGrowing
**Условие:** `max(messenger_queue_oldest_age_seconds{queue="attachments.jobs"}) > 60`, `for: 30s`.
Метрику публикуют API-реплики из PostgreSQL, поэтому она жива и при остановленном worker.
1. Dashboard → «Глубина очереди»: растёт `queued`, а `processing` = 0 → никто не берёт задания.
`outbox (не опубликовано)` > 0 → проблема до брокера (брокер недоступен), а не в worker.
2. «Saturation worker»: серии `capacity` нет → worker не работает (`docker compose ps worker`).
busy/capacity = 100% долгое время → worker жив, но не успевает: смотреть «Длительность задания p95» и «Задания по исходу» (много `retry`/`error`?).
3. Tempo: `{ resource.service.name="messenger-worker" && kind=consumer && status=error }` — ошибки обработки; в trace видно, на каком S3/SQL span упала попытка, retry идут в той же трассе.
4. Loki: `{service_name="messenger-worker"} | event="job.processed" | outcome!="succeeded"`.
5. Действие: `python scripts/ops.py worker-start` (или `docker compose --env-file .env up -d worker`); при постоянных ошибках — `make jobs-stats`, `make jobs-failed`.
6. Resolved: после запуска worker очередь разбирается (в замере — за секунды), возраст → 0.
## TelemetryExportFailing
**Условие:** Collector не отправляет spans/logs (`otelcol_exporter_send_failed_*` или `enqueue_failed_*` растут), `for: 1m`.
1. Dashboard → «Collector: принято / отправлено / потеряно» и «очередь экспорта»: `queue_size` упирается в 20 → backend недоступен.
2. `docker compose --env-file .env ps tempo loki` — какой backend лежит; `docker compose logs --tail 50 otel-collector`.
3. API и worker продолжают работать: проверить `make test`. Потери телеметрии = значение `enqueue_failed_*` + `send_failed_*` за период.
4. Действие: `docker compose --env-file .env up -d tempo loki`. После возврата очередь опустошается, `sent_*` растёт.