forked from mtusi2026/mtusi2026lab6
46 lines
4.9 KiB
Markdown
46 lines
4.9 KiB
Markdown
# Runbooks (lab6)
|
||
|
||
Локальные инструкции для alert rules из `infra/prometheus/rules/messenger.yml`.
|
||
Состояние alerts: Prometheus `http://127.0.0.1:9090/alerts` или Grafana → Alerting → Alert rules
|
||
(источник Prometheus). Доставка наружу не настроена (не требуется).
|
||
|
||
Общий порядок: **метрика говорит «что и сколько» → trace говорит «где именно» → лог говорит «почему»**.
|
||
|
||
## ApiHighErrorRate
|
||
|
||
**Условие:** `messenger:http_error_ratio:rate1m > 0.05` при трафике ≥ 0.2 RPS, `for: 1m`.
|
||
SLI = 5xx / все бизнес-запросы (health исключены инструментацией, 4xx не считаются).
|
||
|
||
1. Dashboard «Messenger lab6» → «RPS по маршруту и классу статуса»: какие `http_route` дают 5xx?
|
||
Один маршрут (например `/api/v1/chats/{chat_id}/messages`) → проблема в его зависимостях; все маршруты → общая зависимость (БД, сеть).
|
||
2. «p95 по маршруту» и «DB pool: занято / ожидают». Растёт `waiting` и p95 ≈ 3 с → пул БД исчерпан (`DB_POOL_TIMEOUT_SECONDS=3`). p95 ≈ 5 с → `statement_timeout` (`DB_STATEMENT_TIMEOUT_MS=5000`) — БД медленная или заблокирована.
|
||
3. Grafana → Explore → Tempo, TraceQL: `{ resource.service.name="messenger-api" && status=error }`.
|
||
Откройте trace: если длинный и красный — CLIENT span `INSERT`/`SELECT` (psycopg) с `QueryCanceled` → виновата БД, handler ни при чём. Если SQL-spans короткие, а SERVER span длинный → медленный код handler'а.
|
||
4. Кнопка «Logs for this span» (или Loki `{service_name="messenger-api"} | trace_id="<id>"`) — лог `messenger.api database unavailable: QueryCanceled`.
|
||
5. Проверка БД: `docker compose --env-file .env exec postgres psql -U messenger -d messenger -c "select pid, state, wait_event_type, now()-query_start as dur, left(query,60) from pg_stat_activity where datname='messenger' order by dur desc nulls last;"`
|
||
Видна блокирующая транзакция (`LOCK TABLE ...`, `idle in transaction`) → завершить: `select pg_terminate_backend(<pid>);`
|
||
6. Resolved: доля 5xx < 5% — через ~20–60 с после устранения (окно 1m).
|
||
|
||
## QueueLagGrowing
|
||
|
||
**Условие:** `max(messenger_queue_oldest_age_seconds{queue="attachments.jobs"}) > 60`, `for: 30s`.
|
||
Метрику публикуют API-реплики из PostgreSQL, поэтому она жива и при остановленном worker.
|
||
|
||
1. Dashboard → «Глубина очереди»: растёт `queued`, а `processing` = 0 → никто не берёт задания.
|
||
`outbox (не опубликовано)` > 0 → проблема до брокера (брокер недоступен), а не в worker.
|
||
2. «Saturation worker»: серии `capacity` нет → worker не работает (`docker compose ps worker`).
|
||
busy/capacity = 100% долгое время → worker жив, но не успевает: смотреть «Длительность задания p95» и «Задания по исходу» (много `retry`/`error`?).
|
||
3. Tempo: `{ resource.service.name="messenger-worker" && kind=consumer && status=error }` — ошибки обработки; в trace видно, на каком S3/SQL span упала попытка, retry идут в той же трассе.
|
||
4. Loki: `{service_name="messenger-worker"} | event="job.processed" | outcome!="succeeded"`.
|
||
5. Действие: `python scripts/ops.py worker-start` (или `docker compose --env-file .env up -d worker`); при постоянных ошибках — `make jobs-stats`, `make jobs-failed`.
|
||
6. Resolved: после запуска worker очередь разбирается (в замере — за секунды), возраст → 0.
|
||
|
||
## TelemetryExportFailing
|
||
|
||
**Условие:** Collector не отправляет spans/logs (`otelcol_exporter_send_failed_*` или `enqueue_failed_*` растут), `for: 1m`.
|
||
|
||
1. Dashboard → «Collector: принято / отправлено / потеряно» и «очередь экспорта»: `queue_size` упирается в 20 → backend недоступен.
|
||
2. `docker compose --env-file .env ps tempo loki` — какой backend лежит; `docker compose logs --tail 50 otel-collector`.
|
||
3. API и worker продолжают работать: проверить `make test`. Потери телеметрии = значение `enqueue_failed_*` + `send_failed_*` за период.
|
||
4. Действие: `docker compose --env-file .env up -d tempo loki`. После возврата очередь опустошается, `sent_*` растёт.
|