4.9 KiB
Runbooks (lab6)
Локальные инструкции для alert rules из infra/prometheus/rules/messenger.yml.
Состояние alerts: Prometheus http://127.0.0.1:9090/alerts или Grafana → Alerting → Alert rules
(источник Prometheus). Доставка наружу не настроена (не требуется).
Общий порядок: метрика говорит «что и сколько» → trace говорит «где именно» → лог говорит «почему».
ApiHighErrorRate
Условие: messenger:http_error_ratio:rate1m > 0.05 при трафике ≥ 0.2 RPS, for: 1m.
SLI = 5xx / все бизнес-запросы (health исключены инструментацией, 4xx не считаются).
- Dashboard «Messenger lab6» → «RPS по маршруту и классу статуса»: какие
http_routeдают 5xx? Один маршрут (например/api/v1/chats/{chat_id}/messages) → проблема в его зависимостях; все маршруты → общая зависимость (БД, сеть). - «p95 по маршруту» и «DB pool: занято / ожидают». Растёт
waitingи p95 ≈ 3 с → пул БД исчерпан (DB_POOL_TIMEOUT_SECONDS=3). p95 ≈ 5 с →statement_timeout(DB_STATEMENT_TIMEOUT_MS=5000) — БД медленная или заблокирована. - Grafana → Explore → Tempo, TraceQL:
{ resource.service.name="messenger-api" && status=error }. Откройте trace: если длинный и красный — CLIENT spanINSERT/SELECT(psycopg) сQueryCanceled→ виновата БД, handler ни при чём. Если SQL-spans короткие, а SERVER span длинный → медленный код handler'а. - Кнопка «Logs for this span» (или Loki
{service_name="messenger-api"} | trace_id="<id>") — логmessenger.api database unavailable: QueryCanceled. - Проверка БД:
docker compose --env-file .env exec postgres psql -U messenger -d messenger -c "select pid, state, wait_event_type, now()-query_start as dur, left(query,60) from pg_stat_activity where datname='messenger' order by dur desc nulls last;"Видна блокирующая транзакция (LOCK TABLE ...,idle in transaction) → завершить:select pg_terminate_backend(<pid>); - Resolved: доля 5xx < 5% — через ~20–60 с после устранения (окно 1m).
QueueLagGrowing
Условие: max(messenger_queue_oldest_age_seconds{queue="attachments.jobs"}) > 60, for: 30s.
Метрику публикуют API-реплики из PostgreSQL, поэтому она жива и при остановленном worker.
- Dashboard → «Глубина очереди»: растёт
queued, аprocessing= 0 → никто не берёт задания.outbox (не опубликовано)> 0 → проблема до брокера (брокер недоступен), а не в worker. - «Saturation worker»: серии
capacityнет → worker не работает (docker compose ps worker). busy/capacity = 100% долгое время → worker жив, но не успевает: смотреть «Длительность задания p95» и «Задания по исходу» (многоretry/error?). - Tempo:
{ resource.service.name="messenger-worker" && kind=consumer && status=error }— ошибки обработки; в trace видно, на каком S3/SQL span упала попытка, retry идут в той же трассе. - Loki:
{service_name="messenger-worker"} | event="job.processed" | outcome!="succeeded". - Действие:
python scripts/ops.py worker-start(илиdocker compose --env-file .env up -d worker); при постоянных ошибках —make jobs-stats,make jobs-failed. - Resolved: после запуска worker очередь разбирается (в замере — за секунды), возраст → 0.
TelemetryExportFailing
Условие: Collector не отправляет spans/logs (otelcol_exporter_send_failed_* или enqueue_failed_* растут), for: 1m.
- Dashboard → «Collector: принято / отправлено / потеряно» и «очередь экспорта»:
queue_sizeупирается в 20 → backend недоступен. docker compose --env-file .env ps tempo loki— какой backend лежит;docker compose logs --tail 50 otel-collector.- API и worker продолжают работать: проверить
make test. Потери телеметрии = значениеenqueue_failed_*+send_failed_*за период. - Действие:
docker compose --env-file .env up -d tempo loki. После возврата очередь опустошается,sent_*растёт.