Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
8.1 KiB
Runbook: alerts и инциденты lab6
Правила — infra/prometheus/alerts.yml, состояние — Grafana → Alerting (источник Prometheus) или
docker compose exec -T prometheus wget -qO- http://localhost:9090/api/v1/alerts. Dashboard —
Grafana → «Messenger — API, worker, очередь» (provisioning, uid messenger-lab6).
Порядок всегда один: метрика (что и насколько сломано) → лог (какая операция, request_id/job_id) →
trace (в каком span теряется время или возникает ошибка) → проверка зависимости → восстановление → проверка resolved.
ApiAvailabilityFastBurn / ApiAvailabilitySlowBurn / ApiHighErrorRate
Смысл: доля 5xx среди бизнес-запросов (без /health/*) выше нормы. Fast burn (14.4×, окна 2m30s + 30s) — острый
отказ, нужен немедленный ответ; slow burn (6×, 15m + 1m30s) — длительная частичная деградация; ApiHighErrorRate —
простой порог 5 % за 1 мин, реагирует и на короткие всплески (см. REPORT.md, трек 2).
- Панель «API: запросы/с по маршруту и классу статуса»: какие маршруты дают 5xx, все или один.
Одна реплика (
sum by (http_route, http_response_status_code) (rate(http_server_request_duration_seconds_count{job="messenger-api", http_response_status_code=~"5.."}[5m])) sum by (instance) (rate(http_server_request_duration_seconds_count{job="messenger-api", http_response_status_code=~"5.."}[5m]))instance) → проблема процесса/контейнера; все реплики и один маршрут → зависимость этого маршрута. - Логи ошибок (панель логов или Explore → Loki):
В записи есть
{service_name="messenger-api"} | event="http.request" | http_response_status_code=~"5.." {service_name="messenger-api"} | detected_level="error"request_id(тот же, что в заголовкеX-Request-Idи в теле ошибки) иtrace_id→ ссылка в Tempo. - Trace (Explore → Tempo, TraceQL):
{ resource.service.name = "messenger-api" && status = error }. Смотрим, какой дочерний span красный: JDBC (PostgreSQL),GET/SETRedis,S3.PutObject/GetObject(SeaweedFS),attachments publish(RabbitMQ). - Проверить зависимость:
docker compose ps; для БД —db_client_connections_pending_requestsна панели «Пул соединений БД», для брокера —docker compose exec rabbitmq rabbitmq-diagnostics -q check_port_connectivity. - Особый случай учебного стенда:
http_routeпустой/unmatched, нет дочерних span, телоinjected fault— это инъекцияX-Fault-Inject: http-500(работает только приFAULT_INJECTION=1), а не дефект кода. - Восстановление: поднять зависимость (
docker compose start <service>), убедиться, что доля 5xx на панели падает; fast burn гаснет через ~30–60 с, slow burn — через ~1–2 мин (короткое окно), ApiHighErrorRate — через ~1 мин.
QueueLagHigh / WorkerAbsent / TimeToReady*
Смысл: QueueLagHigh — старейшее queued-задание ждёт > 60 с (gauge из таблицы jobs, отдают API и worker);
WorkerAbsent — метрик worker нет 1 мин; TimeToReadyFast/SlowBurn — вложения становятся ready дольше 10 с
(считается при ready, поэтому при полностью остановленном worker молчит и срабатывает уже на разборе backlog).
- Панель «Очередь: глубина и возраст самого старого задания»: возраст растёт линейно, глубина растёт → задания не забирают.
- WorkerAbsent тоже firing → процесс worker не жив:
docker compose ps worker,docker compose logs --tail=50 worker(OOM, ошибка старта, healthcheck). Не firing → worker жив, но не успевает или не получает сообщения:- «Worker: занятость (busy / capacity)» около 1 → насыщение; «Worker: длительность попытки p95» выросла → медленная обработка (S3, размер картинок, CPU-лимит контейнера);
- занятость около 0 при растущей очереди → сообщения не доходят:
docker compose exec rabbitmq rabbitmqctl list_queues name messages consumers, в логах APIoutbox relay paused(брокер недоступен, outbox копится в БД); {service_name="messenger-worker"} | event=~"job.retry|job.failed"— задания падают и уходят в backoff.
- По одному заданию: в логе worker
job <job_id> attempt N …→ trace_id → trace отPOST /api/v1/chats/{id}/attachmentsчерезattachments publishдоattachments.process processи S3/JDBC; повторные попытки — дочерние span той же трассы. Статус задания:docker compose --profile tools run --rm jobctl status. - Восстановление:
docker compose start worker(или устранить причину из п. 2). Проверка: глубина → 0, QueueLagHigh и WorkerAbsent resolved; TimeToReady* может кратко сработать на разборе backlog и погаснуть по короткому окну.
Медленная БД (p99 растёт, 5xx нет)
Признак: на «API: длительность p50/p95/p99» p99 вырос, доля 5xx нет; db_client_connections_pending_requests > 0 или
usage{state="used"} у предела пула.
- Tempo:
{ resource.service.name = "messenger-api" && duration > 2s }. Если почти вся длительность SERVER span — это один JDBC span (INSERT messenger.messagesи т. п.) — ждём БД; если JDBC span короткие, а SERVER длинный — медленный код обработчика/внешний вызов. - В БД:
docker compose exec -T postgres psql -U messenger -d messenger -c "select pid, wait_event_type, wait_event, now()-xact_start as xact, left(query,60) from pg_stat_activity where datname='messenger' and state<>'idle'"— блокировка (Lock), долгая транзакция;select pg_terminate_backend(<pid>)для зависшей сессии. - Проверка: p99 возвращается к норме, pending = 0.
Недоступен backend телеметрии (Loki/Tempo/Prometheus)
Признак: в Grafana ошибки источника, пустые панели логов/трасс; API отвечает нормально.
docker compose ps loki tempo prometheus; метрики Collector (если жив Prometheus):otelcol_exporter_queue_size,otelcol_exporter_send_failed_spans_total,otelcol_exporter_send_failed_log_records_total,otelcol_exporter_enqueue_failed_*.- Collector держит очередь ≤ 500 батчей на exporter и повторяет ≤ 60 с,
memory_limiter(180 MiB) ограничивает память: данные дольше этого окна теряются и учитываются вsend_failed/enqueue_failed; бизнес-запросы от этого не зависят. - Восстановление:
docker compose start loki tempo; новые логи/трассы появляются через ~10–20 с; пропуск в истории не восстанавливается.