Files
mtusi2026lab6/docs/runbooks.md
T

5.0 KiB
Raw Blame History

Runbooks (локальный стенд lab6)

Grafana — http://127.0.0.1:3000 (пользователь admin, пароль — secrets/grafana_admin_password), dashboard «Messenger: API, очередь, worker». Prometheus/Loki/Tempo доступны только внутри сети стенда: запросы — через Grafana (Explore) либо docker compose exec prometheus wget -qO- http://loki:3100/....

Общий порядок диагностики: метрика → трасса → лог. Метрика показывает что и когда (алерт, dashboard), трасса — где потрачено время/где ошибка (по trace_id из лога или из Tempo), лог — почему (событие и безопасные поля без тел сообщений и токенов). Связка лог → трасса: в Loki у каждой записи есть trace_id/span_id (в Grafana — ссылка «Tempo»); трасса → логи: кнопка «Logs for this span».

HighErrorRate

Алерт HighHttpErrorRate: доля ответов 5xx среди бизнес-запросов (без /health) > 5 % при ≥ 0.5 запроса/с, 20 с. 4xx (неверный пароль, 404) в SLI не входят.

  1. Dashboard → «RPS по статус-кодам» и «Доля ошибок»: какой маршрут даёт 5xx (http_route в sum by (http_route)).
  2. Tempo: TraceQL { status = error && resource.service.name = "messenger-api" } — в трассе виден спан с ошибкой (s3.put_object, db.connection, …) и http.response.status_code.
  3. Loki: {service_name="messenger-api"} | status >= 500 или поиск событий s3_put_failed, db_unavailable, unhandled_exception (поле error_type).
  4. Действия: S3 недоступен → docker compose ps seaweedfs, docker compose start seaweedfs; БД → docker compose ps postgres, readiness реплик; затем алерт возвращается в resolved через ~1 мин (окно rate[1m]).

HighLatency

Алерт HighLatencyP95: p95 всех бизнес-запросов (из суммарной гистограммы всех реплик) > 0.5 с.

  1. Dashboard «Latency p50/p95/p99» и «Latency p95 по маршрутам» → какой маршрут.
  2. Отличить медленную БД от медленного обработчика: «DB pool: занято/ожидают» (рост waiting) и длительность спанов db.connection в медленной трассе ({ name = "db.connection" && duration > 300ms }). Если почти всё время запроса внутри db.connection — БД; если время в самом серверном спане вне дочерних — код приложения/CPU (process_cpu_time).
  3. БД: log_min_duration_statement=500 пишет медленные запросы в лог postgres; проверить блокировки/триггеры (pg_stat_activity).

QueueLag

Алерт QueueLagGrowing: возраст старейшего задания (queued/processing) > 30 с, 20 с.

  1. Dashboard «Возраст старейшей задачи», «Глубина очереди», «Worker: занято/ёмкость», «Задания по исходам».
  2. Нет метрик worker / busy=0 и растёт возраст → worker остановлен или не подключён к брокеру: docker compose ps worker rabbitmq, docker compose logs worker. busy == capacity при росте очереди → не хватает мощности (увеличить WORKER_CONCURRENCY/реплики, см. отчёт lab5).
  3. Много retried/failed → причина в логах worker (job_rescheduled, reason) и в трассе consumer-спана (S3/БД). Реестр: docker compose run --rm -T worker python -m app.replay list.
  4. После устранения причины очередь рассасывается, алерт переходит в resolved.

Telemetry

Алерт TelemetryExportFailing: Collector не может отправить данные в Tempo/Loki.

  1. Это сбой наблюдаемости, а не приложения: бизнес-метрики API (ошибки, RPS) не меняются, приложение работает (SDK и Collector ограничивают очередь/RAM и отбрасывают данные).
  2. Проверить: docker compose ps tempo loki; метрики Collector otelcol_exporter_queue_size, otelcol_exporter_send_failed_*, otelcol_process_memory_rss.
  3. Запустить хранилища: docker compose start tempo loki. Данные за время простоя трасс/логов потеряны (счётчики send_failed), метрики не затронуты (путь Collector → Prometheus независим).