5.0 KiB
Runbooks (локальный стенд lab6)
Grafana — http://127.0.0.1:3000 (пользователь admin, пароль — secrets/grafana_admin_password), dashboard «Messenger: API, очередь, worker».
Prometheus/Loki/Tempo доступны только внутри сети стенда: запросы — через Grafana (Explore) либо docker compose exec prometheus wget -qO- http://loki:3100/....
Общий порядок диагностики: метрика → трасса → лог. Метрика показывает что и когда (алерт, dashboard), трасса — где потрачено время/где ошибка
(по trace_id из лога или из Tempo), лог — почему (событие и безопасные поля без тел сообщений и токенов).
Связка лог → трасса: в Loki у каждой записи есть trace_id/span_id (в Grafana — ссылка «Tempo»); трасса → логи: кнопка «Logs for this span».
HighErrorRate
Алерт HighHttpErrorRate: доля ответов 5xx среди бизнес-запросов (без /health) > 5 % при ≥ 0.5 запроса/с, 20 с. 4xx (неверный пароль, 404) в SLI не входят.
- Dashboard → «RPS по статус-кодам» и «Доля ошибок»: какой маршрут даёт 5xx (
http_routeвsum by (http_route)). - Tempo: TraceQL
{ status = error && resource.service.name = "messenger-api" }— в трассе виден спан с ошибкой (s3.put_object,db.connection, …) иhttp.response.status_code. - Loki:
{service_name="messenger-api"} | status >= 500или поиск событийs3_put_failed,db_unavailable,unhandled_exception(полеerror_type). - Действия: S3 недоступен →
docker compose ps seaweedfs,docker compose start seaweedfs; БД →docker compose ps postgres, readiness реплик; затем алерт возвращается в resolved через ~1 мин (окноrate[1m]).
HighLatency
Алерт HighLatencyP95: p95 всех бизнес-запросов (из суммарной гистограммы всех реплик) > 0.5 с.
- Dashboard «Latency p50/p95/p99» и «Latency p95 по маршрутам» → какой маршрут.
- Отличить медленную БД от медленного обработчика: «DB pool: занято/ожидают» (рост
waiting) и длительность спановdb.connectionв медленной трассе ({ name = "db.connection" && duration > 300ms }). Если почти всё время запроса внутриdb.connection— БД; если время в самом серверном спане вне дочерних — код приложения/CPU (process_cpu_time). - БД:
log_min_duration_statement=500пишет медленные запросы в логpostgres; проверить блокировки/триггеры (pg_stat_activity).
QueueLag
Алерт QueueLagGrowing: возраст старейшего задания (queued/processing) > 30 с, 20 с.
- Dashboard «Возраст старейшей задачи», «Глубина очереди», «Worker: занято/ёмкость», «Задания по исходам».
- Нет метрик worker /
busy=0и растёт возраст → worker остановлен или не подключён к брокеру:docker compose ps worker rabbitmq,docker compose logs worker.busy == capacityпри росте очереди → не хватает мощности (увеличитьWORKER_CONCURRENCY/реплики, см. отчёт lab5). - Много
retried/failed→ причина в логах worker (job_rescheduled,reason) и в трассе consumer-спана (S3/БД). Реестр:docker compose run --rm -T worker python -m app.replay list. - После устранения причины очередь рассасывается, алерт переходит в resolved.
Telemetry
Алерт TelemetryExportFailing: Collector не может отправить данные в Tempo/Loki.
- Это сбой наблюдаемости, а не приложения: бизнес-метрики API (ошибки, RPS) не меняются, приложение работает (SDK и Collector ограничивают очередь/RAM и отбрасывают данные).
- Проверить:
docker compose ps tempo loki; метрики Collectorotelcol_exporter_queue_size,otelcol_exporter_send_failed_*,otelcol_process_memory_rss. - Запустить хранилища:
docker compose start tempo loki. Данные за время простоя трасс/логов потеряны (счётчикиsend_failed), метрики не затронуты (путь Collector → Prometheus независим).