Files
mtusi2026lab6/docs/runbooks.md
T

35 lines
5.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Runbooks (локальный стенд lab6)
Grafana — `http://127.0.0.1:3000` (пользователь `admin`, пароль — `secrets/grafana_admin_password`), dashboard «Messenger: API, очередь, worker».
Prometheus/Loki/Tempo доступны только внутри сети стенда: запросы — через Grafana (Explore) либо `docker compose exec prometheus wget -qO- http://loki:3100/...`.
Общий порядок диагностики: **метрика → трасса → лог**. Метрика показывает *что* и *когда* (алерт, dashboard), трасса — *где* потрачено время/где ошибка
(по `trace_id` из лога или из Tempo), лог — *почему* (событие и безопасные поля без тел сообщений и токенов).
Связка лог → трасса: в Loki у каждой записи есть `trace_id`/`span_id` (в Grafana — ссылка «Tempo»); трасса → логи: кнопка «Logs for this span».
## HighErrorRate
Алерт `HighHttpErrorRate`: доля ответов 5xx среди бизнес-запросов (без `/health`) > 5 % при ≥ 0.5 запроса/с, 20 с. 4xx (неверный пароль, 404) в SLI не входят.
1. Dashboard → «RPS по статус-кодам» и «Доля ошибок»: какой маршрут даёт 5xx (`http_route` в `sum by (http_route)`).
2. Tempo: TraceQL `{ status = error && resource.service.name = "messenger-api" }` — в трассе виден спан с ошибкой (`s3.put_object`, `db.connection`, …) и `http.response.status_code`.
3. Loki: `{service_name="messenger-api"} | status >= 500` или поиск событий `s3_put_failed`, `db_unavailable`, `unhandled_exception` (поле `error_type`).
4. Действия: S3 недоступен → `docker compose ps seaweedfs`, `docker compose start seaweedfs`; БД → `docker compose ps postgres`, readiness реплик; затем алерт возвращается в resolved через ~1 мин (окно `rate[1m]`).
## HighLatency
Алерт `HighLatencyP95`: p95 всех бизнес-запросов (из суммарной гистограммы всех реплик) > 0.5 с.
1. Dashboard «Latency p50/p95/p99» и «Latency p95 по маршрутам» → какой маршрут.
2. Отличить **медленную БД** от **медленного обработчика**: «DB pool: занято/ожидают» (рост `waiting`) и длительность спанов `db.connection` в медленной трассе (`{ name = "db.connection" && duration > 300ms }`). Если почти всё время запроса внутри `db.connection` — БД; если время в самом серверном спане вне дочерних — код приложения/CPU (`process_cpu_time`).
3. БД: `log_min_duration_statement=500` пишет медленные запросы в лог `postgres`; проверить блокировки/триггеры (`pg_stat_activity`).
## QueueLag
Алерт `QueueLagGrowing`: возраст старейшего задания (`queued`/`processing`) > 30 с, 20 с.
1. Dashboard «Возраст старейшей задачи», «Глубина очереди», «Worker: занято/ёмкость», «Задания по исходам».
2. Нет метрик worker / `busy=0` и растёт возраст → worker остановлен или не подключён к брокеру: `docker compose ps worker rabbitmq`, `docker compose logs worker`. `busy == capacity` при росте очереди → не хватает мощности (увеличить `WORKER_CONCURRENCY`/реплики, см. отчёт lab5).
3. Много `retried`/`failed` → причина в логах worker (`job_rescheduled`, `reason`) и в трассе consumer-спана (S3/БД). Реестр: `docker compose run --rm -T worker python -m app.replay list`.
4. После устранения причины очередь рассасывается, алерт переходит в resolved.
## Telemetry
Алерт `TelemetryExportFailing`: Collector не может отправить данные в Tempo/Loki.
1. Это сбой наблюдаемости, а не приложения: бизнес-метрики API (ошибки, RPS) не меняются, приложение работает (SDK и Collector ограничивают очередь/RAM и отбрасывают данные).
2. Проверить: `docker compose ps tempo loki`; метрики Collector `otelcol_exporter_queue_size`, `otelcol_exporter_send_failed_*`, `otelcol_process_memory_rss`.
3. Запустить хранилища: `docker compose start tempo loki`. Данные за время простоя трасс/логов потеряны (счётчики `send_failed`), метрики не затронуты (путь Collector → Prometheus независим).