forked from mtusi2026/mtusi2026lab6
ЛР6: OpenTelemetry, Collector, Prometheus/Loki/Tempo, Grafana, алерты, исследование цены наблюдаемости
This commit is contained in:
Binary file not shown.
@@ -0,0 +1,34 @@
|
||||
# Runbooks (локальный стенд lab6)
|
||||
|
||||
Grafana — `http://127.0.0.1:3000` (пользователь `admin`, пароль — `secrets/grafana_admin_password`), dashboard «Messenger: API, очередь, worker».
|
||||
Prometheus/Loki/Tempo доступны только внутри сети стенда: запросы — через Grafana (Explore) либо `docker compose exec prometheus wget -qO- http://loki:3100/...`.
|
||||
|
||||
Общий порядок диагностики: **метрика → трасса → лог**. Метрика показывает *что* и *когда* (алерт, dashboard), трасса — *где* потрачено время/где ошибка
|
||||
(по `trace_id` из лога или из Tempo), лог — *почему* (событие и безопасные поля без тел сообщений и токенов).
|
||||
Связка лог → трасса: в Loki у каждой записи есть `trace_id`/`span_id` (в Grafana — ссылка «Tempo»); трасса → логи: кнопка «Logs for this span».
|
||||
|
||||
## HighErrorRate
|
||||
Алерт `HighHttpErrorRate`: доля ответов 5xx среди бизнес-запросов (без `/health`) > 5 % при ≥ 0.5 запроса/с, 20 с. 4xx (неверный пароль, 404) в SLI не входят.
|
||||
1. Dashboard → «RPS по статус-кодам» и «Доля ошибок»: какой маршрут даёт 5xx (`http_route` в `sum by (http_route)`).
|
||||
2. Tempo: TraceQL `{ status = error && resource.service.name = "messenger-api" }` — в трассе виден спан с ошибкой (`s3.put_object`, `db.connection`, …) и `http.response.status_code`.
|
||||
3. Loki: `{service_name="messenger-api"} | status >= 500` или поиск событий `s3_put_failed`, `db_unavailable`, `unhandled_exception` (поле `error_type`).
|
||||
4. Действия: S3 недоступен → `docker compose ps seaweedfs`, `docker compose start seaweedfs`; БД → `docker compose ps postgres`, readiness реплик; затем алерт возвращается в resolved через ~1 мин (окно `rate[1m]`).
|
||||
|
||||
## HighLatency
|
||||
Алерт `HighLatencyP95`: p95 всех бизнес-запросов (из суммарной гистограммы всех реплик) > 0.5 с.
|
||||
1. Dashboard «Latency p50/p95/p99» и «Latency p95 по маршрутам» → какой маршрут.
|
||||
2. Отличить **медленную БД** от **медленного обработчика**: «DB pool: занято/ожидают» (рост `waiting`) и длительность спанов `db.connection` в медленной трассе (`{ name = "db.connection" && duration > 300ms }`). Если почти всё время запроса внутри `db.connection` — БД; если время в самом серверном спане вне дочерних — код приложения/CPU (`process_cpu_time`).
|
||||
3. БД: `log_min_duration_statement=500` пишет медленные запросы в лог `postgres`; проверить блокировки/триггеры (`pg_stat_activity`).
|
||||
|
||||
## QueueLag
|
||||
Алерт `QueueLagGrowing`: возраст старейшего задания (`queued`/`processing`) > 30 с, 20 с.
|
||||
1. Dashboard «Возраст старейшей задачи», «Глубина очереди», «Worker: занято/ёмкость», «Задания по исходам».
|
||||
2. Нет метрик worker / `busy=0` и растёт возраст → worker остановлен или не подключён к брокеру: `docker compose ps worker rabbitmq`, `docker compose logs worker`. `busy == capacity` при росте очереди → не хватает мощности (увеличить `WORKER_CONCURRENCY`/реплики, см. отчёт lab5).
|
||||
3. Много `retried`/`failed` → причина в логах worker (`job_rescheduled`, `reason`) и в трассе consumer-спана (S3/БД). Реестр: `docker compose run --rm -T worker python -m app.replay list`.
|
||||
4. После устранения причины очередь рассасывается, алерт переходит в resolved.
|
||||
|
||||
## Telemetry
|
||||
Алерт `TelemetryExportFailing`: Collector не может отправить данные в Tempo/Loki.
|
||||
1. Это сбой наблюдаемости, а не приложения: бизнес-метрики API (ошибки, RPS) не меняются, приложение работает (SDK и Collector ограничивают очередь/RAM и отбрасывают данные).
|
||||
2. Проверить: `docker compose ps tempo loki`; метрики Collector `otelcol_exporter_queue_size`, `otelcol_exporter_send_failed_*`, `otelcol_process_memory_rss`.
|
||||
3. Запустить хранилища: `docker compose start tempo loki`. Данные за время простоя трасс/логов потеряны (счётчики `send_failed`), метрики не затронуты (путь Collector → Prometheus независим).
|
||||
Reference in New Issue
Block a user