forked from mtusi2026/mtusi2026lab7
лр7: Docker-прогон, evidence, исправления
This commit is contained in:
@@ -0,0 +1,123 @@
|
||||
# Runbooks алертов (lab6)
|
||||
|
||||
Правила — `infra/prometheus/rules/alerts.yml`, unit-тесты правил — `infra/prometheus/tests/alerts_test.yml`.
|
||||
Состояние алертов: http://127.0.0.1:9090/alerts или Grafana → Alerting → Alert rules (data source rules).
|
||||
Dashboard: Grafana http://127.0.0.1:3000 → Messenger → «Messenger — lab6 observability».
|
||||
Общий порядок: **метрика говорит «что и когда», трасса — «где именно», лог — «почему»**.
|
||||
|
||||
Ссылки на трассу из лога: Grafana → Explore → Loki → запись → поле `trace_id` → «Открыть трассу».
|
||||
Из спана в логи: Tempo → спан → «Logs for this span» (запрос по `trace_id`).
|
||||
|
||||
---
|
||||
|
||||
## MessengerHighErrorRate
|
||||
|
||||
**Что значит.** Больше 5% бизнес-запросов API (без `/health/*`) за минуту закончились 5xx, дольше минуты,
|
||||
при трафике > 0,2 запроса/с. 4xx (неверный пароль, чужой чат) сюда не входят.
|
||||
|
||||
**Влияние.** Пользователи получают 503/500, SLO-1 (99% без 5xx за час) расходует бюджет в 5+ раз быстрее нормы.
|
||||
|
||||
**Найти причину.**
|
||||
1. Какие маршруты и коды: dashboard «RPS по классу статуса» или
|
||||
`sum by (http_route, http_response_status_code) (rate(http_server_request_duration_seconds_count{job="messenger-api", http_response_status_class="5xx"}[1m]))`.
|
||||
503 — недоступна зависимость, 500 — ошибка кода.
|
||||
2. Медленная БД или медленный обработчик:
|
||||
- `histogram_quantile(0.95, sum by (le) (rate(db_client_connection_wait_time_seconds_bucket[1m])))` и
|
||||
`db_client_connection_pending_requests` — запросы ждут соединение из пула → соединения заняты долгими запросами;
|
||||
- Tempo, TraceQL `{ resource.service.name = "messenger-api" && status = error }` → открыть трассу:
|
||||
если почти всё время server-спана занимает дочерний спан `INSERT`/`SELECT` (PostgreSQL) с ошибкой —
|
||||
проблема в БД; если время в `argon2id hash`/`inspect image` или «пустое» время самого server-спана — в обработчике;
|
||||
`redis GET` с ошибкой — Redis; `S3 PutObject` — SeaweedFS.
|
||||
3. Логи API: `{service_name="messenger-api"} | event="db.unavailable"` (поле `error_type`: `QueryCanceled` —
|
||||
statement_timeout 5 с, `PoolTimeout` — нет свободного соединения 3 с, `OperationalError` — БД недоступна);
|
||||
`| event="redis.unavailable"`, `| event="s3.unavailable"`.
|
||||
4. В PostgreSQL (если трассы указывают на БД): `docker compose exec postgres psql -U messenger -d messenger -c
|
||||
"SELECT pid, state, wait_event_type, wait_event, now()-query_start AS age, left(query,60) FROM pg_stat_activity
|
||||
WHERE datname='messenger' ORDER BY age DESC"` — блокировки (`wait_event_type = Lock`) и долгие запросы.
|
||||
|
||||
**Исправить.** Снять блокировку/долгий запрос (`pg_terminate_backend(pid)`), восстановить зависимость
|
||||
(`docker compose start postgres|redis|s3`). Не перезапускать API «на всякий случай»: причина не в нём.
|
||||
|
||||
**Проверить восстановление.** Доля 5xx на dashboard → 0, алерт становится inactive через ~1–2 минуты
|
||||
(окно rate 1m). Пример разбора: REPORT.md, инцидент 2.
|
||||
|
||||
---
|
||||
|
||||
## MessengerQueueLagGrowing
|
||||
|
||||
**Что значит.** Старейшее задание обработки вложения, которое уже можно брать (статус `queued`,
|
||||
`available_at` прошёл), ждёт больше 30 с дольше минуты. Пока задания не забирают, возраст растёт линейно.
|
||||
|
||||
**Влияние.** Вложения остаются `queued`, клиенты не получают превью; SLO-3 (95% ready ≤ 30 с) нарушается.
|
||||
|
||||
**Найти причину.**
|
||||
1. `messenger_queue_consumers{messaging_destination_name="attachments.process.v1"}` = 0 → worker не подключён
|
||||
(см. MessengerWorkerNoConsumers). > 0 → worker есть, но не успевает или падает на заданиях.
|
||||
2. Насыщение worker: `sum(messenger_worker_busy) / sum(messenger_worker_capacity)` ≈ 1 и растёт
|
||||
`messenger_queue_depth` → нужно больше потоков/реплик worker (`WORKER_CONCURRENCY`, `--scale worker=2`).
|
||||
3. Ошибки обработки: `sum by (outcome) (rate(messenger_job_duration_seconds_count[5m]))` — много `retry`/`failed`;
|
||||
логи `{service_name="messenger-worker"} | event=~"job.retry|job.failed"` (поле `error_type`).
|
||||
4. Отличить от проблемы публикации: `messenger_outbox_oldest_age_seconds` большой → сообщения не доходят до
|
||||
брокера (dispatcher/RabbitMQ), а не worker; лог `{service_name="messenger-dispatcher"} | event="broker.unavailable"`.
|
||||
5. Трасса любой зависшей загрузки (по `trace_id` из лога API `event="http.request"` для POST attachments):
|
||||
есть `publish attachments`, но нет `process attachments.process.v1` → сообщение в брокере, его никто не взял.
|
||||
|
||||
**Исправить.** `docker compose start worker` (или `scripts/worker.sh start`); при насыщении — увеличить
|
||||
параллелизм; при массовых ошибках — устранить их причину, затем `ops.py replay` для failed.
|
||||
|
||||
**Проверить восстановление.** `messenger_jobs_backlog{status="queued"}` → 0, возраст → 0, вложения `ready`,
|
||||
алерт inactive через ~15–30 с. Пример: REPORT.md, инцидент 1.
|
||||
|
||||
---
|
||||
|
||||
## MessengerWorkerNoConsumers
|
||||
|
||||
**Что значит.** RabbitMQ дольше минуты не видит ни одного подписчика очереди `attachments.process.v1`.
|
||||
|
||||
**Найти причину.** `docker compose ps worker`; последние записи `{service_name="messenger-worker"}` в Loki
|
||||
(`event="service.stopped"` — остановлен штатно; `event="broker.unavailable"` — не может подключиться к брокеру;
|
||||
отсутствие записей и метрик `messenger_worker_capacity` — процесс не запущен).
|
||||
|
||||
**Исправить.** Запустить worker / восстановить RabbitMQ. Принятые задания не теряются (outbox + durable очередь).
|
||||
|
||||
---
|
||||
|
||||
## MessengerDbPoolSaturated
|
||||
|
||||
**Что значит.** На реплике API запросы дольше минуты ждут свободное соединение из пула (`DB_POOL_MAX`=10).
|
||||
|
||||
**Найти причину.** Почти всегда это следствие медленных запросов или блокировок в PostgreSQL, а не нехватки
|
||||
соединений: те же шаги, что в MessengerHighErrorRate (трассы с долгими DB-спанами, `pg_stat_activity`).
|
||||
Увеличивать пул имеет смысл, только если DB-спаны быстрые, а ожидание пула долгое при высоком RPS.
|
||||
|
||||
---
|
||||
|
||||
## TelemetryExportFailing
|
||||
|
||||
**Что значит.** Collector не может отправить данные в Tempo / Loki / Prometheus (метка `exporter`): очередь
|
||||
exporter дольше минуты заполнена больше чем на 5% (хранилище не принимает), либо пакеты уже теряются —
|
||||
у пакета истекло окно повторов 120 с (`send_failed`) или очередь переполнена (`enqueue_failed`). Окно повторов
|
||||
считается для пакета с первой попытки, время ожидания в очереди в него не входит: очередь (200 пакетов) —
|
||||
это и есть буфер на время недоступности.
|
||||
|
||||
**Влияние.** На пользователей не влияет. Телеметрия этого периода частично потеряна (сколько — счётчики
|
||||
`otelcol_exporter_send_failed_*`, `otelcol_exporter_enqueue_failed_*`).
|
||||
|
||||
**Найти причину.** `docker compose ps tempo loki prometheus`; `otelcol_exporter_queue_size / otelcol_exporter_queue_capacity`;
|
||||
логи Collector: `docker compose logs otel-collector --tail 50` (через Loki их не смотреть — это тот же конвейер).
|
||||
|
||||
**Исправить.** `docker compose start tempo loki prometheus`. Очередь Collector досылается сама (в пределах окна
|
||||
повторов). Проверить: `otelcol_exporter_queue_size` → 0, свежая трасса находится. Пример: REPORT.md, инцидент 3.
|
||||
|
||||
---
|
||||
|
||||
## TelemetryCollectorDown
|
||||
|
||||
**Что значит.** Prometheus не может забрать метрики Collector (`up{job="otel-collector"} == 0`).
|
||||
|
||||
**Влияние.** Приложение работает; SDK каждого процесса держит не больше 2048 спанов и 2048 записей логов.
|
||||
Потери считаются в самом процессе: пакет, который Collector не принял, — `otel_sdk_exporter_span_exported_total{error_type!=""}`
|
||||
(обычно `ConnectionError`), переполнение очереди — `otel_sdk_processor_span_processed_total{error_type="queue_full"}`. Метрик приложения за
|
||||
этот период нет (пропуск на графиках), cumulative-счётчики после восстановления продолжат расти без потери итогов.
|
||||
|
||||
**Исправить.** `docker compose start otel-collector`; проверить, что трассы и метрики снова приходят.
|
||||
Reference in New Issue
Block a user