lab6: tail decision_wait 10s (потеря ошибок при 5s), измерение восстановления трасс после отказа Tempo, runbooks

This commit is contained in:
2026-11-12 12:50:19 +03:00
parent 2c09b347f2
commit 57d8d3f324
4 changed files with 45 additions and 4 deletions
+35
View File
@@ -0,0 +1,35 @@
# Runbooks alert-ов мессенджера
Все шаги выполняются только по сохранённым наблюдениям: Grafana (dashboard «Messenger — API, worker, очередь», Explore → Prometheus / Loki / Tempo). Доступ к контейнерам нужен только для устранения причины, не для поиска.
## MessengerHighErrorRate
**Условие:** доля 5xx среди бизнес-запросов (все маршруты, кроме `/health/*`) за 1 минуту > 5% при ≥ 0.5 запроса/с, 30 s подряд. 4xx — ошибки клиента — не учитываются.
1. Dashboard → «Доля ошибок 5xx и 4xx» и «p95 по маршруту»: один маршрут или все? Если все — общая зависимость (БД, Redis, S3); если один — его обработчик.
2. «Пул БД: занято / ожидания»: `pgxpool_acquired_connections` упёрся в `pgxpool_max_connections` и растут ожидания (`pgxpool_empty_acquire_total`) — БД не отдаёт соединения или запросы висят.
3. Explore → Tempo: `{resource.service.name="messenger-api" && span.http.response.status_code >= 500}`. Открыть трассу и посмотреть, какой дочерний span занимает время:
* длинный `query …` / `acquire` (PostgreSQL) — проблема БД (блокировка, недоступность); подтвердить в БД `pg_stat_activity` (wait_event = Lock);
* длинный `S3 …` — хранилище файлов;
* дочерние spans короткие, а server span длинный — медленный сам обработчик/тело запроса.
4. Explore → Loki: `{service_name="messenger-api"} | detected_level=~"error|ERROR"` за то же окно; по `trace_id` из лога — переход в трассу.
5. Устранить причину; alert перейдёт в resolved, когда окно 1m очистится от ошибок.
## MessengerQueueLagGrowing
**Условие:** старейшая незавершённая job (queued/processing) старше 60 s, 30 s подряд. Возраст считается по PostgreSQL (источник истины), не по брокеру.
1. Dashboard → «Очередь: jobs по состоянию»: растёт `queued` при нулевом `processing` — задания никто не берёт; растёт `processing` — worker берёт, но не завершает.
2. «Jobs по исходу (rate)»: нет `done` — worker стоит; много `retry`/`requeue` — worker работает, но падает на зависимости (S3/БД).
3. `messenger_worker_capacity` есть? Нет серии ≥ 1 мин → worker не запущен (сработает и `MessengerWorkerAbsent`).
4. «RabbitMQ: сообщения в очередях»: ready растёт — сообщения есть, потребителя нет; ready = 0 при queued в БД — relay не публикует outbox (см. «outbox не опубликовано» и возраст outbox).
5. Tempo: последние `attachment.process process` (worker) и `attachment.process publish` (relay) — что выполнялось последним; Loki `{service_name="messenger-worker"}` — последние события (`worker.start`, `job.retry`, `shutdown`).
6. После запуска/починки worker backlog уменьшается (панель возраста падает до 0), alert — resolved.
## MessengerWorkerAbsent
Нет метрик ни одного worker 1 минуту (серии исчезают через 1 мин после остановки процесса: `metric_expiration` Collector). Проверить `docker compose ps worker`, логи запуска (`worker.start`) и доступность Collector (если Collector недоступен, исчезают метрики всех сервисов — смотреть `MessengerTelemetryExportFailing` и метрики самого Collector).
## MessengerTelemetryExportFailing
Collector не может доставить spans/логи в Tempo/Loki (после ограниченной очереди и 60 s повторов данные отбрасываются, счётчики `otelcol_exporter_send_failed_*`). Бизнес-API не затронут. Проверить доступность Tempo/Loki, `otelcol_exporter_queue_size` относительно `otelcol_exporter_queue_capacity`. Потерянные за время отказа трассы/логи не восстанавливаются; метрики приложения при этом продолжают собираться (Prometheus забирает их напрямую из Collector).
+4 -2
View File
@@ -24,9 +24,11 @@ receivers:
processors:
# Решение по трассе целиком через decision_wait после её первого span;
# num_traces ограничивает память буфера решений.
# num_traces ограничивает память буфера решений. decision_wait должен быть больше
# самой длинной трассы: при 5 s терялась часть ошибок по таймауту обработчика (5 s) —
# решение принималось раньше, чем приходил корневой span со статусом ERROR (прогон 3).
tail_sampling:
decision_wait: 5s
decision_wait: 10s
num_traces: 20000
expected_new_traces_per_sec: 200
policies:
+5 -1
View File
@@ -401,7 +401,11 @@ def scenario_backend_down(c):
rid = 'obs-after-' + uuid.uuid4().hex[:8]
c.call('POST', '/api/v1/chats/%s/messages' % chat['id'], 201, actor=alice, body={'text': 'after'},
headers={'Idempotency-Key': uuid.uuid4().hex, 'X-Request-Id': rid})
phase['new_trace_after_recovery'] = bool(o.find_trace('{span.request_id="%s"}' % rid, t_up - 2, timeout=90))
# gRPC-клиент Collector переподключается к Tempo с экспоненциальной паузой (до 120 s):
# измеряем, через сколько секунд после возврата Tempo новые трассы снова доступны.
got = o.find_trace('{span.request_id="%s"}' % rid, t_up - 2, timeout=240)
phase['new_trace_after_recovery'] = bool(got)
phase['traces_visible_seconds_after_tempo_up'] = round(time.time() - t_up, 1) if got else None
# Фаза 2: остановлен сам Collector — SDK отбрасывает по ограниченной очереди
compose('stop', 'otel-collector')
t_cd = time.time()
+1 -1
View File
@@ -114,7 +114,7 @@ def one_run(c, name, actor, chat, rnd):
p.wait(timeout=60)
elapsed = time.time() - t_start
cpu1 = {cid: o.cpu_usec(cid) for cid in api + col}
time.sleep(15) # tail decision_wait 5 s + batch + экспорт метрик + scrape
time.sleep(20) # tail decision_wait 10 s + batch + экспорт метрик + scrape
c1 = counters()
s = load.summary(exclude=windows)
recs = load.records