From 57d8d3f3243e496ba83170dc7fcdf43674695ce6 Mon Sep 17 00:00:00 2001 From: CharaWein Date: Thu, 12 Nov 2026 12:50:19 +0300 Subject: [PATCH] =?UTF-8?q?lab6:=20tail=20decision=5Fwait=2010s=20(=D0=BF?= =?UTF-8?q?=D0=BE=D1=82=D0=B5=D1=80=D1=8F=20=D0=BE=D1=88=D0=B8=D0=B1=D0=BE?= =?UTF-8?q?=D0=BA=20=D0=BF=D1=80=D0=B8=205s),=20=D0=B8=D0=B7=D0=BC=D0=B5?= =?UTF-8?q?=D1=80=D0=B5=D0=BD=D0=B8=D0=B5=20=D0=B2=D0=BE=D1=81=D1=81=D1=82?= =?UTF-8?q?=D0=B0=D0=BD=D0=BE=D0=B2=D0=BB=D0=B5=D0=BD=D0=B8=D1=8F=20=D1=82?= =?UTF-8?q?=D1=80=D0=B0=D1=81=D1=81=20=D0=BF=D0=BE=D1=81=D0=BB=D0=B5=20?= =?UTF-8?q?=D0=BE=D1=82=D0=BA=D0=B0=D0=B7=D0=B0=20Tempo,=20runbooks?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- infra/RUNBOOKS.md | 35 ++++++++++++++++++++++++++++++ infra/otel/collector-tail.yaml | 6 +++-- student-tests/observability_ops.py | 6 ++++- student-tests/telemetry_cost.py | 2 +- 4 files changed, 45 insertions(+), 4 deletions(-) create mode 100644 infra/RUNBOOKS.md diff --git a/infra/RUNBOOKS.md b/infra/RUNBOOKS.md new file mode 100644 index 0000000..f217842 --- /dev/null +++ b/infra/RUNBOOKS.md @@ -0,0 +1,35 @@ +# Runbooks alert-ов мессенджера + +Все шаги выполняются только по сохранённым наблюдениям: Grafana (dashboard «Messenger — API, worker, очередь», Explore → Prometheus / Loki / Tempo). Доступ к контейнерам нужен только для устранения причины, не для поиска. + +## MessengerHighErrorRate + +**Условие:** доля 5xx среди бизнес-запросов (все маршруты, кроме `/health/*`) за 1 минуту > 5% при ≥ 0.5 запроса/с, 30 s подряд. 4xx — ошибки клиента — не учитываются. + +1. Dashboard → «Доля ошибок 5xx и 4xx» и «p95 по маршруту»: один маршрут или все? Если все — общая зависимость (БД, Redis, S3); если один — его обработчик. +2. «Пул БД: занято / ожидания»: `pgxpool_acquired_connections` упёрся в `pgxpool_max_connections` и растут ожидания (`pgxpool_empty_acquire_total`) — БД не отдаёт соединения или запросы висят. +3. Explore → Tempo: `{resource.service.name="messenger-api" && span.http.response.status_code >= 500}`. Открыть трассу и посмотреть, какой дочерний span занимает время: + * длинный `query …` / `acquire` (PostgreSQL) — проблема БД (блокировка, недоступность); подтвердить в БД `pg_stat_activity` (wait_event = Lock); + * длинный `S3 …` — хранилище файлов; + * дочерние spans короткие, а server span длинный — медленный сам обработчик/тело запроса. +4. Explore → Loki: `{service_name="messenger-api"} | detected_level=~"error|ERROR"` за то же окно; по `trace_id` из лога — переход в трассу. +5. Устранить причину; alert перейдёт в resolved, когда окно 1m очистится от ошибок. + +## MessengerQueueLagGrowing + +**Условие:** старейшая незавершённая job (queued/processing) старше 60 s, 30 s подряд. Возраст считается по PostgreSQL (источник истины), не по брокеру. + +1. Dashboard → «Очередь: jobs по состоянию»: растёт `queued` при нулевом `processing` — задания никто не берёт; растёт `processing` — worker берёт, но не завершает. +2. «Jobs по исходу (rate)»: нет `done` — worker стоит; много `retry`/`requeue` — worker работает, но падает на зависимости (S3/БД). +3. `messenger_worker_capacity` есть? Нет серии ≥ 1 мин → worker не запущен (сработает и `MessengerWorkerAbsent`). +4. «RabbitMQ: сообщения в очередях»: ready растёт — сообщения есть, потребителя нет; ready = 0 при queued в БД — relay не публикует outbox (см. «outbox не опубликовано» и возраст outbox). +5. Tempo: последние `attachment.process process` (worker) и `attachment.process publish` (relay) — что выполнялось последним; Loki `{service_name="messenger-worker"}` — последние события (`worker.start`, `job.retry`, `shutdown`). +6. После запуска/починки worker backlog уменьшается (панель возраста падает до 0), alert — resolved. + +## MessengerWorkerAbsent + +Нет метрик ни одного worker 1 минуту (серии исчезают через 1 мин после остановки процесса: `metric_expiration` Collector). Проверить `docker compose ps worker`, логи запуска (`worker.start`) и доступность Collector (если Collector недоступен, исчезают метрики всех сервисов — смотреть `MessengerTelemetryExportFailing` и метрики самого Collector). + +## MessengerTelemetryExportFailing + +Collector не может доставить spans/логи в Tempo/Loki (после ограниченной очереди и 60 s повторов данные отбрасываются, счётчики `otelcol_exporter_send_failed_*`). Бизнес-API не затронут. Проверить доступность Tempo/Loki, `otelcol_exporter_queue_size` относительно `otelcol_exporter_queue_capacity`. Потерянные за время отказа трассы/логи не восстанавливаются; метрики приложения при этом продолжают собираться (Prometheus забирает их напрямую из Collector). diff --git a/infra/otel/collector-tail.yaml b/infra/otel/collector-tail.yaml index 81b7160..3d828ca 100644 --- a/infra/otel/collector-tail.yaml +++ b/infra/otel/collector-tail.yaml @@ -24,9 +24,11 @@ receivers: processors: # Решение по трассе целиком через decision_wait после её первого span; - # num_traces ограничивает память буфера решений. + # num_traces ограничивает память буфера решений. decision_wait должен быть больше + # самой длинной трассы: при 5 s терялась часть ошибок по таймауту обработчика (5 s) — + # решение принималось раньше, чем приходил корневой span со статусом ERROR (прогон 3). tail_sampling: - decision_wait: 5s + decision_wait: 10s num_traces: 20000 expected_new_traces_per_sec: 200 policies: diff --git a/student-tests/observability_ops.py b/student-tests/observability_ops.py index bcab5d9..aed30bc 100644 --- a/student-tests/observability_ops.py +++ b/student-tests/observability_ops.py @@ -401,7 +401,11 @@ def scenario_backend_down(c): rid = 'obs-after-' + uuid.uuid4().hex[:8] c.call('POST', '/api/v1/chats/%s/messages' % chat['id'], 201, actor=alice, body={'text': 'after'}, headers={'Idempotency-Key': uuid.uuid4().hex, 'X-Request-Id': rid}) - phase['new_trace_after_recovery'] = bool(o.find_trace('{span.request_id="%s"}' % rid, t_up - 2, timeout=90)) + # gRPC-клиент Collector переподключается к Tempo с экспоненциальной паузой (до 120 s): + # измеряем, через сколько секунд после возврата Tempo новые трассы снова доступны. + got = o.find_trace('{span.request_id="%s"}' % rid, t_up - 2, timeout=240) + phase['new_trace_after_recovery'] = bool(got) + phase['traces_visible_seconds_after_tempo_up'] = round(time.time() - t_up, 1) if got else None # Фаза 2: остановлен сам Collector — SDK отбрасывает по ограниченной очереди compose('stop', 'otel-collector') t_cd = time.time() diff --git a/student-tests/telemetry_cost.py b/student-tests/telemetry_cost.py index f049446..6424dfe 100644 --- a/student-tests/telemetry_cost.py +++ b/student-tests/telemetry_cost.py @@ -114,7 +114,7 @@ def one_run(c, name, actor, chat, rnd): p.wait(timeout=60) elapsed = time.time() - t_start cpu1 = {cid: o.cpu_usec(cid) for cid in api + col} - time.sleep(15) # tail decision_wait 5 s + batch + экспорт метрик + scrape + time.sleep(20) # tail decision_wait 10 s + batch + экспорт метрик + scrape c1 = counters() s = load.summary(exclude=windows) recs = load.records