Files
mtusi2026lab6-fork/runbooks/queue-lag.md
T
2026-11-21 00:02:11 +03:00

1.5 KiB
Raw Blame History

Runbook: QueueLagGrowing (самая старая ожидающая job > 30 с, держится 1 мин)

Что значит. Задачи ждут worker'а: backlog растёт. Это не время обработки (оно в messenger_job_duration_seconds).

  1. Панели Queue depth и Oldest waiting job age: растут оба — worker'ы не разбирают очередь.
  2. Панель Worker busy vs capacity: серия busy отсутствует/0 при росте очереди → worker остановлен или не подключён к Kafka; busy = capacity → worker перегружен (медленные задачи, см. Worker job duration p95).
  3. docker compose ps worker dispatcher kafka и логи: {service_name="messenger-worker"} | event=~"worker_started|job_attempt_failed|job_lease_lost".
  4. Если растёт retry/failed в панели Jobs by outcome → причина в логе job_attempt_failed (reason), трасса задачи: {service_name="messenger-worker"} | event="job_attempt_failed" → trace_id → span job.pipeline/s3.*.
  5. Если очередь растёт, а worker жив и свободен → проверить dispatcher (event="outbox_publish_unconfirmed") и Kafka: сообщения не доходят до топика.
  6. Устранить причину (docker compose up -d worker). Backlog уменьшается, алерт переходит в resolved.