forked from mtusi2026/mtusi2026lab6
1.5 KiB
1.5 KiB
Runbook: QueueLagGrowing (самая старая ожидающая job > 30 с, держится 1 мин)
Что значит. Задачи ждут worker'а: backlog растёт. Это не время обработки (оно в messenger_job_duration_seconds).
- Панели Queue depth и Oldest waiting job age: растут оба — worker'ы не разбирают очередь.
- Панель Worker busy vs capacity: серия
busyотсутствует/0 при росте очереди → worker остановлен или не подключён к Kafka;busy = capacity→ worker перегружен (медленные задачи, см. Worker job duration p95). docker compose ps worker dispatcher kafkaи логи:{service_name="messenger-worker"} | event=~"worker_started|job_attempt_failed|job_lease_lost".- Если растёт
retry/failedв панели Jobs by outcome → причина в логеjob_attempt_failed(reason), трасса задачи:{service_name="messenger-worker"} | event="job_attempt_failed"→trace_id→ spanjob.pipeline/s3.*. - Если очередь растёт, а worker жив и свободен → проверить dispatcher (
event="outbox_publish_unconfirmed") и Kafka: сообщения не доходят до топика. - Устранить причину (
docker compose up -d worker). Backlog уменьшается, алерт переходит в resolved.