Files
mtusi2026lab6/docs/runbooks/MessengerJobsQueueLagGrowing.md
T

2.6 KiB

MessengerJobsQueueLagGrowing

Условие: max(messenger_jobs_queue_oldest_age_seconds) > 30 и max(messenger_jobs_queue_depth{state=~"ready|delayed"}) > 0, держится 30 с (warning). Это возраст самой старой необработанной задачи (backlog), а не время обработки: рост ряда означает, что задачи не успевают или не обрабатываются.

Источник сигнала

Gauge публикуют обе API-реплики из одного snapshot PostgreSQL (attachment_jobs), поэтому max, не sum. Источник истины — БД, не глубина очереди RabbitMQ: задача может ждать в outbox, backoff или под истёкшим lease.

Диагностика

  1. Worker жив? messenger_worker_jobs_active, messenger_worker_jobs_capacity; docker compose ps worker; логи worker. Нет серии — worker остановлен; active = capacity — перегружен.
  2. Outbox не публикуется. max(messenger_outbox_pending) и messenger_outbox_oldest_age_seconds растут при пустой очереди брокера — проблема в relay/брокере (rabbitmq_queue_messages_ready, health брокера).
  3. Брокер. rabbitmq_queue_messages_ready растёт, consumers нет — worker отключён от брокера; unacked растёт — задачи зависли в работе.
  4. S3/БД. Задачи падают в retry: sum by (outcome)(rate(messenger_jobs_processed_total[1m])), длительность попытки messenger_job_duration_seconds; логи job.processed WARN и трассы consumer-span-ов (S3 PUT/DB).
  5. Backoff. Состояние delayed > 0 при retry — ожидание повторной попытки, смотрите причину ретраев.

Действие

Вернуть остановленный worker (docker compose --env-file .env up -d worker), восстановить S3/БД/брокер; для зависших задач — jobs.cli status <attachment_id> / replay по документации lab5. Не очищайте очередь вручную.

Критерий восстановления

messenger_jobs_queue_oldest_age_seconds падает ниже 30 с и далее к 0, messenger_jobs_queue_depth{state=~"ready|delayed|processing"} → 0, messenger_outbox_pending → 0, alert resolved; принятые вложения стали ready.