2.6 KiB
MessengerJobsQueueLagGrowing
Условие: max(messenger_jobs_queue_oldest_age_seconds) > 30 и max(messenger_jobs_queue_depth{state=~"ready|delayed"}) > 0, держится 30 с (warning).
Это возраст самой старой необработанной задачи (backlog), а не время обработки: рост ряда означает, что задачи не успевают или не обрабатываются.
Источник сигнала
Gauge публикуют обе API-реплики из одного snapshot PostgreSQL (attachment_jobs), поэтому max, не sum. Источник истины — БД, не глубина очереди RabbitMQ: задача может ждать в outbox, backoff или под истёкшим lease.
Диагностика
- Worker жив?
messenger_worker_jobs_active,messenger_worker_jobs_capacity;docker compose ps worker; логи worker. Нет серии — worker остановлен;active = capacity— перегружен. - Outbox не публикуется.
max(messenger_outbox_pending)иmessenger_outbox_oldest_age_secondsрастут при пустой очереди брокера — проблема в relay/брокере (rabbitmq_queue_messages_ready, health брокера). - Брокер.
rabbitmq_queue_messages_readyрастёт, consumers нет — worker отключён от брокера;unackedрастёт — задачи зависли в работе. - S3/БД. Задачи падают в
retry:sum by (outcome)(rate(messenger_jobs_processed_total[1m])), длительность попыткиmessenger_job_duration_seconds; логиjob.processedWARN и трассы consumer-span-ов (S3 PUT/DB). - Backoff. Состояние
delayed> 0 приretry— ожидание повторной попытки, смотрите причину ретраев.
Действие
Вернуть остановленный worker (docker compose --env-file .env up -d worker), восстановить S3/БД/брокер; для зависших задач — jobs.cli status <attachment_id> / replay по документации lab5. Не очищайте очередь вручную.
Критерий восстановления
messenger_jobs_queue_oldest_age_seconds падает ниже 30 с и далее к 0, messenger_jobs_queue_depth{state=~"ready|delayed|processing"} → 0, messenger_outbox_pending → 0, alert resolved; принятые вложения стали ready.