5.0 KiB
Диагностика мессенджера
Откройте дашборд Lab 6 · Messenger и Prometheus Alerts. Выберите период, который начинается за минуту до первого сигнала. Состояния pending и firing видны в Prometheus. После восстановления правило снова inactive, а история ALERTS на графике обрывается. Доставка уведомлений наружу для этого стенда отключена.
API
-
Сверьте «Запросы API», «Ошибки API» и «Задержка API». Если выросли только клиентские 4xx, проверьте запросы клиента. Если выросли 5xx, откройте «Соединения PostgreSQL» и «Получение соединения при пустом пуле».
-
В Grafana Explore выберите Loki. Для поиска используйте:
{service_name="messenger-api"} | event="http.request" | status="503"По конкретному ответу можно искать
{service_name="messenger-api"} | request_id="<X-Request-Id>". В деталях лога есть route, status, trace_id и span_id. Откройте Trace, или вставьте trace_id в поиск по ID в Tempo. -
Раскройте server span. При деградации БД тяжёлая часть времени приходится на ошибочный
postgresql query. Сравните со здоровой трассой того же маршрута. Если задержка находится вне SQL, изучите другие child spans и время внутри самого handler. Наличие длинного SQL span локализует задержку на пути запроса к БД. В контролируемом прогоне интервал совпадает с удержанием блокировки таблицыmessages. -
После восстановления проверьте 201 на обычной записи, исчезновение 5xx и возврат обоих API-алертов в inactive. Их окна продолжают учитывать ошибки ещё некоторое время после первой успешной записи.
Ready
-
Сверьте «Глубина очереди», «Возраст старейшего задания», «Попытки worker» и «Занятые слоты worker». При остановке worker API продолжает принимать uploads, пополнение очереди видно в SQL backlog, счётчики попыток перестают расти, а SLI ready падает. Откройте диапазон начиная с первых 202.
-
Найдите upload по
request_idв Loki и откройте Tempo. Если видна публикация и отсутствует consumer, доставка ждёт обработки. Если consumer присутствует, найдите исходimage.attemptи просмотрите его S3 и SQL spans. Чтобы найти все записи этой цепочки:{service_name=~"messenger-api|messenger-dispatcher|messenger-worker"} | trace_id="<trace id>"В повторах сравните
attemptиoutcome. Каждый publish — дочерний для upload, каждая обработка — дочерняя для соответствующего publish. -
После
docker compose start workerдождитесь обработки накопившихся задач и убедитесь, что очередь опустела, метаданные отвечаютready, аReadyFastBurn,ReadySlowBurnиQueueLagHighвернулись в inactive. Гистограмма ready в это время показывает длинный хвост из-за завершения старых задач.
Потеря телеметрии
Если HTTP и worker продолжают работать, а один источник пуст, проверьте его readiness и ошибки экспортёра Collector. В случае Tempo ищите otelcol_exporter_send_failed_spans{exporter="otlphttp/tempo"}, размер очереди и RSS Collector. При восстановлении найдите новую трассу по свежему HTTP-логу. Старые span, для которых истёк срок повторов, уже потеряны. Лимиты и наблюдения прогона описаны в отчёте.
Для самостоятельного повтора используйте команды из REPORT.md. Сначала запустите рабочий стенд без посторонней нагрузки.