Files
mtusi2026lab6-fork/RUNBOOK.md
T
2026-11-19 19:24:45 +03:00

5.0 KiB
Raw Blame History

Диагностика мессенджера

Откройте дашборд Lab 6 · Messenger и Prometheus Alerts. Выберите период, который начинается за минуту до первого сигнала. Состояния pending и firing видны в Prometheus. После восстановления правило снова inactive, а история ALERTS на графике обрывается. Доставка уведомлений наружу для этого стенда отключена.

API

  1. Сверьте «Запросы API», «Ошибки API» и «Задержка API». Если выросли только клиентские 4xx, проверьте запросы клиента. Если выросли 5xx, откройте «Соединения PostgreSQL» и «Получение соединения при пустом пуле».

  2. В Grafana Explore выберите Loki. Для поиска используйте:

    {service_name="messenger-api"} | event="http.request" | status="503"
    

    По конкретному ответу можно искать {service_name="messenger-api"} | request_id="<X-Request-Id>". В деталях лога есть route, status, trace_id и span_id. Откройте Trace, или вставьте trace_id в поиск по ID в Tempo.

  3. Раскройте server span. При деградации БД тяжёлая часть времени приходится на ошибочный postgresql query. Сравните со здоровой трассой того же маршрута. Если задержка находится вне SQL, изучите другие child spans и время внутри самого handler. Наличие длинного SQL span локализует задержку на пути запроса к БД. В контролируемом прогоне интервал совпадает с удержанием блокировки таблицы messages.

  4. После восстановления проверьте 201 на обычной записи, исчезновение 5xx и возврат обоих API-алертов в inactive. Их окна продолжают учитывать ошибки ещё некоторое время после первой успешной записи.

Ready

  1. Сверьте «Глубина очереди», «Возраст старейшего задания», «Попытки worker» и «Занятые слоты worker». При остановке worker API продолжает принимать uploads, пополнение очереди видно в SQL backlog, счётчики попыток перестают расти, а SLI ready падает. Откройте диапазон начиная с первых 202.

  2. Найдите upload по request_id в Loki и откройте Tempo. Если видна публикация и отсутствует consumer, доставка ждёт обработки. Если consumer присутствует, найдите исход image.attempt и просмотрите его S3 и SQL spans. Чтобы найти все записи этой цепочки:

    {service_name=~"messenger-api|messenger-dispatcher|messenger-worker"} | trace_id="<trace id>"
    

    В повторах сравните attempt и outcome. Каждый publish — дочерний для upload, каждая обработка — дочерняя для соответствующего publish.

  3. После docker compose start worker дождитесь обработки накопившихся задач и убедитесь, что очередь опустела, метаданные отвечают ready, а ReadyFastBurn, ReadySlowBurn и QueueLagHigh вернулись в inactive. Гистограмма ready в это время показывает длинный хвост из-за завершения старых задач.

Потеря телеметрии

Если HTTP и worker продолжают работать, а один источник пуст, проверьте его readiness и ошибки экспортёра Collector. В случае Tempo ищите otelcol_exporter_send_failed_spans{exporter="otlphttp/tempo"}, размер очереди и RSS Collector. При восстановлении найдите новую трассу по свежему HTTP-логу. Старые span, для которых истёк срок повторов, уже потеряны. Лимиты и наблюдения прогона описаны в отчёте.

Для самостоятельного повтора используйте команды из REPORT.md. Сначала запустите рабочий стенд без посторонней нагрузки.