Files
mtusi2026lab6-fork/infra/runbook.md
T

4.6 KiB
Raw Blame History

Диагностика лабораторной 6

Grafana — http://localhost:13000, dashboard Messenger. Prometheus — http://localhost:19090/alerts. Учётная запись Grafana admin, пароль в локальном secrets/grafana_password.

Ошибки API

  1. Посмотреть RPS, долю 5xx и p95/p99 за интервал алерта HighApiErrorRate.
  2. В Tempo найти server span с ошибкой, раскрыть postgresql.transaction и s3 spans. HTTP server span включает шаблон маршрута и статус. SQL-параметры и содержимое объектов не экспортируются.
  3. В Loki найти логи по service_name и trace_id. X-Request-Id из ответа помогает найти HTTP-событие.
  4. При ошибках БД проверить здоровье postgres и число занятых соединений. getconn в psycopg2 fail-fast, waiting показывает только текущие попытки получения соединения. Exhausted и histogram acquire дополняют этот gauge.
  5. Восстановить postgres. Проверить успешные запросы и исчезновение firing после выхода ошибки из минутного окна.

Рост возраста очереди

  1. Сопоставить messenger_queue_depth, messenger_queue_oldest_age_seconds, broker_ready и worker busy/capacity.
  2. Backlog включает queued/processing в PostgreSQL, в том числе outbox и отложенные retry. Broker ready показывает только ожидающие доставки RabbitMQ сообщения. Processing duration измеряет одну попытку. Time to ready включает ожидание и retry.
  3. Если нет свежих worker метрик, проверить worker. Gauge после остановки процесса временно сохраняется в exporter, время последнего получения данных проверять отдельно.
  4. Найти trace upload по X-Trace-Id, затем producer, consumer и операции S3/DB. Попытки имеют job.attempt в traces, без job_id в metric labels.
  5. Запустить worker. Убедиться, что backlog и oldest age равны нулю, алерт resolved. При QueueObservationStale проверить publisher/БД.

Хранилище телеметрии недоступно

  1. Посмотреть собственные метрики Collector, exporter send_failed и enqueue_failed, а также docker stats.
  2. SDK ограничены 256 spans/logs на процесс, batch 64 и timeout 1 секунда. Collector ограничен memory_limiter 128 MiB, контейнером 192 MiB, batch максимум 512 записей и экспортными очередями по 128 batches. При заполнении/исчерпании retry телеметрия может теряться. Prometheus экспортируется pull endpoint, его остановка оставляет пробел в scrape-истории.
  3. Восстановить Loki/Tempo, убедиться, что свежий trace и лог снова доступны. Подтвердить, что принятые сообщения и вложения доступны через API.
  4. Разница accepted/sent и exporter failure counters помогает оценивать проблему. send_failed учитывает попытки отправки, поэтому не является точным числом уникальных потерянных spans. Без sequence IDs точные потери не заявляются.

SLI/SLO

SLI = 1 − число 5xx / число всех бизнес-запросов за скользящие 5 минут. Health исключён при записи HTTP-метрик. SLO ≥ 99%. При отсутствии запросов окно не даёт оценки доступности. 4xx остаются в знаменателе и не считаются отказами сервера. Алерт ошибок использует более короткое окно 1 минута, порог 1%, for 6 секунд. QueueLagGrowing — возраст старейшего незавершённого задания >15 секунд, backlog >0, for 6 секунд. Это учебные пороги для воспроизводимой проверки.