Files
mtusi2026lab6/RUNBOOK.md
T

4.1 KiB
Raw Blame History

Диагностика мессенджера

Все примеры относятся к локальному учебному стенду. Публичный API: http://127.0.0.1:8086. Grafana: http://127.0.0.1:13006, dashboard Messenger: API and image pipeline.

API errors

  1. На dashboard проверь Business RPS и долю 5xx. Health-запросы не входят в знаменатель. Пользовательские 4xx не являются отказом сервера.
  2. Найди структурный лог API с событием request, статусом 5xx и request_id; переход по trace_id открывает соответствующую трассу Tempo.
  3. Сравни server span и postgres.transaction/s3 child spans. Долгая DB span вместе с ростом pool waiting указывает на ожидание БД; медленный handler без долгой зависимости требует другого объяснения.
  4. Проверь состояние PostgreSQL. Для контролируемого docker compose pause postgres восстановление — docker compose unpause postgres.
  5. После восстановления убедись, что запросы успешны и MessengerHighErrorRate перешёл firing→inactive. Окно 1m сохраняет историю ошибок, поэтому alert не обязан исчезнуть мгновенно.

Queue lag

  1. Проверь Outstanding jobs и Oldest outstanding age. Это состояние БД, включающее queued/processing, а не скорость успешных worker.
  2. Найди worker logs и consumer traces; отсутствие новых consumer spans при растущем backlog вместе с остановленным worker объясняет инцидент.
  3. Проверь docker compose ps worker dispatcher broker. При контролируемой остановке: docker compose start worker.
  4. Убедись, что те же принятые attachment становятся ready, глубина падает до нуля, возраст обнуляется и MessengerQueueLag resolved.
  5. Если worker активен, проверь длительные S3/DB spans, failed/retry outcomes, процесс CPU/RAM и budget. Повторная попытка использует сохранённый trace context; parent producer/consumer связывают её с upload.

Telemetry unavailable

  1. Проверь Prometheus targets и Collector. Grafana сама не хранит метрики, логи и трассы.
  2. Для отсутствующих trace/log backend проверь Collector send_failed/queue и logs. SDK и Collector имеют ограниченные очереди; не обещается сохранение всей telemetry при долгом outage.
  3. Продолжи бизнес-запросы через API. Ошибка наблюдаемости не должна превращать успешную отправку сообщения в 5xx.
  4. Восстанови остановленные backend. Свежая telemetry должна появиться; потерянные записи не восстанавливаются из воздуха.
  5. Сравни cgroup memory.current/peak/events, реальные счётчики отправок и экспортных ошибок. Sampled-out span — решение sampling, а rejected/export_failed — проблема доставки; не смешивай их.

Границы

Alerts локальные, отправки наружу нет. Один host и одиночные хранилища остаются SPOF. SLO — проверяемая учебная цель, а не production SLA. Для приватности не экспортируются содержимое сообщений/картинок, filename, авторизационные заголовки, пароли, database/broker URLs и S3 object keys.