Files
mtusi2026lab6/RUNBOOK.md
T

6.7 KiB
Raw Blame History

Диагностика учебного стенда

Grafana: http://localhost:3000, пользователь admin, пароль в локальном secrets/grafana-password. Dashboard MTUSI / MTUSI Messenger - signals and SLO импортируется provisioning. Источники: Prometheus (численные временные ряды), Loki (структурные события), Tempo (причинные цепочки). Collector принимает OTLP, ограничивает/группирует и экспортирует данные; он не долговременное хранилище.

API

  1. В Prometheus http://localhost:9090/alerts проверить APIAvailabilityBurn и его pending/firing. Ошибки SLI — 5xx, знаменатель — все бизнес-запросы, health исключён. Неверный пароль/ACL4xx не серверный сбой.
  2. На dashboard сопоставить error ratio и p95/p99 по histogram buckets с DB pool used/waiting. Не усреднять percentiles реплик. При обычном handler CPU spike без обращения к БД медленнее SERVER span, но не db.session.authenticate.
  3. В Loki: {service_name="messenger-api"} | json | status >= 500. Скопировать trace_id или открыть TraceID derived link → Tempo. По X-Request-Id из ответа: {service_name="messenger-api"} |= "REQUEST_ID".
  4. В Tempo найти ERROR child db.session.authenticate и его duration. В эксперименте таблица sessions заблокирована, readiness SELECT1 ещё проходит; 503 вызван timeout БД, а не отсутствием реплик. После снятия блокировки длительности/ошибки возвращаются к baseline, затем alert resolved с учётом окон.
  5. Локально уточнить блокировку без вывода секретов: docker compose exec db psql -U messenger -d messenger -c "SELECT pid,wait_event_type,wait_event FROM pg_stat_activity WHERE datname='messenger';". Не выводить DSN, env, тела запросов или содержимое sessions.

Queue

  1. Проверить QueueLag, AttachmentReadyBurn, queue depth и oldest age. Растущий возраст и depth при отсутствии свежих worker completions означает недоступный/зависший consumer; большое processing duration с busy=1 означает медленную обработку.
  2. У остановленного worker последние gauges могут оставаться до истечения metric_expiration2m. Проверить свежесть worker-логов/метрик, не принимать старый busy=0 за доказательство живого процесса.
  3. Loki: {service_name="messenger-dispatcher"} | json | event="job_published"; trace_id связывает upload → producer → consumer, включая retry. job_finished outcome=retry/failed различает временные и исчерпанные ошибки. Не путать backlog age с duration обработки одной job.
  4. docker compose ps worker; восстановление: docker compose start worker. При failed использовать операторский реестр/replay из ЛР5, не создавать вторую логическую job вручную.
  5. После старта дождаться уменьшения queue depth до0 и ready всех принятых IDs. QueueLag снимается после следующего scrape/evaluation. Нарушенный SLO ready<=30s не исправляется задним числом: burn alert остаётся, пока плохая когорта не выйдет из короткого окна. Это корректная память об инциденте.

Недоступен telemetry backend

  1. Проверить Prometheus up, Collector exporter queue size/capacity, send_failed spans/log records, receiver accepted, exporter sent. Queue capacity ограничена32 batches на exporter; retry не бесконечный (max30s), SDK queue256 records на процесс.
  2. Если Loki/Tempo недоступны, бизнес-запросы должны продолжать отвечать, Collector память ограничена256MiB и memory_limiter192MiB. Отсутствие логов в Loki в этот момент не доказывает отсутствие запросов: использовать Prometheus и локальный stdout Collector.
  3. docker compose start loki tempo, дождаться /ready, затем проверить новые trace/log. Непереданные после исчерпания retry записи потеряны; локальный stdout сохраняет только ограниченную ротацию. Это не durable telemetry queue.

SLO и окна

Учебные цели: availability99.5% всех бизнес-запросов и ready<=30s для99% принятых вложений. API burn — доля5xx /0.005 одновременно в20s и60s, threshold>10, for30s. Ready burn — доля bad /0.01 одновременно в60s и300s, threshold>10, for15s. Eligible attachment должен быть старше30s; younger не объявляется good преждевременно. Bad — ещё не ready либо ready позднее30s; failed входит в bad. PostgreSQL gauge считает обе когорты, поэтому зависшие задания учитываются даже без нового histogram observation.

Это ускоренные окна для воспроизводимого стенда и нескольких минут эксперимента; не утверждается production SLO за30дней. На малом числе upload одна ошибка резко меняет долю. Для production нужны согласованное длительное окно, несколько alert tiers и проверка на реальном профиле трафика.

Воспроизведение: python -X utf8 scripts/verify_telemetry.py, затем python -X utf8 scripts/incidents.py. Последний сценарий создаёт synthetic writes и временно блокирует sessions на5/70s, останавливает worker на85s и Loki/Tempo на80s. Данные сохраняются в evidence; никаких уведомлений внешним адресатам нет.