Files
mtusi2026lab6/docs/runbook.md
T

7.7 KiB
Raw Blame History

Runbook: лабораторная 6

Открыть dashboard. Выбрать время инцидента, а не только последние пять минут. Все шаги диагностики ниже используют сохранённые Prometheus/Loki/Tempo данные. Команды управления выполняются после диагноза. Внешняя доставка alerts не настроена: состояние проверяется в Prometheus через Grafana datasource proxy (research/observations.py).

api

  1. Проверить API 5xx / all business requests, RPS и p95/p99. Health и ошибочный пароль не являются серверными 5xx. Посмотреть обе пары burn rate: 2m/30s и 6m/1m.

  2. В Explore → Loki выполнить {service_name="messenger-api"} | json | status >= 500. По request_id найти ответ пользователя; скопировать trace_id или нажать TraceID.

  3. В Tempo открыть trace. Развернуть server span и postgresql.transaction: медленный postgresql.SELECT/INSERT с error.type=_WaitTimeout и длительностью около 2s указывает на срабатывание I/O timeout ожидания PostgreSQL. Если сервер успел вернуть LockNotAvailable, дополнительно подтверждена блокировка. По одному _WaitTimeout нельзя отличить SQL lock от других причин медленной БД. Это отличается от медленного handler: при нём server span длинный, а DB spans короткие. db.pool{state="used"} показывает занятые соединения, waiting — ожидание свободного соединения. Наш эксперимент блокирует только messages, поэтому health остаётся успешным.

  4. После определения причины дождаться окончания ограниченного failpoint. Для досрочного восстановления своего учебного эксперимента:

    docker compose exec -T postgres psql -U messenger -d messenger -c \
      "SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE application_name='lab6-incident'"
    
  5. Проверить успешные записи, короткие DB spans и спад error ratio. Alert должен перейти firing → inactive (resolved); long-window ratio может оставаться высоким, но short window уже должен очищаться. Состояния измеряются раз в 5s; не объявлять recovery по одному успешному запросу.

ready

  1. Проверить Outstanding jobs и Oldest unfinished job age. Это очередь незавершённых durable jobs в БД, включая outbox/retry/processing; длина Redis Stream сама по себе не отражает всю принятую работу.
  2. Сопоставить worker capacity/busy, process CPU/RSS и rate успешных jobs. Если capacity исчезла, successful jobs остановились, а acceptance продолжается и backlog/age растут — worker не обрабатывает очередь. После 30s устаревшие gauge series удаляются Collector; краткое сохранение старого значения допустимо.
  3. В Loki: {service_name="messenger-api"} | json | event="attachment.accepted". Открыть trace: виден API → attachments publish, но в интервале простоя нет нового attachments process. После восстановления в том же trace появятся consumer → S3 GET/PUT → PostgreSQL UPDATE. Retry — отдельные producer/consumer spans с возрастающим job.attempt и логом job.retry.
  4. Восстановить worker: docker compose start worker.
  5. Проверить уменьшение backlog до 0, age до 0, возврат successful jobs и capacity. Ready SLO остаётся нарушенным для опоздавших заданий: позднее ready не превращает уже нарушенный 30s deadline в успешный. Дождаться resolved в обеих парах окон.

telemetry

  1. Проверить up{job="collector"}, otelcol_exporter_queue_size и otelcol_exporter_send_failed_log_records_total. Ошибки экспортёра сами по себе не равны числу окончательно потерянных записей: возможны retries.
  2. При живом Collector и ошибках только otlphttp/loki проверить доступность datasource Loki. Если API принимает сообщения и метрики/traces приходят, это отдельный отказ хранилища логов, а не отказ бизнес-API.
  3. Восстановить docker compose start loki. Collector ограничен 256 MiB, memory limiter 192 MiB, очередь каждого экспортёра — 64 batch, максимальный batch 128 records, retry не дольше 15s. SDK очереди traces/logs — по 256 записей; сеть работает в фоновых потоках. При исчерпании лимитов telemetry теряется.
  4. Проверить возобновление Loki ingestion и опустошение exporter queue. В lab6-checks.json число потерянных request logs считается по известным request IDs после восстановления, отдельно от счётчиков неудачных экспортов.

SLO и интерпретация

  • API: ≥99% business responses за скользящий час без 5xx. 4xx входят в denominator, но не numerator. Отказы LB/сети до API требуют внешнего probe и этим SLI не покрываются.
  • Изображения: ≥95% accepted jobs готовы за ≤30s; cohort оценивается после истечения deadline. Failed и не завершившиеся задания входят в bad. Скользящее окно — час созревших cohorts (acceptance сдвинута на 30s).
  • Fast burn: 6× бюджета одновременно за 2m и 30s, for: 15s. Slow burn: 3× за 6m и 1m, for: 30s. Это учебные окна для 1h SLO, а не механически перенесённые production окна для 30 дней.
  • Guards: ≥30 API requests / ≥5 mature jobs в long window и ≥2 события в short. Нет данных — нет утверждения об успешном SLO; проверять scrape и traffic.
  • APIHighErrorRate — single-window comparator (5%/30s, for 5s), AttachmentQueueLag — отдельный эксплуатационный warning (>20s, for 10s). Сравнивать их с burn alerts, а не считать любой warning доказательством исчерпания бюджета. Данные одного короткого эксперимента не доказывают соблюдение SLO в течение полного часа или отсутствие ложных срабатываний вообще.