7.3 KiB
ЛР6: локальный runbook
Сначала открыть provisioned Grafana dashboard Messenger: API and image pipeline. Период now-15m, refresh5s. Grafana запрашивает отдельные Prometheus/Loki/Tempo; Collector не является долговременной БД. HTTP API Grafana/Prometheus/Tempo/Loki опубликованы только на loopback для локального анализа синтетических данных.
worker
Симптомы: очередь растёт, oldest age увеличивается, завершения jobs остановились, API upload по-прежнему отвечает202. Метрика depth берётся из авторитетных незавершённых jobs в PostgreSQL (включая processing), а не только из XLEN; collector получает её от dispatcher, поэтому остановка worker не замораживает наблюдение.
- PromQL:
max(messenger_queue_depth),max(messenger_queue_oldest_age_seconds). - PromQL:
sum(messenger_worker_busy) / clamp_min(sum(messenger_worker_capacity),1)иsum by(outcome)(rate(messenger_jobs_total[30s])). У остановленного процесса последний sample может оставаться до staleness; не принимайте старый busy=0 за доказательство живого worker. - Loki Explore:
{service_name="messenger-worker"}— нет новых job_started/job_completed; у dispatcher есть job_published. Найти trace_id публикации и открыть Tempo. Producer есть, свежего consumer нет — пауза доставки/обработки; это отличается от медленного DB child span. - Сравнить
ALERTS{alertstate="firing"}: QueueLag и ReadyBudgetFastBurn; SLI mature cohorts учитывает незавершённые задачи старше5s как bad. - Восстановить worker:
docker compose up -d --no-deps worker. Дождаться уменьшения depth/age, ready и resolved. Проверить оригинал по checksum; одного health недостаточно.
db
Симптомы: доля5xx и HTTP p95 растут, worker/queue не обязательно первичная причина.
sum(rate(http_server_requests_total{route!~"/health.*",status_class="5xx"}[30s])) / clamp_min(sum(rate(http_server_requests_total{route!~"/health.*"}[30s])),0.001).histogram_quantile(.95,sum by(le)(rate(http_server_duration_seconds_bucket{route!~"/health.*"}[30s]))). Histogram buckets объединяют реплики; p95 самих реплик не усреднять.- В Loki найти request по X-Request-Id из ошибки:
{service_name="messenger-api"} | request_id="REQUEST_ID"; взять структурный trace_id или X-Trace-Id ответа. - В Tempo открыть trace. Длинный/error
db.SELECT/db.UPDATEпоказывает ожидание SQL;db.pool.acquireи pool used/waits отличают исчерпание пула от медленного запроса. SQL и параметры не экспортируются; operation name ограничен. - В fault-сценарии преподавателя удерживается ACCESS EXCLUSIVE lock на chats. Обработка упирается в SQL lock_timeout=1s (отдельный statement_timeout=2s); health PG Ping может оставаться успешным, поэтому это видно именно в бизнес-запросах.
- Снять причину задержки/дождаться rollback тестовой транзакции, наблюдать success RPS, latency и resolved API alerts. Успешный health не заменяет эту проверку.
telemetry backend
Симптомы: данные Tempo/Loki перестали обновляться, бизнес-API продолжает подтверждать messages. Prometheus и Collector metrics доступны отдельно.
otelcol_exporter_queue_size,otelcol_exporter_queue_capacity,otelcol_exporter_send_failed_spans_total— проверить существующие имена в Prometheus: SDK/Collector версии закреплены, suffix зависит от exporter.- Collector logs: сообщения об export failure, queue/retry deadline. Не путать «не видно traces» с «нет запросов»: сравнить HTTP counter и сохранённую историю сообщений.
- Проверить RAM:
docker compose stats --no-stream collector; limit256MiB, memory_limiter180MiB, max batch256, queue64 batches/exporter, retry max elapsed15s. SDK queues1024 records/spans, export timeout1s, неограниченного буфера нет. - Восстановить
docker compose up -d --no-deps tempo loki. Новые traces/logs должны появиться; безвозвратно потерянная телеметрия не является потерей business data и автоматически не восстанавливается из outbox. - Failed export counter описывает неуспешно экспортированные telemetry items, а не бизнес-ошибки и не универсальный exactly-once подсчёт уникальных trace IDs.
Проверяемые SLI/SLO
Локальная учебная модель: rolling10m. API —99% бизнес-ответов HAProxy без5xx; health направлены в отдельный backend и исключены. Denominator —все responses backend replicas, включая503 самого LB; 4xx не считаются server outage. SDK per-route HTTP counters дополняют ingress SLI. Это availability, не процент семантически успешных операций.
Image readiness —95% принятых job versions готовы за5s. Cohort оценивается один раз после возраста5s: готово к deadline —good; failed/queued/processing/позднее ready —bad. Поэтому остановленный worker не исчезает из SLI из-за отсутствия завершённых samples. Счётчики cumulative вычисляются из сохранённых PG timestamps. Гистограмма completed time-to-ready нужна для percentiles и дополняет, а не подменяет deadline SLI.
Burn rate = observed bad ratio / allowed bad ratio. Fast: >6× в обоих10s/60s окнах, for10s. API slow: >2× в30s/120s окнах, for20s. При равномерном потоке 6× исчерпывает бюджет10m приблизительно за100s, 2× —за300s. Короткий всплеск и длительная деградация измеряются раздельно; фактические обнаружение/восстановление и ложные firing сохраняются в evidence/incidents.json. Малый поток и сглаживание rate ограничивают точность коротких окон; эти настройки нельзя механически переносить на месячный production SLO.