# ЛР6: локальный runbook Сначала открыть provisioned Grafana dashboard **Messenger: API and image pipeline**. Период now-15m, refresh5s. Grafana запрашивает отдельные Prometheus/Loki/Tempo; Collector не является долговременной БД. HTTP API Grafana/Prometheus/Tempo/Loki опубликованы только на loopback для локального анализа синтетических данных. ## worker Симптомы: очередь растёт, oldest age увеличивается, завершения jobs остановились, API upload по-прежнему отвечает202. Метрика depth берётся из авторитетных незавершённых jobs в PostgreSQL (включая processing), а не только из XLEN; collector получает её от dispatcher, поэтому остановка worker не замораживает наблюдение. 1. PromQL: `max(messenger_queue_depth)`, `max(messenger_queue_oldest_age_seconds)`. 2. PromQL: `sum(messenger_worker_busy) / clamp_min(sum(messenger_worker_capacity),1)` и `sum by(outcome)(rate(messenger_jobs_total[30s]))`. У остановленного процесса последний sample может оставаться до staleness; не принимайте старый busy=0 за доказательство живого worker. 3. Loki Explore: `{service_name="messenger-worker"}` — нет новых job_started/job_completed; у dispatcher есть job_published. Найти trace_id публикации и открыть Tempo. Producer есть, свежего consumer нет — пауза доставки/обработки; это отличается от медленного DB child span. 4. Сравнить `ALERTS{alertstate="firing"}`: QueueLag и ReadyBudgetFastBurn; SLI mature cohorts учитывает незавершённые задачи старше5s как bad. 5. Восстановить worker: `docker compose up -d --no-deps worker`. Дождаться уменьшения depth/age, ready и resolved. Проверить оригинал по checksum; одного health недостаточно. ## db Симптомы: доля5xx и HTTP p95 растут, worker/queue не обязательно первичная причина. 1. `sum(rate(http_server_requests_total{route!~"/health.*",status_class="5xx"}[30s])) / clamp_min(sum(rate(http_server_requests_total{route!~"/health.*"}[30s])),0.001)`. 2. `histogram_quantile(.95,sum by(le)(rate(http_server_duration_seconds_bucket{route!~"/health.*"}[30s])))`. Histogram buckets объединяют реплики; p95 самих реплик не усреднять. 3. В Loki найти request по X-Request-Id из ошибки: `{service_name="messenger-api"} | request_id="REQUEST_ID"`; взять структурный trace_id или X-Trace-Id ответа. 4. В Tempo открыть trace. Длинный/error `db.SELECT`/`db.UPDATE` показывает ожидание SQL; `db.pool.acquire` и pool used/waits отличают исчерпание пула от медленного запроса. SQL и параметры не экспортируются; operation name ограничен. 5. В fault-сценарии преподавателя удерживается ACCESS EXCLUSIVE lock на chats. Обработка упирается в SQL lock_timeout=1s (отдельный statement_timeout=2s); health PG Ping может оставаться успешным, поэтому это видно именно в бизнес-запросах. 6. Снять причину задержки/дождаться rollback тестовой транзакции, наблюдать success RPS, latency и resolved API alerts. Успешный health не заменяет эту проверку. ## telemetry backend Симптомы: данные Tempo/Loki перестали обновляться, бизнес-API продолжает подтверждать messages. Prometheus и Collector metrics доступны отдельно. 1. `otelcol_exporter_queue_size`, `otelcol_exporter_queue_capacity`, `otelcol_exporter_send_failed_spans_total` — проверить существующие имена в Prometheus: SDK/Collector версии закреплены, suffix зависит от exporter. 2. Collector logs: сообщения об export failure, queue/retry deadline. Не путать «не видно traces» с «нет запросов»: сравнить HTTP counter и сохранённую историю сообщений. 3. Проверить RAM: `docker compose stats --no-stream collector`; limit256MiB, memory_limiter180MiB, max batch256, queue64 batches/exporter, retry max elapsed15s. SDK queues1024 records/spans, export timeout1s, неограниченного буфера нет. 4. Восстановить `docker compose up -d --no-deps tempo loki`. Новые traces/logs должны появиться; безвозвратно потерянная телеметрия не является потерей business data и автоматически не восстанавливается из outbox. 5. Failed export counter описывает неуспешно экспортированные telemetry items, а не бизнес-ошибки и не универсальный exactly-once подсчёт уникальных trace IDs. ## Проверяемые SLI/SLO Локальная учебная модель: rolling10m. API —99% бизнес-ответов HAProxy без5xx; health направлены в отдельный backend и исключены. Denominator —все responses backend replicas, включая503 самого LB; 4xx не считаются server outage. SDK per-route HTTP counters дополняют ingress SLI. Это availability, не процент семантически успешных операций. Image readiness —95% принятых job versions готовы за5s. Cohort оценивается один раз после возраста5s: готово к deadline —good; failed/queued/processing/позднее ready —bad. Поэтому остановленный worker не исчезает из SLI из-за отсутствия завершённых samples. Счётчики cumulative вычисляются из сохранённых PG timestamps. Гистограмма completed time-to-ready нужна для percentiles и дополняет, а не подменяет deadline SLI. Burn rate = observed bad ratio / allowed bad ratio. Fast: >6× в обоих10s/60s окнах, for10s. API slow: >2× в30s/120s окнах, for20s. При равномерном потоке 6× исчерпывает бюджет10m приблизительно за100s, 2× —за300s. Короткий всплеск и длительная деградация измеряются раздельно; фактические обнаружение/восстановление и ложные firing сохраняются в evidence/incidents.json. Малый поток и сглаживание rate ограничивают точность коротких окон; эти настройки нельзя механически переносить на месячный production SLO.