Files
mtusi2026lab6/RUNBOOK.md
T

43 lines
7.3 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# ЛР6: локальный runbook
Сначала открыть provisioned Grafana dashboard **Messenger: API and image pipeline**. Период now-15m, refresh5s. Grafana запрашивает отдельные Prometheus/Loki/Tempo; Collector не является долговременной БД. HTTP API Grafana/Prometheus/Tempo/Loki опубликованы только на loopback для локального анализа синтетических данных.
## worker
Симптомы: очередь растёт, oldest age увеличивается, завершения jobs остановились, API upload по-прежнему отвечает202. Метрика depth берётся из авторитетных незавершённых jobs в PostgreSQL (включая processing), а не только из XLEN; collector получает её от dispatcher, поэтому остановка worker не замораживает наблюдение.
1. PromQL: `max(messenger_queue_depth)`, `max(messenger_queue_oldest_age_seconds)`.
2. PromQL: `sum(messenger_worker_busy) / clamp_min(sum(messenger_worker_capacity),1)` и `sum by(outcome)(rate(messenger_jobs_total[30s]))`. У остановленного процесса последний sample может оставаться до staleness; не принимайте старый busy=0 за доказательство живого worker.
3. Loki Explore: `{service_name="messenger-worker"}` — нет новых job_started/job_completed; у dispatcher есть job_published. Найти trace_id публикации и открыть Tempo. Producer есть, свежего consumer нет — пауза доставки/обработки; это отличается от медленного DB child span.
4. Сравнить `ALERTS{alertstate="firing"}`: QueueLag и ReadyBudgetFastBurn; SLI mature cohorts учитывает незавершённые задачи старше5s как bad.
5. Восстановить worker: `docker compose up -d --no-deps worker`. Дождаться уменьшения depth/age, ready и resolved. Проверить оригинал по checksum; одного health недостаточно.
## db
Симптомы: доля5xx и HTTP p95 растут, worker/queue не обязательно первичная причина.
1. `sum(rate(http_server_requests_total{route!~"/health.*",status_class="5xx"}[30s])) / clamp_min(sum(rate(http_server_requests_total{route!~"/health.*"}[30s])),0.001)`.
2. `histogram_quantile(.95,sum by(le)(rate(http_server_duration_seconds_bucket{route!~"/health.*"}[30s])))`. Histogram buckets объединяют реплики; p95 самих реплик не усреднять.
3. В Loki найти request по X-Request-Id из ошибки: `{service_name="messenger-api"} | request_id="REQUEST_ID"`; взять структурный trace_id или X-Trace-Id ответа.
4. В Tempo открыть trace. Длинный/error `db.SELECT`/`db.UPDATE` показывает ожидание SQL; `db.pool.acquire` и pool used/waits отличают исчерпание пула от медленного запроса. SQL и параметры не экспортируются; operation name ограничен.
5. В fault-сценарии преподавателя удерживается ACCESS EXCLUSIVE lock на chats. Обработка упирается в SQL lock_timeout=1s (отдельный statement_timeout=2s); health PG Ping может оставаться успешным, поэтому это видно именно в бизнес-запросах.
6. Снять причину задержки/дождаться rollback тестовой транзакции, наблюдать success RPS, latency и resolved API alerts. Успешный health не заменяет эту проверку.
## telemetry backend
Симптомы: данные Tempo/Loki перестали обновляться, бизнес-API продолжает подтверждать messages. Prometheus и Collector metrics доступны отдельно.
1. `otelcol_exporter_queue_size`, `otelcol_exporter_queue_capacity`, `otelcol_exporter_send_failed_spans_total` — проверить существующие имена в Prometheus: SDK/Collector версии закреплены, suffix зависит от exporter.
2. Collector logs: сообщения об export failure, queue/retry deadline. Не путать «не видно traces» с «нет запросов»: сравнить HTTP counter и сохранённую историю сообщений.
3. Проверить RAM: `docker compose stats --no-stream collector`; limit256MiB, memory_limiter180MiB, max batch256, queue64 batches/exporter, retry max elapsed15s. SDK queues1024 records/spans, export timeout1s, неограниченного буфера нет.
4. Восстановить `docker compose up -d --no-deps tempo loki`. Новые traces/logs должны появиться; безвозвратно потерянная телеметрия не является потерей business data и автоматически не восстанавливается из outbox.
5. Failed export counter описывает неуспешно экспортированные telemetry items, а не бизнес-ошибки и не универсальный exactly-once подсчёт уникальных trace IDs.
## Проверяемые SLI/SLO
Локальная учебная модель: rolling10m. API —99% бизнес-ответов HAProxy без5xx; health направлены в отдельный backend и исключены. Denominator —все responses backend replicas, включая503 самого LB; 4xx не считаются server outage. SDK per-route HTTP counters дополняют ingress SLI. Это availability, не процент семантически успешных операций.
Image readiness —95% принятых job versions готовы за5s. Cohort оценивается один раз после возраста5s: готово к deadline —good; failed/queued/processing/позднее ready —bad. Поэтому остановленный worker не исчезает из SLI из-за отсутствия завершённых samples. Счётчики cumulative вычисляются из сохранённых PG timestamps. Гистограмма completed time-to-ready нужна для percentiles и дополняет, а не подменяет deadline SLI.
Burn rate = observed bad ratio / allowed bad ratio. Fast: >6× в обоих10s/60s окнах, for10s. API slow: >2× в30s/120s окнах, for20s. При равномерном потоке 6× исчерпывает бюджет10m приблизительно за100s, 2× —за300s. Короткий всплеск и длительная деградация измеряются раздельно; фактические обнаружение/восстановление и ложные firing сохраняются в evidence/incidents.json. Малый поток и сглаживание rate ограничивают точность коротких окон; эти настройки нельзя механически переносить на месячный production SLO.