43 lines
7.3 KiB
Markdown
43 lines
7.3 KiB
Markdown
# ЛР6: локальный runbook
|
||
|
||
Сначала открыть provisioned Grafana dashboard **Messenger: API and image pipeline**. Период now-15m, refresh5s. Grafana запрашивает отдельные Prometheus/Loki/Tempo; Collector не является долговременной БД. HTTP API Grafana/Prometheus/Tempo/Loki опубликованы только на loopback для локального анализа синтетических данных.
|
||
|
||
## worker
|
||
|
||
Симптомы: очередь растёт, oldest age увеличивается, завершения jobs остановились, API upload по-прежнему отвечает202. Метрика depth берётся из авторитетных незавершённых jobs в PostgreSQL (включая processing), а не только из XLEN; collector получает её от dispatcher, поэтому остановка worker не замораживает наблюдение.
|
||
|
||
1. PromQL: `max(messenger_queue_depth)`, `max(messenger_queue_oldest_age_seconds)`.
|
||
2. PromQL: `sum(messenger_worker_busy) / clamp_min(sum(messenger_worker_capacity),1)` и `sum by(outcome)(rate(messenger_jobs_total[30s]))`. У остановленного процесса последний sample может оставаться до staleness; не принимайте старый busy=0 за доказательство живого worker.
|
||
3. Loki Explore: `{service_name="messenger-worker"}` — нет новых job_started/job_completed; у dispatcher есть job_published. Найти trace_id публикации и открыть Tempo. Producer есть, свежего consumer нет — пауза доставки/обработки; это отличается от медленного DB child span.
|
||
4. Сравнить `ALERTS{alertstate="firing"}`: QueueLag и ReadyBudgetFastBurn; SLI mature cohorts учитывает незавершённые задачи старше5s как bad.
|
||
5. Восстановить worker: `docker compose up -d --no-deps worker`. Дождаться уменьшения depth/age, ready и resolved. Проверить оригинал по checksum; одного health недостаточно.
|
||
|
||
## db
|
||
|
||
Симптомы: доля5xx и HTTP p95 растут, worker/queue не обязательно первичная причина.
|
||
|
||
1. `sum(rate(http_server_requests_total{route!~"/health.*",status_class="5xx"}[30s])) / clamp_min(sum(rate(http_server_requests_total{route!~"/health.*"}[30s])),0.001)`.
|
||
2. `histogram_quantile(.95,sum by(le)(rate(http_server_duration_seconds_bucket{route!~"/health.*"}[30s])))`. Histogram buckets объединяют реплики; p95 самих реплик не усреднять.
|
||
3. В Loki найти request по X-Request-Id из ошибки: `{service_name="messenger-api"} | request_id="REQUEST_ID"`; взять структурный trace_id или X-Trace-Id ответа.
|
||
4. В Tempo открыть trace. Длинный/error `db.SELECT`/`db.UPDATE` показывает ожидание SQL; `db.pool.acquire` и pool used/waits отличают исчерпание пула от медленного запроса. SQL и параметры не экспортируются; operation name ограничен.
|
||
5. В fault-сценарии преподавателя удерживается ACCESS EXCLUSIVE lock на chats. Обработка упирается в SQL lock_timeout=1s (отдельный statement_timeout=2s); health PG Ping может оставаться успешным, поэтому это видно именно в бизнес-запросах.
|
||
6. Снять причину задержки/дождаться rollback тестовой транзакции, наблюдать success RPS, latency и resolved API alerts. Успешный health не заменяет эту проверку.
|
||
|
||
## telemetry backend
|
||
|
||
Симптомы: данные Tempo/Loki перестали обновляться, бизнес-API продолжает подтверждать messages. Prometheus и Collector metrics доступны отдельно.
|
||
|
||
1. `otelcol_exporter_queue_size`, `otelcol_exporter_queue_capacity`, `otelcol_exporter_send_failed_spans_total` — проверить существующие имена в Prometheus: SDK/Collector версии закреплены, suffix зависит от exporter.
|
||
2. Collector logs: сообщения об export failure, queue/retry deadline. Не путать «не видно traces» с «нет запросов»: сравнить HTTP counter и сохранённую историю сообщений.
|
||
3. Проверить RAM: `docker compose stats --no-stream collector`; limit256MiB, memory_limiter180MiB, max batch256, queue64 batches/exporter, retry max elapsed15s. SDK queues1024 records/spans, export timeout1s, неограниченного буфера нет.
|
||
4. Восстановить `docker compose up -d --no-deps tempo loki`. Новые traces/logs должны появиться; безвозвратно потерянная телеметрия не является потерей business data и автоматически не восстанавливается из outbox.
|
||
5. Failed export counter описывает неуспешно экспортированные telemetry items, а не бизнес-ошибки и не универсальный exactly-once подсчёт уникальных trace IDs.
|
||
|
||
## Проверяемые SLI/SLO
|
||
|
||
Локальная учебная модель: rolling10m. API —99% бизнес-ответов HAProxy без5xx; health направлены в отдельный backend и исключены. Denominator —все responses backend replicas, включая503 самого LB; 4xx не считаются server outage. SDK per-route HTTP counters дополняют ingress SLI. Это availability, не процент семантически успешных операций.
|
||
|
||
Image readiness —95% принятых job versions готовы за5s. Cohort оценивается один раз после возраста5s: готово к deadline —good; failed/queued/processing/позднее ready —bad. Поэтому остановленный worker не исчезает из SLI из-за отсутствия завершённых samples. Счётчики cumulative вычисляются из сохранённых PG timestamps. Гистограмма completed time-to-ready нужна для percentiles и дополняет, а не подменяет deadline SLI.
|
||
|
||
Burn rate = observed bad ratio / allowed bad ratio. Fast: >6× в обоих10s/60s окнах, for10s. API slow: >2× в30s/120s окнах, for20s. При равномерном потоке 6× исчерпывает бюджет10m приблизительно за100s, 2× —за300s. Короткий всплеск и длительная деградация измеряются раздельно; фактические обнаружение/восстановление и ложные firing сохраняются в evidence/incidents.json. Малый поток и сглаживание rate ограничивают точность коротких окон; эти настройки нельзя механически переносить на месячный production SLO.
|