Files
mtusi2026lab6/docs/dashboard.md
alenchha 0638263029 ЛР 6 — БВТ2301 — Курлова — на 5 (трек 1 «Цена наблюдаемости»)
Перенесён минимум lab5 без изменения API и добавлена наблюдаемость:
- OTel SDK в API и worker: traces, metrics, logs по OTLP; W3C trace context
  API -> outbox -> RabbitMQ -> worker (producer/consumer spans, retry в той же трассе);
- OTel Collector (memory_limiter, scrub, batch, ограниченные очереди, профиль tail sampling),
  Prometheus, Loki, Tempo, Grafana с provisioning, dashboard и 6 alert rules с runbooks;
- проверки: наблюдаемость и приватность, инциденты A/B/C, насыщение worker,
  переполнение очереди exporter, эксперимент трека 1 (4 конфигурации x 3 прогона);
- CI job со сборкой и запуском стенда; REPORT.md с доказательствами в evidence/.
2026-11-11 09:24:27 +03:00

8.9 KiB
Raw Permalink Blame History

Панели dashboard «Messenger — наблюдаемость (lab6)»

Сгенерировано scripts/gen_dashboard.py вместе с infra/grafana/dashboards/messenger.json. $__rate_interval подставляет Grafana (не меньше 4 × scrape/export interval).

SLO (окно 30 мин) и алерты

Доступность (SLO 99%) (stat, единица: доля (0..1)) — 1 - 5xx/все бизнес-запросы messenger-api за 30 мин. Health-пробы не инструментированы.

messenger:slo_availability:ratio30m

Латентность ≤500 ms (SLO 95%) (stat, единица: доля (0..1)) — Доля запросов в bucket le=0.5 s за 30 мин.

messenger:slo_latency:ratio30m

Error ratio 5xx (2m) (stat, единица: доля (0..1))

messenger:http_error_ratio:rate2m

Старейшее задание (stat, единица: секунды)

max(messenger_queue_oldest_age_seconds{queue="attachments.process"})

Алерты Prometheus (firing/pending) (alertlist)

Правила Prometheus в состоянии pending/firing (infra/prometheus/rules/messenger.yml).

RPS API (stat, единица: запросы/с)

messenger:http_requests:rate2m

p95 API (5m) (stat, единица: секунды)

messenger:http_latency_p95:rate5m

Загрузка worker (stat, единица: доля (0..1))

messenger:worker_saturation:ratio

Ожидают пул БД (stat, единица: штуки)

max(db_client_connection_pending_requests)

API (messenger-api, все реплики)

RPS по маршруту и методу (timeseries, единица: запросы/с) — Counter = _count гистограммы http.server.request.duration; route — шаблон, не реальный UUID.

sum by (http_request_method, http_route) (rate(http_server_request_duration_seconds_count{service_name="messenger-api"}[$__rate_interval]))   # {{http_request_method}} {{http_route}}

RPS по классу статуса (timeseries, единица: запросы/с)

sum by (status_class) (label_replace(rate(http_server_request_duration_seconds_count{service_name="messenger-api"}[$__rate_interval]), "status_class", "${1}xx", "http_response_status_code", "(\\d).."))    # {{status_class}}

Латентность API p50/p95/p99 (из histogram buckets) (timeseries, единица: секунды) — histogram_quantile по сумме buckets всех реплик; не среднее и не усреднение p99 реплик.

histogram_quantile(0.5, sum by (le) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval])))   # p50
histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval])))   # p95
histogram_quantile(0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval])))   # p99

Доля ошибок 5xx (timeseries, единица: доля (0..1)) — Числитель: 5xx; знаменатель: все бизнес-запросы (health исключён). 4xx не считаются отказом.

(sum(rate(http_server_request_duration_seconds_count{service_name="messenger-api",http_response_status_code=~"5.."}[$__rate_interval])) or vector(0)) / sum(rate(http_server_request_duration_seconds_count{service_name="messenger-api"}[$__rate_interval]))   # 5xx / все

p95 по маршруту (timeseries, единица: секунды)

histogram_quantile(0.95, sum by (le, http_route) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval])))   # {{http_route}}

Запросы в обработке (timeseries, единица: штуки)

sum by (instance) (http_server_active_requests{service_name="messenger-api"})   # {{instance}}

Очередь и worker

Jobs по исходу (в сек.) (timeseries, единица: операции/с) — succeeded / retry / failed / noop / lost / dlq / requeued; job_type=attachment.process.v1

sum by (outcome) (rate(messenger_jobs_processed_total[$__rate_interval]))   # {{outcome}}

Длительность job (succeeded) p50/p95/p99 (timeseries, единица: секунды)

histogram_quantile(0.5, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="succeeded"}[$__rate_interval])))   # p50
histogram_quantile(0.95, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="succeeded"}[$__rate_interval])))   # p95
histogram_quantile(0.99, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="succeeded"}[$__rate_interval])))   # p99

Глубина очереди (из PostgreSQL) (timeseries, единица: штуки) — max() по репликам API: каждая публикует одно и то же значение из БД.

max by (queue, state) (messenger_queue_depth)   # {{queue}} {{state}}

Возраст старейшей job (timeseries, единица: секунды) — От durable acceptance (COMMIT job) до сейчас; это backlog, не processing latency.

max(messenger_queue_oldest_age_seconds{queue="attachments.process"})   # oldest age

Время до ready p50/p95/p99 (timeseries, единица: секунды) — messenger.attachment.time_to_ready: от 202 (COMMIT job) до COMMIT ready.

histogram_quantile(0.5, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval])))   # p50
histogram_quantile(0.95, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval])))   # p95
histogram_quantile(0.99, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval])))   # p99

Насыщение worker: занято / ёмкость (timeseries, единица: штуки)

sum(messenger_worker_busy)   # busy
sum(messenger_worker_capacity)   # capacity
messenger:worker_saturation:ratio   # saturation

Ресурсы: пул БД, CPU, RAM

Пул БД: used / idle / waiting (timeseries, единица: штуки)

sum by (service_name, db_client_connection_state) (db_client_connection_count)   # {{service_name}} {{db_client_connection_state}}
sum by (service_name) (db_client_connection_pending_requests)   # {{service_name}} waiting
sum by (service_name) (db_client_connection_max)   # {{service_name}} max

CPU процессов (ядра) (timeseries, единица: доля (0..1)) — worker: self + завершённые дочерние процессы обработки изображений.

sum by (service_name, instance) (rate(process_cpu_time_seconds_total[$__rate_interval]))   # {{service_name}} {{instance}}
rate(otelcol_process_cpu_seconds_total[$__rate_interval])   # otel-collector

RSS процессов (timeseries, единица: байты)

process_memory_usage_bytes   # {{service_name}} {{instance}}
otelcol_process_memory_rss_bytes   # otel-collector

Telemetry pipeline: принято / отправлено / ошибки (items/s) (timeseries, единица: штуки)

sum(rate(otelcol_receiver_accepted_spans_total[$__rate_interval]))   # accepted spans
sum(rate(otelcol_receiver_accepted_log_records_total[$__rate_interval]))   # accepted log records
sum(rate(otelcol_receiver_accepted_metric_points_total[$__rate_interval]))   # accepted metric points
sum by (exporter) (rate({__name__=~"otelcol_exporter_sent_(spans|log_records|metric_points)_total"}[$__rate_interval]))   # sent {{exporter}}
sum(rate(otelcol_exporter_send_failed_spans_total[$__rate_interval])) or vector(0)   # send failed spans
sum(rate(otelcol_exporter_enqueue_failed_spans_total[$__rate_interval])) or vector(0)   # dropped spans (queue full)
sum(rate(otelcol_exporter_send_failed_log_records_total[$__rate_interval])) or vector(0)   # send failed logs
sum(rate(otelcol_exporter_enqueue_failed_log_records_total[$__rate_interval])) or vector(0)   # dropped logs (queue full)
sum by (exporter) (otelcol_exporter_queue_size)   # queue {{exporter}}

Логи и трассы

Логи API и worker (warning/error) (logs)

{service_name=~"messenger-api|messenger-worker"} | severity_text=~"WARN.*|ERROR"

Трассы с ошибками или медленнее 500 ms (TraceQL) (table)

{resource.service.name=~"messenger-.*" && (status=error || duration>500ms)}