Перенесён минимум lab5 без изменения API и добавлена наблюдаемость: - OTel SDK в API и worker: traces, metrics, logs по OTLP; W3C trace context API -> outbox -> RabbitMQ -> worker (producer/consumer spans, retry в той же трассе); - OTel Collector (memory_limiter, scrub, batch, ограниченные очереди, профиль tail sampling), Prometheus, Loki, Tempo, Grafana с provisioning, dashboard и 6 alert rules с runbooks; - проверки: наблюдаемость и приватность, инциденты A/B/C, насыщение worker, переполнение очереди exporter, эксперимент трека 1 (4 конфигурации x 3 прогона); - CI job со сборкой и запуском стенда; REPORT.md с доказательствами в evidence/.
8.9 KiB
Панели dashboard «Messenger — наблюдаемость (lab6)»
Сгенерировано scripts/gen_dashboard.py вместе с infra/grafana/dashboards/messenger.json. $__rate_interval подставляет Grafana (не меньше 4 × scrape/export interval).
SLO (окно 30 мин) и алерты
Доступность (SLO 99%) (stat, единица: доля (0..1)) — 1 - 5xx/все бизнес-запросы messenger-api за 30 мин. Health-пробы не инструментированы.
messenger:slo_availability:ratio30m
Латентность ≤500 ms (SLO 95%) (stat, единица: доля (0..1)) — Доля запросов в bucket le=0.5 s за 30 мин.
messenger:slo_latency:ratio30m
Error ratio 5xx (2m) (stat, единица: доля (0..1))
messenger:http_error_ratio:rate2m
Старейшее задание (stat, единица: секунды)
max(messenger_queue_oldest_age_seconds{queue="attachments.process"})
Алерты Prometheus (firing/pending) (alertlist)
Правила Prometheus в состоянии pending/firing (infra/prometheus/rules/messenger.yml).
RPS API (stat, единица: запросы/с)
messenger:http_requests:rate2m
p95 API (5m) (stat, единица: секунды)
messenger:http_latency_p95:rate5m
Загрузка worker (stat, единица: доля (0..1))
messenger:worker_saturation:ratio
Ожидают пул БД (stat, единица: штуки)
max(db_client_connection_pending_requests)
API (messenger-api, все реплики)
RPS по маршруту и методу (timeseries, единица: запросы/с) — Counter = _count гистограммы http.server.request.duration; route — шаблон, не реальный UUID.
sum by (http_request_method, http_route) (rate(http_server_request_duration_seconds_count{service_name="messenger-api"}[$__rate_interval])) # {{http_request_method}} {{http_route}}
RPS по классу статуса (timeseries, единица: запросы/с)
sum by (status_class) (label_replace(rate(http_server_request_duration_seconds_count{service_name="messenger-api"}[$__rate_interval]), "status_class", "${1}xx", "http_response_status_code", "(\\d)..")) # {{status_class}}
Латентность API p50/p95/p99 (из histogram buckets) (timeseries, единица: секунды) — histogram_quantile по сумме buckets всех реплик; не среднее и не усреднение p99 реплик.
histogram_quantile(0.5, sum by (le) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval]))) # p50
histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval]))) # p95
histogram_quantile(0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval]))) # p99
Доля ошибок 5xx (timeseries, единица: доля (0..1)) — Числитель: 5xx; знаменатель: все бизнес-запросы (health исключён). 4xx не считаются отказом.
(sum(rate(http_server_request_duration_seconds_count{service_name="messenger-api",http_response_status_code=~"5.."}[$__rate_interval])) or vector(0)) / sum(rate(http_server_request_duration_seconds_count{service_name="messenger-api"}[$__rate_interval])) # 5xx / все
p95 по маршруту (timeseries, единица: секунды)
histogram_quantile(0.95, sum by (le, http_route) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval]))) # {{http_route}}
Запросы в обработке (timeseries, единица: штуки)
sum by (instance) (http_server_active_requests{service_name="messenger-api"}) # {{instance}}
Очередь и worker
Jobs по исходу (в сек.) (timeseries, единица: операции/с) — succeeded / retry / failed / noop / lost / dlq / requeued; job_type=attachment.process.v1
sum by (outcome) (rate(messenger_jobs_processed_total[$__rate_interval])) # {{outcome}}
Длительность job (succeeded) p50/p95/p99 (timeseries, единица: секунды)
histogram_quantile(0.5, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="succeeded"}[$__rate_interval]))) # p50
histogram_quantile(0.95, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="succeeded"}[$__rate_interval]))) # p95
histogram_quantile(0.99, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="succeeded"}[$__rate_interval]))) # p99
Глубина очереди (из PostgreSQL) (timeseries, единица: штуки) — max() по репликам API: каждая публикует одно и то же значение из БД.
max by (queue, state) (messenger_queue_depth) # {{queue}} {{state}}
Возраст старейшей job (timeseries, единица: секунды) — От durable acceptance (COMMIT job) до сейчас; это backlog, не processing latency.
max(messenger_queue_oldest_age_seconds{queue="attachments.process"}) # oldest age
Время до ready p50/p95/p99 (timeseries, единица: секунды) — messenger.attachment.time_to_ready: от 202 (COMMIT job) до COMMIT ready.
histogram_quantile(0.5, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval]))) # p50
histogram_quantile(0.95, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval]))) # p95
histogram_quantile(0.99, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval]))) # p99
Насыщение worker: занято / ёмкость (timeseries, единица: штуки)
sum(messenger_worker_busy) # busy
sum(messenger_worker_capacity) # capacity
messenger:worker_saturation:ratio # saturation
Ресурсы: пул БД, CPU, RAM
Пул БД: used / idle / waiting (timeseries, единица: штуки)
sum by (service_name, db_client_connection_state) (db_client_connection_count) # {{service_name}} {{db_client_connection_state}}
sum by (service_name) (db_client_connection_pending_requests) # {{service_name}} waiting
sum by (service_name) (db_client_connection_max) # {{service_name}} max
CPU процессов (ядра) (timeseries, единица: доля (0..1)) — worker: self + завершённые дочерние процессы обработки изображений.
sum by (service_name, instance) (rate(process_cpu_time_seconds_total[$__rate_interval])) # {{service_name}} {{instance}}
rate(otelcol_process_cpu_seconds_total[$__rate_interval]) # otel-collector
RSS процессов (timeseries, единица: байты)
process_memory_usage_bytes # {{service_name}} {{instance}}
otelcol_process_memory_rss_bytes # otel-collector
Telemetry pipeline: принято / отправлено / ошибки (items/s) (timeseries, единица: штуки)
sum(rate(otelcol_receiver_accepted_spans_total[$__rate_interval])) # accepted spans
sum(rate(otelcol_receiver_accepted_log_records_total[$__rate_interval])) # accepted log records
sum(rate(otelcol_receiver_accepted_metric_points_total[$__rate_interval])) # accepted metric points
sum by (exporter) (rate({__name__=~"otelcol_exporter_sent_(spans|log_records|metric_points)_total"}[$__rate_interval])) # sent {{exporter}}
sum(rate(otelcol_exporter_send_failed_spans_total[$__rate_interval])) or vector(0) # send failed spans
sum(rate(otelcol_exporter_enqueue_failed_spans_total[$__rate_interval])) or vector(0) # dropped spans (queue full)
sum(rate(otelcol_exporter_send_failed_log_records_total[$__rate_interval])) or vector(0) # send failed logs
sum(rate(otelcol_exporter_enqueue_failed_log_records_total[$__rate_interval])) or vector(0) # dropped logs (queue full)
sum by (exporter) (otelcol_exporter_queue_size) # queue {{exporter}}
Логи и трассы
Логи API и worker (warning/error) (logs)
{service_name=~"messenger-api|messenger-worker"} | severity_text=~"WARN.*|ERROR"
Трассы с ошибками или медленнее 500 ms (TraceQL) (table)
{resource.service.name=~"messenger-.*" && (status=error || duration>500ms)}