Files
mtusi2026lab7/docs/dashboard.md
alenchha 861e7722b5 ЛР 7 — БВТ2301 — Курлова — на 4
Перенесён минимум lab6 (API без изменений), добавлена защита на границах доверия:
- внешний HTTPS; обязательный mTLS LB -> API с allowlist identity и отзывом по serial;
- TLS на всех связях: PostgreSQL verify-full, MinIO HTTPS, RabbitMQ AMQPS mTLS (EXTERNAL),
  Valkey TLS + ACL, Collector и хранилища телеметрии через mTLS с отдельными CA;
- OpenBao в server mode: cert auth, токены 15 мин, политики только на свой путь;
- роли БД, S3-политики и права брокера по принципу минимальных прав;
- Argon2id с замером, rehash, общий лимит входа, бюджет защиты от login DoS;
- hardening всех контейнеров, scan образов с разбором, модель угроз, матрица доверия;
- отрицательные тесты: TLS-аудит (135 проверок), ACL, ротации, sealed OpenBao.
2026-11-16 10:49:13 +03:00

8.9 KiB
Raw Permalink Blame History

Панели dashboard «Messenger — наблюдаемость (lab6)»

Сгенерировано scripts/gen_dashboard.py вместе с infra/grafana/dashboards/messenger.json. $__rate_interval подставляет Grafana (не меньше 4 × scrape/export interval).

SLO (окно 30 мин) и алерты

Доступность (SLO 99%) (stat, единица: доля (0..1)) — 1 - 5xx/все бизнес-запросы messenger-api за 30 мин. Health-пробы не инструментированы.

messenger:slo_availability:ratio30m

Латентность ≤500 ms (SLO 95%) (stat, единица: доля (0..1)) — Доля запросов в bucket le=0.5 s за 30 мин.

messenger:slo_latency:ratio30m

Error ratio 5xx (2m) (stat, единица: доля (0..1))

messenger:http_error_ratio:rate2m

Старейшее задание (stat, единица: секунды)

max(messenger_queue_oldest_age_seconds{queue="attachments.process"})

Алерты Prometheus (firing/pending) (alertlist)

Правила Prometheus в состоянии pending/firing (infra/prometheus/rules/messenger.yml).

RPS API (stat, единица: запросы/с)

messenger:http_requests:rate2m

p95 API (5m) (stat, единица: секунды)

messenger:http_latency_p95:rate5m

Загрузка worker (stat, единица: доля (0..1))

messenger:worker_saturation:ratio

Ожидают пул БД (stat, единица: штуки)

max(db_client_connection_pending_requests)

API (messenger-api, все реплики)

RPS по маршруту и методу (timeseries, единица: запросы/с) — Counter = _count гистограммы http.server.request.duration; route — шаблон, не реальный UUID.

sum by (http_request_method, http_route) (rate(http_server_request_duration_seconds_count{service_name="messenger-api"}[$__rate_interval]))   # {{http_request_method}} {{http_route}}

RPS по классу статуса (timeseries, единица: запросы/с)

sum by (status_class) (label_replace(rate(http_server_request_duration_seconds_count{service_name="messenger-api"}[$__rate_interval]), "status_class", "${1}xx", "http_response_status_code", "(\\d).."))    # {{status_class}}

Латентность API p50/p95/p99 (из histogram buckets) (timeseries, единица: секунды) — histogram_quantile по сумме buckets всех реплик; не среднее и не усреднение p99 реплик.

histogram_quantile(0.5, sum by (le) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval])))   # p50
histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval])))   # p95
histogram_quantile(0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval])))   # p99

Доля ошибок 5xx (timeseries, единица: доля (0..1)) — Числитель: 5xx; знаменатель: все бизнес-запросы (health исключён). 4xx не считаются отказом.

(sum(rate(http_server_request_duration_seconds_count{service_name="messenger-api",http_response_status_code=~"5.."}[$__rate_interval])) or vector(0)) / sum(rate(http_server_request_duration_seconds_count{service_name="messenger-api"}[$__rate_interval]))   # 5xx / все

p95 по маршруту (timeseries, единица: секунды)

histogram_quantile(0.95, sum by (le, http_route) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval])))   # {{http_route}}

Запросы в обработке (timeseries, единица: штуки)

sum by (instance) (http_server_active_requests{service_name="messenger-api"})   # {{instance}}

Очередь и worker

Jobs по исходу (в сек.) (timeseries, единица: операции/с) — succeeded / retry / failed / noop / lost / dlq / requeued; job_type=attachment.process.v1

sum by (outcome) (rate(messenger_jobs_processed_total[$__rate_interval]))   # {{outcome}}

Длительность job (succeeded) p50/p95/p99 (timeseries, единица: секунды)

histogram_quantile(0.5, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="succeeded"}[$__rate_interval])))   # p50
histogram_quantile(0.95, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="succeeded"}[$__rate_interval])))   # p95
histogram_quantile(0.99, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="succeeded"}[$__rate_interval])))   # p99

Глубина очереди (из PostgreSQL) (timeseries, единица: штуки) — max() по репликам API: каждая публикует одно и то же значение из БД.

max by (queue, state) (messenger_queue_depth)   # {{queue}} {{state}}

Возраст старейшей job (timeseries, единица: секунды) — От durable acceptance (COMMIT job) до сейчас; это backlog, не processing latency.

max(messenger_queue_oldest_age_seconds{queue="attachments.process"})   # oldest age

Время до ready p50/p95/p99 (timeseries, единица: секунды) — messenger.attachment.time_to_ready: от 202 (COMMIT job) до COMMIT ready.

histogram_quantile(0.5, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval])))   # p50
histogram_quantile(0.95, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval])))   # p95
histogram_quantile(0.99, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval])))   # p99

Насыщение worker: занято / ёмкость (timeseries, единица: штуки)

sum(messenger_worker_busy)   # busy
sum(messenger_worker_capacity)   # capacity
messenger:worker_saturation:ratio   # saturation

Ресурсы: пул БД, CPU, RAM

Пул БД: used / idle / waiting (timeseries, единица: штуки)

sum by (service_name, db_client_connection_state) (db_client_connection_count)   # {{service_name}} {{db_client_connection_state}}
sum by (service_name) (db_client_connection_pending_requests)   # {{service_name}} waiting
sum by (service_name) (db_client_connection_max)   # {{service_name}} max

CPU процессов (ядра) (timeseries, единица: доля (0..1)) — worker: self + завершённые дочерние процессы обработки изображений.

sum by (service_name, instance) (rate(process_cpu_time_seconds_total[$__rate_interval]))   # {{service_name}} {{instance}}
rate(otelcol_process_cpu_seconds_total[$__rate_interval])   # otel-collector

RSS процессов (timeseries, единица: байты)

process_memory_usage_bytes   # {{service_name}} {{instance}}
otelcol_process_memory_rss_bytes   # otel-collector

Telemetry pipeline: принято / отправлено / ошибки (items/s) (timeseries, единица: штуки)

sum(rate(otelcol_receiver_accepted_spans_total[$__rate_interval]))   # accepted spans
sum(rate(otelcol_receiver_accepted_log_records_total[$__rate_interval]))   # accepted log records
sum(rate(otelcol_receiver_accepted_metric_points_total[$__rate_interval]))   # accepted metric points
sum by (exporter) (rate({__name__=~"otelcol_exporter_sent_(spans|log_records|metric_points)_total"}[$__rate_interval]))   # sent {{exporter}}
sum(rate(otelcol_exporter_send_failed_spans_total[$__rate_interval])) or vector(0)   # send failed spans
sum(rate(otelcol_exporter_enqueue_failed_spans_total[$__rate_interval])) or vector(0)   # dropped spans (queue full)
sum(rate(otelcol_exporter_send_failed_log_records_total[$__rate_interval])) or vector(0)   # send failed logs
sum(rate(otelcol_exporter_enqueue_failed_log_records_total[$__rate_interval])) or vector(0)   # dropped logs (queue full)
sum by (exporter) (otelcol_exporter_queue_size)   # queue {{exporter}}

Логи и трассы

Логи API и worker (warning/error) (logs)

{service_name=~"messenger-api|messenger-worker"} | severity_text=~"WARN.*|ERROR"

Трассы с ошибками или медленнее 500 ms (TraceQL) (table)

{resource.service.name=~"messenger-.*" && (status=error || duration>500ms)}