Перенесён минимум lab6 (API без изменений), добавлена защита на границах доверия: - внешний HTTPS; обязательный mTLS LB -> API с allowlist identity и отзывом по serial; - TLS на всех связях: PostgreSQL verify-full, MinIO HTTPS, RabbitMQ AMQPS mTLS (EXTERNAL), Valkey TLS + ACL, Collector и хранилища телеметрии через mTLS с отдельными CA; - OpenBao в server mode: cert auth, токены 15 мин, политики только на свой путь; - роли БД, S3-политики и права брокера по принципу минимальных прав; - Argon2id с замером, rehash, общий лимит входа, бюджет защиты от login DoS; - hardening всех контейнеров, scan образов с разбором, модель угроз, матрица доверия; - отрицательные тесты: TLS-аудит (135 проверок), ACL, ротации, sealed OpenBao.
8.9 KiB
Панели dashboard «Messenger — наблюдаемость (lab6)»
Сгенерировано scripts/gen_dashboard.py вместе с infra/grafana/dashboards/messenger.json. $__rate_interval подставляет Grafana (не меньше 4 × scrape/export interval).
SLO (окно 30 мин) и алерты
Доступность (SLO 99%) (stat, единица: доля (0..1)) — 1 - 5xx/все бизнес-запросы messenger-api за 30 мин. Health-пробы не инструментированы.
messenger:slo_availability:ratio30m
Латентность ≤500 ms (SLO 95%) (stat, единица: доля (0..1)) — Доля запросов в bucket le=0.5 s за 30 мин.
messenger:slo_latency:ratio30m
Error ratio 5xx (2m) (stat, единица: доля (0..1))
messenger:http_error_ratio:rate2m
Старейшее задание (stat, единица: секунды)
max(messenger_queue_oldest_age_seconds{queue="attachments.process"})
Алерты Prometheus (firing/pending) (alertlist)
Правила Prometheus в состоянии pending/firing (infra/prometheus/rules/messenger.yml).
RPS API (stat, единица: запросы/с)
messenger:http_requests:rate2m
p95 API (5m) (stat, единица: секунды)
messenger:http_latency_p95:rate5m
Загрузка worker (stat, единица: доля (0..1))
messenger:worker_saturation:ratio
Ожидают пул БД (stat, единица: штуки)
max(db_client_connection_pending_requests)
API (messenger-api, все реплики)
RPS по маршруту и методу (timeseries, единица: запросы/с) — Counter = _count гистограммы http.server.request.duration; route — шаблон, не реальный UUID.
sum by (http_request_method, http_route) (rate(http_server_request_duration_seconds_count{service_name="messenger-api"}[$__rate_interval])) # {{http_request_method}} {{http_route}}
RPS по классу статуса (timeseries, единица: запросы/с)
sum by (status_class) (label_replace(rate(http_server_request_duration_seconds_count{service_name="messenger-api"}[$__rate_interval]), "status_class", "${1}xx", "http_response_status_code", "(\\d)..")) # {{status_class}}
Латентность API p50/p95/p99 (из histogram buckets) (timeseries, единица: секунды) — histogram_quantile по сумме buckets всех реплик; не среднее и не усреднение p99 реплик.
histogram_quantile(0.5, sum by (le) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval]))) # p50
histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval]))) # p95
histogram_quantile(0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval]))) # p99
Доля ошибок 5xx (timeseries, единица: доля (0..1)) — Числитель: 5xx; знаменатель: все бизнес-запросы (health исключён). 4xx не считаются отказом.
(sum(rate(http_server_request_duration_seconds_count{service_name="messenger-api",http_response_status_code=~"5.."}[$__rate_interval])) or vector(0)) / sum(rate(http_server_request_duration_seconds_count{service_name="messenger-api"}[$__rate_interval])) # 5xx / все
p95 по маршруту (timeseries, единица: секунды)
histogram_quantile(0.95, sum by (le, http_route) (rate(http_server_request_duration_seconds_bucket{service_name="messenger-api"}[$__rate_interval]))) # {{http_route}}
Запросы в обработке (timeseries, единица: штуки)
sum by (instance) (http_server_active_requests{service_name="messenger-api"}) # {{instance}}
Очередь и worker
Jobs по исходу (в сек.) (timeseries, единица: операции/с) — succeeded / retry / failed / noop / lost / dlq / requeued; job_type=attachment.process.v1
sum by (outcome) (rate(messenger_jobs_processed_total[$__rate_interval])) # {{outcome}}
Длительность job (succeeded) p50/p95/p99 (timeseries, единица: секунды)
histogram_quantile(0.5, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="succeeded"}[$__rate_interval]))) # p50
histogram_quantile(0.95, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="succeeded"}[$__rate_interval]))) # p95
histogram_quantile(0.99, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="succeeded"}[$__rate_interval]))) # p99
Глубина очереди (из PostgreSQL) (timeseries, единица: штуки) — max() по репликам API: каждая публикует одно и то же значение из БД.
max by (queue, state) (messenger_queue_depth) # {{queue}} {{state}}
Возраст старейшей job (timeseries, единица: секунды) — От durable acceptance (COMMIT job) до сейчас; это backlog, не processing latency.
max(messenger_queue_oldest_age_seconds{queue="attachments.process"}) # oldest age
Время до ready p50/p95/p99 (timeseries, единица: секунды) — messenger.attachment.time_to_ready: от 202 (COMMIT job) до COMMIT ready.
histogram_quantile(0.5, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval]))) # p50
histogram_quantile(0.95, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval]))) # p95
histogram_quantile(0.99, sum by (le) (rate(messenger_attachment_time_to_ready_seconds_bucket[$__rate_interval]))) # p99
Насыщение worker: занято / ёмкость (timeseries, единица: штуки)
sum(messenger_worker_busy) # busy
sum(messenger_worker_capacity) # capacity
messenger:worker_saturation:ratio # saturation
Ресурсы: пул БД, CPU, RAM
Пул БД: used / idle / waiting (timeseries, единица: штуки)
sum by (service_name, db_client_connection_state) (db_client_connection_count) # {{service_name}} {{db_client_connection_state}}
sum by (service_name) (db_client_connection_pending_requests) # {{service_name}} waiting
sum by (service_name) (db_client_connection_max) # {{service_name}} max
CPU процессов (ядра) (timeseries, единица: доля (0..1)) — worker: self + завершённые дочерние процессы обработки изображений.
sum by (service_name, instance) (rate(process_cpu_time_seconds_total[$__rate_interval])) # {{service_name}} {{instance}}
rate(otelcol_process_cpu_seconds_total[$__rate_interval]) # otel-collector
RSS процессов (timeseries, единица: байты)
process_memory_usage_bytes # {{service_name}} {{instance}}
otelcol_process_memory_rss_bytes # otel-collector
Telemetry pipeline: принято / отправлено / ошибки (items/s) (timeseries, единица: штуки)
sum(rate(otelcol_receiver_accepted_spans_total[$__rate_interval])) # accepted spans
sum(rate(otelcol_receiver_accepted_log_records_total[$__rate_interval])) # accepted log records
sum(rate(otelcol_receiver_accepted_metric_points_total[$__rate_interval])) # accepted metric points
sum by (exporter) (rate({__name__=~"otelcol_exporter_sent_(spans|log_records|metric_points)_total"}[$__rate_interval])) # sent {{exporter}}
sum(rate(otelcol_exporter_send_failed_spans_total[$__rate_interval])) or vector(0) # send failed spans
sum(rate(otelcol_exporter_enqueue_failed_spans_total[$__rate_interval])) or vector(0) # dropped spans (queue full)
sum(rate(otelcol_exporter_send_failed_log_records_total[$__rate_interval])) or vector(0) # send failed logs
sum(rate(otelcol_exporter_enqueue_failed_log_records_total[$__rate_interval])) or vector(0) # dropped logs (queue full)
sum by (exporter) (otelcol_exporter_queue_size) # queue {{exporter}}
Логи и трассы
Логи API и worker (warning/error) (logs)
{service_name=~"messenger-api|messenger-worker"} | severity_text=~"WARN.*|ERROR"
Трассы с ошибками или медленнее 500 ms (TraceQL) (table)
{resource.service.name=~"messenger-.*" && (status=error || duration>500ms)}