Files
mtusi2026lab6/REPORT.md
T
celis 51b02a541d Реализовать лабораторную 6: OpenTelemetry, Grafana, SLO и burn-rate alerts
- api и worker отдают traces, metrics и logs по OTLP в Collector
  (memory_limiter, redaction, batch, ограниченная очередь и retry);
  хранилища: Prometheus (OTLP receiver), Loki, Tempo; Grafana с
  provisioning datasources и dashboard «Messenger lab6»
- W3C trace context через outbox и RabbitMQ: producer/consumer spans
  связывают upload, публикации и попытки worker в одном trace
- SLO доступности API (SLI на HAProxy) и времени до ready, multiwindow
  burn-rate alerts, ApiHighErrorRate, JobQueueLagGrowing,
  DbPoolSaturated, TelemetryExportFailing; unit-тесты promtool, runbooks
- кампания трека 2 (k6, 6 отказов по расписанию), разбор и графики;
  проверки сигналов и истории telemetry, evidence и REPORT.md
2026-10-31 01:45:56 +03:00

63 KiB
Raw Blame History

Отчёт — лабораторная 6

  • Автор, группа: Морару С. С., БПИ2303
  • Целевая оценка: 5, трек 2 «SLO и обнаружение инцидентов»
  • Commit/PR: ветка solution/bpi2303-moraru (fork s.s.moraru/mtusi2026lab6 и PR — при публикации)
  • Источники: OpenTelemetry JS (@opentelemetry/sdk-node 0.223.0, api 1.9.1, api-logs 0.223.0, core 2.12.0, instrumentation http 0.223.0, pg 0.76.0, aws-sdk 0.78.0, runtime-node 0.36.1), OpenTelemetry Collector contrib 0.163.2, Prometheus 3.15.1, Loki 3.7.9, Tempo 2.10.10, Grafana 13.2.5, k6 1.8.2; база — lab5 (Node.js 24, pg 8.23.1, @aws-sdk/client-s3 3.1152.0, amqplib 2.2.0, sharp 0.35.5, PostgreSQL 18, RabbitMQ 4.3, SeaweedFS 4.48, HAProxy 3.2). Документация: Collector configuration, Context propagation, W3C Trace Context, семантические конвенции OpenTelemetry (HTTP, database, messaging), Prometheus histograms, Grafana provisioning, Google SRE Workbook, гл. 5 «Alerting on SLOs» (multiwindow, multi-burn-rate alerts).

Запуск из чистого clone

Prerequisites: Docker Engine + Compose v2 (проверено Docker 29.8.2, Compose 5.5.0, OrbStack), Python 3.9+ (тесты), OpenSSL. Образы закреплены версией, сторонние — и digest:

Роль Сервис Образ Volume Сеть / порт Лимит
LB lb haproxy:3.2.26-alpine@sha256:58938405… — frontend, backend; 127.0.0.1:${LB_PORT}, stats 127.0.0.1:${LB_STATS_PORT} 1 CPU, 128 MiB
API ×2, worker ×2, migrate, s3-init, reconciler api, worker, … messenger-lab6-app:dev (сборка, node:24.22.2-alpine3.24) — backend api 1 CPU/256 MiB, worker 1 CPU/768 MiB
БД postgres postgres:18.6-alpine@sha256:10a5c69a… pgdata backend 2 CPU, 1 GiB
Брокер rabbitmq rabbitmq:4.3.6-alpine@sha256:6931816a… rabbitmq-data backend 1 CPU, 512 MiB
S3 seaweedfs, s3 chrislusf/seaweedfs:4.48@sha256:4e61d15f… s3data storage (+ backend у шлюза) 1 CPU, 512/768 MiB
Collector otel-collector otel/opentelemetry-collector-contrib:0.163.2@sha256:7f22d2a6… — (очередь в памяти) backend, telemetry 1 CPU, 256 MiB
Метрики + alert rules prometheus prom/prometheus:v3.15.1@sha256:fa330227… prometheus-data telemetry 1 CPU, 512 MiB
Логи loki grafana/loki:3.7.9@sha256:0db216b6… loki-data telemetry 1 CPU, 384 MiB
Трассы tempo grafana/tempo:2.10.10@sha256:12b0820f… tempo-data telemetry 1 CPU, 512 MiB
UI grafana grafana/grafana:13.2.5@sha256:9f7aa1e1… grafana-data frontend, telemetry; 127.0.0.1:${GRAFANA_PORT} 0.5 CPU, 256 MiB
Нагрузка (вне стенда) — grafana/k6:1.8.2@sha256:00fdcebа… — frontend стенда 2 CPU

Полные digest — в compose.yaml и scripts/load.sh. Сеть telemetry — internal: Prometheus, Loki и Tempo на хост не опубликованы, снаружи доступна только Grafana (на 127.0.0.1).

scripts/init-secrets.sh                                    # .env из .env.example, secrets/ (вне Git): как в lab5 +
                                                           # secrets/grafana_admin_password (пароль admin Grafana)
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait        # хранилища → migrate, s3-init → api ×2, worker ×2,
                                                           # reconciler → lb; otel-collector, prometheus, loki, tempo, grafana
python3 -m venv .venv && .venv/bin/pip install -r requirements-dev.txt
make check && make validate PYTHON=.venv/bin/python
make test BASE_URL=http://localhost:8096                   # LB на 127.0.0.1:${LB_PORT:-8080}
python3 student-tests/telemetry_check.py --base-url http://localhost:8096 --grafana http://localhost:3096
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8096
python3 student-tests/telemetry_history.py --grafana http://localhost:3096 --trace-id <trace до перезапуска> --before <unix-время>
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8096 && docker compose start api
scripts/check-s3-security.sh
docker run --rm -v "$PWD/infra/prometheus:/etc/prometheus:ro" --entrypoint promtool prom/prometheus:v3.15.1 \
  test rules /etc/prometheus/tests/alerts.test.yml         # unit-тесты alert rules (5 сценариев)
RATE=20 DURATION=10m scripts/load.sh                       # нагрузка k6 (open model) изнутри сети стенда
python3 research/campaign.py run --out evidence/track2     # нагрузка + 6 ограниченных отказов по расписанию (~22 мин)
python3 research/campaign.py analyze --out evidence/track2 # разбор только по сохранённым наблюдениям
python3 research/timeline.py --out evidence/track2 --metric api   # график: доли 5xx, SLI 1h/6h, firing alerts
python3 research/timeline.py --out evidence/track2 --metric ready # то же для времени до ready
docker compose stop                                        # безопасная остановка; удаление учебных данных: docker compose down -v

Grafana: http://127.0.0.1:${GRAFANA_PORT}, пользователь admin, пароль — файл secrets/grafana_admin_password (регистрация и анонимный доступ выключены). Datasources (Prometheus, Loki, Tempo) и dashboard «Messenger lab6» (папка Messenger) загружаются provisioning-ом из infra/grafana/ при старте — вручную ничего не создаётся; правка dashboard — в infra/grafana/build_dashboard.py, затем python3 infra/grafana/build_dashboard.py.

Типы: npm ci && npm run typecheck. На стенде автора заняты 8080–8095, в .env стоят LB_PORT=8096, LB_STATS_PORT=8416, GRAFANA_PORT=3096; все проверки ниже запускались с этими портами. Телеметрию можно выключить без пересборки: OTEL_SDK_DISABLED=true в .env (приложение работает, стек остаётся).

Архитектура и решения

клиент ─► lb (HAProxy) ─► api ×2 ─► postgres, s3, rabbitmq ─► worker ×2          (бизнес-часть — как в lab5)
           │ :8404/metrics  │ OTLP/HTTP: traces, metrics, logs     │ OTLP/HTTP
           │                ▼                                      ▼
           └──── scrape ─► otel-collector ◄── scrape rabbitmq:15692/metrics/detailed, собственные метрики :8888
                           │ memory_limiter → redaction → batch → ограниченная очередь + retry
                           ├─ traces ─► tempo      (OTLP gRPC)        volume tempo-data, хранение 7 дней
                           ├─ logs ───► loki       (OTLP HTTP /otlp)  volume loki-data, 7 дней
                           └─ metrics ► prometheus (OTLP receiver)    volume prometheus-data, 15 дней / 1 GB;
                                                                      правила SLO и alerts
grafana (127.0.0.1:3096) ── datasources Prometheus / Loki / Tempo, dashboard из provisioning

Из lab5 перенесено без изменений: весь API lab1–5 и контракт, HAProxy, PostgreSQL, SeaweedFS, RabbitMQ (quorum queue, publisher confirms), transactional outbox с relay/sweeper в API, worker с арендой и fencing, reconciler, скрипты init-secrets, restart, stop-one, check-s3-security. Добавлено/изменено:

  • src/telemetry.ts — OpenTelemetry SDK, загружается до приложения (node --import ./src/telemetry.ts src/main.ts в api и worker; migrate/s3-init/reconciler без SDK). src/otel.ts — tracer, meter, структурный лог, перенос контекста; без SDK всё в нём no-op, поэтому OTEL_SDK_DISABLED=true оставляет рабочее приложение.
  • Все console.* заменены на log(level, event, message, attrs): JSON-строка в stdout (docker logs) и OTLP-запись в Loki с trace_id/span_id активного span.
  • Миграция 004_trace_context.sql: в outbox колонки traceparent, tracestate; поля сообщения брокера traceparent/tracestate (уже разрешены contracts/jobs.schema.json).
  • Метрики заданий и очереди (src/jobs/metrics.ts, relay.ts, worker.ts), процессные CPU/RSS.
  • Compose: otel-collector, prometheus, loki, tempo, grafana, сеть telemetry (internal), 4 volume, секрет grafana_admin_password; конфиги в infra/otel, infra/prometheus, infra/loki, infra/tempo, infra/grafana; runbook — infra/runbooks.md.
  • start_period healthcheck API — 60 с: инициализация SDK (загрузка instrumentations через ESM-hook) на занятом хосте растягивает старт реплики до ~25 с; успешная проверка всё равно делает контейнер healthy сразу.

Назначение хранилищ

Хранилище Что хранит На какой вопрос отвечает Индекс / кардинальность
Prometheus числовые ряды: счётчики, gauge, histogram buckets; результаты recording rules; состояние alerts (ALERTS) «сколько, как часто, насколько медленно, растёт ли» по всей системе; SLO и alerts каждая комбинация labels — отдельный ряд, поэтому только низкокардинальные labels
Loki структурные логи (события) «что именно случилось» с конкретным запросом/заданием: событие, error.type, request_id в индексе 3 label: service_name, service_instance_id, deployment_environment_name; event, request_id, trace_id, span_id, error.type, severity_text — structured metadata (не индекс)
Tempo trace: дерево spans одного запроса/задания с длительностями и атрибутами «где тратится время и где ошибка» по цепочке API → БД/S3 → брокер → worker поиск по trace_id и TraceQL; хранение блоками без индекса по атрибутам
Collector ничего долговременно приём OTLP и scrape, ограничение памяти, маскирование, batching, retry, маршрутизация очередь экспортёра в памяти (до 20 000 элементов)
Grafana только свою БД (пользователь, состояние provisioning) интерфейс и запросы к трём источникам, переходы лог ↔ trace —

Сигналы: соответствие contracts/observability.md

Имена — как в Prometheus после перевода OTLP (translation_strategy: UnderscoreEscapingWithSuffixes: точки → _, единица и _total в суффиксе). Resource attributes: service.name (messenger-api / messenger-worker, из OTEL_SERVICE_NAME), service.version (из package.json, 6.0.0), service.instance.id (hostname контейнера = X-Instance-Id), deployment.environment.name=lab; в Prometheus они становятся job, instance и target_info, в Loki — индексными labels.

Сигнал контракта Источник Имя Измерения Единица
HTTP requests instrumentation-http (стабильная semconv) http_server_request_duration_seconds_count http_request_method, http_route (шаблон), http_response_status_code (класс — label_replace/regex) запросы
HTTP duration там же http_server_request_duration_seconds_bucket те же; границы 5 мс…10 с (14 buckets) секунды
Jobs processed / failed src/jobs/metrics.ts messenger_job_duration_seconds_count job_type=attachment.process.v1, outcome (done, retry, failed, noop, discarded, invalid, error) задания
Job processing duration там же messenger_job_duration_seconds_bucket job_type, outcome; 0.05…60 с секунды
API/worker logs log() → OTLP → Loki поля timestamp, severity_text, service_name, event, trace_id, span_id (+ request_id, error.type, messenger.job.*) — —
API/worker traces instrumentation http/pg/aws-sdk + свои spans SERVER POST /api/v1/chats/{chat_id}/attachments, CLIENT pg.query:*, pg-pool.connect, S3.*, PRODUCER publish attachments, CONSUMER process attachments.process, INTERNAL claim job, render variants, commit result статус ERROR, messenger.job.outcome длительность span
Queue depth / oldest job age gauges relay (из таблицы jobs, источник истины) + RabbitMQ messenger_jobs_backlog{state}, messenger_outbox_pending, messenger_jobs_oldest_age_seconds{queue}, rabbitmq_detailed_queue_messages_ready/unacked, rabbitmq_detailed_queue_consumers queue, state задания / секунды
DB pool instrumentation-pg db_client_connection_count{db_client_connection_state=idle|used}, db_client_connection_pending_requests, db_client_connection_max, db_client_operation_duration_seconds db_client_connection_pool_name=postgres:5432/messenger соединения / секунды
Worker saturation worker.ts messenger_worker_busy, messenger_worker_capacity (= prefetch) instance задания
Process CPU/RAM telemetry.ts, runtime-node process_cpu_time_seconds_total{cpu_mode}, process_memory_usage_bytes, nodejs_eventloop_delay_p99_seconds job, instance секунды CPU / байты / секунды
upload → publish → consume → S3/DB W3C traceparent/tracestate через outbox и сообщение один trace: SERVER → PRODUCER → CONSUMER → S3/SQL parent-child —
End-to-end time to ready worker при фиксации ready messenger_attachment_time_to_ready_seconds_bucket outcome (ready/failed), error_type; 0.5…600 с секунды

X-Request-Id пишется в атрибут server span messenger.request_id и в поле request_id логов: ответ клиента → лог → trace. Health-запросы (/health/*, проверки HAProxy и Docker раз в секунду) не создают spans и метрик.

Trace context через очередь (уровень 4)

  1. Upload: server span API; в той же транзакции, что и задание, в строку outbox записывается traceparent текущего контекста (traceCarrier()).
  2. Relay (фоновый цикл, запускается в ROOT_CONTEXT, чтобы его SQL не попадал в trace запроса) для каждой строки создаёт PRODUCER span publish attachments с родителем из outbox.traceparent и кладёт в сообщение уже его контекст.
  3. Worker создаёт CONSUMER span process attachments.process с родителем из сообщения: внутри — claim job, S3.GetObject, render variants, S3.PutObject ×3, S3.CopyObject, commit result (SQL), S3.DeleteObject.
  4. Повтор: новая строка outbox получает контекст CONSUMER span неудачной попытки → в том же trace publish#1 → process#1 (ERROR, retry) → publish#2 → process#2 (ready). Sweeper и jobs replay копируют контекст последней строки outbox задания.

Выбрана связь parent-child, а не link: у задания ровно один инициатор (upload), и весь путь до ready читается одним trace. Цена — длинный trace при многих повторах (не больше JOB_MAX_ATTEMPTS=5 публикаций).

Что не попадает в telemetry

  • Тела запросов и ответов, заголовки (в том числе Authorization, cookie) instrumentation-http не записывает; в url.query server span значения filename и cursor заменяются на REDACTED.
  • SQL — только текст запроса с плейсхолдерами $1… (enhancedDatabaseReporting: false): ни текста сообщений, ни хешей паролей, ни токенов. S3 spans — только операция и bucket, без ключей объектов. Байты изображений не передаются никуда.
  • В атрибутах логов — только технические поля (request_id, messenger.job.id, messenger.attachment.id, error.type), без текста исключений с данными пользователя.
  • Collector, процессор redaction — страховка: значения ключей вида authorization|password|secret|token|cookie и строки Bearer …/Basic … маскируются до экспорта.
  • В spans и логах остаются технические UUID (путь url.path, messenger.attachment.id): они нужны, чтобы найти конкретный запрос и задание (runbook: поиск trace по id вложения); в labels метрик их нет — проверяется автоматически (шаг 5 telemetry_check.py).

Collector: ограничение памяти и недоступный backend (уровень 4)

receivers: otlp (HTTP :4318), prometheus → processors: memory_limiter (200 MiB, spike 40 MiB; GOMEMLIMIT 180 MiB, контейнер 256 MiB), redaction, batch (1024/2048, 2 с) → exporters: otlp_grpc/tempo, otlp_http/loki, otlp_http/prometheus. У каждого экспортёра sending_queue 20 000 элементов (sizer items, 2 consumers) и retry_on_failure 1 → 10 с, не дольше 60 с; затем данные отбрасываются и считаются в otelcol_exporter_send_failed_*, при полной очереди — otelcol_exporter_enqueue_failed_*; при нехватке памяти memory_limiter отказывает в приёме (otelcol_receiver_refused_*). Собственные метрики Collector публикуются на 127.0.0.1:8888 и собираются им же (job otel-collector).

SDK: BatchSpanProcessor и BatchLogRecordProcessor — очередь 2048 записей, отправка раз в 1 с; метрики — раз в 10 с. Экспорт асинхронный, запрос пользователя его не ждёт; при недоступном Collector SDK отбрасывает пачку.

Конфигурация (.env.example → реальная)

Переменные lab5 используются как раньше. Новые: OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318, OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf, OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab, OTEL_SDK_DISABLED — передаются api и worker через x-otel-env в compose.yaml; OTEL_SERVICE_NAME задаётся у каждого сервиса (messenger-api, messenger-worker), значение в .env.example — только для запуска вне compose. Дополнительно в compose: OTEL_PROPAGATORS=tracecontext, OTEL_METRIC_EXPORT_INTERVAL=10000, OTEL_BSP_SCHEDULE_DELAY=1000, OTEL_BLRP_SCHEDULE_DELAY=1000, OTEL_NODE_EXPERIMENTAL_SDK_METRICS=true (метрики самого SDK: otel_sdk_span_started_total, очередь процессоров). GRAFANA_PORT — порт Grafana на 127.0.0.1.

Dashboard «Messenger lab6»

infra/grafana/dashboards/messenger.json (генерируется build_dashboard.py), 29 панелей в 6 рядах; у каждой панели задана единица (fieldConfig.unit). Квантили — histogram_quantile по сумме buckets всех реплик (sum by (le) (rate(..._bucket[$__rate_interval]))), а не среднее или усреднение p99 реплик.

Ряд Панели (запрос → единица)
SLO и alerts доступность у клиентов за 1 ч 1 - slo:api_error_ratio:rate1h (%); остаток бюджета за 30 д; ready ≤ 30 с за 1 ч; burn rate API и time-to-ready по окнам 5m/30m/1h/6h (× бюджет); состояние alerts из ALERTS
API RPS по http_route/методу (req/s); RPS по классу статуса (label_replace кода в Nxx); доля 5xx в метриках API и у клиентов (HAProxy) (%); p50/p95/p99 и p99 по маршрутам из http_server_request_duration_seconds_bucket (с); p99 SQL db_client_operation_duration_seconds_bucket по сервису (с)
Worker и задания jobs/с по outcome; p50/p95/p99 обработки (done) (с); p50/p95/p99 времени до ready (с, порог 30 с); насыщение busy/capacity (%); backlog: messenger_jobs_backlog, outbox, RabbitMQ ready/unacked; возраст старейшего задания (с, порог 60 с) и consumers
Насыщение пул PostgreSQL used/idle/ждут/max; CPU процессов rate(process_cpu_time_seconds_total) (доля ядра); RSS процессов и Collector (байты); event loop p99 (с)
Telemetry pipeline принято/отправлено Collector (элементов/с); потери (send/enqueue failed, refused); очередь экспортёров и ёмкость
Логи и трассы логи ERROR/WARN (Loki, {service_name=~"messenger-.+"} | severity_text=~"ERROR|WARN"); trace с ошибками (Tempo, { status = error })

Связи между источниками: в Loki поле trace_id — ссылка на trace в Tempo; в Tempo у span — «Logs for this span» (логи по trace_id) и ссылка на p99 HTTP этого сервиса в Prometheus (tracesToMetrics).

SLO и alerts

SLO-1, доступность API: 99.5 % за 30 дней. SLI = 1 − 5xx / все ответы клиентам на HAProxy (frontend public). 4xx — ошибка клиента (неверный пароль, чужой чат), не сервиса. Бюджет 0.5 % ≈ 3.6 часа полного отказа в месяц; 99.5 %, а не 99.9 %, потому что стенд — один Docker-хост с одной БД без реплики, и плановый перезапуск БД (scripts/restart.sh, ~50 с) уже съедает ~2 % месячного бюджета 99.9 %.

Почему SLI на LB, а не в метриках API: readiness API зависит от PostgreSQL, HAProxy проверяет её раз в секунду, и при недоступной БД обе реплики за ~2 с выходят из ротации — дальше HAProxy отвечает 503 сам, а зависшие дольше 10 с запросы получают 504 от LB. Процесс API этих ответов не видит. Проверено пробой (PostgreSQL на 0.05 CPU, 40 с): в метриках API 101 ответ 5xx, у клиентов — 190. SLI в метриках API занизил бы именно самые тяжёлые отказы. Метрики API остаются для диагностики (маршрут, код, реплика).

SLO-2, время до ready: 99 % вложений становятся ready не позже 30 с после durable acceptance за 30 дней. Обычно это доли секунды (публикация relay + обработка); 30 с покрывают два повтора после временного сбоя (таймаут S3 8 с + backoff 1–2 с, ещё 8 с + 2–4 с). Плохое событие — ready позже 30 с или failed по вине системы; invalid_image и unsupported_pipeline — свойство файла и в SLI не входят. Событие пишется при завершении задания, поэтому полностью остановленный worker SLI не видит, пока задания не завершатся, — этот случай закрывает JobQueueLagGrowing (возраст старейшего задания в реальном времени).

Alerts (infra/prometheus/rules/; runbook — infra/runbooks.md, ссылка в аннотации runbook_url). Вычисление раз в 10 с; доставка наружу не настроена — состояние pending/firing/resolved видно в Prometheus (серия ALERTS), Grafana → Alerting и на dashboard.

Alert Условие Окно Порог for Severity
ApiAvailabilityFastBurn доля 5xx у клиентов 1h и 5m > 14.4 × 0.5 % = 7.2 % — page
ApiAvailabilitySlowBurn то же 6h и 30m > 6 × 0.5 % = 3 % — ticket
ReadyLatencyFastBurn доля плохих вложений 1h и 5m > 14.4 × 1 % — page
ReadyLatencySlowBurn то же 6h и 30m > 6 × 1 % — ticket
ApiHighErrorRate (простой порог, уровень 4) доля 5xx у клиентов 5m > 5 % 2m warning
JobQueueLagGrowing (уровень 4) max by (queue) (messenger_jobs_oldest_age_seconds) мгновенно > 60 с 1m page
DbPoolSaturated max by (job, instance) (db_client_connection_pending_requests) мгновенно > 0 1m warning
TelemetryExportFailing rate(otelcol_exporter_send_failed_*[5m]) > 0 или очередь экспортёра > 1000 5m > 0 / > 1000 1m warning

Burn rate 14.4 за 1 ч = 2 % месячного бюджета за час (весь бюджет — за ~2 дня), 6 за 6 ч = 5 % за 6 часов. Короткое окно (1/12 длинного) нужно для быстрого снятия: после восстановления доля за 1 ч ещё высока, а за 5 мин — уже нет. Recording rules slo:api_error_ratio:rate{5m,30m,1h,6h}, slo:ready_bad_ratio:rate{…}, бюджет за 30 д — раз в 5 мин.

Unit-тесты правил (infra/prometheus/tests/alerts.test.yml, promtool test rules — SUCCESS) с полной 6-часовой историей: всплеск 1 мин 100 % ошибок — burn-rate alerts молчат, простой порог срабатывает; 30 % ошибок в течение часа — fast firing на 15-й минуте, slow на 37-й, fast снят через 4 мин после конца, slow — через 28 мин; 5 % ошибок 6 часов — только slow на 217-й минуте; time-to-ready 50 % плохих — fast на 18-й минуте; остановка worker — lag alert pending через 2 мин (возраст > 60 с), firing ещё через 1 мин (for: 1m), снят после запуска worker.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke при включённой telemetry make check, make validate, make test PASS всех трёх (и повторно на финальной сборке) evidence/checks/check-validate-test.txt, smoke-final.txt
Persistence (API, все хранилища, стек telemetry) make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS за 54 с; StartedAt всех 17 контейнеров (включая one-shot migrate, s3-init) сменился evidence/checks/persistence.txt
История telemetry после перезапуска student-tests/telemetry_history.py trace, его лог и 11 точек метрик API за 10 мин до перезапуска читаются после evidence/checks/telemetry-history.txt
Failover make test-failover ×2 PASS: остановлены api-2, затем api-1; 0 неудачных попыток, запись восстановилась через 2.9 и 4.9 с evidence/checks/failover-1.txt, failover-2.txt
Возможности lab5 сохранены student-tests/worker_outage.py PASS: upload при остановленном worker пережил рестарт API и брокера, ready через 1.3 с после старта worker evidence/checks/worker-outage.txt
S3 по-прежнему приватен; опубликованы только grafana и lb scripts/check-s3-security.sh PASS evidence/checks/s3-security.txt
Ур. 3: OTLP из api и worker, RED API, jobs, логи и реальные trace student-tests/telemetry_check.py шаги 1–3 trace с traceparent клиента; server span с шаблоном маршрута, service.instance.id = X-Instance-Id; лог с тем же trace_id/span_id; 404 → лог по request_id → trace evidence/signals/telemetry-check.txt
Ур. 3: секреты/контент не экспортируются, labels низкой кардинальности шаги 5–6 пароль, session token, текст сообщения, имя файла не найдены ни в trace/логах, ни во всём Loki за 30 мин; в labels метрик нет UUID и id; http_route — только шаблоны OpenAPI там же
Ур. 3: импортируемый dashboard шаг 7 dashboard из provisioning, все запросы Prometheus/Loki/Tempo находят данные (пуста только панель потерь telemetry: за последние 15 мин потерь не было) там же
Ур. 4: upload → publish → consume → S3/DB, включая retry шаги 3–4 39 spans одного trace; при «зависшем» S3 — publish#1 → process#1 (ERROR, retry) → publish#2 → process#2 (ready) там же
Ур. 4: alerts проверены искусственным отказом promtool test rules; research/campaign.py SUCCESS; worker остановлен — JobQueueLagGrowing firing через 3:10, resolved через 0:36 после запуска; БД замирает — ApiHighErrorRate и ApiAvailabilityFastBurn firing через 2:30 и 2:50, resolved через 4:20 после восстановления evidence/track2/summary.md, timeline-*.svg
Ур. 4: остановка хранилища telemetry фазы telemetry-backends и collector-down при остановленных Tempo и Loki 2400 ответов, все 2xx; очередь Collector до 19 368 из 20 000, RSS ≤ 121 MiB, потеряно 5.8 % spans; TelemetryExportFailing firing через 1:20, resolved через 4:59 там же
Ур. 4: разбор инцидентов research/campaign.py analyze три инцидента с шагами диагностики — раздел «Инциденты» там же
Трек 2 research/campaign.py run/analyze, research/timeline.py раздел «Трек 2» evidence/track2/

Инциденты (уровень 4)

Три инцидента воспроизведены в одном прогоне кампании трека 2 (30.10.2026, 22:13–22:36 UTC; расписание и методика — в разделе трека) под постоянной нагрузкой k6 20 итераций/с. Числа — evidence/track2/summary.md (summary.json), графики — evidence/track2/timeline-api.svg и timeline-ready.svg. Время — мин:с от начала отказа, снятие alert — от конца отказа. Диагностика — по infra/runbooks.md (ссылка в аннотации runbook_url каждого alert).

Инцидент 1. Остановлен worker: вложения не становятся ready

Отказ: docker compose stop worker (обе реплики) на 6:02, поток загрузок ≈ 1/с не прерывается.

  • Клиенты. Upload по-прежнему 202: приём durable (строка в БД и outbox), публикация в RabbitMQ не зависит от worker. Вложения остаются pending; 5xx от самого отказа нет.
  • Обнаружение. JobQueueLagGrowing: pending через 2:10, firing через 3:10, снят через 0:36 после запуска worker. Первая минута остановки совпала с замороженной БД (фаза spike): новых заданий не было, поэтому от первого незабранного задания до firing прошло ≈ 2:10 = порог 60 с + for: 1m + шаг правил 10 с. Возраст старейшего задания дошёл до 297 с, backlog — до 282 заданий, подписчиков очереди — 0.
  • SLO времени до ready во время остановки ничего не видел: событие SLI пишется при завершении задания, завершений не было (burn 5m = 0). Сработал только после запуска worker: backlog разобран меньше чем за минуту, но из 417 вложений, ставших ready за 3 мин, 282 (68 %) ждали дольше 30 с (до ~6 мин). ReadyLatencyFastBurn — firing через 0:38 после запуска, снят через 5:38; ReadyLatencySlowBurn — тогда же и до конца прогона (короткая история, см. трек 2).
  • Путь к причине (runbook job-queue-lag): (1) панель «Возраст старейшего задания» — растёт линейно, линия consumers = 0 → (2) docker compose ps -a worker — обе реплики Exited. Причина найдена за два шага; восстановление — docker compose start worker (или up -d --no-deps worker), alert снят через 36 с.

Инцидент 2. Медленная или недоступная БД против медленного обработчика

Отказы: PostgreSQL заморожен (docker compose pause) на 60 с (spike) и на 25 с каждые 60 с в течение 5 мин (api-degradation); отдельно api-1 ограничен 0.1 CPU на 2 мин (docker update --cpus 0.1, handler-slow).

Сигнал БД заморожена 1 мин БД замирает 25 с из 60, 5 мин api-1 на 0.1 CPU, 2 мин
5xx у клиентов (HAProxy) 1177 из 1806 ответов за 90 с; за 1 мин — до 100 % в среднем 41.8 % (2509) ≤ 0.4 %
5xx в метриках API 64 — остальные 95 % ответил сам LB 6.6 % (247) 0.1 %
p99 API 10 с у обеих реплик (таймаут LB → 504) 10 с у обеих api-1 5.0 с, api-2 0.65 с
Задержка event loop p99 0.02–0.03 с ≤ 0.1 с api-1 7.3 с, api-2 0.07 с
CPU процесса API (доля ядра) 0.05–0.06 ≤ 0.09 api-1 0.089 при лимите 0.1
Пул: ждут соединения 0 — реплики вне ротации, запросы до API не доходят до 11 (сумма двух реплик) api-1 до 7 (8 из 8 заняты), api-2 0
p99 SQL 0.03 с — зависшие запросы не завершились и в histogram не попали API 1.0 с, worker 0.37 с api-1 0.62 с
Медленные trace (> 300 мс), медиана 2004 мс, из них ожидание pg-pool.connect 2001 мс 2001 мс, из них ожидание пула 1999 мс 898 мс: pg.query 600 мс, «своё» время 4 мс; 18 из 19 — api-1
ERROR/WARN в логах http.dependency_unavailable 63 (error.type=Error — таймаут пула 2 с), sweeper.error 24, relay.db_unavailable 2 то же: 303 / 46 / 4 3
Alerts ApiHighErrorRate 2:30; fast burn — нет (всплеск короткий) ApiHighErrorRate 2:30, ApiAvailabilityFastBurn 2:50 нет (DbPoolSaturated только pending)

Путь к причине для БД (runbook api-availability-burn → db-pool-saturated), фаза api-degradation: (1) панель «Доля 5xx»: линия «у клиентов (HAProxy)» 42 % намного выше линии «в метриках API» 7 % — отвечает сам LB, реплики выходят из ротации (haproxy_backend_active_servers и /stats: 0 из 2 во время каждой паузы) → (3) логи http.dependency_unavailable, error.type=Error (таймаут ожидания пула) → (4) trace: 2 с в pg-pool.connect → db-pool-saturated: (1) event loop и CPU обеих реплик в норме — дело не в процессе → (2) docker compose ps postgres — paused. Четыре шага.

Медленный обработчик. Alert не сработал (5xx нет), симптом — p99 api-1 на dashboard. Trace здесь обманывает: время сидит в pg.query и pg-pool.connect, потому что span заканчивается в callback, а callback ждёт занятый event loop. Первая версия runbook отправила бы в БД («медленный handler — длинный SERVER span при коротких дочерних»). Различают другие сигналы: задержка event loop в секундах и CPU у лимита — только у одной реплики, медленные trace — почти все с неё. Runbook исправлен по результату эксперимента: db-pool-saturated начинается с проверки event loop/CPU реплики, docker inspect -f '{{.HostConfig.NanoCpus}}' показывает лимит 1e8 (0.1 CPU) — причина найдена.

Инцидент 3. Недоступно хранилище telemetry, затем сам Collector

Отказы: docker stop Tempo и Loki на 121 с (telemetry-backends); docker stop otel-collector на 62 с (collector-down).

Сигнал Tempo и Loki остановлены Collector остановлен
Ответы клиентам 2400 за время простоя, все 2xx 1794 2xx и 6 5xx за 85 с вокруг простоя (ниже)
Очередь экспортёров Collector otlp_grpc/tempo до 19 368 из 20 000, otlp_http/loki до 2 325 —
Потери отброшено 1102 из 19 023 принятых за простой spans (5.8 %) и 174 из 2723 log records — пачки, повторявшиеся дольше 60 с (max_elapsed_time); остальное дождалось в очереди и ушло после запуска; отказов memory_limiter — 0 SDK API за фазу начал 19 095 spans; в Tempo за окно простоя 117 trace против 1021 в таком же окне baseline (11 %), все — из последних 16 с перед запуском (пачки, которые SDK ещё не отбросил); остальное потеряно
Память RSS Collector ≤ 121 MiB (лимит контейнера 256 MiB, memory_limiter 200 MiB) RSS API ≤ 100 MiB (в baseline 96 MiB): очередь SDK ограничена 2048 spans
Alert TelemetryExportFailing: pending 0:20, firing 1:20, снят через 4:59 после запуска (окно rate 5 мин) не сработал: метрики потерь отдаёт сам Collector — слепое пятно (ограничения)

6 ответов 5xx при остановленном Collector с ним не связаны: в те же секунды у API и worker были таймауты соединения с S3 и PostgreSQL (s3.error TimeoutError, Connection terminated due to connection timeout), а Tempo сам перезапустился (exit 0, не OOM) — кратковременный сбой общего хоста. Экспорт telemetry асинхронный и в обработку запроса не входит.

Путь к причине (runbook telemetry-export-failing): (1) панели «Потери telemetry» и «Очередь экспортёров» — растёт очередь otlp_grpc/tempo и otlp_http/loki → (2) docker compose ps tempo loki — exited. Остановка Collector видна иначе: на всех панелях приложения разом пропадают данные, docker compose ps otel-collector — exited.

Трек 2. SLO и обнаружение инцидентов

Гипотезы.

  1. Простой порог (ApiHighErrorRate: > 5 % 5xx за 5 мин, держится 2 мин) срабатывает и на короткий всплеск, который почти не тратит бюджет: минута полного отказа — 60 с из 216 мин месячного бюджета, 0.5 %. Для страницы это шум.
  2. Multiwindow burn-rate alerts молчат на таком всплеске и срабатывают на длительной деградации тем раньше, чем быстрее сгорает бюджет: при доле ошибок e fast burn сработает, когда доля за 1 ч превысит 7.2 %, то есть через ≈ 60 мин · 0.072 / e (при 28 % ошибок — ≈ 15 мин), а снимется через ≈ 5 мин после восстановления (короткое окно).
  3. SLI на LB видит отказы, которых не видит SLI в метриках API (503/504 самого HAProxy).
  4. SLI времени до ready считается по завершённым заданиям и поэтому запаздывает при остановленном worker; вовремя ловит такой отказ только опережающий сигнал — возраст старейшего задания.

Методика (research/campaign.py, research/k6/messenger.js, scripts/load.sh). Одна непрерывная нагрузка k6 на всё время эксперимента: open model (constant-arrival-rate) 20 итераций/с — 65 % чтений истории (limit 20), 30 % новых сообщений, 5 % загрузок PNG (≈ 1 вложение/с), 5 пар пользователей; k6 в контейнере в сети frontend стенда через lb:8080. Отказы — по расписанию от начала (после 60 с прогрева), параллельными дорожками:

Фаза Начало, мин Отказ Длительность Наблюдение после
baseline 0 нет (ложные срабатывания) 2.5 мин —
spike — краткий всплеск 2.5 docker compose pause postgres 60 с 4.5 мин
worker-stop — инцидент 1 и деградация time-to-ready 2.5 docker compose stop worker 6 мин 5.5 мин
telemetry-backends — инцидент 3, часть 1 4 docker stop tempo и loki 2 мин 5 мин
handler-slow — инцидент 2: медленный обработчик 6.5 docker update --cpus 0.1 у api-1 2 мин 1 мин
api-degradation — длительная деградация API 9.5 pause postgres на 25 с каждые 60 с 5 мин 4.5 мин
collector-down — инцидент 3, часть 2 19 docker stop otel-collector 1 мин 1 мин

Отказы, меняющие SLI доступности (всплеск и деградация), идут по очереди, всплеск — первым: так в его 1h-окне нет ошибок деградации. Остановка worker, backend telemetry и медленный обработчик этот SLI не меняют и наложены на них; трассы медленного обработчика пишутся уже после возврата Tempo. Остановка Collector рвёт все метрики (и SLI) и поэтому последняя. Инцидент 2 «медленная/недоступная БД» — фазы spike и api-degradation (PostgreSQL заморожен), сравнение — с handler-slow.

Отказы касаются только контейнеров messenger-lab6 и снимаются в finally (unpause, start, прежний --cpus). Разбор (campaign.py analyze) — только по сохранённым наблюдениям: интервалы pending/firing из серии ALERTS (шаг 10 с = интервал вычисления правил), максимумы метрик в окне отказа, медленные (> 300 мс) trace API из Tempo с разложением времени server span на ожидание пула, SQL, S3 и собственное время обработчика, число событий ERROR/WARN в Loki. Время обнаружения — от начала отказа до firing; время снятия — от конца отказа до resolved. Калибровка перед кампанией (по 40 с под той же нагрузкой): PostgreSQL на 0.05 CPU — 24 % ошибок, p99 7.2 с (этот же прогон показал разницу SLI: 101 ответ 5xx в метриках API против 190 у клиентов); api-1 на 0.1 CPU — 0 ошибок, p99 2.7 с; worker на 0.05 CPU успевал за 1 загрузкой/с (изображения маленькие), поэтому деградация time-to-ready сделана остановкой worker, а не ограничением CPU.

Результаты (один прогон 30.10.2026, 22:13–22:36 UTC; evidence/track2/summary.md, summary.json, phases.json, k6.json; графики timeline-api.svg — доли 5xx у клиентов и в метриках API, SLI 1h/6h и firing; timeline-ready.svg — то же для времени до ready). k6 за прогон: 26 590 запросов, open model держал 20 итераций/с без пропусков (dropped_iterations 0), ошибки 14.4 % — в окнах отказов (в baseline 0); p50 4.7 мс, p95 95 мс, p99 2.0 с.

Отказ Что видели клиенты Alert firing после начала снят после конца
baseline, 2.5 мин 0 % 5xx, p99 0.22 с — ни одного: ложных срабатываний нет —
spike: БД заморожена 1 мин 1177 ошибок из 1806 ответов за 90 с = 0.45 % месячного бюджета ApiHighErrorRate 2:30 4:49
ApiAvailabilityFastBurn не сработал: burn за 1 ч ≤ 7.6 × —
ApiAvailabilitySlowBurn 1:00 — артефакт короткой истории (ниже) не снят до конца прогона
api-degradation: БД замирает 25 с из 60, 5 мин 41.8 % 5xx ApiHighErrorRate 2:30 4:20
ApiAvailabilityFastBurn 2:50 4:20
worker-stop: 6 мин 5xx нет, вложения не становятся ready JobQueueLagGrowing 3:10 (2:10 от первого незабранного задания) 0:36
ReadyLatencyFastBurn 6:40 — через 0:38 после запуска worker 5:38 после запуска
ReadyLatencySlowBurn 6:40 не снят до конца прогона
handler-slow: api-1 на 0.1 CPU, 2 мин p99 api-1 5 с, 5xx ≤ 0.4 % — ни одного (DbPoolSaturated только pending) —
telemetry-backends: Tempo и Loki, 2 мин 5xx нет TelemetryExportFailing 1:20 4:59
collector-down: 1 мин 5xx нет (6 из 1800 — сбой хоста) TelemetryExportFailing не сработал —
  1. Гипотеза 1 подтверждена. Простой порог сработал на минутном всплеске (firing 2:30, горел 3:11), который стоил 0.45 % месячного бюджета, — так же, как на пятиминутной деградации (2:30). По нему эти инциденты не различить, а страница на каждый такой всплеск — шум.
  2. Гипотеза 2 подтверждена для fast burn. На всплеске fast burn молчал, на деградации сработал через 2:50 и снят через 4:20 после восстановления (прогноз — ≈ 5 мин, окно 5m). Сработал раньше оценки 60 мин · 0.072 / 0.418 ≈ 10 мин: к началу деградации в окне 1 ч уже были ошибки всплеска и калибровки (burn 7.5 ×), а ответов в нём — 37.7 тыс., как за 31 мин нагрузки, а не за час. Slow burn сработал на всплеске — ложное срабатывание из-за короткой истории: в окне 6 ч было 29.8 тыс. ответов — как за 25 мин нагрузки, а не ≈ 430 тыс. при 20 запросах/с. При полной истории те же 1177 ошибок дают burn за 6 ч 0.54 × и за 1 ч 3.27 × — ниже обоих порогов; это и проверяет unit-тест правил с полной 6-часовой историей (всплеск 1 мин: burn-rate alerts молчат). По той же причине slow burn не снялся до конца прогона.
  3. Гипотеза 3 подтверждена. На всплеске HAProxy насчитал 1177 ответов 5xx, процесс API отдал 64: 95 % ошибок — 503/504 самого LB (реплики вне ротации). На деградации доля 5xx у клиентов — 41.8 %, в метриках API — 6.6 %. SLI в метриках API занизил бы burn в 6 раз и не поднял бы fast burn вовсе (6.6 % < 7.2 %).
  4. Гипотеза 4 подтверждена. Шесть минут остановленного worker SLI времени до ready не видел (burn 5m = 0): событие пишется при завершении. Сработал через 0:38 после запуска, когда 282 из 417 вложений завершились позже 30 с. Вовремя ловит только возраст старейшего задания (JobQueueLagGrowing, 3:10). При полной истории 282 плохих вложения — 7.8 % часового объёма (≈ 3600 при 1 загрузке/с) и 1.1 % месячного бюджета: fast burn не сработал бы, page даёт только lag-alert — так и задумано.

Ложные срабатывания. В baseline — ни одного. Оба slow burn (API после всплеска, ready после остановки worker) — артефакт короткого окна истории, объяснён выше. DbPoolSaturated не сработал ни разу: при замороженной БД пул пуст (реплики вне ротации), при паузах 25 с из 60 и при медленном обработчике pending > 0 не держится минуту подряд — в текущем виде он бесполезен (следующий шаг — доля времени с pending > 0 за 5 мин).

Runbook. От alert до причины — 2–4 шага по infra/runbooks.md (пути — в разделе «Инциденты»). Эксперимент нашёл в runbook ошибку: при нехватке CPU у API trace выглядит как медленная БД (время в pg.query/pg-pool.connect, своё время обработчика — 4 мс). Runbook исправлен: db-pool-saturated начинается с задержки event loop и CPU реплики, в таблице «медленная БД / медленный handler» — значения из этого прогона.

Ограничения и следующие шаги

  • Эксперимент короткий: один прогон, фазы сокращены (отказы 1–6 мин, наблюдение 1–5.5 мин), часть фаз наложена во времени, доверительных интервалов нет. В окнах 1 ч и 6 ч было лишь 25–31 мин нагрузки, поэтому burn-rate alerts срабатывают раньше, чем при полной истории, slow burn дал ложное срабатывание на всплеске, а его снятия (окно 30m) за время наблюдения не дождались; поведение при полной истории подтверждает только unit-тест правил. Наложение фаз сдвинуло часть измерений: lag-alert сработал на минуту позже (при замороженной БД задания не создавались), а окна метрик worker-stop и telemetry-backends в summary.md захватывают 5xx соседних фаз — числа для этих отказов в разделе «Инциденты» посчитаны отдельно по точным интервалам. На том же хосте работали другие стенды и сам k6 — абсолютные задержки шумные, выводы опираются на относительные изменения (×10 и больше).
  • Кампания прошла до шести исправлений по итогам ревью кода (потеря аренды в worker, SLI для заданий с исчерпанными повторами, таймаут запроса метрик очереди к БД, контекст ошибок пула, created_at при replay, OTEL_SDK_DISABLED). Повлиять они могли только на метрики API во время заморозки БД (gauge очереди ждал БД без таймаута); SLI доступности считается по HAProxy. Smoke и проверка сигналов повторены на финальной сборке.
  • Tempo один раз перезапустился сам (exit 0, не OOM) в фазе collector-down — в те же секунды у API и worker были таймауты соединений с S3 и PostgreSQL, то есть сбой общего хоста. Данные пережили перезапуск (trace всех фаз разобраны после него); точную причину по логам уровня warn установить не удалось.
  • Стек наблюдаемости — один экземпляр без резерва. Если недоступен Prometheus, alerts не вычисляются; нет meta-мониторинга (watchdog-alert во внешнюю систему) и доставки (Alertmanager) — по заданию достаточно состояния firing/resolved. Если упал LB, SLI доступности остаётся без данных, а не показывает 0 % — нужен alert на absent() или внешний blackbox-probe. Так же TelemetryExportFailing не видит остановку самого Collector (его метрики идут через Collector; проверено фазой collector-down) — нужен alert на отсутствие метрик Collector за 2 мин (absent_over_time) или прямой scrape Collector Prometheus-ом.
  • DbPoolSaturated в текущем виде бесполезен: в кампании не сработал ни разу (трек 2). Следующий шаг — доля времени с pending > 0 за 5 мин вместо for: 1m на мгновенном значении.
  • Очередь Collector в памяти: при перезапуске Collector неотправленное теряется; SDK держит данные только в ограниченной очереди (2048 spans) — при остановке Collector на 62 с дошли лишь trace последних 16 с (11 %). Очередь экспортёра Tempo за 2 мин простоя заполнилась на 97 %: при более долгом простое Collector начнёт отбрасывать данные уже при постановке в очередь (enqueue_failed), память при этом ограничена. Следующий шаг — persistent queue (file_storage) и счётчик потерь на стороне SDK.
  • Трассы — 100 %: на учебной нагрузке ~150 spans/с это дёшево; при реальном объёме нужен tail sampling (сохранять ошибки и медленные, остальное — долю).
  • SLI time-to-ready считается по завершению: полностью остановленный worker SLI не видит до запуска; это закрывает JobQueueLagGrowing. Бюджет «30 дней» на стенде — вся доступная история.
  • Входящий traceparent клиента продолжается (удобно для проверки); на публичной границе стоит начинать новый trace и связывать его с клиентским через link.
  • OpenTelemetry Logs API для JS — 0.x (экспериментальный), версии закреплены.

Ответы на вопросы защиты

  • Лог, метрика и trace об одном инциденте. Метрика отвечает «что и насколько» по всей системе дёшево и сразу (доля 5xx выросла до 30 % на всех маршрутах, пул БД исчерпан) и запускает alert; trace — «где» в конкретном запросе (2 с из 2 с в pg-pool.connect при нормальной задержке event loop — дело в БД; если event loop реплики занят секундами, длинные дочерние spans — следствие нехватки CPU, это показал трек 2); лог — «что именно случилось» (событие http.dependency_unavailable, error.type=Error — таймаут ожидания пула) и связывает ответ клиента (X-Request-Id) с trace.
  • Почему chat_id в labels опасен. Каждая уникальная комбинация labels — отдельный ряд Prometheus со своим индексом и памятью в head-блоке. Число чатов растёт неограниченно: с chat_id × маршрут × статус × бакеты histogram (15) рядов становятся миллионы, память и диск Prometheus исчерпываются, запросы замедляются. Поэтому в labels — шаблон маршрута, а id — только в trace/логах.
  • Как очередь переносит причинную связь. Контекст W3C (traceparent: trace-id, span-id родителя, флаги) сохраняется вместе с заданием в outbox (та же транзакция), relay создаёт PRODUCER span с этим родителем и кладёт его контекст в сообщение, worker извлекает его и делает CONSUMER span дочерним. Процесс и время разные, trace один.
  • Среднее и p99; усреднение p99 реплик. Среднее прячет хвост: 1 % запросов по 5 с при остальных 10 мс даёт среднее 60 мс, а пользователь каждого сотого запроса ждёт 5 с. Квантиль нельзя усреднять: p99 двух реплик 10 мс и 2.7 с (одна перегружена) в среднем дают 1.35 с, хотя реальный общий p99 определяется распределением всех запросов. Правильно — сложить buckets histogram всех реплик и взять histogram_quantile от суммы.