- api и worker отдают traces, metrics и logs по OTLP в Collector (memory_limiter, redaction, batch, ограниченная очередь и retry); хранилища: Prometheus (OTLP receiver), Loki, Tempo; Grafana с provisioning datasources и dashboard «Messenger lab6» - W3C trace context через outbox и RabbitMQ: producer/consumer spans связывают upload, публикации и попытки worker в одном trace - SLO доступности API (SLI на HAProxy) и времени до ready, multiwindow burn-rate alerts, ApiHighErrorRate, JobQueueLagGrowing, DbPoolSaturated, TelemetryExportFailing; unit-тесты promtool, runbooks - кампания трека 2 (k6, 6 отказов по расписанию), разбор и графики; проверки сигналов и истории telemetry, evidence и REPORT.md
63 KiB
Отчёт — лабораторная 6
- Автор, группа: Морару С. С., БПИ2303
- Целевая оценка: 5, трек 2 «SLO и обнаружение инцидентов»
- Commit/PR: ветка
solution/bpi2303-moraru(forks.s.moraru/mtusi2026lab6и PR — при публикации) - Источники: OpenTelemetry JS (
@opentelemetry/sdk-node0.223.0,api1.9.1,api-logs0.223.0,core2.12.0, instrumentationhttp0.223.0,pg0.76.0,aws-sdk0.78.0,runtime-node0.36.1), OpenTelemetry Collector contrib 0.163.2, Prometheus 3.15.1, Loki 3.7.9, Tempo 2.10.10, Grafana 13.2.5, k6 1.8.2; база — lab5 (Node.js 24,pg8.23.1,@aws-sdk/client-s33.1152.0,amqplib2.2.0,sharp0.35.5, PostgreSQL 18, RabbitMQ 4.3, SeaweedFS 4.48, HAProxy 3.2). Документация: Collector configuration, Context propagation, W3C Trace Context, семантические конвенции OpenTelemetry (HTTP, database, messaging), Prometheus histograms, Grafana provisioning, Google SRE Workbook, гл. 5 «Alerting on SLOs» (multiwindow, multi-burn-rate alerts).
Запуск из чистого clone
Prerequisites: Docker Engine + Compose v2 (проверено Docker 29.8.2, Compose 5.5.0, OrbStack), Python 3.9+ (тесты), OpenSSL. Образы закреплены версией, сторонние — и digest:
| Роль | Сервис | Образ | Volume | Сеть / порт | Лимит |
|---|---|---|---|---|---|
| LB | lb |
haproxy:3.2.26-alpine@sha256:58938405… |
— | frontend, backend; 127.0.0.1:${LB_PORT}, stats 127.0.0.1:${LB_STATS_PORT} |
1 CPU, 128 MiB |
| API ×2, worker ×2, migrate, s3-init, reconciler | api, worker, … |
messenger-lab6-app:dev (сборка, node:24.22.2-alpine3.24) |
— | backend | api 1 CPU/256 MiB, worker 1 CPU/768 MiB |
| БД | postgres |
postgres:18.6-alpine@sha256:10a5c69a… |
pgdata |
backend | 2 CPU, 1 GiB |
| Брокер | rabbitmq |
rabbitmq:4.3.6-alpine@sha256:6931816a… |
rabbitmq-data |
backend | 1 CPU, 512 MiB |
| S3 | seaweedfs, s3 |
chrislusf/seaweedfs:4.48@sha256:4e61d15f… |
s3data |
storage (+ backend у шлюза) | 1 CPU, 512/768 MiB |
| Collector | otel-collector |
otel/opentelemetry-collector-contrib:0.163.2@sha256:7f22d2a6… |
— (очередь в памяти) | backend, telemetry | 1 CPU, 256 MiB |
| Метрики + alert rules | prometheus |
prom/prometheus:v3.15.1@sha256:fa330227… |
prometheus-data |
telemetry | 1 CPU, 512 MiB |
| Логи | loki |
grafana/loki:3.7.9@sha256:0db216b6… |
loki-data |
telemetry | 1 CPU, 384 MiB |
| Трассы | tempo |
grafana/tempo:2.10.10@sha256:12b0820f… |
tempo-data |
telemetry | 1 CPU, 512 MiB |
| UI | grafana |
grafana/grafana:13.2.5@sha256:9f7aa1e1… |
grafana-data |
frontend, telemetry; 127.0.0.1:${GRAFANA_PORT} |
0.5 CPU, 256 MiB |
| Нагрузка (вне стенда) | — | grafana/k6:1.8.2@sha256:00fdcebа… |
— | frontend стенда | 2 CPU |
Полные digest — в compose.yaml и scripts/load.sh. Сеть telemetry — internal: Prometheus, Loki и Tempo на хост
не опубликованы, снаружи доступна только Grafana (на 127.0.0.1).
scripts/init-secrets.sh # .env из .env.example, secrets/ (вне Git): как в lab5 +
# secrets/grafana_admin_password (пароль admin Grafana)
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait # хранилища → migrate, s3-init → api ×2, worker ×2,
# reconciler → lb; otel-collector, prometheus, loki, tempo, grafana
python3 -m venv .venv && .venv/bin/pip install -r requirements-dev.txt
make check && make validate PYTHON=.venv/bin/python
make test BASE_URL=http://localhost:8096 # LB на 127.0.0.1:${LB_PORT:-8080}
python3 student-tests/telemetry_check.py --base-url http://localhost:8096 --grafana http://localhost:3096
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8096
python3 student-tests/telemetry_history.py --grafana http://localhost:3096 --trace-id <trace до перезапуска> --before <unix-время>
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8096 && docker compose start api
scripts/check-s3-security.sh
docker run --rm -v "$PWD/infra/prometheus:/etc/prometheus:ro" --entrypoint promtool prom/prometheus:v3.15.1 \
test rules /etc/prometheus/tests/alerts.test.yml # unit-тесты alert rules (5 сценариев)
RATE=20 DURATION=10m scripts/load.sh # нагрузка k6 (open model) изнутри сети стенда
python3 research/campaign.py run --out evidence/track2 # нагрузка + 6 ограниченных отказов по расписанию (~22 мин)
python3 research/campaign.py analyze --out evidence/track2 # разбор только по сохранённым наблюдениям
python3 research/timeline.py --out evidence/track2 --metric api # график: доли 5xx, SLI 1h/6h, firing alerts
python3 research/timeline.py --out evidence/track2 --metric ready # то же для времени до ready
docker compose stop # безопасная остановка; удаление учебных данных: docker compose down -v
Grafana: http://127.0.0.1:${GRAFANA_PORT}, пользователь admin, пароль — файл secrets/grafana_admin_password
(регистрация и анонимный доступ выключены). Datasources (Prometheus, Loki, Tempo) и dashboard «Messenger lab6»
(папка Messenger) загружаются provisioning-ом из infra/grafana/ при старте — вручную ничего не создаётся; правка
dashboard — в infra/grafana/build_dashboard.py, затем python3 infra/grafana/build_dashboard.py.
Типы: npm ci && npm run typecheck. На стенде автора заняты 8080–8095, в .env стоят LB_PORT=8096,
LB_STATS_PORT=8416, GRAFANA_PORT=3096; все проверки ниже запускались с этими портами.
Телеметрию можно выключить без пересборки: OTEL_SDK_DISABLED=true в .env (приложение работает, стек остаётся).
Архитектура и решения
клиент ─► lb (HAProxy) ─► api ×2 ─► postgres, s3, rabbitmq ─► worker ×2 (бизнес-часть — как в lab5)
│ :8404/metrics │ OTLP/HTTP: traces, metrics, logs │ OTLP/HTTP
│ ▼ ▼
└──── scrape ─► otel-collector ◄── scrape rabbitmq:15692/metrics/detailed, собственные метрики :8888
│ memory_limiter → redaction → batch → ограниченная очередь + retry
├─ traces ─► tempo (OTLP gRPC) volume tempo-data, хранение 7 дней
├─ logs ───► loki (OTLP HTTP /otlp) volume loki-data, 7 дней
└─ metrics ► prometheus (OTLP receiver) volume prometheus-data, 15 дней / 1 GB;
правила SLO и alerts
grafana (127.0.0.1:3096) ── datasources Prometheus / Loki / Tempo, dashboard из provisioning
Из lab5 перенесено без изменений: весь API lab1–5 и контракт, HAProxy, PostgreSQL, SeaweedFS, RabbitMQ (quorum
queue, publisher confirms), transactional outbox с relay/sweeper в API, worker с арендой и fencing, reconciler,
скрипты init-secrets, restart, stop-one, check-s3-security. Добавлено/изменено:
src/telemetry.ts— OpenTelemetry SDK, загружается до приложения (node --import ./src/telemetry.ts src/main.tsв api и worker; migrate/s3-init/reconciler без SDK).src/otel.ts— tracer, meter, структурный лог, перенос контекста; без SDK всё в нём no-op, поэтомуOTEL_SDK_DISABLED=trueоставляет рабочее приложение.- Все
console.*заменены наlog(level, event, message, attrs): JSON-строка в stdout (docker logs) и OTLP-запись в Loki сtrace_id/span_idактивного span. - Миграция
004_trace_context.sql: вoutboxколонкиtraceparent,tracestate; поля сообщения брокераtraceparent/tracestate(уже разрешеныcontracts/jobs.schema.json). - Метрики заданий и очереди (
src/jobs/metrics.ts,relay.ts,worker.ts), процессные CPU/RSS. - Compose:
otel-collector,prometheus,loki,tempo,grafana, сетьtelemetry(internal), 4 volume, секретgrafana_admin_password; конфиги вinfra/otel,infra/prometheus,infra/loki,infra/tempo,infra/grafana; runbook —infra/runbooks.md. start_periodhealthcheck API — 60 с: инициализация SDK (загрузка instrumentations через ESM-hook) на занятом хосте растягивает старт реплики до ~25 с; успешная проверка всё равно делает контейнер healthy сразу.
Назначение хранилищ
| Хранилище | Что хранит | На какой вопрос отвечает | Индекс / кардинальность |
|---|---|---|---|
| Prometheus | числовые ряды: счётчики, gauge, histogram buckets; результаты recording rules; состояние alerts (ALERTS) |
«сколько, как часто, насколько медленно, растёт ли» по всей системе; SLO и alerts | каждая комбинация labels — отдельный ряд, поэтому только низкокардинальные labels |
| Loki | структурные логи (события) | «что именно случилось» с конкретным запросом/заданием: событие, error.type, request_id |
в индексе 3 label: service_name, service_instance_id, deployment_environment_name; event, request_id, trace_id, span_id, error.type, severity_text — structured metadata (не индекс) |
| Tempo | trace: дерево spans одного запроса/задания с длительностями и атрибутами | «где тратится время и где ошибка» по цепочке API → БД/S3 → брокер → worker | поиск по trace_id и TraceQL; хранение блоками без индекса по атрибутам |
| Collector | ничего долговременно | приём OTLP и scrape, ограничение памяти, маскирование, batching, retry, маршрутизация | очередь экспортёра в памяти (до 20 000 элементов) |
| Grafana | только свою БД (пользователь, состояние provisioning) | интерфейс и запросы к трём источникам, переходы лог ↔ trace | — |
Сигналы: соответствие contracts/observability.md
Имена — как в Prometheus после перевода OTLP (translation_strategy: UnderscoreEscapingWithSuffixes: точки → _,
единица и _total в суффиксе). Resource attributes: service.name (messenger-api / messenger-worker, из
OTEL_SERVICE_NAME), service.version (из package.json, 6.0.0), service.instance.id (hostname контейнера =
X-Instance-Id), deployment.environment.name=lab; в Prometheus они становятся job, instance и target_info,
в Loki — индексными labels.
| Сигнал контракта | Источник | Имя | Измерения | Единица |
|---|---|---|---|---|
| HTTP requests | instrumentation-http (стабильная semconv) | http_server_request_duration_seconds_count |
http_request_method, http_route (шаблон), http_response_status_code (класс — label_replace/regex) |
запросы |
| HTTP duration | там же | http_server_request_duration_seconds_bucket |
те же; границы 5 мс…10 с (14 buckets) | секунды |
| Jobs processed / failed | src/jobs/metrics.ts |
messenger_job_duration_seconds_count |
job_type=attachment.process.v1, outcome (done, retry, failed, noop, discarded, invalid, error) |
задания |
| Job processing duration | там же | messenger_job_duration_seconds_bucket |
job_type, outcome; 0.05…60 с |
секунды |
| API/worker logs | log() → OTLP → Loki |
поля timestamp, severity_text, service_name, event, trace_id, span_id (+ request_id, error.type, messenger.job.*) |
— | — |
| API/worker traces | instrumentation http/pg/aws-sdk + свои spans | SERVER POST /api/v1/chats/{chat_id}/attachments, CLIENT pg.query:*, pg-pool.connect, S3.*, PRODUCER publish attachments, CONSUMER process attachments.process, INTERNAL claim job, render variants, commit result |
статус ERROR, messenger.job.outcome |
длительность span |
| Queue depth / oldest job age | gauges relay (из таблицы jobs, источник истины) + RabbitMQ |
messenger_jobs_backlog{state}, messenger_outbox_pending, messenger_jobs_oldest_age_seconds{queue}, rabbitmq_detailed_queue_messages_ready/unacked, rabbitmq_detailed_queue_consumers |
queue, state |
задания / секунды |
| DB pool | instrumentation-pg | db_client_connection_count{db_client_connection_state=idle|used}, db_client_connection_pending_requests, db_client_connection_max, db_client_operation_duration_seconds |
db_client_connection_pool_name=postgres:5432/messenger |
соединения / секунды |
| Worker saturation | worker.ts |
messenger_worker_busy, messenger_worker_capacity (= prefetch) |
instance |
задания |
| Process CPU/RAM | telemetry.ts, runtime-node |
process_cpu_time_seconds_total{cpu_mode}, process_memory_usage_bytes, nodejs_eventloop_delay_p99_seconds |
job, instance |
секунды CPU / байты / секунды |
| upload → publish → consume → S3/DB | W3C traceparent/tracestate через outbox и сообщение |
один trace: SERVER → PRODUCER → CONSUMER → S3/SQL | parent-child | — |
| End-to-end time to ready | worker при фиксации ready | messenger_attachment_time_to_ready_seconds_bucket |
outcome (ready/failed), error_type; 0.5…600 с |
секунды |
X-Request-Id пишется в атрибут server span messenger.request_id и в поле request_id логов: ответ клиента →
лог → trace. Health-запросы (/health/*, проверки HAProxy и Docker раз в секунду) не создают spans и метрик.
Trace context через очередь (уровень 4)
- Upload: server span API; в той же транзакции, что и задание, в строку
outboxзаписываетсяtraceparentтекущего контекста (traceCarrier()). - Relay (фоновый цикл, запускается в
ROOT_CONTEXT, чтобы его SQL не попадал в trace запроса) для каждой строки создаёт PRODUCER spanpublish attachmentsс родителем изoutbox.traceparentи кладёт в сообщение уже его контекст. - Worker создаёт CONSUMER span
process attachments.processс родителем из сообщения: внутри —claim job,S3.GetObject,render variants,S3.PutObject×3,S3.CopyObject,commit result(SQL),S3.DeleteObject. - Повтор: новая строка outbox получает контекст CONSUMER span неудачной попытки → в том же trace
publish#1 → process#1 (ERROR, retry) → publish#2 → process#2 (ready). Sweeper иjobs replayкопируют контекст последней строки outbox задания.
Выбрана связь parent-child, а не link: у задания ровно один инициатор (upload), и весь путь до ready читается одним
trace. Цена — длинный trace при многих повторах (не больше JOB_MAX_ATTEMPTS=5 публикаций).
Что не попадает в telemetry
- Тела запросов и ответов, заголовки (в том числе
Authorization, cookie) instrumentation-http не записывает; вurl.queryserver span значенияfilenameиcursorзаменяются наREDACTED. - SQL — только текст запроса с плейсхолдерами
$1…(enhancedDatabaseReporting: false): ни текста сообщений, ни хешей паролей, ни токенов. S3 spans — только операция и bucket, без ключей объектов. Байты изображений не передаются никуда. - В атрибутах логов — только технические поля (
request_id,messenger.job.id,messenger.attachment.id,error.type), без текста исключений с данными пользователя. - Collector, процессор
redaction— страховка: значения ключей видаauthorization|password|secret|token|cookieи строкиBearer …/Basic …маскируются до экспорта. - В spans и логах остаются технические UUID (путь
url.path,messenger.attachment.id): они нужны, чтобы найти конкретный запрос и задание (runbook: поиск trace по id вложения); в labels метрик их нет — проверяется автоматически (шаг 5telemetry_check.py).
Collector: ограничение памяти и недоступный backend (уровень 4)
receivers: otlp (HTTP :4318), prometheus → processors: memory_limiter (200 MiB, spike 40 MiB; GOMEMLIMIT 180 MiB, контейнер 256 MiB), redaction, batch (1024/2048, 2 с) → exporters: otlp_grpc/tempo, otlp_http/loki, otlp_http/prometheus. У каждого экспортёра sending_queue 20 000 элементов (sizer items, 2 consumers) и
retry_on_failure 1 → 10 с, не дольше 60 с; затем данные отбрасываются и считаются в
otelcol_exporter_send_failed_*, при полной очереди — otelcol_exporter_enqueue_failed_*; при нехватке памяти
memory_limiter отказывает в приёме (otelcol_receiver_refused_*). Собственные метрики Collector публикуются на
127.0.0.1:8888 и собираются им же (job otel-collector).
SDK: BatchSpanProcessor и BatchLogRecordProcessor — очередь 2048 записей, отправка раз в 1 с; метрики — раз в 10 с. Экспорт асинхронный, запрос пользователя его не ждёт; при недоступном Collector SDK отбрасывает пачку.
Конфигурация (.env.example → реальная)
Переменные lab5 используются как раньше. Новые: OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318,
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf, OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab,
OTEL_SDK_DISABLED — передаются api и worker через x-otel-env в compose.yaml; OTEL_SERVICE_NAME задаётся у
каждого сервиса (messenger-api, messenger-worker), значение в .env.example — только для запуска вне compose.
Дополнительно в compose: OTEL_PROPAGATORS=tracecontext, OTEL_METRIC_EXPORT_INTERVAL=10000,
OTEL_BSP_SCHEDULE_DELAY=1000, OTEL_BLRP_SCHEDULE_DELAY=1000, OTEL_NODE_EXPERIMENTAL_SDK_METRICS=true
(метрики самого SDK: otel_sdk_span_started_total, очередь процессоров). GRAFANA_PORT — порт Grafana на 127.0.0.1.
Dashboard «Messenger lab6»
infra/grafana/dashboards/messenger.json (генерируется build_dashboard.py), 29 панелей в 6 рядах; у каждой панели
задана единица (fieldConfig.unit). Квантили — histogram_quantile по сумме buckets всех реплик
(sum by (le) (rate(..._bucket[$__rate_interval]))), а не среднее или усреднение p99 реплик.
| Ряд | Панели (запрос → единица) |
|---|---|
| SLO и alerts | доступность у клиентов за 1 ч 1 - slo:api_error_ratio:rate1h (%); остаток бюджета за 30 д; ready ≤ 30 с за 1 ч; burn rate API и time-to-ready по окнам 5m/30m/1h/6h (× бюджет); состояние alerts из ALERTS |
| API | RPS по http_route/методу (req/s); RPS по классу статуса (label_replace кода в Nxx); доля 5xx в метриках API и у клиентов (HAProxy) (%); p50/p95/p99 и p99 по маршрутам из http_server_request_duration_seconds_bucket (с); p99 SQL db_client_operation_duration_seconds_bucket по сервису (с) |
| Worker и задания | jobs/с по outcome; p50/p95/p99 обработки (done) (с); p50/p95/p99 времени до ready (с, порог 30 с); насыщение busy/capacity (%); backlog: messenger_jobs_backlog, outbox, RabbitMQ ready/unacked; возраст старейшего задания (с, порог 60 с) и consumers |
| Насыщение | пул PostgreSQL used/idle/ждут/max; CPU процессов rate(process_cpu_time_seconds_total) (доля ядра); RSS процессов и Collector (байты); event loop p99 (с) |
| Telemetry pipeline | принято/отправлено Collector (элементов/с); потери (send/enqueue failed, refused); очередь экспортёров и ёмкость |
| Логи и трассы | логи ERROR/WARN (Loki, {service_name=~"messenger-.+"} | severity_text=~"ERROR|WARN"); trace с ошибками (Tempo, { status = error }) |
Связи между источниками: в Loki поле trace_id — ссылка на trace в Tempo; в Tempo у span — «Logs for this span»
(логи по trace_id) и ссылка на p99 HTTP этого сервиса в Prometheus (tracesToMetrics).
SLO и alerts
SLO-1, доступность API: 99.5 % за 30 дней. SLI = 1 − 5xx / все ответы клиентам на HAProxy (frontend public).
4xx — ошибка клиента (неверный пароль, чужой чат), не сервиса. Бюджет 0.5 % ≈ 3.6 часа полного отказа в месяц;
99.5 %, а не 99.9 %, потому что стенд — один Docker-хост с одной БД без реплики, и плановый перезапуск БД
(scripts/restart.sh, ~50 с) уже съедает ~2 % месячного бюджета 99.9 %.
Почему SLI на LB, а не в метриках API: readiness API зависит от PostgreSQL, HAProxy проверяет её раз в секунду, и при недоступной БД обе реплики за ~2 с выходят из ротации — дальше HAProxy отвечает 503 сам, а зависшие дольше 10 с запросы получают 504 от LB. Процесс API этих ответов не видит. Проверено пробой (PostgreSQL на 0.05 CPU, 40 с): в метриках API 101 ответ 5xx, у клиентов — 190. SLI в метриках API занизил бы именно самые тяжёлые отказы. Метрики API остаются для диагностики (маршрут, код, реплика).
SLO-2, время до ready: 99 % вложений становятся ready не позже 30 с после durable acceptance за 30 дней.
Обычно это доли секунды (публикация relay + обработка); 30 с покрывают два повтора после временного сбоя (таймаут
S3 8 с + backoff 1–2 с, ещё 8 с + 2–4 с). Плохое событие — ready позже 30 с или failed по вине системы; invalid_image и
unsupported_pipeline — свойство файла и в SLI не входят. Событие пишется при завершении задания, поэтому полностью
остановленный worker SLI не видит, пока задания не завершатся, — этот случай закрывает JobQueueLagGrowing
(возраст старейшего задания в реальном времени).
Alerts (infra/prometheus/rules/; runbook — infra/runbooks.md, ссылка в аннотации runbook_url). Вычисление
раз в 10 с; доставка наружу не настроена — состояние pending/firing/resolved видно в Prometheus (серия ALERTS),
Grafana → Alerting и на dashboard.
| Alert | Условие | Окно | Порог | for | Severity |
|---|---|---|---|---|---|
ApiAvailabilityFastBurn |
доля 5xx у клиентов | 1h и 5m | > 14.4 × 0.5 % = 7.2 % | — | page |
ApiAvailabilitySlowBurn |
то же | 6h и 30m | > 6 × 0.5 % = 3 % | — | ticket |
ReadyLatencyFastBurn |
доля плохих вложений | 1h и 5m | > 14.4 × 1 % | — | page |
ReadyLatencySlowBurn |
то же | 6h и 30m | > 6 × 1 % | — | ticket |
ApiHighErrorRate (простой порог, уровень 4) |
доля 5xx у клиентов | 5m | > 5 % | 2m | warning |
JobQueueLagGrowing (уровень 4) |
max by (queue) (messenger_jobs_oldest_age_seconds) |
мгновенно | > 60 с | 1m | page |
DbPoolSaturated |
max by (job, instance) (db_client_connection_pending_requests) |
мгновенно | > 0 | 1m | warning |
TelemetryExportFailing |
rate(otelcol_exporter_send_failed_*[5m]) > 0 или очередь экспортёра > 1000 |
5m | > 0 / > 1000 | 1m | warning |
Burn rate 14.4 за 1 ч = 2 % месячного бюджета за час (весь бюджет — за ~2 дня), 6 за 6 ч = 5 % за 6 часов. Короткое
окно (1/12 длинного) нужно для быстрого снятия: после восстановления доля за 1 ч ещё высока, а за 5 мин — уже нет.
Recording rules slo:api_error_ratio:rate{5m,30m,1h,6h}, slo:ready_bad_ratio:rate{…}, бюджет за 30 д — раз в 5 мин.
Unit-тесты правил (infra/prometheus/tests/alerts.test.yml, promtool test rules — SUCCESS) с полной 6-часовой
историей: всплеск 1 мин 100 % ошибок — burn-rate alerts молчат, простой порог срабатывает; 30 % ошибок в течение
часа — fast firing на 15-й минуте, slow на 37-й, fast снят через 4 мин после конца, slow — через 28 мин; 5 % ошибок
6 часов — только slow на 217-й минуте; time-to-ready 50 % плохих — fast на 18-й минуте; остановка worker — lag alert
pending через 2 мин (возраст > 60 с), firing ещё через 1 мин (for: 1m), снят после запуска worker.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke при включённой telemetry | make check, make validate, make test |
PASS всех трёх (и повторно на финальной сборке) | evidence/checks/check-validate-test.txt, smoke-final.txt |
| Persistence (API, все хранилища, стек telemetry) | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS за 54 с; StartedAt всех 17 контейнеров (включая one-shot migrate, s3-init) сменился |
evidence/checks/persistence.txt |
| История telemetry после перезапуска | student-tests/telemetry_history.py |
trace, его лог и 11 точек метрик API за 10 мин до перезапуска читаются после | evidence/checks/telemetry-history.txt |
| Failover | make test-failover ×2 |
PASS: остановлены api-2, затем api-1; 0 неудачных попыток, запись восстановилась через 2.9 и 4.9 с | evidence/checks/failover-1.txt, failover-2.txt |
| Возможности lab5 сохранены | student-tests/worker_outage.py |
PASS: upload при остановленном worker пережил рестарт API и брокера, ready через 1.3 с после старта worker | evidence/checks/worker-outage.txt |
| S3 по-прежнему приватен; опубликованы только grafana и lb | scripts/check-s3-security.sh |
PASS | evidence/checks/s3-security.txt |
| Ур. 3: OTLP из api и worker, RED API, jobs, логи и реальные trace | student-tests/telemetry_check.py шаги 1–3 |
trace с traceparent клиента; server span с шаблоном маршрута, service.instance.id = X-Instance-Id; лог с тем же trace_id/span_id; 404 → лог по request_id → trace |
evidence/signals/telemetry-check.txt |
| Ур. 3: секреты/контент не экспортируются, labels низкой кардинальности | шаги 5–6 | пароль, session token, текст сообщения, имя файла не найдены ни в trace/логах, ни во всём Loki за 30 мин; в labels метрик нет UUID и id; http_route — только шаблоны OpenAPI |
там же |
| Ур. 3: импортируемый dashboard | шаг 7 | dashboard из provisioning, все запросы Prometheus/Loki/Tempo находят данные (пуста только панель потерь telemetry: за последние 15 мин потерь не было) | там же |
| Ур. 4: upload → publish → consume → S3/DB, включая retry | шаги 3–4 | 39 spans одного trace; при «зависшем» S3 — publish#1 → process#1 (ERROR, retry) → publish#2 → process#2 (ready) |
там же |
| Ур. 4: alerts проверены искусственным отказом | promtool test rules; research/campaign.py |
SUCCESS; worker остановлен — JobQueueLagGrowing firing через 3:10, resolved через 0:36 после запуска; БД замирает — ApiHighErrorRate и ApiAvailabilityFastBurn firing через 2:30 и 2:50, resolved через 4:20 после восстановления |
evidence/track2/summary.md, timeline-*.svg |
| Ур. 4: остановка хранилища telemetry | фазы telemetry-backends и collector-down | при остановленных Tempo и Loki 2400 ответов, все 2xx; очередь Collector до 19 368 из 20 000, RSS ≤ 121 MiB, потеряно 5.8 % spans; TelemetryExportFailing firing через 1:20, resolved через 4:59 |
там же |
| Ур. 4: разбор инцидентов | research/campaign.py analyze |
три инцидента с шагами диагностики — раздел «Инциденты» | там же |
| Трек 2 | research/campaign.py run/analyze, research/timeline.py |
раздел «Трек 2» | evidence/track2/ |
Инциденты (уровень 4)
Три инцидента воспроизведены в одном прогоне кампании трека 2 (30.10.2026, 22:13–22:36 UTC; расписание и методика —
в разделе трека) под постоянной нагрузкой k6 20 итераций/с. Числа — evidence/track2/summary.md (summary.json),
графики — evidence/track2/timeline-api.svg и timeline-ready.svg. Время — мин:с от начала отказа, снятие alert — от
конца отказа. Диагностика — по infra/runbooks.md (ссылка в аннотации runbook_url каждого alert).
Инцидент 1. Остановлен worker: вложения не становятся ready
Отказ: docker compose stop worker (обе реплики) на 6:02, поток загрузок ≈ 1/с не прерывается.
- Клиенты. Upload по-прежнему 202: приём durable (строка в БД и outbox), публикация в RabbitMQ не зависит от
worker. Вложения остаются
pending; 5xx от самого отказа нет. - Обнаружение.
JobQueueLagGrowing: pending через 2:10, firing через 3:10, снят через 0:36 после запуска worker. Первая минута остановки совпала с замороженной БД (фаза spike): новых заданий не было, поэтому от первого незабранного задания до firing прошло ≈ 2:10 = порог 60 с +for: 1m+ шаг правил 10 с. Возраст старейшего задания дошёл до 297 с, backlog — до 282 заданий, подписчиков очереди — 0. - SLO времени до ready во время остановки ничего не видел: событие SLI пишется при завершении задания, завершений не
было (burn 5m = 0). Сработал только после запуска worker: backlog разобран меньше чем за минуту, но из 417 вложений,
ставших ready за 3 мин, 282 (68 %) ждали дольше 30 с (до ~6 мин).
ReadyLatencyFastBurn— firing через 0:38 после запуска, снят через 5:38;ReadyLatencySlowBurn— тогда же и до конца прогона (короткая история, см. трек 2). - Путь к причине (runbook
job-queue-lag): (1) панель «Возраст старейшего задания» — растёт линейно, линия consumers = 0 → (2)docker compose ps -a worker— обе репликиExited. Причина найдена за два шага; восстановление —docker compose start worker(илиup -d --no-deps worker), alert снят через 36 с.
Инцидент 2. Медленная или недоступная БД против медленного обработчика
Отказы: PostgreSQL заморожен (docker compose pause) на 60 с (spike) и на 25 с каждые 60 с в течение 5 мин
(api-degradation); отдельно api-1 ограничен 0.1 CPU на 2 мин (docker update --cpus 0.1, handler-slow).
| Сигнал | БД заморожена 1 мин | БД замирает 25 с из 60, 5 мин | api-1 на 0.1 CPU, 2 мин |
|---|---|---|---|
| 5xx у клиентов (HAProxy) | 1177 из 1806 ответов за 90 с; за 1 мин — до 100 % | в среднем 41.8 % (2509) | ≤ 0.4 % |
| 5xx в метриках API | 64 — остальные 95 % ответил сам LB | 6.6 % (247) | 0.1 % |
| p99 API | 10 с у обеих реплик (таймаут LB → 504) | 10 с у обеих | api-1 5.0 с, api-2 0.65 с |
| Задержка event loop p99 | 0.02–0.03 с | ≤ 0.1 с | api-1 7.3 с, api-2 0.07 с |
| CPU процесса API (доля ядра) | 0.05–0.06 | ≤ 0.09 | api-1 0.089 при лимите 0.1 |
| Пул: ждут соединения | 0 — реплики вне ротации, запросы до API не доходят | до 11 (сумма двух реплик) | api-1 до 7 (8 из 8 заняты), api-2 0 |
| p99 SQL | 0.03 с — зависшие запросы не завершились и в histogram не попали | API 1.0 с, worker 0.37 с | api-1 0.62 с |
| Медленные trace (> 300 мс), медиана | 2004 мс, из них ожидание pg-pool.connect 2001 мс |
2001 мс, из них ожидание пула 1999 мс | 898 мс: pg.query 600 мс, «своё» время 4 мс; 18 из 19 — api-1 |
| ERROR/WARN в логах | http.dependency_unavailable 63 (error.type=Error — таймаут пула 2 с), sweeper.error 24, relay.db_unavailable 2 |
то же: 303 / 46 / 4 | 3 |
| Alerts | ApiHighErrorRate 2:30; fast burn — нет (всплеск короткий) |
ApiHighErrorRate 2:30, ApiAvailabilityFastBurn 2:50 |
нет (DbPoolSaturated только pending) |
Путь к причине для БД (runbook api-availability-burn → db-pool-saturated), фаза api-degradation:
(1) панель «Доля 5xx»: линия «у клиентов (HAProxy)» 42 % намного выше линии «в метриках API» 7 % — отвечает сам LB,
реплики выходят из ротации (haproxy_backend_active_servers и /stats: 0 из 2 во время каждой паузы) → (3) логи http.dependency_unavailable,
error.type=Error (таймаут ожидания пула) → (4) trace: 2 с в pg-pool.connect → db-pool-saturated: (1) event loop и CPU
обеих реплик в норме — дело не в процессе → (2) docker compose ps postgres — paused. Четыре шага.
Медленный обработчик. Alert не сработал (5xx нет), симптом — p99 api-1 на dashboard. Trace здесь обманывает:
время сидит в pg.query и pg-pool.connect, потому что span заканчивается в callback, а callback ждёт занятый event
loop. Первая версия runbook отправила бы в БД («медленный handler — длинный SERVER span при коротких дочерних»).
Различают другие сигналы: задержка event loop в секундах и CPU у лимита — только у одной реплики, медленные trace —
почти все с неё. Runbook исправлен по результату эксперимента: db-pool-saturated начинается с проверки event loop/CPU
реплики, docker inspect -f '{{.HostConfig.NanoCpus}}' показывает лимит 1e8 (0.1 CPU) — причина найдена.
Инцидент 3. Недоступно хранилище telemetry, затем сам Collector
Отказы: docker stop Tempo и Loki на 121 с (telemetry-backends); docker stop otel-collector на 62 с (collector-down).
| Сигнал | Tempo и Loki остановлены | Collector остановлен |
|---|---|---|
| Ответы клиентам | 2400 за время простоя, все 2xx | 1794 2xx и 6 5xx за 85 с вокруг простоя (ниже) |
| Очередь экспортёров Collector | otlp_grpc/tempo до 19 368 из 20 000, otlp_http/loki до 2 325 |
— |
| Потери | отброшено 1102 из 19 023 принятых за простой spans (5.8 %) и 174 из 2723 log records — пачки, повторявшиеся дольше 60 с (max_elapsed_time); остальное дождалось в очереди и ушло после запуска; отказов memory_limiter — 0 |
SDK API за фазу начал 19 095 spans; в Tempo за окно простоя 117 trace против 1021 в таком же окне baseline (11 %), все — из последних 16 с перед запуском (пачки, которые SDK ещё не отбросил); остальное потеряно |
| Память | RSS Collector ≤ 121 MiB (лимит контейнера 256 MiB, memory_limiter 200 MiB) | RSS API ≤ 100 MiB (в baseline 96 MiB): очередь SDK ограничена 2048 spans |
| Alert | TelemetryExportFailing: pending 0:20, firing 1:20, снят через 4:59 после запуска (окно rate 5 мин) |
не сработал: метрики потерь отдаёт сам Collector — слепое пятно (ограничения) |
6 ответов 5xx при остановленном Collector с ним не связаны: в те же секунды у API и worker были таймауты соединения с
S3 и PostgreSQL (s3.error TimeoutError, Connection terminated due to connection timeout), а Tempo сам перезапустился
(exit 0, не OOM) — кратковременный сбой общего хоста. Экспорт telemetry асинхронный и в обработку запроса не входит.
Путь к причине (runbook telemetry-export-failing): (1) панели «Потери telemetry» и «Очередь экспортёров» —
растёт очередь otlp_grpc/tempo и otlp_http/loki → (2) docker compose ps tempo loki — exited. Остановка
Collector видна иначе: на всех панелях приложения разом пропадают данные, docker compose ps otel-collector — exited.
Трек 2. SLO и обнаружение инцидентов
Гипотезы.
- Простой порог (
ApiHighErrorRate: > 5 % 5xx за 5 мин, держится 2 мин) срабатывает и на короткий всплеск, который почти не тратит бюджет: минута полного отказа — 60 с из 216 мин месячного бюджета, 0.5 %. Для страницы это шум. - Multiwindow burn-rate alerts молчат на таком всплеске и срабатывают на длительной деградации тем раньше, чем быстрее сгорает бюджет: при доле ошибок e fast burn сработает, когда доля за 1 ч превысит 7.2 %, то есть через ≈ 60 мин · 0.072 / e (при 28 % ошибок — ≈ 15 мин), а снимется через ≈ 5 мин после восстановления (короткое окно).
- SLI на LB видит отказы, которых не видит SLI в метриках API (503/504 самого HAProxy).
- SLI времени до ready считается по завершённым заданиям и поэтому запаздывает при остановленном worker; вовремя ловит такой отказ только опережающий сигнал — возраст старейшего задания.
Методика (research/campaign.py, research/k6/messenger.js, scripts/load.sh). Одна непрерывная нагрузка k6
на всё время эксперимента: open model (constant-arrival-rate) 20 итераций/с — 65 % чтений истории (limit 20), 30 %
новых сообщений, 5 % загрузок PNG (≈ 1 вложение/с), 5 пар пользователей; k6 в контейнере в сети frontend стенда
через lb:8080. Отказы — по расписанию от начала (после 60 с прогрева), параллельными дорожками:
| Фаза | Начало, мин | Отказ | Длительность | Наблюдение после |
|---|---|---|---|---|
| baseline | 0 | нет (ложные срабатывания) | 2.5 мин | — |
| spike — краткий всплеск | 2.5 | docker compose pause postgres |
60 с | 4.5 мин |
| worker-stop — инцидент 1 и деградация time-to-ready | 2.5 | docker compose stop worker |
6 мин | 5.5 мин |
| telemetry-backends — инцидент 3, часть 1 | 4 | docker stop tempo и loki |
2 мин | 5 мин |
| handler-slow — инцидент 2: медленный обработчик | 6.5 | docker update --cpus 0.1 у api-1 |
2 мин | 1 мин |
| api-degradation — длительная деградация API | 9.5 | pause postgres на 25 с каждые 60 с |
5 мин | 4.5 мин |
| collector-down — инцидент 3, часть 2 | 19 | docker stop otel-collector |
1 мин | 1 мин |
Отказы, меняющие SLI доступности (всплеск и деградация), идут по очереди, всплеск — первым: так в его 1h-окне нет ошибок деградации. Остановка worker, backend telemetry и медленный обработчик этот SLI не меняют и наложены на них; трассы медленного обработчика пишутся уже после возврата Tempo. Остановка Collector рвёт все метрики (и SLI) и поэтому последняя. Инцидент 2 «медленная/недоступная БД» — фазы spike и api-degradation (PostgreSQL заморожен), сравнение — с handler-slow.
Отказы касаются только контейнеров messenger-lab6 и снимаются в finally (unpause, start, прежний --cpus).
Разбор (campaign.py analyze) — только по сохранённым наблюдениям: интервалы pending/firing из серии ALERTS
(шаг 10 с = интервал вычисления правил), максимумы метрик в окне отказа, медленные (> 300 мс) trace API из Tempo
с разложением времени server span на ожидание пула, SQL, S3 и собственное время обработчика, число событий
ERROR/WARN в Loki. Время обнаружения — от начала отказа до firing; время снятия — от конца отказа до resolved.
Калибровка перед кампанией (по 40 с под той же нагрузкой): PostgreSQL на 0.05 CPU — 24 % ошибок, p99 7.2 с
(этот же прогон показал разницу SLI: 101 ответ 5xx в метриках API против 190 у клиентов); api-1 на 0.1 CPU —
0 ошибок, p99 2.7 с; worker на 0.05 CPU успевал за 1 загрузкой/с (изображения маленькие), поэтому деградация
time-to-ready сделана остановкой worker, а не ограничением CPU.
Результаты (один прогон 30.10.2026, 22:13–22:36 UTC; evidence/track2/summary.md, summary.json, phases.json,
k6.json; графики timeline-api.svg — доли 5xx у клиентов и в метриках API, SLI 1h/6h и firing; timeline-ready.svg —
то же для времени до ready). k6 за прогон: 26 590 запросов, open model держал 20 итераций/с без пропусков
(dropped_iterations 0), ошибки 14.4 % — в окнах отказов (в baseline 0); p50 4.7 мс, p95 95 мс, p99 2.0 с.
| Отказ | Что видели клиенты | Alert | firing после начала | снят после конца |
|---|---|---|---|---|
| baseline, 2.5 мин | 0 % 5xx, p99 0.22 с | — | ни одного: ложных срабатываний нет | — |
| spike: БД заморожена 1 мин | 1177 ошибок из 1806 ответов за 90 с = 0.45 % месячного бюджета | ApiHighErrorRate |
2:30 | 4:49 |
ApiAvailabilityFastBurn |
не сработал: burn за 1 ч ≤ 7.6 × | — | ||
ApiAvailabilitySlowBurn |
1:00 — артефакт короткой истории (ниже) | не снят до конца прогона | ||
| api-degradation: БД замирает 25 с из 60, 5 мин | 41.8 % 5xx | ApiHighErrorRate |
2:30 | 4:20 |
ApiAvailabilityFastBurn |
2:50 | 4:20 | ||
| worker-stop: 6 мин | 5xx нет, вложения не становятся ready | JobQueueLagGrowing |
3:10 (2:10 от первого незабранного задания) | 0:36 |
ReadyLatencyFastBurn |
6:40 — через 0:38 после запуска worker | 5:38 после запуска | ||
ReadyLatencySlowBurn |
6:40 | не снят до конца прогона | ||
| handler-slow: api-1 на 0.1 CPU, 2 мин | p99 api-1 5 с, 5xx ≤ 0.4 % | — | ни одного (DbPoolSaturated только pending) |
— |
| telemetry-backends: Tempo и Loki, 2 мин | 5xx нет | TelemetryExportFailing |
1:20 | 4:59 |
| collector-down: 1 мин | 5xx нет (6 из 1800 — сбой хоста) | TelemetryExportFailing |
не сработал | — |
- Гипотеза 1 подтверждена. Простой порог сработал на минутном всплеске (firing 2:30, горел 3:11), который стоил 0.45 % месячного бюджета, — так же, как на пятиминутной деградации (2:30). По нему эти инциденты не различить, а страница на каждый такой всплеск — шум.
- Гипотеза 2 подтверждена для fast burn. На всплеске fast burn молчал, на деградации сработал через 2:50 и снят через 4:20 после восстановления (прогноз — ≈ 5 мин, окно 5m). Сработал раньше оценки 60 мин · 0.072 / 0.418 ≈ 10 мин: к началу деградации в окне 1 ч уже были ошибки всплеска и калибровки (burn 7.5 ×), а ответов в нём — 37.7 тыс., как за 31 мин нагрузки, а не за час. Slow burn сработал на всплеске — ложное срабатывание из-за короткой истории: в окне 6 ч было 29.8 тыс. ответов — как за 25 мин нагрузки, а не ≈ 430 тыс. при 20 запросах/с. При полной истории те же 1177 ошибок дают burn за 6 ч 0.54 × и за 1 ч 3.27 × — ниже обоих порогов; это и проверяет unit-тест правил с полной 6-часовой историей (всплеск 1 мин: burn-rate alerts молчат). По той же причине slow burn не снялся до конца прогона.
- Гипотеза 3 подтверждена. На всплеске HAProxy насчитал 1177 ответов 5xx, процесс API отдал 64: 95 % ошибок — 503/504 самого LB (реплики вне ротации). На деградации доля 5xx у клиентов — 41.8 %, в метриках API — 6.6 %. SLI в метриках API занизил бы burn в 6 раз и не поднял бы fast burn вовсе (6.6 % < 7.2 %).
- Гипотеза 4 подтверждена. Шесть минут остановленного worker SLI времени до ready не видел (burn 5m = 0): событие
пишется при завершении. Сработал через 0:38 после запуска, когда 282 из 417 вложений завершились позже 30 с.
Вовремя ловит только возраст старейшего задания (
JobQueueLagGrowing, 3:10). При полной истории 282 плохих вложения — 7.8 % часового объёма (≈ 3600 при 1 загрузке/с) и 1.1 % месячного бюджета: fast burn не сработал бы, page даёт только lag-alert — так и задумано.
Ложные срабатывания. В baseline — ни одного. Оба slow burn (API после всплеска, ready после остановки worker) —
артефакт короткого окна истории, объяснён выше. DbPoolSaturated не сработал ни разу: при замороженной БД пул пуст
(реплики вне ротации), при паузах 25 с из 60 и при медленном обработчике pending > 0 не держится минуту подряд — в
текущем виде он бесполезен (следующий шаг — доля времени с pending > 0 за 5 мин).
Runbook. От alert до причины — 2–4 шага по infra/runbooks.md (пути — в разделе «Инциденты»). Эксперимент нашёл
в runbook ошибку: при нехватке CPU у API trace выглядит как медленная БД (время в pg.query/pg-pool.connect, своё
время обработчика — 4 мс). Runbook исправлен: db-pool-saturated начинается с задержки event loop и CPU реплики, в
таблице «медленная БД / медленный handler» — значения из этого прогона.
Ограничения и следующие шаги
- Эксперимент короткий: один прогон, фазы сокращены (отказы 1–6 мин, наблюдение 1–5.5 мин), часть фаз
наложена во времени, доверительных интервалов нет. В окнах 1 ч и 6 ч было лишь 25–31 мин нагрузки, поэтому
burn-rate alerts срабатывают раньше, чем при полной истории, slow burn дал ложное срабатывание на всплеске, а его
снятия (окно 30m) за время наблюдения не дождались; поведение при полной истории подтверждает только unit-тест
правил. Наложение фаз сдвинуло часть измерений: lag-alert сработал на минуту позже (при замороженной БД задания не
создавались), а окна метрик worker-stop и telemetry-backends в
summary.mdзахватывают 5xx соседних фаз — числа для этих отказов в разделе «Инциденты» посчитаны отдельно по точным интервалам. На том же хосте работали другие стенды и сам k6 — абсолютные задержки шумные, выводы опираются на относительные изменения (×10 и больше). - Кампания прошла до шести исправлений по итогам ревью кода (потеря аренды в worker, SLI для заданий с
исчерпанными повторами, таймаут запроса метрик очереди к БД, контекст ошибок пула,
created_atпри replay,OTEL_SDK_DISABLED). Повлиять они могли только на метрики API во время заморозки БД (gauge очереди ждал БД без таймаута); SLI доступности считается по HAProxy. Smoke и проверка сигналов повторены на финальной сборке. - Tempo один раз перезапустился сам (exit 0, не OOM) в фазе collector-down — в те же секунды у API и worker были таймауты соединений с S3 и PostgreSQL, то есть сбой общего хоста. Данные пережили перезапуск (trace всех фаз разобраны после него); точную причину по логам уровня warn установить не удалось.
- Стек наблюдаемости — один экземпляр без резерва. Если недоступен Prometheus, alerts не вычисляются; нет
meta-мониторинга (watchdog-alert во внешнюю систему) и доставки (Alertmanager) — по заданию достаточно состояния
firing/resolved. Если упал LB, SLI доступности остаётся без данных, а не показывает 0 % — нужен alert на
absent()или внешний blackbox-probe. Так жеTelemetryExportFailingне видит остановку самого Collector (его метрики идут через Collector; проверено фазой collector-down) — нужен alert на отсутствие метрик Collector за 2 мин (absent_over_time) или прямой scrape Collector Prometheus-ом. DbPoolSaturatedв текущем виде бесполезен: в кампании не сработал ни разу (трек 2). Следующий шаг — доля времени с pending > 0 за 5 мин вместоfor: 1mна мгновенном значении.- Очередь Collector в памяти: при перезапуске Collector неотправленное теряется; SDK держит данные только в
ограниченной очереди (2048 spans) — при остановке Collector на 62 с дошли лишь trace последних 16 с (11 %).
Очередь экспортёра Tempo за 2 мин простоя заполнилась на 97 %: при более долгом простое Collector начнёт
отбрасывать данные уже при постановке в очередь (
enqueue_failed), память при этом ограничена. Следующий шаг — persistent queue (file_storage) и счётчик потерь на стороне SDK. - Трассы — 100 %: на учебной нагрузке ~150 spans/с это дёшево; при реальном объёме нужен tail sampling (сохранять ошибки и медленные, остальное — долю).
- SLI time-to-ready считается по завершению: полностью остановленный worker SLI не видит до запуска; это закрывает
JobQueueLagGrowing. Бюджет «30 дней» на стенде — вся доступная история. - Входящий
traceparentклиента продолжается (удобно для проверки); на публичной границе стоит начинать новый trace и связывать его с клиентским через link. - OpenTelemetry Logs API для JS — 0.x (экспериментальный), версии закреплены.
Ответы на вопросы защиты
- Лог, метрика и trace об одном инциденте. Метрика отвечает «что и насколько» по всей системе дёшево и сразу
(доля 5xx выросла до 30 % на всех маршрутах, пул БД исчерпан) и запускает alert; trace — «где» в конкретном
запросе (2 с из 2 с в
pg-pool.connectпри нормальной задержке event loop — дело в БД; если event loop реплики занят секундами, длинные дочерние spans — следствие нехватки CPU, это показал трек 2); лог — «что именно случилось» (событиеhttp.dependency_unavailable,error.type=Error— таймаут ожидания пула) и связывает ответ клиента (X-Request-Id) с trace. - Почему
chat_idв labels опасен. Каждая уникальная комбинация labels — отдельный ряд Prometheus со своим индексом и памятью в head-блоке. Число чатов растёт неограниченно: сchat_id× маршрут × статус × бакеты histogram (15) рядов становятся миллионы, память и диск Prometheus исчерпываются, запросы замедляются. Поэтому в labels — шаблон маршрута, а id — только в trace/логах. - Как очередь переносит причинную связь. Контекст W3C (
traceparent: trace-id, span-id родителя, флаги) сохраняется вместе с заданием в outbox (та же транзакция), relay создаёт PRODUCER span с этим родителем и кладёт его контекст в сообщение, worker извлекает его и делает CONSUMER span дочерним. Процесс и время разные, trace один. - Среднее и p99; усреднение p99 реплик. Среднее прячет хвост: 1 % запросов по 5 с при остальных 10 мс даёт
среднее 60 мс, а пользователь каждого сотого запроса ждёт 5 с. Квантиль нельзя усреднять: p99 двух реплик 10 мс и
2.7 с (одна перегружена) в среднем дают 1.35 с, хотя реальный общий p99 определяется распределением всех
запросов. Правильно — сложить buckets histogram всех реплик и взять
histogram_quantileот суммы.