62 KiB
Отчёт — лабораторная 6
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab5, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
Наблюдаемость
Change otel-telemetry (design — openspec/changes/archive/2026-11-11-otel-telemetry/design.md,
номера решений в скобках). Числа и проверки сняты на закоммиченном коде при чистом рабочем дереве:
telemetry-check и telemetry-outage сначала на 68f1e97 (правки verify), затем пересняты на
72cfa9a (код change job-trace-propagation: relay с SDK, шаги задания по consumer span), там
же план снимка очереди, проба ревизии e4b8c2d17f90 и раздел change бюджета; trace-chain и
telemetry-outage — ещё раз на 72e2598 (правки verify: сигналы relay без перезапуска, тихая
очередь в предусловии, рост CPU каждого процесса); telemetry-check, trace-chain и
telemetry-outage — в третий раз на 15ea156 (код change slo-alerts: новые панели, метрики LB,
внутренние метрики SDK), там же alerts-check, backend-outage, make alerts_test и раздел
change slo-alerts бюджета; бюджет сервисов телеметрии — на 4178b3d (лимиты Tempo и Grafana по замеру), шапки файлов
evidence/telemetry/ и evidence/migrations/. evidence/stand/from- scratch.md ещё снят на рабочем дереве поверх 9b35c25: пересъёмка ждёт разрешения пользователя
(QUESTIONS.md, ## otel-telemetry, вопрос 8).
Назначение компонентов
| Компонент | Версия (тег, digest индекса — docker-compose.yml) |
На какой вопрос об инциденте отвечает |
|---|---|---|
SDK OpenTelemetry Python (opentelemetry-api, -sdk, -exporter-otlp-proto-http) |
1.45.2 (>=1.45.2,<1.46), semantic conventions 0.66b2 |
производит три сигнала в API и worker; экспорт OTLP/HTTP protobuf в фоне, очереди ограничены |
| OTel Collector, дистрибутив contrib | 0.164.0 | получатель и маршрутизатор, а не хранилище: memory_limiter, batch, три pipeline до трёх хранилищ; contrib — ради tail_sampling трека 1 (1) |
| Prometheus | v3.15.1 | метрика: «сколько и как быстро» — RPS, доля ошибок, квантили длительности, исходы заданий по времени; scrape экспортёра Collector (3) |
| Loki | 3.7.9 | лог: «что именно произошло в этом запросе / задании» — те же записи, что в stdout, поиск по request_id, attachment_id, trace_id |
| Tempo | 3.1.1 | трасса: «где ушло время и что упало» — server / consumer span с дочерними PostgreSQL, Valkey, S3 и процессом обработки |
| Grafana | 13.3.1 | интерфейс без своего состояния: источники и dashboard из git, переход лог ↔ трасса (16) |
Сигналы уровня 3
| Логический сигнал контракта | Инструмент SDK | Prometheus / Loki / Tempo | Единица |
|---|---|---|---|
| HTTP requests | счёт наблюдений histogram http.server.request.duration |
http_server_request_duration_seconds_count{job="messenger-api", http_request_method, http_route, http_response_status_code} |
запросы |
| HTTP duration | histogram http.server.request.duration, границы 0,005…30 с (10) |
http_server_request_duration_seconds_bucket / _sum |
с |
| jobs (успешные / ошибочные) | счёт наблюдений histogram messenger.job.duration |
messenger_job_duration_seconds_count{job="messenger-worker", messenger_job_type, messenger_job_outcome} |
задания |
| job duration | histogram messenger.job.duration, границы 0,05…60 с (11) |
messenger_job_duration_seconds_bucket / _sum |
с |
логи с trace_id / span_id |
логгер SDK из процессора structlog (2) | Loki: поток service_name, service_instance_id, deployment_environment_name; поля записи, trace_id, span_id — structured metadata; строка — event |
запись |
| трассы API | span SERVER «метод» «шаблон» (корень), дочерние SELECT/INSERT/…, COMMIT, GET/SET Valkey, S3.<Операция> |
Tempo: messenger.request_id, http.*, db.*, rpc.*, error.type |
span |
| трассы worker | span CONSUMER process <очередь> (корень), дочерние PostgreSQL, S3, render attachment variants |
Tempo: messaging.*, messenger.job.type, messenger.job.outcome |
span |
Запросы панелей dashboard (infra/otel/grafana/dashboards/messenger-overview.json, uid
messenger-overview, папка Messenger):
- RPS по маршруту и классу статуса:
sum by (http_route, status_class) (label_replace(rate(http_server_request_duration_seconds_count{job="messenger-api"}[5m]), "status_class", "${1}xx", "http_response_status_code", "([0-9]).."))); - доля ошибок HTTP — числитель 5xx API, знаменатель — все учтённые запросы (health не
учитывается, 4xx — отдельная панель того же вида):
sum(rate(http_server_request_duration_seconds_count{job="messenger-api",http_response_status_code=~"5.."}[5m])) / sum(rate(http_server_request_duration_seconds_count{job="messenger-api"}[5m])); - p50 и p95:
histogram_quantile(q, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api"}[5m])))— из суммы buckets всех реплик, а не средние; p95 по маршрутам —sum by (le, http_route); - задания по исходу:
sum by (messenger_job_outcome) (rate(messenger_job_duration_seconds_count{job="messenger-worker"}[5m])); успешные —ready, ошибочные —failed,retry,requeued,dropped,error,skipped— ни то, ни другое (подтверждено без попытки); - p50 и p95 длительности
ready:histogram_quantile(q, sum by (le) (rate(messenger_job_duration_seconds_bucket{job="messenger-worker",messenger_job_outcome="ready"}[5m]))); - журналы
{service_name=~"messenger-.*"}(Loki), поиск трасс{ resource.service.name =~ "messenger-.*" }(Tempo).
Ресурс и имена OTEL_*
| Атрибут ресурса | Значение | Prometheus | Loki |
|---|---|---|---|
service.name |
messenger-api / messenger-worker / messenger-relay (константы точки входа) |
job |
метка service_name |
service.instance.id |
[app] instance_id = X-Instance-Id (короткий id контейнера) |
instance |
метка service_instance_id |
service.version |
1.6.0 — info.version контракта (9) |
target_info{service_version} |
service_version |
deployment.environment.name |
[telemetry] environment = lab |
target_info{deployment_environment_name} |
метка deployment_environment_name |
| Имя skeleton | У нас (8) |
|---|---|
OTEL_SERVICE_NAME |
константа точки входа: messenger-api, messenger-worker, messenger-relay |
OTEL_EXPORTER_OTLP_ENDPOINT |
[telemetry] otlp_endpoint; на стенде — TELEMETRY__OTLP_ENDPOINT=http://otel-collector:4318 у api, worker и relay |
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf |
постоянно: установлен только экспортёр OTLP/HTTP protobuf |
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab |
[telemetry] environment; service.* вычисляет код |
Переменные OTEL_* настройками не являются: процесс с включённой телеметрией удаляет их из
окружения и пишет warning с именами (проверка — разовый контейнер с OTEL_SDK_DISABLED=true и
чужим адресом в evidence/telemetry/check.md). Включает телеметрию TELEMETRY__ENABLED у api,
worker и (change job-trace-propagation) relay стенда; консоль, make test_isolated, стенд
отказов и bench/ — без неё (20).
Инфраструктура наблюдаемости
Роль infrastructure.json |
Сервис | Версия | Healthcheck | Volume | Порт | Credentials |
|---|---|---|---|---|---|---|
otel_collector |
otel-collector |
contrib 0.164.0 | нет (в образе нет оболочки): цель otel-collector в Prometheus |
— | OTLP :4318, метрики :8888, :8889 — только в сетях стенда |
нет |
telemetry_storage (метрики) |
prometheus |
v3.15.1 | wget /-/ready |
prometheus_data, срок 7d, предел 1GB |
:9090 — только сеть telemetry |
нет |
telemetry_storage (логи) |
loki |
3.7.9 | нет: цель loki и проверка источника |
loki_data, срок 168h |
:3100 — только сеть telemetry |
нет |
telemetry_storage (трассы) |
tempo |
3.1.1 | нет: цель tempo и проверка источника |
tempo_data, срок 168h |
:3200, OTLP :4318 — только сеть telemetry |
нет |
grafana |
grafana |
13.3.1 | wget /api/health |
tmpfs (provisioning из git) | 127.0.0.1:${GRAFANA_OUT_PORT:-3000} |
admin / GRAFANA_ADMIN_PASSWORD из .env (случайный от make env_setup), только у Grafana |
Сети: хранилища и Grafana — telemetry, Collector — default и telemetry; из контейнеров
API и worker имена prometheus, loki, tempo, grafana не разрешаются (17). Приложение от
сервисов телеметрии не зависит: без них стартует и работает (evidence/telemetry/collector-outage.md).
Бюджет
Лимиты телеметрии: Collector 0,5 CPU / 256 МиБ, Prometheus 0,5 / 384, Loki 0,5 / 512, Tempo
0,5 / 640, Grafana 0,5 / 512 — 2,5 CPU / 2304 МиБ. Постоянные лимиты стенда — 11,5 CPU /
7296 МиБ, с одноразовыми — 12,5 CPU / 7680 МиБ при ВМ 12 CPU / 7934 МиБ (с 2026-11-11 — 11 902
МиБ, раздел «SLO, оповещения и инциденты», «Бюджет»): лимиты — потолки, а не резерв. Два замера под make test + make load + make student_test с телеметрией и без
(evidence/telemetry/budget.md): на 68f1e97 (прежние лимиты) пики memory.peak Tempo 398 и
Grafana 294 МиБ — правило «лимит не меньше 1,5 × пика» не выполнялось при 512 и 384, лимиты
подняты до 640 и 512, GOMEMLIMIT Tempo прежний (400 МиБ — его пик упирается в него, поэтому
лимит — 1,6 × GOMEMLIMIT); на 4178b3d (новые лимиты) — Collector 97, Prometheus 95, Loki 190,
Tempo 253, Grafana 248 МиБ, правило выполнено и для наибольших пиков обоих замеров. Реплика API —
до 453 МиБ с телеметрией и 482 без неё (лимит 512; пик даёт Argon2id входов make student_test,
а не SDK; запас ~6 % — ограничение, лимит реплики не менялся), worker — 502 МиБ из 1024. Грубая
цена SDK (один прогон make load): 489 против 568 запросов/с, p95 13,8 против 8,8 мс —
исследование трека 1.
Ограничения наблюдаемости
- Отказ Collector: что не ушло, теряется: очереди SDK ограничены (2048 span и записей), при
остановке процесса закрытие ждёт не дольше 1 с (API) и 0,5 с (worker). Cumulative-метрики SDK
копит в себе: после возврата Collector счётчики не теряются, теряется разрешение; рестарт
Collector сбрасывает ряды экспортёра (
rate()это переносит). Записи об отказе отправки — только stdout, не чаще одной в минуту на модуль SDK (evidence/telemetry/collector-outage.md). - Ответы балансировщика (502, 503, 504, 408 HAProxy) в метрики API не попадают: их считают
метрики LB (раздел «SLO, оповещения и инциденты»), в SLI задержки они не входят, а время в
очереди LB метрики API не видят. Нестандартный метод вне списка парсера uvicorn (
BREW) отклоняется до приложения 400 текстом — ни span, ни ряда (KNOWN_ISSUES.md). - OTLP без аутентификации и TLS — до лабы 7: Collector принимает от любого контейнера сети
default; хранилища отделены сетью. - Trace-id клиента не продолжается (публичная точка входа); контекст внутри стенда переносит задание (раздел «Сквозная трасса загрузки» ниже).
service.versionне различает сборки одной версии контракта.- Tempo 3.1 в простое пишет
level=error«no jobs found» (backend-worker опрашивает scheduler без заданий) — шум журнала, не отказ.
Сквозная трасса загрузки (уровень 4)
Change job-trace-propagation (design — openspec/changes/archive/2026-11-11-job-trace-propagation/design.md,
номера решений «JTP-n»). Одна загрузка — одна трасса: server span POST /api/v1/chats/{chat_id}/attachments (messenger-api) → на каждую публикацию её задания span
PRODUCER publish <очередь> (messenger-relay) → под ним span CONSUMER process <очередь>
этой доставки (messenger-worker) с дочерними PostgreSQL, S3 (S3.GetObject staging,
S3.PutObject оригинала и трёх вариантов), render attachment variants и COMMIT. Повторная
попытка, повторная доставка брокером и replay — новые пары producer / consumer в той же трассе
с messenger.job.attempt, messenger.job.retry_reason, messenger.job.replayed,
messenger.job.reason, messenger.job.error_code (значения enum, без id и текста ошибок).
| Где | Значение | Кто пишет | Кто читает |
|---|---|---|---|
колонки attachment_jobs.traceparent, tracestate (text NULL, CHECK NOT VALID, ревизия e4b8c2d17f90) |
контекст W3C server span загрузки (JTP-4) | реплика API той же транзакцией, что queued и задание |
relay при каждой публикации |
заголовки сообщения AMQP traceparent, tracestate (carrier, JTP-1) |
контекст span producer этой публикации | relay (JobPublisher._publish_one) |
worker (JobDelivery.trace_context) |
поля traceparent, tracestate тела contracts/jobs.schema.json |
не заполняются | — | — |
Отображение на схему задания: заголовок traceparent = поле traceparent = значение W3C
версии 00 (^00-[0-9a-f]{32}-[0-9a-f]{16}-[0-9a-f]{2}$, тот же шаблон у CHECK колонки и
разбора заголовка), tracestate — то же, до 512 символов. Carrier — native headers брокера
(contracts/attachment-states.md это допускает): тело проверяет AttachmentJobMessage
(extra="forbid", pattern), неверное значение в теле сделало бы сообщение «не по схеме» и
задание dropped, а заголовок не по W3C просто игнорируется — новая трасса, исход тот же.
Переносится только W3C Trace Context (TraceContextTextMapPropagator), baggage — нет;
глобального propagator нет (JTP-5).
Почему consumer span — дочерний и с link (JTP-2). Semantic conventions messaging по умолчанию
связывают обработку с созданием сообщения link, но «exclusively for single messages» разрешают
сделать контекст создания родителем, и требуют link на него («SHOULD link») и описание выбора
(«SHOULD document» — этот раздел). Worker обрабатывает сообщения по одному, объемлющего span у
задачи доставки нет. Родитель даёт одну трассу на загрузку (цепочка до S3 и БД, включая повтор,
находится по одному trace-id) и цельную выборку цепочки при head sampling трека 1: sampler —
ParentBased(ALWAYS_ON), флаг выборки загрузки доходит до worker. Цена — длинные трассы:
повторы растягивают трассу на минуты, replay — на часы.
Без контекста и смесь версий (JTP-6). Строка без контекста (прежняя реплика во время make rolling_update, реплика с выключенной телеметрией): relay публикует без заголовков и без span
producer, consumer span — корень, как на уровне 3. Прежний relay колонок не знает, прежний worker
заголовки игнорирует, тело прежнее: ни одна комбинация версий не даёт ошибки, рвутся только
цепочки заданий, которых коснулся прежний код. Relay с выключенной телеметрией кладёт
сохранённый контекст как есть: цепочка API → worker не рвётся. Span relay — только span
producer под сохранённым контекстом: проходы relay и его обращения к PostgreSQL трасс не
начинают. Команда replay SDK не запускает: replay виден следующей парой producer / consumer.
Сигналы уровня 4
| Логический сигнал контракта | Инструмент SDK | Prometheus | Единица |
|---|---|---|---|
| p50 / p95 / p99 HTTP и обработки | histogram прежние | histogram_quantile(q, sum by (le) (rate(…_bucket[5m]))) |
с |
время до ready (end-to-end time to ready) |
histogram messenger.job.time_to_ready, границы 0,25…600 с |
messenger_job_time_to_ready_seconds_{bucket,sum,count}{job="messenger-worker", messenger_job_type} |
с |
| глубина очереди | ObservableGauge messenger.queue.depth |
messenger_queue_depth{job="messenger-relay", messaging_destination_name, messenger_queue_stage} (scheduled, outbox, published, processing) |
задания |
| возраст старейшей job | ObservableGauge messenger.queue.oldest_age |
messenger_queue_oldest_age_seconds{job="messenger-relay"} |
с |
| пул БД: соединения | ObservableUpDownCounter db.client.connection.count |
db_client_connection_count{db_client_connection_pool_name, db_client_connection_state="used"|"idle"} |
соединения |
| пул БД: предел | db.client.connection.max |
db_client_connection_max |
соединения |
| пул БД: ожидающие | db.client.connection.pending_requests |
db_client_connection_pending_requests |
запросы |
| пул БД: отказы по сроку | ObservableCounter db.client.connection.timeouts |
db_client_connection_timeouts_total |
отказы |
| насыщение worker | ObservableUpDownCounter messenger.worker.busy, .capacity, .waiting |
messenger_worker_busy, messenger_worker_capacity, messenger_worker_waiting |
доставки |
| CPU контейнера | ObservableCounter container.cpu.time |
container_cpu_time_seconds_total |
с CPU |
| память контейнера | ObservableUpDownCounter container.memory.usage |
container_memory_usage_bytes |
байты |
| пределы контейнера | messenger.container.cpu.limit, messenger.container.memory.limit |
messenger_container_cpu_limit, messenger_container_memory_limit_bytes |
ядра, байты |
| трассы upload → publish → consume | span PRODUCER relay, CONSUMER worker |
Tempo: messaging.*, messenger.job.*; связь parent и link |
span |
Ряды пула, CPU и памяти — у каждого процесса с SDK (job = messenger-api, messenger-worker,
messenger-relay, instance = service.instance.id); имя пула — postgres:5432/messenger.
Имена проверены на стенде запросами через Grafana (apply, trace-chain).
Запросы панелей уровня 4 (messenger-overview.json, строки «Pipeline» и «Saturation»; единицы
панелей — s, percentunit, short):
- квантили HTTP:
histogram_quantile(0.5|0.95|0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api"}[5m]))), обработки — то же надmessenger_job_duration_seconds_bucket{job="messenger-worker",messenger_job_outcome="ready"}(с); доля 5xx и доля 4xx — панели уровня 3 (percentunit); - время до
ready:histogram_quantile(q, sum by (le) (rate(messenger_job_time_to_ready_seconds_bucket{job="messenger-worker"}[5m])))(с); - глубина по стадиям:
max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"})(short); возраст:max(messenger_queue_oldest_age_seconds{job="messenger-relay"})(с) —max, а не сумма: два relay дали бы два ряда одного числа; - пул:
sum by (job, instance) (db_client_connection_count{db_client_connection_state="used"}) / sum by (job, instance) (db_client_connection_max)(percentunit), ожидающие —sum by (job, instance) (db_client_connection_pending_requests)(short, запросы, левая ось), отказы —sum by (job) (rate(db_client_connection_timeouts_total[5m]))(ops, отказы в секунду, правая ось той же панели: число и скорость под одной единицей не смешиваются); - worker:
sum(messenger_worker_busy) / sum(messenger_worker_capacity)и среднее за окноsum(rate(messenger_job_duration_seconds_sum{job="messenger-worker"}[5m])) / sum(messenger_worker_capacity)(percentunit; длительность пишется ровно за время на месте — закон Литтла), ожидающие места —sum(messenger_worker_waiting)(short); - контейнеры:
sum by (job, instance) (rate(container_cpu_time_seconds_total[5m])) / sum by (job, instance) (messenger_container_cpu_limit)иsum by (job, instance) (container_memory_usage_bytes) / sum by (job, instance) (messenger_container_memory_limit_bytes)(percentunit).
Источник очереди (JTP-9) — один процесс, relay: после успешного прохода, не чаще 5 с, снимок
по PostgreSQL одним выражением, каждый подзапрос — по условию своего частичного индекса
(ix_attachment_jobs_outbox, _published, _lease; состояния константой). Не реплики API (N
копий одного числа), не worker (его может быть два, outbox он не видит), не приёмник Collector
(пароль PostgreSQL у Collector без секретов и SQL вне кода приложения) и не метрики брокера (только
стадия published, без outbox, обработки и возраста). Возраст — от устойчивого приёма (задание
вместе с queued, до 202): «время до ready до сих пор» старейшего незавершённого.
CPU и память — cgroup изнутри, без docker.sock (JTP-12). Процессы с SDK читают свою
cgroup v2 (cpu.stat, memory.current, cpu.max, memory.max; файлы r--r--r-- от UID
10001). Сокет Docker у Collector (docker_stats) отвергнут: доступ к API Docker — root на ВМ
(:ro у сокета API не ограничивает), а Collector принимает OTLP без аутентификации из сети
приложения; cAdvisor требует привилегированных монтирований /, /sys, /var/lib/docker;
hostmetrics видит ВМ целиком, а не контейнеры. В docker compose config монтирования сокета
Docker нет ни у одного сервиса (trace-chain).
Ресурс relay: service.name = messenger-relay (константа TELEMETRY_SERVICE_RELAY, в
таблице OTEL_SERVICE_NAME — третья точка входа), service.instance.id = instance_id журнала
relay (короткий id контейнера), остальное — как у API и worker; TELEMETRY__ENABLED и
TELEMETRY__OTLP_ENDPOINT — якорем x-telemetry-env и у relay. Модули SDK, экспортёра,
protobuf и requests загружаются только при включённой телеметрии (JTP-7): уборщик, команда
replay, консоль, make test_isolated, стенд отказов и bench/ их не держат; исключение —
модули метрик SDK, которые сам загружает redis-py 8.1 при импорте.
Бюджет (JTP-15). Новых сервисов и портов нет, лимиты прежние, соединений PostgreSQL не
прибавляется; суммы прежние (11,5 CPU / 7296 МиБ, с одноразовыми 12,5 / 7680). Замер на 72cfa9a
под make test + make load + make student_test + trace-chain (раздел change в
evidence/telemetry/budget.md): relay с SDK — memory.peak 103 МиБ (старт), CPU до 25 % ядра при
лимите 0,25 только при разборе накопленных заданий; уборщик после ленивого импорта — 108 МиБ
вместе с плановой сверкой при старте; правило «лимит ≥ 1,5 × пика» у обоих выполнено (256 МиБ).
У Grafana в этом замере memory.peak 343 МиБ, из них файловый кэш 95 МиБ, который ядро освобождает
до OOM; неосвобождаемая часть anon + kernel + shmem ≈ 197 МиБ, 1,5 × ≈ 296 ≤ 512 — правило
выполнено, лимит прежний. Пик — memory.peak, а если с кэшем он правило не проходит — anon +
kernel + shmem (.claude/rules/telemetry.md, «Что считать пиком»).
Ограничения уровня 4:
- пул и насыщение worker — мгновенные значения раз в интервал отправки (15 с): короткие всплески пропускаются; отказы пула — счётчик, насыщение — ещё и среднее по сумме длительностей;
- снимок очереди, который relay не обновил дольше 30 с, не отдаётся, но экспортёр Collector держит
последнюю точку до
metric_expiration(с changeslo-alerts— 1 мин, было 5) — панель может показать прежнее значение до ~75 с; у остановленного relay очереди на панели нет; - PostgreSQL, S3, брокер, LB и уборщик в метриках CPU и памяти не представлены (нет SDK, сокета Docker нет); у worker в его cgroup — и процессы обработки;
- время до
readyне учитывает задания после replay (их приём — действие оператора) и повторную доставку готового; - трасса без корня, если Collector был недоступен при загрузке («root span not yet received»);
длинные трассы повторов и replay искажают длительность трассы в поиске Tempo — искать по
атрибутам span (
messenger.job.outcome); - при перезапуске процесса counter начинается с нуля под тем же
instance; с changeslo-alertsPrometheus пишет ноль в момент начала ряда нового процесса (время начала по protobuf), если процесс перезапущен не раньше чем через ~75 с после остановки; быстрее — новый процесс, догнавший прежнее значение до первого сбора, по-прежнему занижаетincrease()(раздел «Счётчики после перезапуска процесса» ниже); - без
messaging.message.id(решение 12 changeotel-telemetry:idзадания не в span) и без span Create и Settle: подтверждение — внутри consumer span.
SLO, оповещения и инциденты (уровень 4)
Change slo-alerts (design — openspec/changes/slo-alerts/design.md, номера решений «SA-n»).
Правила — infra/otel/prometheus/rules.yml, тесты — rules.test.yml (make alerts_test),
runbooks — infra/otel/runbooks/.
SLI и SLO (SA-1, SA-2). Окно — скользящие 7 суток (= срок хранения Prometheus). Правила записи
группы messenger-slo (раз в 5 мин) считают приращения событий за непересекающиеся 5 мин; SLI
окна W — отношение их сумм, остаток бюджета — (SLI − SLO) / (1 − SLO).
| SLI | Плохие / хорошие (числитель) | Все (знаменатель) | SLO |
|---|---|---|---|
| доступность | плохие — haproxy_frontend_http_responses_total{job="haproxy",proxy="entry",code="5xx"} |
тот же счётчик по всем code |
99,5 % |
| задержка | хорошие — http_server_request_duration_seconds_bucket{le="0.25"} «лёгких» маршрутов без 5xx |
…_count тех же |
99 % |
время до ready |
хорошие — messenger_job_time_to_ready_seconds_bucket{le="30.0"} |
…_count |
99 % |
-
Формулы окна W: доступность —
1 - sum_over_time(messenger:slo_availability_bad:increase5m[W]) / sum_over_time(messenger:slo_availability_total:increase5m[W]); задержка и время доready—sum_over_time(messenger:slo_<sli>_good:increase5m[W]) / sum_over_time(messenger:slo_<sli>_total:increase5m[W]). Те же SLI по исходным счётчикам —increase(…[W])тех же селекторов (панели иalerts-checkсчитают обоими путями и сверяют, расхождение ≤ 1 п. п.). -
«Лёгкие» маршруты —
http_route!~"/api/v1/users|/api/v1/auth/sessions|/api/v1/chats/.+/attachments|/api/v1/attachments/.+/content": вне SLI — KDF регистрации и входа (иDELETE /api/v1/usersтого же шаблона), загрузка и скачивание байтов; запросы без маршрута (404) входят. 5xx в SLI задержки не входят — это плохие события доступности. -
Почему доступность — на LB. При недоступном PostgreSQL реплики выходят из LB (≤ 6,5 с), и дальше клиент получает 503 от самого LB: метрики API запросов почти не видят, доля 5xx по ним считалась бы по исчезающему знаменателю, а оповещение снялось бы посреди отказа. Метрики LB — встроенный экспортёр HAProxy на порту статистики (
/metrics, только сеть приложения), его забирает приёмникprometheus/haproxyCollector, Prometheus — у Collector (job="haproxy"): изоляция сети хранилищ прежняя. Доля ошибок контракта (5xx API / учтённые запросы) осталась панелью уровня 3. -
Пороги. 0,25 с — граница bucket с запасом ×7 над p99 «лёгких» маршрутов (8–33 мс на стенде); 30 с — граница bucket, путь без повторов 0,5–2 с; 99,5 % у доступности — один PostgreSQL, LB и хост.
-
Ограничения SLI: время в очереди LB и ответы самого LB в SLI задержки не входят (у HAProxy нет histogram); ряды группы
messenger-sloотстают на 5–10 мин (Prometheus пишет точку с временем предыдущего слота, интервал 5 мин) — SLI по ним не видит последних минут, окно учений считается по исходным счётчикам; непересекающиеся окнаincrease(…[5m])теряют приращение между последним сбором окна и первым следующего (~5 % событий наугад: заметно при единицах событий, как у времени доready), а пока Prometheus остановлен, окна нет вовсе —alerts-checkсверяет ряды правил с исходными счётчиками в тех же окнах и печатает рядомincreaseза час одним окном; SLI за 7 суток включают учения и проверки; при недоступном Prometheus правила не вычисляются, приращение счётчиков после возврата прежнее (evidence/telemetry/backend-outage.md). -
Значения на момент отчёта (
evidence/alerts/check.md, раздел[SLI and panels], 2026-11-13 23:06Z, commit15ea156):SLI 7 суток час: по правилам / по исходным счётчикам в тех же окнах окно учений (~20 мин) SLO остаток бюджета за 7 суток доступность 0,93201 1,00000 / 1,00000 (14 685 событий) 0,89966 99,5 % −12,6 (исчерпан) задержка 0,98539 0,98209 / 0,98209 (14 225) 0,97905 99 % −0,46 время до ready0,93039 0,91358 / 0,91358 (37) 0,86957 99 % −5,96 SLO за 7 суток не соблюдены: в окно входят только учения и проверки рабочего стенда (остановки PostgreSQL, worker, relay, блокировка таблицы сообщений, долгие отказы хранилищ,
make test-failover) — бюджет съели они, это и показывает строка «окно учений». За час пути совпадают (0 п. п. при допуске 1); за час 3 окна правил из 12 — Prometheus перезапущен в 22:45Z, а отказ БД в конце учений в записанные окна ещё не попал (точкиmessenger-sloотстают на 5–10 мин).
Оповещения (SA-3, SA-4). Правила Prometheus, без Alertmanager и без доставки наружу.
Состояние firing / resolved — /api/v1/rules, /api/v1/alerts, ряды ALERTS (история за срок
хранения), Grafana: правила источника Prometheus в Alerting только для чтения (manageAlerts: true), панель «Alert states». Правила Grafana отвергнуты: живут в её базе (у нас tmpfs), без
модульных тестов promtool. Alertmanager отвергнут по функции, а не по бюджету: доставки нет,
история есть в Prometheus, подавление зависимых оповещений одно и выражено в условии (unless).
| Оповещение | Условие (окно) | Порог | for |
severity |
Runbook |
|---|---|---|---|---|---|
MessengerHighErrorRate |
доля 5xx ответов LB клиентам (2 мин) при трафике > 0,1 запроса/с | 5 % | 1 мин | critical | infra/otel/runbooks/MessengerHighErrorRate.md |
MessengerSlowRequests |
доля «лёгких» запросов дольше 0,25 с (2 мин) при трафике > 0,1 запроса/с | 10 % | 1 мин | warning | …/MessengerSlowRequests.md |
MessengerNoReadyReplicas |
готовых реплик в LB | < 1 | 30 с | critical | …/MessengerNoReadyReplicas.md |
MessengerQueueLagHigh |
возраст старейшего незавершённого задания | 60 с | 1 мин | warning | …/MessengerQueueLagHigh.md |
MessengerQueueMetricsMissing |
снимка очереди relay нет, экспортёр Collector доступен | — | 2 мин | warning | …/MessengerQueueMetricsMissing.md |
TelemetryTargetDown |
up = 0 у otel-collector, loki, tempo, haproxy |
up = 0 |
1 мин | warning | …/TelemetryTargetDown.md |
TelemetryDataLoss |
рост telemetry:lost_items:total за 2 мин |
> 0 | — | warning | …/TelemetryDataLoss.md |
Пороги ошибок и задержки — 10 × допустимой доли SLO; окна 2 мин (8 сборов) — снятие за 2–3 мин
после восстановления; одиночные 503 и 502 проверок короче for. Слепые места закрыты отдельными
оповещениями: нет снимка очереди — MessengerQueueMetricsMissing, нет метрик LB или Collector —
TelemetryTargetDown; отказ самого Prometheus оповещением не ловится (meta-monitoring вне стенда,
в Grafana — ошибка источника). У каждого оповещения — summary, description с текущим
значением, runbook_url (путь в репозитории). Тесты правил: на каждое оповещение — срабатывание
после for, нет срабатывания ниже порога и без трафика, снятие; значения правил записи;
MessengerQueueMetricsMissing молчит при недоступном экспортёре; TelemetryDataLoss — новый ряд,
рост, сброс (evidence/alerts/rules-test.md).
Буферизация и потери (SA-7–SA-9). SDK — прежние очереди [telemetry]: 2048 span и 2048 записей,
пакет 512, отправка ≤ 2 с, при полной очереди вытесняется самое старое. Collector: memory_limiter
200 / 40 МиБ, GOMEMLIMIT 160 МиБ; экспорт в Loki и Tempo — очередь в памяти по байтам (16 и 8
МиБ: ~40–90 с пика записей и ~10–15 с пика span), два отправителя, повторы 1 / 5 / 30 с, полная
очередь отклоняет новое без задержки приёма; пакет логов ≤ 256 записей, span ≤ 1024 — пакет
всегда меньше очереди. Метрики Prometheus забирает сам, очереди для них нет. Где считаются потери:
| Место | Счётчик |
|---|---|
| очередь SDK | otel_sdk_processor_{span,log}_processed_total{error_type="queue_full"} |
| отправка SDK | otel_sdk_exporter_{span,log}_exported_total{error_type!=""} |
| приём Collector | otelcol_receiver_refused_{spans,log_records,metric_points} |
| очередь экспорта полна | otelcol_exporter_enqueue_failed_{spans,log_records} |
| повторы истекли | otelcol_exporter_send_failed_{spans,log_records} |
Сумма по процессу — правило telemetry:lost_items:total; оповещение — рост суммы, а не
increase(): ряд отказов появляется с первой потерей, у собственных метрик Collector нет времени
начала. Внутренние метрики SDK (otel.sdk.*) включает код: процессоры и экспортёры OTLP span и
журнала строятся после MeterProvider с ним и с переменной SDK только на время сборки; внешняя
OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED удаляется, как любая OTEL_*; гистограммы SDK не
отдаются. Результаты отказа каждого хранилища и Collector под нагрузкой драйвера (~25 запросов/с;
evidence/telemetry/backend-outage.md, commit 15ea156):
| Отказ | Ответы клиенту | Память | Потери (учтены) | Оповещения |
|---|---|---|---|---|
| Loki 10 с | свой запрос найден в Loki после возврата | — | 0 | — |
| Loki 120 с | make test PASS, 2928 × 2xx, 5xx 0 |
Collector docker stats ≤ 77 МиБ из 256; очередь Loki ≤ 0,135 ёмкости |
443 записи (otlp_http/loki) |
TelemetryTargetDown{job="loki"} firing через 105 с, TelemetryDataLoss firing; сняты через 40 и 145 с |
| Tempo 10 с | своя трасса найдена после возврата | — | 0 | — |
| Tempo 120 с | make test PASS, 2934 × 2xx, 5xx 0 |
Collector ≤ 93 МиБ (runtime sys ≤ 84); очередь Tempo ≤ 0,656 ёмкости | 1342 span (otlp_http/tempo) |
TelemetryTargetDown{job="tempo"} через 90 с, TelemetryDataLoss; сняты через 30 и 150 с |
| Prometheus 60 с | 1467 × 2xx, 5xx 0 | — | счёт запросов API после возврата +2565 ≥ 1833 запросов нагрузки | правила не вычислялись (ограничение) |
| Collector 120 с | make test PASS |
реплики: максимум последней трети окна 156 и 154 МиБ против 142 и 145 первой (лимит 512) | SDK реплик: 11 683 и 11 810; записей API окна в Loki 0 из 5275 в stdout | TelemetryTargetDown{job="otel-collector"} через 95 с, снято через 20 с; MessengerQueueMetricsMissing не сработало |
Короткий отказ короче срока повторов (30 с) потерь не дал; долгий потерял конец окна (начало
отказа сохранила очередь), отказов приёма Collector (memory_limiter) не было. Без Collector
память реплик ограничена очередями SDK (2048), счёт потерь SDK копился в процессе и пришёл в
Prometheus после возврата Collector.
Счётчики после перезапуска процесса (SA-6). Prometheus принимает время начала cumulative-рядов
экспортёра Collector (PrometheusProto первым у цели otel-collector-exporter, флаг
created-timestamp-zero-ingestion; у остальных целей — прежний текстовый список) и пишет ноль в
момент начала ряда нового процесса; экспортёр убирает ряд, не обновлявшийся минуту. Проверка —
alerts-check, шаг 1: worker остановлен на 159 с, 3 загрузки, запуск — первая точка ряда нового
процесса — ноль ((2.5, 0.0)), приращение по точкам ровно 3 (evidence/alerts/check.md, строки
76–80). Остаётся: перезапуск того же контейнера
быстрее ~75 с, если новый процесс догнал прежнее значение до первого сбора; собственные метрики
Collector без времени начала (их закрывает правило потерь). Число рядов экспортёра до и после
перехода на protobuf на процесс то же (двойников нет).
Инциденты. Разбор — по runbook оповещения и только по сохранённым наблюдениям вывода
alerts-check и backend-outage (хронология и значения — в файлах evidence).
Учения — 2026-11-13, 22:46:44Z – 23:22:25Z, commit 15ea156, фоновая нагрузка драйвера ~25
запросов/с через LB; время — от начала шага (у MessengerQueueLagHigh — от первой загрузки, у
снятия — от восстановления), «строки N» — строки файла evidence.
- Остановлен worker (
evidence/alerts/check.md, строки 63–81). Хронология:docker compose stop workerна 48-й секунде учений, 3 загрузки — 202 (строка 67);MessengerQueueLagHighpending через 98 с, firing через 158 с после первой загрузки (строки 68–69); worker запущен через 159 с остановки (строка 76), снято через 44 с после запуска (строка 78). Диагностика по runbookMessengerQueueLagHigh: «Pipeline» → глубинаpublished3, остальные стадии 0, возраст старейшего 141,3 с (max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"}),max(messenger_queue_oldest_age_seconds{job="messenger-relay"}); строка 70) — задания приняты и опубликованы, но не взяты; рядовmessenger-workerк запуску нет (строка 75) → Loki{service_name="messenger-worker"}: последняя запись worker — «Attachment became ready» за 1 с до остановки, «Stopped worker» — в stdout (строки 73–74) → Tempo{ resource.service.name = "messenger-worker" && kind = consumer }: consumer span после остановки 0 (строка 72) ⇒ причина — worker не работает (не брокер и не relay: сообщения в стадииpublished). Восстановление —docker startworker: все 3ready(строка 77), счёт времени до готовности +3 по точкам, первая точка нового процесса — ноль (строки 79–80). SLI времени доreadyза окно учений — 0,86957 (три загрузки ждали дольше 30 с — плохие события; раздел[SLI and panels]). - Медленная БД против медленного handler (строки 89–115). Блокировка
LOCK TABLE messages IN SHARE MODE2 с с паузой 0,2 с в сессииapplication_name = mtusi-alerts-check:MessengerSlowRequestsfiring через 165 с (строка 91), доля медленных «лёгких» 0,428 при пороге 0,1 (строка 92) → p95 по маршрутам:POST /api/v1/chats/{chat_id}/messages0,021 с до и 2,324 с во время (строки 93–94), чтение не медленно → Tempo, медленные трассы отправки: span PostgreSQL — 0,99 server span (строка 95) → пул: занято до 6 соединений против 0 до шагов (строка 97) → CPU реплик не выше 0,11 предела (строка 99) ⇒ БД (держатель блокировки — вpg_stat_activityпоapplication_name). Сессия завершена — снято через 89 с (строка 101);MessengerHighErrorRateне срабатывал (строка 102). Для сравнения вход по Basic (строки 103–115): 506 входов, медиана 0,27 с, p95/api/v1/auth/sessions0,667 с, span PostgreSQL — 0,01–0,02 server span, пул занят не больше 0,30 без отказов по сроку, CPU реплик до 0,80 предела ⇒ handler (KDF); вход вне SLI задержки — доля медленных «лёгких» не выше 0,050, оповещения нет. Недоступная БД (строки 116–133):docker compose stop postgres→MessengerNoReadyReplicasfiring через 60 с,MessengerHighErrorRateчерез 105 с (строки 118–119) → «Load balancer»: готовых реплик 0 (строка 120), 5xx на LB +2603, у API +27 (строка 127) — клиент получил 2562 ответа 5xx, из них 2548 — 503 самого LB безX-Instance-Id(строка 124): метрики API отказ почти не видят, поэтому SLI — на LB → Loki: 27 записей «Database is unavailable» реплик (строка 121) → Tempo: 27 трасс с ошибкой server span 503 (строка 122; span PostgreSQL с ошибкой нет — отказ на выдаче соединения из пула, до запроса). Восстановление —docker compose start postgres, LB готов; сняты через 29 и 135 с (строки 125–126). SLI доступности за окно отказа — 0,5544 по LB при 0,5576 у клиента (строка 130). - Недоступно хранилище телеметрии (
evidence/telemetry/backend-outage.md, строки 57–71).docker compose stop tempoна 120 с под нагрузкой:TelemetryTargetDown{job="tempo"}firing через 90 с (строка 59),TelemetryDataLossfiring (строка 66) → «Telemetry pipeline»: очередь экспорта Tempo — до 0,656 ёмкости (строка 60), потериotlp_http/tempo— 1342 span (enqueue_failed/send_failed, строка 67), память Collector —docker statsдо 93 МиБ при лимите 256 (строка 62) → приложение не задето:make testPASS, 2934 ответа 2xx, 5xx 0 (строки 58, 64–65) ⇒ теряется телеметрия, а не сообщения. Послеdocker compose start tempo— новые трассы приходят (строка 69),TelemetryTargetDownснят через 30 с,TelemetryDataLoss— через 150 с (строки 70–71); потери — 1342 span из счётчиков Collector.
Бюджет (SA-13). Новых сервисов и портов нет; лимиты — по замеру backend-outage и
alerts-check и правилу «лимит ≥ 1,5 × пика» (раздел change slo-alerts в
evidence/telemetry/budget.md, commit 15ea156): Collector в долгом отказе Tempo — docker stats
до 93 МиБ, memory.peak за alerts-check 76 МиБ (лимит 256); Prometheus за alerts-check — 108
МиБ (384; в пробных прогонах apply — до 240, 1,5 × 240 = 360); реплики API без Collector — без роста
(142 → 156 и 145 → 154 МиБ), memory.peak со старта стенда 334 и 327 МиБ от входов по Basic (512).
Правило выполнено у всех, лимиты не менялись. ВМ Docker Desktop — 12 CPU (все ядра хоста) / 11 902 МиБ: память
пользователь увеличил до 12 ГБ 2026-11-11 (вопрос 1 ## slo-alerts в QUESTIONS.md); постоянные
лимиты стенда — 11,5 CPU / 7296 МиБ, с одноразовыми 12,5 CPU / 7680 МиБ, вместе с контейнерами
make test_isolated (+2,25 CPU / 1792 МиБ) — 9472 МиБ: помещается с запасом ~2,4 ГиБ на накладные
ВМ. CPU больше не дать: сумма лимитов CPU больше 12 — конкуренция, а не отказ.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | driver.py --port 8080 telemetry-check |
код 0: Loki → Tempo по X-Request-Id, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ |
evidence/telemetry/check.md (commit 15ea156) |
| Телеметрия не меняет ответы и остановку | driver.py --port 8080 telemetry-outage |
код 0: make test PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов |
evidence/telemetry/collector-outage.md (commit 15ea156) |
| Стенд с нуля одной командой | driver.py stand-from-scratch --runs 2 |
код 0 оба раза, RestartCount брокера и телеметрии 0 |
evidence/stand/from-scratch.md |
| Лимиты и бюджет телеметрии | замер docker stats, memory.peak и memory.stat |
лимит ≥ 1,5 × пика у всех сервисов телеметрии (у Grafana пик — anon + kernel + shmem без файлового кэша) |
evidence/telemetry/budget.md |
| Уровень 4: контекст W3C API → relay → worker, producer и consumer span (parent и link), цепочка одной загрузки до S3 и БД с повтором и replay | driver.py --port 8080 trace-chain |
код 0: одна трасса, две пары producer / consumer, span S3 с ошибкой и запись оригинала и вариантов, replay в той же трассе, задание без контекста — корень worker | evidence/telemetry/trace-chain.md (commit 15ea156) |
| Уровень 4: dashboard — p50 / p95 / p99, доля ошибок, глубина и возраст очереди, пул БД, насыщение worker, контейнеры | driver.py --port 8080 trace-chain, telemetry-check |
запросы панелей уровня 4 без ошибок и с данными; ряды очереди только у relay; пределы = docker inspect; нет сокета Docker |
evidence/telemetry/trace-chain.md, evidence/telemetry/check.md |
| Уровень 4: relay с SDK не меняет остановку | driver.py --port 8080 telemetry-outage |
docker stop relay < 10 с, код 0, «Stopped relay» при остановленном и замороженном Collector |
evidence/telemetry/collector-outage.md |
| Уровень 4: схема контекста задания | миграция с нуля, повтор, откат, --sql, make rolling_update; план снимка очереди |
lock_timeout, NOT VALID; без Seq Scan |
evidence/migrations/job-trace-context.md, evidence/telemetry/queue-snapshot.md (commit 72cfa9a) |
| Уровень 4: alert rules с runbooks в git, модульные тесты правил | make alerts_test |
код 0: promtool check config, check rules, test rules (39 проверок оповещений и 6 правил записи); у каждого из 7 оповещений есть runbook |
evidence/alerts/rules-test.md (commit 15ea156) |
| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | driver.py --port 8080 alerts-check |
код 0 (~20 мин): остановленный worker — firing через 158 с, снято через 44 с; relay — 220 / 45 с; медленная БД — 165 / 89 с; медленный handler — оповещения нет; недоступная БД — 60 и 105 / 29 и 135 с; лишних нет; SLI двумя путями совпали | evidence/alerts/check.md (commit 15ea156) |
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | driver.py --port 8080 backend-outage |
код 0 (~16 мин): make test PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 93 МиБ из 256, реплики без роста; потери учтены (443 записи, 1342 span, SDK 11 683 и 11 810); TelemetryTargetDown и TelemetryDataLoss — firing и снятие |
evidence/telemetry/backend-outage.md (commit 15ea156) |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| TODO | TODO | TODO | TODO |
Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.