Files
mtusi2026lab6/REPORT.md
T
ricoromaandClaude Opus 5.5 ef60b47246 fix: address slo-alerts verify findings
Count the first SDK telemetry loss on the loss panel, print pending
moments on every alerts-check step, check the loss panel on a quiet
stand, align two scenarios and the SLI cross-check text with what the
driver verifies.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-14 04:08:13 +03:00

63 KiB
Raw Blame History

Отчёт — лабораторная 6

  • Автор, группа: TODO
  • Целевая оценка; выбранный трек 5, если нужен: TODO
  • Commit/PR: TODO после публикации
  • Использованные источники, библиотеки и помощь ИИ: TODO

Запуск из чистого clone

TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.

Архитектура и решения

TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab5, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.

Наблюдаемость

Change otel-telemetry (design — openspec/changes/archive/2026-11-11-otel-telemetry/design.md, номера решений в скобках). Числа и проверки сняты на закоммиченном коде при чистом рабочем дереве: telemetry-check и telemetry-outage сначала на 68f1e97 (правки verify), затем пересняты на 72cfa9a (код change job-trace-propagation: relay с SDK, шаги задания по consumer span), там же план снимка очереди, проба ревизии e4b8c2d17f90 и раздел change бюджета; trace-chain и telemetry-outage — ещё раз на 72e2598 (правки verify: сигналы relay без перезапуска, тихая очередь в предусловии, рост CPU каждого процесса); telemetry-check, trace-chain и telemetry-outage — в третий раз на 15ea156 (код change slo-alerts: новые панели, метрики LB, внутренние метрики SDK), там же alerts-check, backend-outage, make alerts_test и раздел change slo-alerts бюджета; бюджет сервисов телеметрии — на 4178b3d (лимиты Tempo и Grafana по замеру), шапки файлов evidence/telemetry/ и evidence/migrations/. evidence/stand/from- scratch.md ещё снят на рабочем дереве поверх 9b35c25: пересъёмка ждёт разрешения пользователя (QUESTIONS.md, ## otel-telemetry, вопрос 8).

Назначение компонентов

Компонент Версия (тег, digest индекса — docker-compose.yml) На какой вопрос об инциденте отвечает
SDK OpenTelemetry Python (opentelemetry-api, -sdk, -exporter-otlp-proto-http) 1.45.2 (>=1.45.2,<1.46), semantic conventions 0.66b2 производит три сигнала в API и worker; экспорт OTLP/HTTP protobuf в фоне, очереди ограничены
OTel Collector, дистрибутив contrib 0.164.0 получатель и маршрутизатор, а не хранилище: memory_limiter, batch, три pipeline до трёх хранилищ; contrib — ради tail_sampling трека 1 (1)
Prometheus v3.15.1 метрика: «сколько и как быстро» — RPS, доля ошибок, квантили длительности, исходы заданий по времени; scrape экспортёра Collector (3)
Loki 3.7.9 лог: «что именно произошло в этом запросе / задании» — те же записи, что в stdout, поиск по request_id, attachment_id, trace_id
Tempo 3.1.1 трасса: «где ушло время и что упало» — server / consumer span с дочерними PostgreSQL, Valkey, S3 и процессом обработки
Grafana 13.3.1 интерфейс без своего состояния: источники и dashboard из git, переход лог ↔ трасса (16)

Сигналы уровня 3

Логический сигнал контракта Инструмент SDK Prometheus / Loki / Tempo Единица
HTTP requests счёт наблюдений histogram http.server.request.duration http_server_request_duration_seconds_count{job="messenger-api", http_request_method, http_route, http_response_status_code} запросы
HTTP duration histogram http.server.request.duration, границы 0,005…30 с (10) http_server_request_duration_seconds_bucket / _sum с
jobs (успешные / ошибочные) счёт наблюдений histogram messenger.job.duration messenger_job_duration_seconds_count{job="messenger-worker", messenger_job_type, messenger_job_outcome} задания
job duration histogram messenger.job.duration, границы 0,05…60 с (11) messenger_job_duration_seconds_bucket / _sum с
логи с trace_id / span_id логгер SDK из процессора structlog (2) Loki: поток service_name, service_instance_id, deployment_environment_name; поля записи, trace_id, span_id — structured metadata; строка — event запись
трассы API span SERVER «метод» «шаблон» (корень), дочерние SELECT/INSERT/…, COMMIT, GET/SET Valkey, S3.<Операция> Tempo: messenger.request_id, http.*, db.*, rpc.*, error.type span
трассы worker span CONSUMER process <очередь> (корень), дочерние PostgreSQL, S3, render attachment variants Tempo: messaging.*, messenger.job.type, messenger.job.outcome span

Запросы панелей dashboard (infra/otel/grafana/dashboards/messenger-overview.json, uid messenger-overview, папка Messenger):

  • RPS по маршруту и классу статуса: sum by (http_route, status_class) (label_replace(rate(http_server_request_duration_seconds_count{job="messenger-api"}[5m]), "status_class", "${1}xx", "http_response_status_code", "([0-9])..")));
  • доля ошибок HTTP — числитель 5xx API, знаменатель — все учтённые запросы (health не учитывается, 4xx — отдельная панель того же вида): sum(rate(http_server_request_duration_seconds_count{job="messenger-api",http_response_status_code=~"5.."}[5m])) / sum(rate(http_server_request_duration_seconds_count{job="messenger-api"}[5m]));
  • p50 и p95: histogram_quantile(q, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api"}[5m]))) — из суммы buckets всех реплик, а не средние; p95 по маршрутам — sum by (le, http_route);
  • задания по исходу: sum by (messenger_job_outcome) (rate(messenger_job_duration_seconds_count{job="messenger-worker"}[5m])); успешные — ready, ошибочные — failed, retry, requeued, dropped, error, skipped — ни то, ни другое (подтверждено без попытки);
  • p50 и p95 длительности ready: histogram_quantile(q, sum by (le) (rate(messenger_job_duration_seconds_bucket{job="messenger-worker",messenger_job_outcome="ready"}[5m])));
  • журналы {service_name=~"messenger-.*"} (Loki), поиск трасс { resource.service.name =~ "messenger-.*" } (Tempo).

Ресурс и имена OTEL_*

Атрибут ресурса Значение Prometheus Loki
service.name messenger-api / messenger-worker / messenger-relay (константы точки входа) job метка service_name
service.instance.id [app] instance_id = X-Instance-Id (короткий id контейнера) instance метка service_instance_id
service.version 1.6.0 — info.version контракта (9) target_info{service_version} service_version
deployment.environment.name [telemetry] environment = lab target_info{deployment_environment_name} метка deployment_environment_name
Имя skeleton У нас (8)
OTEL_SERVICE_NAME константа точки входа: messenger-api, messenger-worker, messenger-relay
OTEL_EXPORTER_OTLP_ENDPOINT [telemetry] otlp_endpoint; на стенде — TELEMETRY__OTLP_ENDPOINT=http://otel-collector:4318 у api, worker и relay
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf постоянно: установлен только экспортёр OTLP/HTTP protobuf
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab [telemetry] environment; service.* вычисляет код

Переменные OTEL_* настройками не являются: процесс с включённой телеметрией удаляет их из окружения и пишет warning с именами (проверка — разовый контейнер с OTEL_SDK_DISABLED=true и чужим адресом в evidence/telemetry/check.md). Включает телеметрию TELEMETRY__ENABLED у api, worker и (change job-trace-propagation) relay стенда; консоль, make test_isolated, стенд отказов и bench/ — без неё (20).

Инфраструктура наблюдаемости

Роль infrastructure.json Сервис Версия Healthcheck Volume Порт Credentials
otel_collector otel-collector contrib 0.164.0 нет (в образе нет оболочки): цель otel-collector в Prometheus — OTLP :4318, метрики :8888, :8889 — только в сетях стенда нет
telemetry_storage (метрики) prometheus v3.15.1 wget /-/ready prometheus_data, срок 7d, предел 1GB :9090 — только сеть telemetry нет
telemetry_storage (логи) loki 3.7.9 нет: цель loki и проверка источника loki_data, срок 168h :3100 — только сеть telemetry нет
telemetry_storage (трассы) tempo 3.1.1 нет: цель tempo и проверка источника tempo_data, срок 168h :3200, OTLP :4318 — только сеть telemetry нет
grafana grafana 13.3.1 wget /api/health tmpfs (provisioning из git) 127.0.0.1:${GRAFANA_OUT_PORT:-3000} admin / GRAFANA_ADMIN_PASSWORD из .env (случайный от make env_setup), только у Grafana

Сети: хранилища и Grafana — telemetry, Collector — default и telemetry; из контейнеров API и worker имена prometheus, loki, tempo, grafana не разрешаются (17). Приложение от сервисов телеметрии не зависит: без них стартует и работает (evidence/telemetry/collector-outage.md).

Бюджет

Лимиты телеметрии: Collector 0,5 CPU / 256 МиБ, Prometheus 0,5 / 384, Loki 0,5 / 512, Tempo 0,5 / 640, Grafana 0,5 / 512 — 2,5 CPU / 2304 МиБ. Постоянные лимиты стенда — 11,5 CPU / 7296 МиБ, с одноразовыми — 12,5 CPU / 7680 МиБ при ВМ 12 CPU / 7934 МиБ (с 2026-11-11 — 11 902 МиБ, раздел «SLO, оповещения и инциденты», «Бюджет»): лимиты — потолки, а не резерв. Два замера под make test + make load + make student_test с телеметрией и без (evidence/telemetry/budget.md): на 68f1e97 (прежние лимиты) пики memory.peak Tempo 398 и Grafana 294 МиБ — правило «лимит не меньше 1,5 × пика» не выполнялось при 512 и 384, лимиты подняты до 640 и 512, GOMEMLIMIT Tempo прежний (400 МиБ — его пик упирается в него, поэтому лимит — 1,6 × GOMEMLIMIT); на 4178b3d (новые лимиты) — Collector 97, Prometheus 95, Loki 190, Tempo 253, Grafana 248 МиБ, правило выполнено и для наибольших пиков обоих замеров. Реплика API — до 453 МиБ с телеметрией и 482 без неё (лимит 512; пик даёт Argon2id входов make student_test, а не SDK; запас ~6 % — ограничение, лимит реплики не менялся), worker — 502 МиБ из 1024. Грубая цена SDK (один прогон make load): 489 против 568 запросов/с, p95 13,8 против 8,8 мс — исследование трека 1.

Ограничения наблюдаемости

  • Отказ Collector: что не ушло, теряется: очереди SDK ограничены (2048 span и записей), при остановке процесса закрытие ждёт не дольше 1 с (API) и 0,5 с (worker). Cumulative-метрики SDK копит в себе: после возврата Collector счётчики не теряются, теряется разрешение; рестарт Collector сбрасывает ряды экспортёра (rate() это переносит). Записи об отказе отправки — только stdout, не чаще одной в минуту на модуль SDK (evidence/telemetry/collector-outage.md).
  • Ответы балансировщика (502, 503, 504, 408 HAProxy) в метрики API не попадают: их считают метрики LB (раздел «SLO, оповещения и инциденты»), в SLI задержки они не входят, а время в очереди LB метрики API не видят. Нестандартный метод вне списка парсера uvicorn (BREW) отклоняется до приложения 400 текстом — ни span, ни ряда (KNOWN_ISSUES.md).
  • OTLP без аутентификации и TLS — до лабы 7: Collector принимает от любого контейнера сети default; хранилища отделены сетью.
  • Trace-id клиента не продолжается (публичная точка входа); контекст внутри стенда переносит задание (раздел «Сквозная трасса загрузки» ниже).
  • service.version не различает сборки одной версии контракта.
  • Tempo 3.1 в простое пишет level=error «no jobs found» (backend-worker опрашивает scheduler без заданий) — шум журнала, не отказ.

Сквозная трасса загрузки (уровень 4)

Change job-trace-propagation (design — openspec/changes/archive/2026-11-11-job-trace-propagation/design.md, номера решений «JTP-n»). Одна загрузка — одна трасса: server span POST /api/v1/chats/{chat_id}/attachments (messenger-api) → на каждую публикацию её задания span PRODUCER publish <очередь> (messenger-relay) → под ним span CONSUMER process <очередь> этой доставки (messenger-worker) с дочерними PostgreSQL, S3 (S3.GetObject staging, S3.PutObject оригинала и трёх вариантов), render attachment variants и COMMIT. Повторная попытка, повторная доставка брокером и replay — новые пары producer / consumer в той же трассе с messenger.job.attempt, messenger.job.retry_reason, messenger.job.replayed, messenger.job.reason, messenger.job.error_code (значения enum, без id и текста ошибок).

Где Значение Кто пишет Кто читает
колонки attachment_jobs.traceparent, tracestate (text NULL, CHECK NOT VALID, ревизия e4b8c2d17f90) контекст W3C server span загрузки (JTP-4) реплика API той же транзакцией, что queued и задание relay при каждой публикации
заголовки сообщения AMQP traceparent, tracestate (carrier, JTP-1) контекст span producer этой публикации relay (JobPublisher._publish_one) worker (JobDelivery.trace_context)
поля traceparent, tracestate тела contracts/jobs.schema.json не заполняются — —

Отображение на схему задания: заголовок traceparent = поле traceparent = значение W3C версии 00 (^00-[0-9a-f]{32}-[0-9a-f]{16}-[0-9a-f]{2}$, тот же шаблон у CHECK колонки и разбора заголовка), tracestate — то же, до 512 символов. Carrier — native headers брокера (contracts/attachment-states.md это допускает): тело проверяет AttachmentJobMessage (extra="forbid", pattern), неверное значение в теле сделало бы сообщение «не по схеме» и задание dropped, а заголовок не по W3C просто игнорируется — новая трасса, исход тот же. Переносится только W3C Trace Context (TraceContextTextMapPropagator), baggage — нет; глобального propagator нет (JTP-5).

Почему consumer span — дочерний и с link (JTP-2). Semantic conventions messaging по умолчанию связывают обработку с созданием сообщения link, но «exclusively for single messages» разрешают сделать контекст создания родителем, и требуют link на него («SHOULD link») и описание выбора («SHOULD document» — этот раздел). Worker обрабатывает сообщения по одному, объемлющего span у задачи доставки нет. Родитель даёт одну трассу на загрузку (цепочка до S3 и БД, включая повтор, находится по одному trace-id) и цельную выборку цепочки при head sampling трека 1: sampler — ParentBased(ALWAYS_ON), флаг выборки загрузки доходит до worker. Цена — длинные трассы: повторы растягивают трассу на минуты, replay — на часы.

Без контекста и смесь версий (JTP-6). Строка без контекста (прежняя реплика во время make rolling_update, реплика с выключенной телеметрией): relay публикует без заголовков и без span producer, consumer span — корень, как на уровне 3. Прежний relay колонок не знает, прежний worker заголовки игнорирует, тело прежнее: ни одна комбинация версий не даёт ошибки, рвутся только цепочки заданий, которых коснулся прежний код. Relay с выключенной телеметрией кладёт сохранённый контекст как есть: цепочка API → worker не рвётся. Span relay — только span producer под сохранённым контекстом: проходы relay и его обращения к PostgreSQL трасс не начинают. Команда replay SDK не запускает: replay виден следующей парой producer / consumer.

Сигналы уровня 4

Логический сигнал контракта Инструмент SDK Prometheus Единица
p50 / p95 / p99 HTTP и обработки histogram прежние histogram_quantile(q, sum by (le) (rate(…_bucket[5m]))) с
время до ready (end-to-end time to ready) histogram messenger.job.time_to_ready, границы 0,25…600 с messenger_job_time_to_ready_seconds_{bucket,sum,count}{job="messenger-worker", messenger_job_type} с
глубина очереди ObservableGauge messenger.queue.depth messenger_queue_depth{job="messenger-relay", messaging_destination_name, messenger_queue_stage} (scheduled, outbox, published, processing) задания
возраст старейшей job ObservableGauge messenger.queue.oldest_age messenger_queue_oldest_age_seconds{job="messenger-relay"} с
пул БД: соединения ObservableUpDownCounter db.client.connection.count db_client_connection_count{db_client_connection_pool_name, db_client_connection_state="used"|"idle"} соединения
пул БД: предел db.client.connection.max db_client_connection_max соединения
пул БД: ожидающие db.client.connection.pending_requests db_client_connection_pending_requests запросы
пул БД: отказы по сроку ObservableCounter db.client.connection.timeouts db_client_connection_timeouts_total отказы
насыщение worker ObservableUpDownCounter messenger.worker.busy, .capacity, .waiting messenger_worker_busy, messenger_worker_capacity, messenger_worker_waiting доставки
CPU контейнера ObservableCounter container.cpu.time container_cpu_time_seconds_total с CPU
память контейнера ObservableUpDownCounter container.memory.usage container_memory_usage_bytes байты
пределы контейнера messenger.container.cpu.limit, messenger.container.memory.limit messenger_container_cpu_limit, messenger_container_memory_limit_bytes ядра, байты
трассы upload → publish → consume span PRODUCER relay, CONSUMER worker Tempo: messaging.*, messenger.job.*; связь parent и link span

Ряды пула, CPU и памяти — у каждого процесса с SDK (job = messenger-api, messenger-worker, messenger-relay, instance = service.instance.id); имя пула — postgres:5432/messenger. Имена проверены на стенде запросами через Grafana (apply, trace-chain).

Запросы панелей уровня 4 (messenger-overview.json, строки «Pipeline» и «Saturation»; единицы панелей — s, percentunit, short):

  • квантили HTTP: histogram_quantile(0.5|0.95|0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api"}[5m]))), обработки — то же над messenger_job_duration_seconds_bucket{job="messenger-worker",messenger_job_outcome="ready"} (с); доля 5xx и доля 4xx — панели уровня 3 (percentunit);
  • время до ready: histogram_quantile(q, sum by (le) (rate(messenger_job_time_to_ready_seconds_bucket{job="messenger-worker"}[5m]))) (с);
  • глубина по стадиям: max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"}) (short); возраст: max(messenger_queue_oldest_age_seconds{job="messenger-relay"}) (с) — max, а не сумма: два relay дали бы два ряда одного числа;
  • пул: sum by (job, instance) (db_client_connection_count{db_client_connection_state="used"}) / sum by (job, instance) (db_client_connection_max) (percentunit), ожидающие — sum by (job, instance) (db_client_connection_pending_requests) (short, запросы, левая ось), отказы — sum by (job) (rate(db_client_connection_timeouts_total[5m])) (ops, отказы в секунду, правая ось той же панели: число и скорость под одной единицей не смешиваются);
  • worker: sum(messenger_worker_busy) / sum(messenger_worker_capacity) и среднее за окно sum(rate(messenger_job_duration_seconds_sum{job="messenger-worker"}[5m])) / sum(messenger_worker_capacity) (percentunit; длительность пишется ровно за время на месте — закон Литтла), ожидающие места — sum(messenger_worker_waiting) (short);
  • контейнеры: sum by (job, instance) (rate(container_cpu_time_seconds_total[5m])) / sum by (job, instance) (messenger_container_cpu_limit) и sum by (job, instance) (container_memory_usage_bytes) / sum by (job, instance) (messenger_container_memory_limit_bytes) (percentunit).

Источник очереди (JTP-9) — один процесс, relay: после успешного прохода, не чаще 5 с, снимок по PostgreSQL одним выражением, каждый подзапрос — по условию своего частичного индекса (ix_attachment_jobs_outbox, _published, _lease; состояния константой). Не реплики API (N копий одного числа), не worker (его может быть два, outbox он не видит), не приёмник Collector (пароль PostgreSQL у Collector без секретов и SQL вне кода приложения) и не метрики брокера (только стадия published, без outbox, обработки и возраста). Возраст — от устойчивого приёма (задание вместе с queued, до 202): «время до ready до сих пор» старейшего незавершённого.

CPU и память — cgroup изнутри, без docker.sock (JTP-12). Процессы с SDK читают свою cgroup v2 (cpu.stat, memory.current, cpu.max, memory.max; файлы r--r--r-- от UID 10001). Сокет Docker у Collector (docker_stats) отвергнут: доступ к API Docker — root на ВМ (:ro у сокета API не ограничивает), а Collector принимает OTLP без аутентификации из сети приложения; cAdvisor требует привилегированных монтирований /, /sys, /var/lib/docker; hostmetrics видит ВМ целиком, а не контейнеры. В docker compose config монтирования сокета Docker нет ни у одного сервиса (trace-chain).

Ресурс relay: service.name = messenger-relay (константа TELEMETRY_SERVICE_RELAY, в таблице OTEL_SERVICE_NAME — третья точка входа), service.instance.id = instance_id журнала relay (короткий id контейнера), остальное — как у API и worker; TELEMETRY__ENABLED и TELEMETRY__OTLP_ENDPOINT — якорем x-telemetry-env и у relay. Модули SDK, экспортёра, protobuf и requests загружаются только при включённой телеметрии (JTP-7): уборщик, команда replay, консоль, make test_isolated, стенд отказов и bench/ их не держат; исключение — модули метрик SDK, которые сам загружает redis-py 8.1 при импорте.

Бюджет (JTP-15). Новых сервисов и портов нет, лимиты прежние, соединений PostgreSQL не прибавляется; суммы прежние (11,5 CPU / 7296 МиБ, с одноразовыми 12,5 / 7680). Замер на 72cfa9a под make test + make load + make student_test + trace-chain (раздел change в evidence/telemetry/budget.md): relay с SDK — memory.peak 103 МиБ (старт), CPU до 25 % ядра при лимите 0,25 только при разборе накопленных заданий; уборщик после ленивого импорта — 108 МиБ вместе с плановой сверкой при старте; правило «лимит ≥ 1,5 × пика» у обоих выполнено (256 МиБ). У Grafana в этом замере memory.peak 343 МиБ, из них файловый кэш 95 МиБ, который ядро освобождает до OOM; неосвобождаемая часть anon + kernel + shmem ≈ 197 МиБ, 1,5 × ≈ 296 ≤ 512 — правило выполнено, лимит прежний. Пик — memory.peak, а если с кэшем он правило не проходит — anon + kernel + shmem (.claude/rules/telemetry.md, «Что считать пиком»).

Ограничения уровня 4:

  • пул и насыщение worker — мгновенные значения раз в интервал отправки (15 с): короткие всплески пропускаются; отказы пула — счётчик, насыщение — ещё и среднее по сумме длительностей;
  • снимок очереди, который relay не обновил дольше 30 с, не отдаётся, но экспортёр Collector держит последнюю точку до metric_expiration (с change slo-alerts — 1 мин, было 5) — панель может показать прежнее значение до ~75 с; у остановленного relay очереди на панели нет;
  • PostgreSQL, S3, брокер, LB и уборщик в метриках CPU и памяти не представлены (нет SDK, сокета Docker нет); у worker в его cgroup — и процессы обработки;
  • время до ready не учитывает задания после replay (их приём — действие оператора) и повторную доставку готового;
  • трасса без корня, если Collector был недоступен при загрузке («root span not yet received»); длинные трассы повторов и replay искажают длительность трассы в поиске Tempo — искать по атрибутам span (messenger.job.outcome);
  • при перезапуске процесса counter начинается с нуля под тем же instance; с change slo-alerts Prometheus пишет ноль в момент начала ряда нового процесса (время начала по protobuf), если процесс перезапущен не раньше чем через ~75 с после остановки; быстрее — новый процесс, догнавший прежнее значение до первого сбора, по-прежнему занижает increase() (раздел «Счётчики после перезапуска процесса» ниже);
  • без messaging.message.id (решение 12 change otel-telemetry: id задания не в span) и без span Create и Settle: подтверждение — внутри consumer span.

SLO, оповещения и инциденты (уровень 4)

Change slo-alerts (design — openspec/changes/slo-alerts/design.md, номера решений «SA-n»). Правила — infra/otel/prometheus/rules.yml, тесты — rules.test.yml (make alerts_test), runbooks — infra/otel/runbooks/.

SLI и SLO (SA-1, SA-2). Окно — скользящие 7 суток (= срок хранения Prometheus). Правила записи группы messenger-slo (раз в 5 мин) считают приращения событий за непересекающиеся 5 мин; SLI окна W — отношение их сумм, остаток бюджета — (SLI − SLO) / (1 − SLO).

SLI Плохие / хорошие (числитель) Все (знаменатель) SLO
доступность плохие — haproxy_frontend_http_responses_total{job="haproxy",proxy="entry",code="5xx"} тот же счётчик по всем code 99,5 %
задержка хорошие — http_server_request_duration_seconds_bucket{le="0.25"} «лёгких» маршрутов без 5xx …_count тех же 99 %
время до ready хорошие — messenger_job_time_to_ready_seconds_bucket{le="30.0"} …_count 99 %
  • Формулы окна W: доступность — 1 - sum_over_time(messenger:slo_availability_bad:increase5m[W]) / sum_over_time(messenger:slo_availability_total:increase5m[W]); задержка и время до ready — sum_over_time(messenger:slo_<sli>_good:increase5m[W]) / sum_over_time(messenger:slo_<sli>_total:increase5m[W]). Панели SLI (26 — за 7 суток, 28 — за интервал дашборда) считают по рядам правил. Те же SLI по исходным счётчикам — increase(…[W]) тех же селекторов; alerts-check сверяет пути за час: ряды правил против суммы increase(…[5m]) исходных счётчиков на время каждой точки правил (те же окна, расхождение ≤ 1 п. п.), а у доступности и задержки — ещё против increase(…[1h]) одним окном (тоже ≤ 1 п. п.; у времени до ready одно окно — наблюдение, см. ограничения ниже).

  • «Лёгкие» маршруты — http_route!~"/api/v1/users|/api/v1/auth/sessions|/api/v1/chats/.+/attachments|/api/v1/attachments/.+/content": вне SLI — KDF регистрации и входа (и DELETE /api/v1/users того же шаблона), загрузка и скачивание байтов; запросы без маршрута (404) входят. 5xx в SLI задержки не входят — это плохие события доступности.

  • Почему доступность — на LB. При недоступном PostgreSQL реплики выходят из LB (≤ 6,5 с), и дальше клиент получает 503 от самого LB: метрики API запросов почти не видят, доля 5xx по ним считалась бы по исчезающему знаменателю, а оповещение снялось бы посреди отказа. Метрики LB — встроенный экспортёр HAProxy на порту статистики (/metrics, только сеть приложения), его забирает приёмник prometheus/haproxy Collector, Prometheus — у Collector (job="haproxy"): изоляция сети хранилищ прежняя. Доля ошибок контракта (5xx API / учтённые запросы) осталась панелью уровня 3.

  • Пороги. 0,25 с — граница bucket с запасом ×7 над p99 «лёгких» маршрутов (8–33 мс на стенде); 30 с — граница bucket, путь без повторов 0,5–2 с; 99,5 % у доступности — один PostgreSQL, LB и хост.

  • Ограничения SLI: время в очереди LB и ответы самого LB в SLI задержки не входят (у HAProxy нет histogram); ряды группы messenger-slo отстают на 5–10 мин (Prometheus пишет точку с временем предыдущего слота, интервал 5 мин) — SLI по ним не видит последних минут, окно учений считается по исходным счётчикам; непересекающиеся окна increase(…[5m]) теряют приращение между последним сбором окна и первым следующего (~5 % событий наугад: заметно при единицах событий, как у времени до ready), а пока Prometheus остановлен, окна нет вовсе — alerts-check сверяет ряды правил с исходными счётчиками в тех же окнах и печатает рядом increase за час одним окном; SLI за 7 суток включают учения и проверки; при недоступном Prometheus правила не вычисляются, приращение счётчиков после возврата прежнее (evidence/telemetry/backend-outage.md).

  • Значения на момент отчёта (evidence/alerts/check.md, раздел [SLI and panels], 2026-11-13 23:06Z, commit 15ea156):

    SLI 7 суток час: по правилам / по исходным счётчикам в тех же окнах окно учений (~20 мин) SLO остаток бюджета за 7 суток
    доступность 0,93201 1,00000 / 1,00000 (14 685 событий) 0,89966 99,5 % −12,6 (исчерпан)
    задержка 0,98539 0,98209 / 0,98209 (14 225) 0,97905 99 % −0,46
    время до ready 0,93039 0,91358 / 0,91358 (37) 0,86957 99 % −5,96

    SLO за 7 суток не соблюдены: в окно входят только учения и проверки рабочего стенда (остановки PostgreSQL, worker, relay, блокировка таблицы сообщений, долгие отказы хранилищ, make test-failover) — бюджет съели они, это и показывает строка «окно учений». За час пути совпадают (0 п. п. при допуске 1); за час 3 окна правил из 12 — Prometheus перезапущен в 22:45Z, а отказ БД в конце учений в записанные окна ещё не попал (точки messenger-slo отстают на 5–10 мин).

Оповещения (SA-3, SA-4). Правила Prometheus, без Alertmanager и без доставки наружу. Состояние firing / resolved — /api/v1/rules, /api/v1/alerts, ряды ALERTS (история за срок хранения), Grafana: правила источника Prometheus в Alerting только для чтения (manageAlerts: true), панель «Alert states». Правила Grafana отвергнуты: живут в её базе (у нас tmpfs), без модульных тестов promtool. Alertmanager отвергнут по функции, а не по бюджету: доставки нет, история есть в Prometheus, подавление зависимых оповещений одно и выражено в условии (unless).

Оповещение Условие (окно) Порог for severity Runbook
MessengerHighErrorRate доля 5xx ответов LB клиентам (2 мин) при трафике > 0,1 запроса/с 5 % 1 мин critical infra/otel/runbooks/MessengerHighErrorRate.md
MessengerSlowRequests доля «лёгких» запросов дольше 0,25 с (2 мин) при трафике > 0,1 запроса/с 10 % 1 мин warning …/MessengerSlowRequests.md
MessengerNoReadyReplicas готовых реплик в LB < 1 30 с critical …/MessengerNoReadyReplicas.md
MessengerQueueLagHigh возраст старейшего незавершённого задания 60 с 1 мин warning …/MessengerQueueLagHigh.md
MessengerQueueMetricsMissing снимка очереди relay нет, экспортёр Collector доступен — 2 мин warning …/MessengerQueueMetricsMissing.md
TelemetryTargetDown up = 0 у otel-collector, loki, tempo, haproxy up = 0 1 мин warning …/TelemetryTargetDown.md
TelemetryDataLoss рост telemetry:lost_items:total за 2 мин > 0 — warning …/TelemetryDataLoss.md

Пороги ошибок и задержки — 10 × допустимой доли SLO; окна 2 мин (8 сборов) — снятие за 2–3 мин после восстановления; одиночные 503 и 502 проверок короче for. Слепые места закрыты отдельными оповещениями: нет снимка очереди — MessengerQueueMetricsMissing, нет метрик LB или Collector — TelemetryTargetDown; отказ самого Prometheus оповещением не ловится (meta-monitoring вне стенда, в Grafana — ошибка источника). У каждого оповещения — summary, description с текущим значением, runbook_url (путь в репозитории). Тесты правил: на каждое оповещение — срабатывание после for, нет срабатывания ниже порога и без трафика, снятие; значения правил записи; MessengerQueueMetricsMissing молчит при недоступном экспортёре; TelemetryDataLoss — новый ряд, рост, сброс (evidence/alerts/rules-test.md).

Буферизация и потери (SA-7–SA-9). SDK — прежние очереди [telemetry]: 2048 span и 2048 записей, пакет 512, отправка ≤ 2 с, при полной очереди вытесняется самое старое. Collector: memory_limiter 200 / 40 МиБ, GOMEMLIMIT 160 МиБ; экспорт в Loki и Tempo — очередь в памяти по байтам (16 и 8 МиБ: ~40–90 с пика записей и ~10–15 с пика span), два отправителя, повторы 1 / 5 / 30 с, полная очередь отклоняет новое без задержки приёма; пакет логов ≤ 256 записей, span ≤ 1024 — пакет всегда меньше очереди. Метрики Prometheus забирает сам, очереди для них нет. Где считаются потери:

Место Счётчик
очередь SDK otel_sdk_processor_{span,log}_processed_total{error_type="queue_full"}
отправка SDK otel_sdk_exporter_{span,log}_exported_total{error_type!=""}
приём Collector otelcol_receiver_refused_{spans,log_records,metric_points}
очередь экспорта полна otelcol_exporter_enqueue_failed_{spans,log_records}
повторы истекли otelcol_exporter_send_failed_{spans,log_records}

Сумма по процессу — правило telemetry:lost_items:total; оповещение — рост суммы, а не increase(): ряд отказов появляется с первой потерей, у собственных метрик Collector нет времени начала. Ряд суммы начинается с нуля со старта процесса — у Collector по его рядам otelcol_receiver_refused_* (есть с нуля), у процессов SDK по ряду ёмкости очереди span (… or sum by (job, instance) (otel_sdk_processor_span_queue_capacity) * 0), поэтому rate() панели потерь видит и первую потерю процесса (без нуля первое значение нового ряда rate() отбрасывал: verify, W1). Остаётся: процесс SDK, запущенный при уже недоступном Collector, или отказ Collector дольше окна панели (5 мин) — первая точка ряда после возврата снова без нуля в окне; оповещение TelemetryDataLoss это видит (рост против offset 2m или нуля). Внутренние метрики SDK (otel.sdk.*) включает код: процессоры и экспортёры OTLP span и журнала строятся после MeterProvider с ним и с переменной SDK только на время сборки; внешняя OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED удаляется, как любая OTEL_*; гистограммы SDK не отдаются. Результаты отказа каждого хранилища и Collector под нагрузкой драйвера (~25 запросов/с; evidence/telemetry/backend-outage.md, commit 15ea156):

Отказ Ответы клиенту Память Потери (учтены) Оповещения
Loki 10 с свой запрос найден в Loki после возврата — 0 —
Loki 120 с make test PASS, 2928 × 2xx, 5xx 0 Collector docker stats ≤ 77 МиБ из 256; очередь Loki ≤ 0,135 ёмкости 443 записи (otlp_http/loki) TelemetryTargetDown{job="loki"} firing через 105 с, TelemetryDataLoss firing; сняты через 40 и 145 с
Tempo 10 с своя трасса найдена после возврата — 0 —
Tempo 120 с make test PASS, 2934 × 2xx, 5xx 0 Collector ≤ 93 МиБ (runtime sys ≤ 84); очередь Tempo ≤ 0,656 ёмкости 1342 span (otlp_http/tempo) TelemetryTargetDown{job="tempo"} через 90 с, TelemetryDataLoss; сняты через 30 и 150 с
Prometheus 60 с 1467 × 2xx, 5xx 0 — счёт запросов API после возврата +2565 ≥ 1833 запросов нагрузки правила не вычислялись (ограничение)
Collector 120 с make test PASS реплики: максимум последней трети окна 156 и 154 МиБ против 142 и 145 первой (лимит 512) SDK реплик: 11 683 и 11 810; записей API окна в Loki 0 из 5275 в stdout TelemetryTargetDown{job="otel-collector"} через 95 с, снято через 20 с; MessengerQueueMetricsMissing не сработало

Короткий отказ короче срока повторов (30 с) потерь не дал; долгий потерял конец окна (начало отказа сохранила очередь), отказов приёма Collector (memory_limiter) не было. Без Collector память реплик ограничена очередями SDK (2048), счёт потерь SDK копился в процессе и пришёл в Prometheus после возврата Collector.

Счётчики после перезапуска процесса (SA-6). Prometheus принимает время начала cumulative-рядов экспортёра Collector (PrometheusProto первым у цели otel-collector-exporter, флаг created-timestamp-zero-ingestion; у остальных целей — прежний текстовый список) и пишет ноль в момент начала ряда нового процесса; экспортёр убирает ряд, не обновлявшийся минуту. Проверка — alerts-check, шаг 1: worker остановлен на 159 с, 3 загрузки, запуск — первая точка ряда нового процесса — ноль ((2.5, 0.0)), приращение по точкам ровно 3 (evidence/alerts/check.md, строки 76–80). Остаётся: перезапуск того же контейнера быстрее ~75 с, если новый процесс догнал прежнее значение до первого сбора; собственные метрики Collector без времени начала (их закрывает правило потерь). Число рядов экспортёра до и после перехода на protobuf на процесс то же (двойников нет).

Инциденты. Разбор — по runbook оповещения и только по сохранённым наблюдениям вывода alerts-check и backend-outage (хронология и значения — в файлах evidence).

Учения — 2026-11-13, 22:46:44Z – 23:22:25Z, commit 15ea156, фоновая нагрузка драйвера ~25 запросов/с через LB; время — от начала шага (у MessengerQueueLagHigh — от первой загрузки, у снятия — от восстановления), «строки N» — строки файла evidence.

  1. Остановлен worker (evidence/alerts/check.md, строки 63–81). Хронология: docker compose stop worker на 48-й секунде учений, 3 загрузки — 202 (строка 67); MessengerQueueLagHigh pending через 98 с, firing через 158 с после первой загрузки (строки 68–69); worker запущен через 159 с остановки (строка 76), снято через 44 с после запуска (строка 78). Диагностика по runbook MessengerQueueLagHigh: «Pipeline» → глубина published 3, остальные стадии 0, возраст старейшего 141,3 с (max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"}), max(messenger_queue_oldest_age_seconds{job="messenger-relay"}); строка 70) — задания приняты и опубликованы, но не взяты; рядов messenger-worker к запуску нет (строка 75) → Loki {service_name="messenger-worker"}: последняя запись worker — «Attachment became ready» за 1 с до остановки, «Stopped worker» — в stdout (строки 73–74) → Tempo { resource.service.name = "messenger-worker" && kind = consumer }: consumer span после остановки 0 (строка 72) ⇒ причина — worker не работает (не брокер и не relay: сообщения в стадии published). Восстановление — docker start worker: все 3 ready (строка 77), счёт времени до готовности +3 по точкам, первая точка нового процесса — ноль (строки 79–80). SLI времени до ready за окно учений — 0,86957 (три загрузки ждали дольше 30 с — плохие события; раздел [SLI and panels]).
  2. Медленная БД против медленного handler (строки 89–115). Блокировка LOCK TABLE messages IN SHARE MODE 2 с с паузой 0,2 с в сессии application_name = mtusi-alerts-check: MessengerSlowRequests firing через 165 с (строка 91), доля медленных «лёгких» 0,428 при пороге 0,1 (строка 92) → p95 по маршрутам: POST /api/v1/chats/{chat_id}/messages 0,021 с до и 2,324 с во время (строки 93–94), чтение не медленно → Tempo, медленные трассы отправки: span PostgreSQL — 0,99 server span (строка 95) → пул: занято до 6 соединений против 0 до шагов (строка 97) → CPU реплик не выше 0,11 предела (строка 99) ⇒ БД (держатель блокировки — в pg_stat_activity по application_name). Сессия завершена — снято через 89 с (строка 101); MessengerHighErrorRate не срабатывал (строка 102). Для сравнения вход по Basic (строки 103–115): 506 входов, медиана 0,27 с, p95 /api/v1/auth/sessions 0,667 с, span PostgreSQL — 0,01–0,02 server span, пул занят не больше 0,30 без отказов по сроку, CPU реплик до 0,80 предела ⇒ handler (KDF); вход вне SLI задержки — доля медленных «лёгких» не выше 0,050, оповещения нет. Недоступная БД (строки 116–133): docker compose stop postgres → MessengerNoReadyReplicas firing через 60 с, MessengerHighErrorRate через 105 с (строки 118–119) → «Load balancer»: готовых реплик 0 (строка 120), 5xx на LB +2603, у API +27 (строка 127) — клиент получил 2562 ответа 5xx, из них 2548 — 503 самого LB без X-Instance-Id (строка 124): метрики API отказ почти не видят, поэтому SLI — на LB → Loki: 27 записей «Database is unavailable» реплик (строка 121) → Tempo: 27 трасс с ошибкой server span 503 (строка 122; span PostgreSQL с ошибкой нет — отказ на выдаче соединения из пула, до запроса). Восстановление — docker compose start postgres, LB готов; сняты через 29 и 135 с (строки 125–126). SLI доступности за окно отказа — 0,5544 по LB при 0,5576 у клиента (строка 130).
  3. Недоступно хранилище телеметрии (evidence/telemetry/backend-outage.md, строки 57–71). docker compose stop tempo на 120 с под нагрузкой: TelemetryTargetDown{job="tempo"} firing через 90 с (строка 59), TelemetryDataLoss firing (строка 66) → «Telemetry pipeline»: очередь экспорта Tempo — до 0,656 ёмкости (строка 60), потери otlp_http/tempo — 1342 span (enqueue_failed / send_failed, строка 67), память Collector — docker stats до 93 МиБ при лимите 256 (строка 62) → приложение не задето: make test PASS, 2934 ответа 2xx, 5xx 0 (строки 58, 64–65) ⇒ теряется телеметрия, а не сообщения. После docker compose start tempo — новые трассы приходят (строка 69), TelemetryTargetDown снят через 30 с, TelemetryDataLoss — через 150 с (строки 70–71); потери — 1342 span из счётчиков Collector.

Бюджет (SA-13). Новых сервисов и портов нет; лимиты — по замеру backend-outage и alerts-check и правилу «лимит ≥ 1,5 × пика» (раздел change slo-alerts в evidence/telemetry/budget.md, commit 15ea156): Collector в долгом отказе Tempo — docker stats до 93 МиБ, memory.peak за alerts-check 76 МиБ (лимит 256); Prometheus за alerts-check — 108 МиБ (384; в пробных прогонах apply — до 240, 1,5 × 240 = 360); реплики API без Collector — без роста (142 → 156 и 145 → 154 МиБ), memory.peak со старта стенда 334 и 327 МиБ от входов по Basic (512). Правило выполнено у всех, лимиты не менялись. ВМ Docker Desktop — 12 CPU (все ядра хоста) / 11 902 МиБ: память пользователь увеличил до 12 ГБ 2026-11-11 (вопрос 1 ## slo-alerts в QUESTIONS.md); постоянные лимиты стенда — 11,5 CPU / 7296 МиБ, с одноразовыми 12,5 CPU / 7680 МиБ, вместе с контейнерами make test_isolated (+2,25 CPU / 1792 МиБ) — 9472 МиБ: помещается с запасом ~2,4 ГиБ на накладные ВМ. CPU больше не дать: сумма лимитов CPU больше 12 — конкуренция, а не отказ.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test TODO TODO
Остальные пункты уровня 3 TODO TODO TODO
Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность driver.py --port 8080 telemetry-check код 0: Loki → Tempo по X-Request-Id, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ evidence/telemetry/check.md (commit 15ea156)
Телеметрия не меняет ответы и остановку driver.py --port 8080 telemetry-outage код 0: make test PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов evidence/telemetry/collector-outage.md (commit 15ea156)
Стенд с нуля одной командой driver.py stand-from-scratch --runs 2 код 0 оба раза, RestartCount брокера и телеметрии 0 evidence/stand/from-scratch.md
Лимиты и бюджет телеметрии замер docker stats, memory.peak и memory.stat лимит ≥ 1,5 × пика у всех сервисов телеметрии (у Grafana пик — anon + kernel + shmem без файлового кэша) evidence/telemetry/budget.md
Уровень 4: контекст W3C API → relay → worker, producer и consumer span (parent и link), цепочка одной загрузки до S3 и БД с повтором и replay driver.py --port 8080 trace-chain код 0: одна трасса, две пары producer / consumer, span S3 с ошибкой и запись оригинала и вариантов, replay в той же трассе, задание без контекста — корень worker evidence/telemetry/trace-chain.md (commit 15ea156)
Уровень 4: dashboard — p50 / p95 / p99, доля ошибок, глубина и возраст очереди, пул БД, насыщение worker, контейнеры driver.py --port 8080 trace-chain, telemetry-check запросы панелей уровня 4 без ошибок и с данными; ряды очереди только у relay; пределы = docker inspect; нет сокета Docker evidence/telemetry/trace-chain.md, evidence/telemetry/check.md
Уровень 4: relay с SDK не меняет остановку driver.py --port 8080 telemetry-outage docker stop relay < 10 с, код 0, «Stopped relay» при остановленном и замороженном Collector evidence/telemetry/collector-outage.md
Уровень 4: схема контекста задания миграция с нуля, повтор, откат, --sql, make rolling_update; план снимка очереди lock_timeout, NOT VALID; без Seq Scan evidence/migrations/job-trace-context.md, evidence/telemetry/queue-snapshot.md (commit 72cfa9a)
Уровень 4: alert rules с runbooks в git, модульные тесты правил make alerts_test код 0: promtool check config, check rules, test rules (22 блока синтетических рядов: 43 проверки оповещений, 17 проверок выражений правил записи в 7 блоках); у каждого из 7 оповещений есть runbook evidence/alerts/rules-test.md (commit 15ea156)
Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов driver.py --port 8080 alerts-check код 0 (~20 мин): остановленный worker — firing через 158 с, снято через 44 с; relay — 220 / 45 с; медленная БД — 165 / 89 с; медленный handler — оповещения нет; недоступная БД — 60 и 105 / 29 и 135 с; лишних нет; SLI двумя путями совпали evidence/alerts/check.md (commit 15ea156)
Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь driver.py --port 8080 backend-outage код 0 (~16 мин): make test PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 93 МиБ из 256, реплики без роста; потери учтены (443 записи, 1342 span, SDK 11 683 и 11 810); TelemetryTargetDown и TelemetryDataLoss — firing и снятие evidence/telemetry/backend-outage.md (commit 15ea156)
Выбранный трек 5, если заявлен TODO TODO TODO

TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.

Эксперименты и отказы

TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
TODO TODO TODO TODO

Ограничения и следующие шаги

TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.