From 107fe7f033c8c51c90d1923360b74ffd4e5cca0c Mon Sep 17 00:00:00 2001 From: roman Date: Sat, 14 Nov 2026 02:36:17 +0300 Subject: [PATCH] docs: capture slo-alerts evidence on 15ea156 Co-Authored-By: Claude Opus 5.5 --- AGENTS.md | 12 +- QUESTIONS.md | 3 + REPORT.md | 139 ++++++++++----- evidence/alerts/check.md | 232 +++++++++++++++++++++++++ evidence/alerts/rules-test.md | 74 ++++++++ evidence/telemetry/backend-outage.md | 163 +++++++++++++++++ evidence/telemetry/budget.md | 58 +++++++ evidence/telemetry/check.md | 76 ++++---- evidence/telemetry/collector-outage.md | 47 ++--- evidence/telemetry/trace-chain.md | 96 +++++----- openspec/changes/slo-alerts/design.md | 8 + openspec/changes/slo-alerts/tasks.md | 10 +- 12 files changed, 768 insertions(+), 150 deletions(-) create mode 100644 evidence/alerts/check.md create mode 100644 evidence/alerts/rules-test.md create mode 100644 evidence/telemetry/backend-outage.md diff --git a/AGENTS.md b/AGENTS.md index 9113e9f..9666feb 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -37,7 +37,8 @@ relay и consumer span worker (parent и link) — одна трасса на з `evidence/telemetry/check.md`, `queue-snapshot.md`, раздел change в `budget.md`, `evidence/migrations/job-trace-context.md`; правки verify — commit `72e2598`, на нём пересняты `evidence/telemetry/trace-chain.md` и -`collector-outage.md`. Третье изменение лабы, вторая часть уровня 4 — +`collector-outage.md` (`check.md`, `trace-chain.md` и `collector-outage.md` ещё раз +пересняты на `15ea156`, change `slo-alerts`). Третье изменение лабы, вторая часть уровня 4 — change `slo-alerts` (активный, apply 2026-11-11, `openspec/changes/slo-alerts/`, изменяет `observability` и `load-balancing`): SLI и SLO (доступность на LB 99,5 %, задержка «лёгких» ручек ≤ 0,25 с 99 %, @@ -50,7 +51,10 @@ SLI и SLO (доступность на LB 99,5 %, задержка «лёгки (`created-timestamp-zero-ingestion`); внутренние метрики SDK и учёт потерь (`telemetry:lost_items:total`); панели SLO, LB и конвейера; команды драйвера `alerts-check` и `backend-outage`. ВМ Docker Desktop с 2026-11-11 — 12 CPU / -11 902 МиБ. Evidence — после коммита кода. +11 902 МиБ. Код — commit `15ea156`, evidence снято на нём (2026-11-13): +`evidence/alerts/rules-test.md`, `evidence/alerts/check.md`, +`evidence/telemetry/backend-outage.md`, пересняты `evidence/telemetry/check.md`, +`trace-chain.md`, `collector-outage.md`, раздел change в `budget.md`. Код перенесён из лабы 5 (репозиторий `mtusi2026lab5-safronov`, ветка `solution/bvt2301-safronov`, commit `046ec9e`) по разделу «Переход в следующую лабу»; отчёт и evidence лабы 5 @@ -736,10 +740,10 @@ evidence/attachments/ # change async-attachments: defense.md (driver.py d evidence/s3/ # privacy.md — make s3_check на текущем коде; change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам); change track2-reconciler: cleaner-list.md (bootstrap с политикой списка по префиксу, неверный префикс, make s3_check со строками списка уборщика, окружение s3-bootstrap) evidence/reconcile/ # change track2-reconciler: cycle.md (driver.py reconcile-cycle), stress.md (driver.py reconcile-stress), service.md (Started cleaner с параметрами сверки, плановая сверка при старте, docker stop во время сверки при pause s3, код 1 разового прохода по сигналу — driver.py reconcile-signal, отказ старта на RECONCILER__*, коды 3 и 0; с change track2-reconcile-cost — остановка во время паузы предела скорости, driver.py reconcile-signal --pace) evidence/reconcile/<метка>/ # результаты make bench_reconcile (change track2-reconcile-cost): meta.json (раздел reconcile: план, этапы и модели, commit и образы «до», аргументы S3), passes.csv, windows.csv, summary.md (H1–H4 и S4), cost-by-n.svg, requests-by-n.svg, background-p95.svg, raw/ (записи уборщика по проходам, итог k6 блока H4) -evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 72cfa9a change job-trace-propagation переснято: check.md (driver.py telemetry-check); на 72e2598 (правки verify) — collector-outage.md (driver.py telemetry-outage, с relay, сигналы без перезапуска) и новое trace-chain.md (driver.py trace-chain); новое на 72cfa9a: queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта) +evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 15ea156 change slo-alerts переснято: check.md (driver.py telemetry-check, с метриками LB и новыми панелями), collector-outage.md (driver.py telemetry-outage), trace-chain.md (driver.py trace-chain); новое на 15ea156: backend-outage.md (driver.py backend-outage), раздел change slo-alerts в budget.md; на 72cfa9a (change job-trace-propagation): queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта) evidence/migrations/ # change job-trace-propagation: job-trace-context.md — ревизия e4b8c2d17f90 (временная база: с нуля, повтор, откат, CHECK, lock_timeout; --sql; рабочий стенд: откат реплик на ff0073e с MIGRATE=0, ревизия до и после make rolling_update) evidence/stand/ # change otel-telemetry: from-scratch.md (driver.py stand-from-scratch --runs 2) -evidence/alerts/ # change slo-alerts (после коммита кода): rules-test.md (make alerts_test), check.md (driver.py alerts-check); там же — evidence/telemetry/backend-outage.md (driver.py backend-outage) и раздел change в budget.md +evidence/alerts/ # change slo-alerts (commit 15ea156): rules-test.md (make alerts_test), check.md (driver.py alerts-check); там же — evidence/telemetry/backend-outage.md (driver.py backend-outage) и раздел change в budget.md evidence/storage/ # отказы БД, пул, statement_timeout, рестарт, порты Postgres, свежий clone; connection-cost.md — цена нового соединения и пинга; freeze-sessions.md — change unit-of-work: сессии и журнал пула после заморозки PostgreSQL (driver.py freeze-sessions и freeze-lb) evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после) evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия) diff --git a/QUESTIONS.md b/QUESTIONS.md index b6d551b..b9ec50e 100644 --- a/QUESTIONS.md +++ b/QUESTIONS.md @@ -359,6 +359,9 @@ Change `openspec/changes/slo-alerts/` (propose 2026-11-11). Номера — р Вопрос verify: устраивает ли такая трактовка двух сценариев спека («SLO считается» — те же окна; «Медленный handler» — место в пуле, а не мгновенный `pending`)? Иначе — правка спека или новый счётчик «ждут места» отдельно от открытия. +- Evidence раздела 11 — на commit `15ea156` без правок кода; `rules-test.md` от 2026-11-11 оставлен (повторный прогон — + тот же вывод); пик Collector в долгом отказе хранилища — по `docker stats` и метрикам Collector, а не по + `memory.peak`: шаг отказа Collector в той же команде начинает новую cgroup (design, «Уточнения apply», п. 16). ### Вопросы diff --git a/REPORT.md b/REPORT.md index aadec5b..5803732 100644 --- a/REPORT.md +++ b/REPORT.md @@ -21,8 +21,10 @@ Change `otel-telemetry` (design — `openspec/changes/archive/2026-11-11-otel-te `72cfa9a` (код change `job-trace-propagation`: relay с SDK, шаги задания по consumer span), там же план снимка очереди, проба ревизии `e4b8c2d17f90` и раздел change бюджета; `trace-chain` и `telemetry-outage` — ещё раз на `72e2598` (правки verify: сигналы relay без перезапуска, тихая -очередь в предусловии, рост CPU каждого процесса); -бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов +очередь в предусловии, рост CPU каждого процесса); `telemetry-check`, `trace-chain` и +`telemetry-outage` — в третий раз на `15ea156` (код change `slo-alerts`: новые панели, метрики LB, +внутренние метрики SDK), там же `alerts-check`, `backend-outage`, `make alerts_test` и раздел +change `slo-alerts` бюджета; бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов `evidence/telemetry/` и `evidence/migrations/`. `evidence/stand/from- scratch.md` ещё снят на рабочем дереве поверх `9b35c25`: пересъёмка ждёт разрешения пользователя (`QUESTIONS.md`, `## otel-telemetry`, вопрос 8). @@ -327,7 +329,20 @@ runbooks — `infra/otel/runbooks/`. ряды правил с исходными счётчиками в тех же окнах и печатает рядом `increase` за час одним окном; SLI за 7 суток включают учения и проверки; при недоступном Prometheus правила не вычисляются, приращение счётчиков после возврата прежнее (`evidence/telemetry/backend-outage.md`). -- Значения на момент отчёта — `evidence/alerts/check.md` (раздел SLI). +- Значения на момент отчёта (`evidence/alerts/check.md`, раздел `[SLI and panels]`, 2026-11-13 + 23:06Z, commit `15ea156`): + + | SLI | 7 суток | час: по правилам / по исходным счётчикам в тех же окнах | окно учений (~20 мин) | SLO | остаток бюджета за 7 суток | + | --- | --- | --- | --- | --- | --- | + | доступность | 0,93201 | 1,00000 / 1,00000 (14 685 событий) | 0,89966 | 99,5 % | −12,6 (исчерпан) | + | задержка | 0,98539 | 0,98209 / 0,98209 (14 225) | 0,97905 | 99 % | −0,46 | + | время до `ready` | 0,93039 | 0,91358 / 0,91358 (37) | 0,86957 | 99 % | −5,96 | + + SLO за 7 суток не соблюдены: в окно входят только учения и проверки рабочего стенда (остановки + PostgreSQL, worker, relay, блокировка таблицы сообщений, долгие отказы хранилищ, `make + test-failover`) — бюджет съели они, это и показывает строка «окно учений». За час пути совпадают + (0 п. п. при допуске 1); за час 3 окна правил из 12 — Prometheus перезапущен в 22:45Z, а отказ БД + в конце учений в записанные окна ещё не попал (точки `messenger-slo` отстают на 5–10 мин). **Оповещения (SA-3, SA-4).** Правила Prometheus, без Alertmanager и без доставки наружу. Состояние firing / resolved — `/api/v1/rules`, `/api/v1/alerts`, ряды `ALERTS` (история за срок @@ -376,15 +391,30 @@ true`), панель «Alert states». Правила Grafana отвергнут начала. Внутренние метрики SDK (`otel.sdk.*`) включает код: процессоры и экспортёры OTLP span и журнала строятся после `MeterProvider` с ним и с переменной SDK только на время сборки; внешняя `OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED` удаляется, как любая `OTEL_*`; гистограммы SDK не -отдаются. Результаты отказа каждого хранилища и Collector (память, потери, оповещения) — -`evidence/telemetry/backend-outage.md`. +отдаются. Результаты отказа каждого хранилища и Collector под нагрузкой драйвера (~25 запросов/с; +`evidence/telemetry/backend-outage.md`, commit `15ea156`): + +| Отказ | Ответы клиенту | Память | Потери (учтены) | Оповещения | +| --- | --- | --- | --- | --- | +| Loki 10 с | свой запрос найден в Loki после возврата | — | 0 | — | +| Loki 120 с | `make test` PASS, 2928 × 2xx, 5xx 0 | Collector `docker stats` ≤ 77 МиБ из 256; очередь Loki ≤ 0,135 ёмкости | 443 записи (`otlp_http/loki`) | `TelemetryTargetDown{job="loki"}` firing через 105 с, `TelemetryDataLoss` firing; сняты через 40 и 145 с | +| Tempo 10 с | своя трасса найдена после возврата | — | 0 | — | +| Tempo 120 с | `make test` PASS, 2934 × 2xx, 5xx 0 | Collector ≤ 93 МиБ (runtime sys ≤ 84); очередь Tempo ≤ 0,656 ёмкости | 1342 span (`otlp_http/tempo`) | `TelemetryTargetDown{job="tempo"}` через 90 с, `TelemetryDataLoss`; сняты через 30 и 150 с | +| Prometheus 60 с | 1467 × 2xx, 5xx 0 | — | счёт запросов API после возврата +2565 ≥ 1833 запросов нагрузки | правила не вычислялись (ограничение) | +| Collector 120 с | `make test` PASS | реплики: максимум последней трети окна 156 и 154 МиБ против 142 и 145 первой (лимит 512) | SDK реплик: 11 683 и 11 810; записей API окна в Loki 0 из 5275 в stdout | `TelemetryTargetDown{job="otel-collector"}` через 95 с, снято через 20 с; `MessengerQueueMetricsMissing` не сработало | + +Короткий отказ короче срока повторов (30 с) потерь не дал; долгий потерял конец окна (начало +отказа сохранила очередь), отказов приёма Collector (`memory_limiter`) не было. Без Collector +память реплик ограничена очередями SDK (2048), счёт потерь SDK копился в процессе и пришёл в +Prometheus после возврата Collector. **Счётчики после перезапуска процесса (SA-6).** Prometheus принимает время начала cumulative-рядов экспортёра Collector (`PrometheusProto` первым у цели `otel-collector-exporter`, флаг `created-timestamp-zero-ingestion`; у остальных целей — прежний текстовый список) и пишет ноль в момент начала ряда нового процесса; экспортёр убирает ряд, не обновлявшийся минуту. Проверка — -`alerts-check`, шаг 1: worker остановлен дольше 2 мин, 3 загрузки, запуск — первая точка ряда -нового процесса — ноль, приращение по точкам ровно 3. Остаётся: перезапуск того же контейнера +`alerts-check`, шаг 1: worker остановлен на 159 с, 3 загрузки, запуск — первая точка ряда нового +процесса — ноль (`(2.5, 0.0)`), приращение по точкам ровно 3 (`evidence/alerts/check.md`, строки +76–80). Остаётся: перезапуск того же контейнера быстрее ~75 с, если новый процесс догнал прежнее значение до первого сбора; собственные метрики Collector без времени начала (их закрывает правило потерь). Число рядов экспортёра до и после перехода на protobuf на процесс то же (двойников нет). @@ -392,41 +422,62 @@ Collector без времени начала (их закрывает прави **Инциденты.** Разбор — по runbook оповещения и только по сохранённым наблюдениям вывода `alerts-check` и `backend-outage` (хронология и значения — в файлах evidence). -1. **Остановлен worker** (`evidence/alerts/check.md`, шаг «worker stopped»). Хронология: остановка, - 3 загрузки (202), `MessengerQueueLagHigh` pending, затем firing; запуск worker, снятие. - Диагностика по runbook `MessengerQueueLagHigh`: «Pipeline» → глубина `outbox` + `published` - выросла на 3 (`max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"})`), - возраст растёт линейно (`max(messenger_queue_oldest_age_seconds{job="messenger-relay"})`), рядов - `messenger-worker` нет → Loki `{service_name="messenger-worker"}`: последняя запись worker до - остановки, «Stopped worker» — в stdout → Tempo `{ resource.service.name = "messenger-worker" && - kind = consumer }`: consumer span после остановки нет ⇒ причина — worker не работает. - Восстановление — `docker start` worker: все `ready`, счёт времени до готовности +3; SLI времени - до `ready` за окно учений — в разделе SLI evidence (время до `ready` этих загрузок не меньше - длительности остановки, выше 30 с — плохие события). -2. **Медленная БД против медленного handler** (шаги «slow database» и «slow handler»). - `MessengerSlowRequests` firing → p95 по маршрутам: медленна только отправка сообщения → Tempo, - медленная трасса отправки: span PostgreSQL занимают больше половины server span → пул: занятость - выше, чем до шагов → CPU реплик ниже половины предела ⇒ БД (держатель блокировки — сессия - `application_name = mtusi-alerts-check`). Для сравнения вход по Basic: длинный server span, span - PostgreSQL меньше пятой части, пул не занят целиком и без отказов по сроку, CPU реплик выше ⇒ - handler (KDF), и вход вне SLI - задержки — оповещения нет. **Недоступная БД** (шаг «database down»): `MessengerNoReadyReplicas` - и `MessengerHighErrorRate` firing → «Load balancer»: 5xx на LB растут, готовых реплик 0, 5xx API - почти нет (почему SLI — на LB) → Loki «Database is unavailable» реплик → Tempo: server span 503 с - ошибкой. Восстановление — `docker compose start postgres`; SLI доступности за окно отказа упал на - долю 5xx, которую видел клиент. -3. **Недоступно хранилище телеметрии** (`evidence/telemetry/backend-outage.md`, шаг «tempo long»). - `TelemetryTargetDown{job="tempo"}` и `TelemetryDataLoss` → «Telemetry pipeline»: очередь Tempo - растёт к ёмкости, `otelcol_exporter_enqueue_failed_spans` / `send_failed_spans` растут, память - Collector ниже лимита → SLI и ответы приложения прежние (`make test` PASS, 5xx 0) ⇒ теряется - телеметрия, а не сообщения. После запуска Tempo — новые трассы, оповещения сняты, потери — число - из счётчиков. +Учения — 2026-11-13, 22:46:44Z – 23:22:25Z, commit `15ea156`, фоновая нагрузка драйвера ~25 +запросов/с через LB; время — от начала шага (у `MessengerQueueLagHigh` — от первой загрузки, у +снятия — от восстановления), «строки N» — строки файла evidence. -Числа хронологии и наблюдений — из evidence этого change (после коммита кода). +1. **Остановлен worker** (`evidence/alerts/check.md`, строки 63–81). Хронология: `docker compose stop + worker` на 48-й секунде учений, 3 загрузки — 202 (строка 67); `MessengerQueueLagHigh` pending + через 98 с, firing через 158 с после первой загрузки (строки 68–69); worker запущен через 159 с + остановки (строка 76), снято через 44 с после запуска (строка 78). Диагностика по runbook + `MessengerQueueLagHigh`: «Pipeline» → глубина `published` 3, остальные стадии 0, возраст + старейшего 141,3 с (`max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"})`, + `max(messenger_queue_oldest_age_seconds{job="messenger-relay"})`; строка 70) — задания приняты и + опубликованы, но не взяты; рядов `messenger-worker` к запуску нет (строка 75) → Loki + `{service_name="messenger-worker"}`: последняя запись worker — «Attachment became ready» за 1 с до + остановки, «Stopped worker» — в stdout (строки 73–74) → Tempo `{ resource.service.name = + "messenger-worker" && kind = consumer }`: consumer span после остановки 0 (строка 72) ⇒ причина — + worker не работает (не брокер и не relay: сообщения в стадии `published`). Восстановление — + `docker start` worker: все 3 `ready` (строка 77), счёт времени до готовности +3 по точкам, первая + точка нового процесса — ноль (строки 79–80). SLI времени до `ready` за окно учений — 0,86957 + (три загрузки ждали дольше 30 с — плохие события; раздел `[SLI and panels]`). +2. **Медленная БД против медленного handler** (строки 89–115). Блокировка `LOCK TABLE messages IN + SHARE MODE` 2 с с паузой 0,2 с в сессии `application_name = mtusi-alerts-check`: + `MessengerSlowRequests` firing через 165 с (строка 91), доля медленных «лёгких» 0,428 при пороге + 0,1 (строка 92) → p95 по маршрутам: `POST /api/v1/chats/{chat_id}/messages` 0,021 с до и 2,324 с во + время (строки 93–94), чтение не медленно → Tempo, медленные трассы отправки: span PostgreSQL — + 0,99 server span (строка 95) → пул: занято до 6 соединений против 0 до шагов (строка 97) → CPU + реплик не выше 0,11 предела (строка 99) ⇒ БД (держатель блокировки — в `pg_stat_activity` по + `application_name`). Сессия завершена — снято через 89 с (строка 101); `MessengerHighErrorRate` не + срабатывал (строка 102). Для сравнения вход по Basic (строки 103–115): 506 входов, медиана 0,27 с, + p95 `/api/v1/auth/sessions` 0,667 с, span PostgreSQL — 0,01–0,02 server span, пул занят не больше + 0,30 без отказов по сроку, CPU реплик до 0,80 предела ⇒ handler (KDF); вход вне SLI задержки — + доля медленных «лёгких» не выше 0,050, оповещения нет. **Недоступная БД** (строки 116–133): + `docker compose stop postgres` → `MessengerNoReadyReplicas` firing через 60 с, + `MessengerHighErrorRate` через 105 с (строки 118–119) → «Load balancer»: готовых реплик 0 (строка + 120), 5xx на LB +2603, у API +27 (строка 127) — клиент получил 2562 ответа 5xx, из них 2548 — 503 + самого LB без `X-Instance-Id` (строка 124): метрики API отказ почти не видят, поэтому SLI — на LB + → Loki: 27 записей «Database is unavailable» реплик (строка 121) → Tempo: 27 трасс с ошибкой + server span 503 (строка 122; span PostgreSQL с ошибкой нет — отказ на выдаче соединения из пула, + до запроса). Восстановление — `docker compose start postgres`, LB готов; сняты через 29 и 135 с + (строки 125–126). SLI доступности за окно отказа — 0,5544 по LB при 0,5576 у клиента (строка 130). +3. **Недоступно хранилище телеметрии** (`evidence/telemetry/backend-outage.md`, строки 57–71). + `docker compose stop tempo` на 120 с под нагрузкой: `TelemetryTargetDown{job="tempo"}` firing + через 90 с (строка 59), `TelemetryDataLoss` firing (строка 66) → «Telemetry pipeline»: очередь + экспорта Tempo — до 0,656 ёмкости (строка 60), потери `otlp_http/tempo` — 1342 span (`enqueue_failed` + / `send_failed`, строка 67), память Collector — `docker stats` до 93 МиБ при лимите 256 (строка + 62) → приложение не задето: `make test` PASS, 2934 ответа 2xx, 5xx 0 (строки 58, 64–65) ⇒ теряется + телеметрия, а не сообщения. После `docker compose start tempo` — новые трассы приходят (строка + 69), `TelemetryTargetDown` снят через 30 с, `TelemetryDataLoss` — через 150 с (строки 70–71); + потери — 1342 span из счётчиков Collector. **Бюджет (SA-13).** Новых сервисов и портов нет; лимиты — по замеру `backend-outage` и `alerts-check` и правилу «лимит ≥ 1,5 × пика» (раздел change `slo-alerts` в -`evidence/telemetry/budget.md`). ВМ Docker Desktop — 12 CPU (все ядра хоста) / 11 902 МиБ: память +`evidence/telemetry/budget.md`, commit `15ea156`): Collector в долгом отказе Tempo — `docker stats` +до 93 МиБ, `memory.peak` за `alerts-check` 76 МиБ (лимит 256); Prometheus за `alerts-check` — 108 +МиБ (384; в пробных прогонах apply — до 240, 1,5 × 240 = 360); реплики API без Collector — без роста +(142 → 156 и 145 → 154 МиБ), `memory.peak` со старта стенда 334 и 327 МиБ от входов по Basic (512). +Правило выполнено у всех, лимиты не менялись. ВМ Docker Desktop — 12 CPU (все ядра хоста) / 11 902 МиБ: память пользователь увеличил до 12 ГБ 2026-11-11 (вопрос 1 `## slo-alerts` в `QUESTIONS.md`); постоянные лимиты стенда — 11,5 CPU / 7296 МиБ, с одноразовыми 12,5 CPU / 7680 МиБ, вместе с контейнерами `make test_isolated` (+2,25 CPU / 1792 МиБ) — 9472 МиБ: помещается с запасом ~2,4 ГиБ на накладные @@ -438,17 +489,17 @@ Collector без времени начала (их закрывает прави | --- | --- | --- | --- | | Публичный smoke | make test | TODO | TODO | | Остальные пункты уровня 3 | TODO | TODO | TODO | -| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ | `evidence/telemetry/check.md` | -| Телеметрия не меняет ответы и остановку | `driver.py --port 8080 telemetry-outage` | код 0: `make test` PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов | `evidence/telemetry/collector-outage.md` (commit `72e2598`) | +| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ | `evidence/telemetry/check.md` (commit `15ea156`) | +| Телеметрия не меняет ответы и остановку | `driver.py --port 8080 telemetry-outage` | код 0: `make test` PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов | `evidence/telemetry/collector-outage.md` (commit `15ea156`) | | Стенд с нуля одной командой | `driver.py stand-from-scratch --runs 2` | код 0 оба раза, `RestartCount` брокера и телеметрии 0 | `evidence/stand/from-scratch.md` | | Лимиты и бюджет телеметрии | замер `docker stats`, `memory.peak` и `memory.stat` | лимит ≥ 1,5 × пика у всех сервисов телеметрии (у Grafana пик — `anon` + `kernel` + `shmem` без файлового кэша) | `evidence/telemetry/budget.md` | -| Уровень 4: контекст W3C API → relay → worker, producer и consumer span (parent и link), цепочка одной загрузки до S3 и БД с повтором и replay | `driver.py --port 8080 trace-chain` | код 0: одна трасса, две пары producer / consumer, span S3 с ошибкой и запись оригинала и вариантов, replay в той же трассе, задание без контекста — корень worker | `evidence/telemetry/trace-chain.md` (commit `72e2598`) | +| Уровень 4: контекст W3C API → relay → worker, producer и consumer span (parent и link), цепочка одной загрузки до S3 и БД с повтором и replay | `driver.py --port 8080 trace-chain` | код 0: одна трасса, две пары producer / consumer, span S3 с ошибкой и запись оригинала и вариантов, replay в той же трассе, задание без контекста — корень worker | `evidence/telemetry/trace-chain.md` (commit `15ea156`) | | Уровень 4: dashboard — p50 / p95 / p99, доля ошибок, глубина и возраст очереди, пул БД, насыщение worker, контейнеры | `driver.py --port 8080 trace-chain`, `telemetry-check` | запросы панелей уровня 4 без ошибок и с данными; ряды очереди только у relay; пределы = `docker inspect`; нет сокета Docker | `evidence/telemetry/trace-chain.md`, `evidence/telemetry/check.md` | | Уровень 4: relay с SDK не меняет остановку | `driver.py --port 8080 telemetry-outage` | `docker stop` relay < 10 с, код 0, «Stopped relay» при остановленном и замороженном Collector | `evidence/telemetry/collector-outage.md` | | Уровень 4: схема контекста задания | миграция с нуля, повтор, откат, `--sql`, `make rolling_update`; план снимка очереди | `lock_timeout`, `NOT VALID`; без Seq Scan | `evidence/migrations/job-trace-context.md`, `evidence/telemetry/queue-snapshot.md` (commit `72cfa9a`) | -| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules`; у каждого из 7 оповещений есть runbook | `evidence/alerts/rules-test.md` | -| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0: остановленный worker, relay, медленная и недоступная БД, медленный handler — firing и снятие в сроки, лишних нет; SLI двумя путями | `evidence/alerts/check.md` | -| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0: `make test` PASS при остановленных Loki, Tempo, Prometheus и Collector, память ниже лимитов, потери учтены, оповещения | `evidence/telemetry/backend-outage.md` | +| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules` (39 проверок оповещений и 6 правил записи); у каждого из 7 оповещений есть runbook | `evidence/alerts/rules-test.md` (commit `15ea156`) | +| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0 (~20 мин): остановленный worker — firing через 158 с, снято через 44 с; relay — 220 / 45 с; медленная БД — 165 / 89 с; медленный handler — оповещения нет; недоступная БД — 60 и 105 / 29 и 135 с; лишних нет; SLI двумя путями совпали | `evidence/alerts/check.md` (commit `15ea156`) | +| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 93 МиБ из 256, реплики без роста; потери учтены (443 записи, 1342 span, SDK 11 683 и 11 810); `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `15ea156`) | | Выбранный трек 5, если заявлен | TODO | TODO | TODO | TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. diff --git a/evidence/alerts/check.md b/evidence/alerts/check.md new file mode 100644 index 0000000..361b3fa --- /dev/null +++ b/evidence/alerts/check.md @@ -0,0 +1,232 @@ +# `driver.py --port 8080 alerts-check` (change `slo-alerts`, задача 11.2) + +- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting), + рабочее дерево чистое (`git status --short` до прогона — только `?? evidence/alerts/`). Файлы + `src/` и `migrations/` (151) в контейнерах `api` (2: `api-13`, `api-14`), `relay`, `worker` и + `cleaner` побайтно совпадают с деревом commit (SHA-256 каждого файла); ревизия схемы + `e4b8c2d17f90`. Стенд поднят `make run_docker` в 22:45Z (образ уже был собран из того же дерева, + контейнеры не пересоздавались; сервисы телеметрии, в том числе Prometheus и Collector, запущены + заново в 22:45Z). +- Дата: 2026-11-13, 22:46:44Z – 23:06:20Z (~19,6 мин); хост macOS, Docker 29.9.2, Compose 5.6.1, ВМ + Docker Desktop — 12 CPU / 11,6 ГиБ. Рабочий стенд `mtusi-lab6` (две реплики API, relay, worker, + уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория: + `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 alerts-check`, код выхода 0. +- Всё — через HTTP API Grafana на `127.0.0.1:3000` с паролем из `.env` (источники-прокси uid + `prometheus`, `loki`, `tempo`); моменты pending / firing / снятия — `/api/v1/rules` раз в 5 с, + время — от начала шага (у `MessengerQueueLagHigh` — от первой загрузки, у снятия — от + восстановления). Пользователи, пароли, токены и файлы — синтетические, в вывод не попадают. + Фоновая нагрузка драйвера через LB — 6 потоков отправки сообщения с новым `Idempotency-Key` раз в + 0,25 с и 1 поток чтения истории раз в 1 с (design, «Уточнения apply», п. 7). +- Отказы: шаг 1 — `docker compose stop worker`, 3 загрузки, `docker start` того же контейнера через + 159 с; шаг 2 — `docker compose stop relay`, `docker start`; шаг 3 — сессия psql с + `application_name = mtusi-alerts-check` циклами держит `LOCK TABLE messages IN SHARE MODE` 2 с с + паузой 0,2 с, затем `pg_terminate_backend`; шаг 4 — 3 потока входа по Basic 45 с (сравнение, отказа + нет); шаг 5 — `docker compose stop postgres`, затем `start`. В `finally` — нагрузка остановлена, + сессия блокировки завершена, PostgreSQL, worker и relay запущены, LB готов (последняя строка). + +## Сценарии → строки вывода + +| Сценарий (`observability`, если не указано) | Строки | +| --- | --- | +| «Правила загружены» | `rule groups loaded`, `rules with evaluation errors`, `alerts loaded`, `Grafana shows rules…`, `rule change through Grafana rejected`, `alert delivery addresses`, `prometheus config has alertmanagers` | +| «Остановленный worker» | `[worker stopped]`: firing через 158 с после первой загрузки (≤ 240), `outbox + published` +3, снято через 44 с после запуска (≤ 120), 3 `ready` | +| «Перезапуск worker» | `[worker stopped] time to ready count…`: первая точка нового процесса — 0 (время начала), приращение по точкам ровно 3; worker стоял 159 с (> 2 мин) | +| «Остановленный relay» | `[relay stopped] MessengerQueueMetricsMissing firing` через 220 с (≤ 300), снято через 45 с (≤ 120) | +| «Остановленный relay уходит из рядов» | `[relay stopped] queue series gone within 120 s` — через 65 с | +| «Медленная БД» | `[slow database]`: firing через 165 с (≤ 180), доля span PostgreSQL в медленных трассах отправки 0,99, пул 6 против 0, CPU реплик 0,11 предела, снято через 89 с (≤ 240), `MessengerHighErrorRate` нет | +| «Медленный handler не путается с БД» | `[slow handler]`: доля span PostgreSQL 0,01–0,02, пул занят не больше 0,30, отказов по сроку 0, CPU реплик 0,80 предела, `MessengerSlowRequests` неактивно (доля медленных до 0,050) | +| «Тяжёлая ручка вне SLI задержки» | `[slow handler] login p95 on the route panel slower than 0.25 s` (p95 входа 0,667 с) при неактивном `MessengerSlowRequests` | +| «Недоступная БД» | `[database down]`: `MessengerNoReadyReplicas` firing через 60 с, `MessengerHighErrorRate` через 105 с (≤ 180), сняты через 29 и 135 с (≤ 240) | +| «Ответы самого балансировщика» | `[database down]`: готовых реплик 0, клиент получил 2548 ответов 503 от LB (без `X-Instance-Id`), 5xx на LB +2603, у API +27 | +| «Отказ БД виден в SLI доступности» | `availability SLI over the outage window: LB 0.5544, client 0.5576` | +| «SLO считается» | `[SLI and panels]`: три SLI за 7 суток в [0, 1], за час по рядам правил и по исходным счётчикам в тех же окнах совпали (расхождение 0 п. п. при ≤ 1) | +| «История оповещения на панели», «Новые панели после трафика» | `alert history panel shows firing of the steps`, `new panel queries (31) with data: []` (у 31 запроса панелей с id от 25 данных хватает) | +| «Без потерь» (`TelemetryDataLoss`) | `other alerts firing: []` на каждом шаге | + +Лишних firing нет ни на одном шаге (`other alerts firing: []`); `MessengerQueueMetricsMissing` в +pending во время недоступной БД — допустимо (relay не делает снимок без PostgreSQL). + +## Вывод + +``` +alerts-check 2026-11-13T22:46:44Z: rules, quiet stand +rule groups loaded: ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts'] +rules with evaluation errors: [] +alerts loaded: ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown'] +Grafana shows rules of the Prometheus datasource: 200 ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts'] +rule change through Grafana rejected: yes +alert delivery addresses: [] +prometheus config has alertmanagers: no +load: 6 writers every 0.25 s and 1 reader every 1.0 s + observed: pool used before the steps (max): 0 +uploads ready before the steps: 20 +[worker stopped] stand quiet before the step: yes +[worker stopped] + observed: queue by stage and age before: {'outbox': 0.0, 'processing': 0.0, 'published': 0.0, 'scheduled': 0.0, 'oldest_age_s': 0.0} + observed: worker stopped at 48 s of the drill +[worker stopped] uploads accepted (202): 3 + observed: MessengerQueueLagHigh pending after 98 s + [worker stopped] MessengerQueueLagHigh firing after the first upload: after 158 s + observed: queue by stage and age: {'outbox': 0.0, 'processing': 0.0, 'published': 3.0, 'scheduled': 0.0, 'oldest_age_s': 141.3} +[worker stopped] outbox + published grew by the uploads: 3.0 +[worker stopped] consumer spans after the stop: 0 + observed: last worker record in Loki: 'Attachment became ready' 1 s before the stop + observed: 'Stopped worker' in stdout: yes +[worker stopped] worker series gone before the start: 0 + observed: worker down for 159 s +[worker stopped] uploads ready after the start: 3 + [worker stopped] MessengerQueueLagHigh resolved after the start: after 44 s + observed: time to ready count, first points of the new process: [(2.5, 0.0)] +[worker stopped] time to ready count grew by the uploads (by points): 3.0 +[worker stopped] other alerts firing: [] +[relay stopped] stand quiet before the step: yes +[relay stopped] +[relay stopped] queue series gone within 120 s: yes + observed: queue series gone after 65 s + [relay stopped] MessengerQueueMetricsMissing firing: after 220 s + [relay stopped] MessengerQueueMetricsMissing resolved after the start: after 45 s +[relay stopped] other alerts firing: [] +[slow database] stand quiet before the step: yes +[slow database] + [slow database] MessengerSlowRequests firing: after 165 s + observed: slow light requests share: 0.428 + observed: p95 by route before: {'/api/v1/chats/{chat_id}/messages': 0.021} + observed: p95 by route during: {'/api/v1/chats/{chat_id}/messages': 2.324} + observed: PostgreSQL share of slow send traces: [0.99, 0.99, 0.99, 0.99, 0.99] +[slow database] PostgreSQL spans over half of slow send traces (median): yes + observed: pool used during (max): 6, before 0 +[slow database] pool busier than before: yes + observed: CPU of replicas to limit (max): 0.11 +[slow database] CPU of replicas below half of the limit: yes + [slow database] MessengerSlowRequests resolved after the unlock: after 89 s +[slow database] other alerts firing: [] +[slow handler] stand quiet before the step: yes +[slow handler] + observed: logins: 506, median 0.27 s, max 0.92 s + observed: PostgreSQL share of slow login traces: [0.01, 0.01, 0.01, 0.01, 0.02] +[slow handler] PostgreSQL spans under a fifth of slow login traces (median): yes + observed: pool: max share used 0.30, requests in checkout (max) 0, timeouts 0 +[slow handler] no request waits for a free pool connection: yes + observed: CPU of replicas to limit (max): 0.80 + observed: p95 by route: {'/api/v1/chats/{chat_id}/messages': 0.127, '/api/v1/auth/sessions': 0.667} +[slow handler] login p95 on the route panel slower than 0.25 s: yes + observed: slow light requests share (max): 0.050 +[slow handler] MessengerSlowRequests stayed inactive: yes +[slow handler] other alerts firing: [] +[database down] stand quiet before the step: yes +[database down] + [database down] MessengerNoReadyReplicas firing: after 60 s + [database down] MessengerHighErrorRate firing: after 105 s +[database down] ready replicas in LB: 0 + observed: 'Database is unavailable' records of replicas in Loki: 27 + observed: API traces with an error server span: 27, with a PostgreSQL span in error: 0 +[database down] LB ready after the start: yes + observed: client responses during the outage: {'5xx': 2562}, from LB: 2548 + [database down] MessengerNoReadyReplicas resolved: after 29 s + [database down] MessengerHighErrorRate resolved: after 135 s + observed: 5xx grew: LB 2603, API 27; LB responses 5841 +[database down] 5xx on LB more than 5xx of API: yes +[database down] LB 5xx grew by the LB's own 503 to the client or more: yes + observed: availability SLI over the outage window: LB 0.5544, client 0.5576 +[database down] LB 5xx share equals the client's within 5%: yes + observed: MessengerQueueMetricsMissing was pending (allowed) +[database down] other alerts firing: [] +[SLI and panels] + observed: client responses over the drill: {'2xx': 22982, '5xx': 2601} + observed: messenger-slo windows in the last hour: 3 of 12 +SLI availability over 7 days within [0, 1]: yes + observed: SLI availability: 7 days 0.93201, hour by rules 1.00000, by raw counters in the same windows 1.00000 (14685 events), raw increase over the hour 1.00000 +SLI availability over the hour, rules vs raw counters within 1 pp: yes + observed: SLI availability over the drill: 0.89966 +SLI latency over 7 days within [0, 1]: yes + observed: SLI latency: 7 days 0.98539, hour by rules 0.98209, by raw counters in the same windows 0.98209 (14225 events), raw increase over the hour 0.98290 +SLI latency over the hour, rules vs raw counters within 1 pp: yes + observed: SLI latency over the drill: 0.97905 +SLI time to ready over 7 days within [0, 1]: yes + observed: SLI time to ready: 7 days 0.93039, hour by rules 0.91358, by raw counters in the same windows 0.91358 (37 events), raw increase over the hour 0.86957 +SLI time to ready over the hour, rules vs raw counters within 1 pp: yes + observed: SLI time to ready over the drill: 0.86957 +new panel queries (31) with data: [] +alert history panel shows firing of the steps: ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests'] +memory prometheus 77a121dcddff: peak 108 MiB, anon+kernel+shmem 54 MiB, file 6 MiB, limit 384 MiB +memory otel-collector 7209c9b86a7c: peak 76 MiB, anon+kernel+shmem 73 MiB, file 0 MiB, limit 256 MiB +rule groups loaded expected ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts'] got ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts'] +rules with evaluation errors expected [] got [] +alerts loaded expected ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown'] got ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown'] +Grafana shows rules of the Prometheus datasource expected 200 ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts'] got 200 ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts'] +rule change through Grafana rejected expected yes got yes +alert delivery addresses expected [] got [] +prometheus config has alertmanagers expected no got no +uploads ready before the steps expected 20 got 20 +[worker stopped] stand quiet before the step expected yes got yes +[worker stopped] uploads accepted (202) expected 3 got 3 +[worker stopped] MessengerQueueLagHigh firing after the first upload within 240 s expected yes got yes +[worker stopped] outbox + published grew by the uploads expected 3.0 got 3.0 +[worker stopped] consumer spans after the stop expected 0 got 0 +[worker stopped] worker series gone before the start expected 0 got 0 +[worker stopped] uploads ready after the start expected 3 got 3 +[worker stopped] MessengerQueueLagHigh resolved after the start within 120 s expected yes got yes +[worker stopped] time to ready count grew by the uploads (by points) expected 3.0 got 3.0 +[worker stopped] other alerts firing expected [] got [] +[relay stopped] stand quiet before the step expected yes got yes +[relay stopped] queue series gone within 120 s expected yes got yes +[relay stopped] MessengerQueueMetricsMissing firing within 300 s expected yes got yes +[relay stopped] MessengerQueueMetricsMissing resolved after the start within 120 s expected yes got yes +[relay stopped] other alerts firing expected [] got [] +[slow database] stand quiet before the step expected yes got yes +[slow database] MessengerSlowRequests firing within 180 s expected yes got yes +[slow database] PostgreSQL spans over half of slow send traces (median) expected yes got yes +[slow database] pool busier than before expected yes got yes +[slow database] CPU of replicas below half of the limit expected yes got yes +[slow database] MessengerSlowRequests resolved after the unlock within 240 s expected yes got yes +[slow database] other alerts firing expected [] got [] +[slow handler] stand quiet before the step expected yes got yes +[slow handler] PostgreSQL spans under a fifth of slow login traces (median) expected yes got yes +[slow handler] no request waits for a free pool connection expected yes got yes +[slow handler] login p95 on the route panel slower than 0.25 s expected yes got yes +[slow handler] MessengerSlowRequests stayed inactive expected yes got yes +[slow handler] other alerts firing expected [] got [] +[database down] stand quiet before the step expected yes got yes +[database down] MessengerNoReadyReplicas firing within 180 s expected yes got yes +[database down] MessengerHighErrorRate firing within 180 s expected yes got yes +[database down] ready replicas in LB expected 0 got 0 +[database down] LB ready after the start expected yes got yes +[database down] MessengerNoReadyReplicas resolved within 240 s expected yes got yes +[database down] MessengerHighErrorRate resolved within 240 s expected yes got yes +[database down] 5xx on LB more than 5xx of API expected yes got yes +[database down] LB 5xx grew by the LB's own 503 to the client or more expected yes got yes +[database down] LB 5xx share equals the client's within 5% expected yes got yes +[database down] other alerts firing expected [] got [] +SLI availability over 7 days within [0, 1] expected yes got yes +SLI availability over the hour, rules vs raw counters within 1 pp expected yes got yes +SLI latency over 7 days within [0, 1] expected yes got yes +SLI latency over the hour, rules vs raw counters within 1 pp expected yes got yes +SLI time to ready over 7 days within [0, 1] expected yes got yes +SLI time to ready over the hour, rules vs raw counters within 1 pp expected yes got yes +new panel queries (31) with data expected [] got [] +alert history panel shows firing of the steps expected ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests'] got ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests'] +PASS: each alert went firing on its fault and resolved after the recovery, no other alert fired; SLI agree by both paths +restored: load stopped, lock session ended, PostgreSQL started, worker and relay running: yes, LB ready: yes +``` + +## Чтение чисел + +- **SLI за час** — по последней точке ряда `messenger-slo` (Prometheus пишет точку с временем + предыдущего слота, design, «Уточнения apply», п. 11): окон за час 3 из 12 — Prometheus запущен в + 22:45Z, раньше рядов правил за этот час нет; поэтому за час доступность 1,00000 — отказ БД (шаг 5) + ещё не попал в записанные окна. Окно учений целиком — строки `SLI … over the drill` по исходным + счётчикам: доступность 0,89966 (отказ БД), задержка 0,97905 (медленная БД), время до `ready` + 0,86957 (три загрузки при остановленном worker ждали дольше 30 с). +- **SLI за 7 суток** включает все учения и проверки этого и прошлых прогонов на рабочем стенде + (доступность 0,93201 при SLO 0,995 — бюджет исчерпан учениями; остаток бюджета на панели + отрицательный), это ожидаемо и названо в `REPORT.md` («Ограничения SLI»). +- **Время до `ready`** за час одним окном (0,86957) и по окнам правил (0,91358) расходятся из-за + потери приращения на границах непересекающихся окон при единицах событий (design, «Уточнения + apply», п. 12); проверка сравнивает пути в тех же окнах — 0 п. п. +- **Span PostgreSQL с ошибкой при недоступной БД — 0** из 27 трасс 503: отказ — на выдаче + соединения из пула, до `before_cursor_execute` (design, «Уточнения apply», п. 9; наблюдение, а не + проверка). Причину называют записи «Database is unavailable» в Loki (27 — по одной на ответ 503 + реплик до вывода из LB). +- **Память** Prometheus и Collector — `memory.peak` с их запуска в 22:45Z (весь прогон): Prometheus + 108 МиБ (неосвобождаемая часть 54), Collector 76 МиБ при лимитах 384 и 256 — правило «лимит ≥ + 1,5 × пика» выполнено (раздел change `slo-alerts` в `evidence/telemetry/budget.md`). diff --git a/evidence/alerts/rules-test.md b/evidence/alerts/rules-test.md new file mode 100644 index 0000000..2ff4c0a --- /dev/null +++ b/evidence/alerts/rules-test.md @@ -0,0 +1,74 @@ +# `make alerts_test` (change `slo-alerts`, задача 11.1) + +- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting), + рабочее дерево чистое (`git status --short` пуст до прогона; новые файлы — только `evidence/`). +- Дата: 2026-11-11, 21:36:51Z – 21:36:52Z (~1 с); хост macOS, Docker 29.9.2, Compose 5.6.1. Стенд + не нужен: файлы `infra/otel/prometheus/` (`prometheus.yml`, `rules.yml`, `rules.test.yml`) уходят + `tar` через stdin в одноразовый контейнер закреплённого образа Prometheus с `--network none`, там + `promtool check config`, `promtool check rules`, `promtool test rules rules.test.yml`; затем у + каждого из семи оповещений `rules.yml` поле `runbook_url` — существующий файл репозитория. + Команда из корня репозитория: `make alerts_test`, код выхода 0. +- Состав тестов `rules.test.yml`: 19 групп синтетических рядов (интервал 15 с, как у стенда), + 39 проверок оповещений (`alert_rule_test`) и 6 проверок правил записи (`promql_expr_test`). На + каждое оповещение — срабатывание после `for`, нет срабатывания ниже порога и без трафика, снятие + после восстановления; `MessengerQueueMetricsMissing` молчит при недоступном экспортёре Collector; + `TelemetryDataLoss` — новый ряд, рост, сброс счётчика. +- Сценарий: `observability` «Тесты правил» (проверка синтаксиса и модульные тесты правил — код 0); + «Правила оповещений» — у каждого оповещения есть runbook в git. + +``` +promtool from prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2 +Checking prometheus.yml + SUCCESS: 1 rule files found + SUCCESS: prometheus.yml is valid prometheus config file syntax + +Checking /etc/prometheus/rules.yml + SUCCESS: 20 rules found + +Checking rules.yml + SUCCESS: 20 rules found + + SUCCESS + +runbook infra/otel/runbooks/MessengerHighErrorRate.md: ok +runbook infra/otel/runbooks/MessengerSlowRequests.md: ok +runbook infra/otel/runbooks/MessengerNoReadyReplicas.md: ok +runbook infra/otel/runbooks/MessengerQueueLagHigh.md: ok +runbook infra/otel/runbooks/MessengerQueueMetricsMissing.md: ok +runbook infra/otel/runbooks/TelemetryTargetDown.md: ok +runbook infra/otel/runbooks/TelemetryDataLoss.md: ok +alerts: 7, each with an existing runbook +``` + +Строки по шагам: `Checking prometheus.yml` и `Checking /etc/prometheus/rules.yml` — `check config` +(он проверяет и файл из `rule_files`), `Checking rules.yml` — `check rules`, одиночное `SUCCESS` — +итог `test rules` (39 + 6 проверок; при отказе он печатает каждую несовпавшую, как ниже). + +## Тесты ловят изменённый порог (контроль, не в git) + +Тот же образ и те же три файла, скопированные во временный каталог вне репозитория; в копии +`rules.yml` порог доли медленных «лёгких» запросов у `MessengerSlowRequests` поднят с 0.1 до 0.5 +(файлы репозитория не менялись): + +``` +92c92 +< expr: messenger:http_light_slow:ratio_rate2m > 0.1 and messenger:http_light_requests:rate2m > 0.1 +--- +> expr: messenger:http_light_slow:ratio_rate2m > 0.5 and messenger:http_light_requests:rate2m > 0.1 +``` + +`promtool test rules rules.test.yml` на копии — код 1: + +``` + FAILED: + alertname: MessengerSlowRequests, time: 6m, + exp:[ + 0: + Labels:{alertname="MessengerSlowRequests", severity="warning"} + Annotations:{description="50% of light API requests without 5xx in the last 2 minutes took longer than 0.25 s (threshold 10 %, SLO 99 %); login, registration and attachment bytes are not counted. Runbook: infra/otel/runbooks/MessengerSlowRequests.md", runbook_url="infra/otel/runbooks/MessengerSlowRequests.md", summary="Many light API requests are slower than 0.25 s"} + ], + got:[] +``` + +Доля медленных в тесте — ровно 50 %, поэтому с порогом `> 0.5` оповещение не срабатывает, и тест +«срабатывание после `for`» красный. diff --git a/evidence/telemetry/backend-outage.md b/evidence/telemetry/backend-outage.md new file mode 100644 index 0000000..c79d82d --- /dev/null +++ b/evidence/telemetry/backend-outage.md @@ -0,0 +1,163 @@ +# `driver.py --port 8080 backend-outage` (change `slo-alerts`, задача 11.3) + +- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting), + рабочее дерево чистое (до прогона вне `evidence/` изменений нет). Файлы `src/` и `migrations/` + (151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit + (SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`. +- Дата: 2026-11-13, 23:06:38Z – 23:22:25Z (~15,8 мин), сразу после `alerts-check` + (`evidence/alerts/check.md`); хост macOS, Docker 29.9.2, Compose 5.6.1, ВМ Docker Desktop — 12 CPU / + 11,6 ГиБ. Рабочий стенд `mtusi-lab6`, команда из корня репозитория: + `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 backend-outage`, код выхода 0. +- Через HTTP API Grafana на `127.0.0.1:3000` (пароль из `.env`, в вывод не попадает); та же фоновая + нагрузка драйвера, что у `alerts-check` (6 потоков отправки раз в 0,25 с, 1 чтения раз в 1 с); + память — раз в 2 с: `memory.current` реплик из их cgroup (`docker exec … cat`), Collector — + `docker stats` (в образе нет оболочки) и `otelcol_process_runtime_total_sys_memory_bytes`. +- Шаги: Loki — `docker compose stop` на 10 с со своим запросом (известный `X-Request-Id`), затем на + 120 с (> 30 с повторов Collector) с `make test`; то же для Tempo; Prometheus — 60 с; Collector — + 120 с с `make test`. В `finally` — все сервисы телеметрии, worker и relay запущены, нагрузка + остановлена (последняя строка). + +## Сценарии → строки вывода + +| Сценарий (`observability`) | Строки | +| --- | --- | +| «Короткий отказ хранилища» | `[loki short]`, `[tempo short]`: свой запрос найден после возврата, потери экспортёра 0 | +| «Долгий отказ хранилища» | `[loki long]`, `[tempo long]`: `make test` 0 PASS, 5xx у клиента 0 (2928 и 2934 ответа 2xx), очередь экспорта до 0,135 (Loki) и 0,656 (Tempo) ёмкости, память Collector до 93 МиБ при лимите 256, `TelemetryTargetDown` firing через 105 и 90 с (≤ 118), `TelemetryDataLoss` firing, новые сигналы после возврата, оба сняты (через 40 / 145 с и 30 / 150 с, ≤ 240) | +| «Потери Collector при недоступном хранилище» | `[tempo long] Collector losses of otlp_http/tempo: 1342 spans` (и `[loki long]` — 443 записи), `TelemetryDataLoss firing` | +| «Отказ Prometheus» | `[prometheus]`: 5xx 0 (1467 ответов 2xx), счёт запросов API между точками до и после (105 с) вырос на 2565 при 1833 запросах нагрузки в этом окне | +| «Отказ Collector под нагрузкой» | `[collector]`: `make test` 0 PASS, `TelemetryTargetDown{job=otel-collector}` firing через 95 с, память реплик — максимум последней трети окна 156 и 154 МиБ против 142 и 145 первой (рост ≤ 16 МиБ), лимит 512; `MessengerQueueMetricsMissing` неактивно; снято через 20 с | +| «Потери SDK при недоступном Collector» | `[collector] SDK losses before {}, after {…: 11683.0, …: 11810.0}`, ёмкость очередей SDK 2048, записей API в окне: stdout 5275, Loki 0 | +| «Без потерь» | `stand quiet before the step: yes` перед каждым шагом (в том числе `TelemetryDataLoss` неактивно), потери коротких отказов 0 | + +## Вывод + +``` +backend-outage 2026-11-13T23:06:38Z +[loki short] stand quiet before the step: yes +[loki short] own request found after the return: yes +[loki short] Collector losses of otlp_http/loki: 0 +[loki long] stand quiet before the step: yes +[loki long] make test: 0 PASS + [loki long] TelemetryTargetDown{job=loki} firing: after 105 s + observed: export queue of otlp_http/loki, max share of capacity: 0.135 +[loki long] export queue within its capacity: yes + observed: Collector memory: docker stats max 77 MiB, runtime sys max 76 MiB, limit 256 MiB +[loki long] Collector memory below its limit: yes + observed: client responses during the outage: {'2xx': 2928} +[loki long] client 5xx during the outage: 0 +[loki long] TelemetryDataLoss firing: yes + observed: Collector losses of otlp_http/loki: 443 log_records +[loki long] losses counted by the Collector: yes +[loki long] new signals arrive after the return: yes + [loki long] TelemetryTargetDown resolved: after 40 s + [loki long] TelemetryDataLoss resolved: after 145 s +[tempo short] stand quiet before the step: yes +[tempo short] own request found after the return: yes +[tempo short] Collector losses of otlp_http/tempo: 0 +[tempo long] stand quiet before the step: yes +[tempo long] make test: 0 PASS + [tempo long] TelemetryTargetDown{job=tempo} firing: after 90 s + observed: export queue of otlp_http/tempo, max share of capacity: 0.656 +[tempo long] export queue within its capacity: yes + observed: Collector memory: docker stats max 93 MiB, runtime sys max 84 MiB, limit 256 MiB +[tempo long] Collector memory below its limit: yes + observed: client responses during the outage: {'2xx': 2934} +[tempo long] client 5xx during the outage: 0 +[tempo long] TelemetryDataLoss firing: yes + observed: Collector losses of otlp_http/tempo: 1342 spans +[tempo long] losses counted by the Collector: yes +[tempo long] new signals arrive after the return: yes + [tempo long] TelemetryTargetDown resolved: after 30 s + [tempo long] TelemetryDataLoss resolved: after 150 s +[prometheus] stand quiet before the step: yes + observed: client responses while Prometheus is down: {'2xx': 1467} +[prometheus] client 5xx while Prometheus is down: 0 +[prometheus] Prometheus answers again: yes + observed: API request count grew by 2565 between scrapes 105 s apart; load sent 1833 in that window +[prometheus] request count grew at least by the load: yes +[collector] stand quiet before the step: yes +[collector] make test: 0 PASS + [collector] TelemetryTargetDown{job=otel-collector} firing: after 95 s + observed: api 224ebf0e32ba: memory max first third 142 MiB, last third 156 MiB, limit 512 MiB +[collector] api 224ebf0e32ba memory does not grow and is below its limit: yes + observed: api 4b9782f7240b: memory max first third 145 MiB, last third 154 MiB, limit 512 MiB +[collector] api 4b9782f7240b memory does not grow and is below its limit: yes +[collector] MessengerQueueMetricsMissing stayed inactive: yes + [collector] TelemetryTargetDown resolved: after 20 s + observed: SDK losses before {}, after {'224ebf0e32ba': 11683.0, '4b9782f7240b': 11810.0} +[collector] SDK loss counters of replicas grew: yes +[collector] SDK queue capacity as [telemetry] max_queue_size: {2048.0} + observed: API records in the outage window: stdout 5275, Loki 0 +[collector] fewer Loki records than stdout records in the window: yes +memory otel-collector 7209c9b86a7c: peak 68 MiB, anon+kernel+shmem 66 MiB, file 0 MiB, limit 256 MiB +memory prometheus 77a121dcddff: peak 89 MiB, anon+kernel+shmem 55 MiB, file 0 MiB, limit 384 MiB +memory api 224ebf0e32ba: peak 334 MiB, anon+kernel+shmem 133 MiB, file 0 MiB, limit 512 MiB +memory api 4b9782f7240b: peak 327 MiB, anon+kernel+shmem 135 MiB, file 0 MiB, limit 512 MiB +[loki short] stand quiet before the step expected yes got yes +[loki short] own request found after the return expected yes got yes +[loki short] Collector losses of otlp_http/loki expected 0 got 0 +[loki long] stand quiet before the step expected yes got yes +[loki long] make test expected 0 PASS got 0 PASS +[loki long] TelemetryTargetDown{job=loki} firing within 118 s expected yes got yes +[loki long] export queue within its capacity expected yes got yes +[loki long] Collector memory below its limit expected yes got yes +[loki long] client 5xx during the outage expected 0 got 0 +[loki long] TelemetryDataLoss firing expected yes got yes +[loki long] losses counted by the Collector expected yes got yes +[loki long] new signals arrive after the return expected yes got yes +[loki long] TelemetryTargetDown resolved within 240 s expected yes got yes +[loki long] TelemetryDataLoss resolved within 240 s expected yes got yes +[tempo short] stand quiet before the step expected yes got yes +[tempo short] own request found after the return expected yes got yes +[tempo short] Collector losses of otlp_http/tempo expected 0 got 0 +[tempo long] stand quiet before the step expected yes got yes +[tempo long] make test expected 0 PASS got 0 PASS +[tempo long] TelemetryTargetDown{job=tempo} firing within 118 s expected yes got yes +[tempo long] export queue within its capacity expected yes got yes +[tempo long] Collector memory below its limit expected yes got yes +[tempo long] client 5xx during the outage expected 0 got 0 +[tempo long] TelemetryDataLoss firing expected yes got yes +[tempo long] losses counted by the Collector expected yes got yes +[tempo long] new signals arrive after the return expected yes got yes +[tempo long] TelemetryTargetDown resolved within 240 s expected yes got yes +[tempo long] TelemetryDataLoss resolved within 240 s expected yes got yes +[prometheus] stand quiet before the step expected yes got yes +[prometheus] client 5xx while Prometheus is down expected 0 got 0 +[prometheus] Prometheus answers again expected yes got yes +[prometheus] request count grew at least by the load expected yes got yes +[collector] stand quiet before the step expected yes got yes +[collector] make test expected 0 PASS got 0 PASS +[collector] TelemetryTargetDown{job=otel-collector} firing within 118 s expected yes got yes +[collector] api 224ebf0e32ba memory does not grow and is below its limit expected yes got yes +[collector] api 4b9782f7240b memory does not grow and is below its limit expected yes got yes +[collector] MessengerQueueMetricsMissing stayed inactive expected yes got yes +[collector] TelemetryTargetDown resolved within 240 s expected yes got yes +[collector] SDK loss counters of replicas grew expected yes got yes +[collector] SDK queue capacity as [telemetry] max_queue_size expected {2048.0} got {2048.0} +[collector] fewer Loki records than stdout records in the window expected yes got yes +PASS: API and worker work while telemetry stores and the Collector are down; memory is bounded, losses are counted, alerts fire and resolve +restored: load stopped, telemetry services started, worker and relay running: yes +``` + +## Чтение чисел + +- **Потери ограничены и учтены.** Долгий отказ Loki (120 с) — 443 записи журнала, Tempo — 1342 span + (`otelcol_exporter_enqueue_failed_*` / `send_failed_*` экспортёра): очередь Tempo (8 МиБ) за 120 с + заполнилась до 0,656 ёмкости, Loki (16 МиБ) — до 0,135, и при этом пакеты, чьи повторы истекли + (30 с), отброшены (design, решение 7: сохраняется начало отказа, теряется конец). Короткий отказ + (10 с + старт хранилища) — короче срока повторов, потерь 0, свой запрос нашёлся. +- **Отказ Collector** — потери у источника: очереди SDK (2048) у каждой реплики переполнились, счёт + `otel_sdk_*` с `error_type` — 11 683 и 11 810 (span и записи вместе), он копился в процессе и + пришёл в Prometheus после возврата Collector; записей API окна в Loki 0 из 5275 в stdout. +- **Память.** Collector в долгих отказах — `docker stats` до 93 МиБ, `otelcol_process_runtime_total_sys_memory_bytes` + до 84 МиБ при лимите 256 и `GOMEMLIMIT` 160. Строка `memory otel-collector … peak 68 MiB` в конце + — `memory.peak` cgroup после шага `[collector]` (`docker compose stop` / `start` того же контейнера + начинают новую cgroup), так же строка Prometheus (89 МиБ) — с его запуска на шаге `[prometheus]`; + пик Prometheus за всё время его жизни до этого — 108 МиБ в `alerts-check`. Реплики API при + недоступном Collector не растут сверх очередей SDK (рост максимума ≤ 14 МиБ, проверка ≤ 16 МиБ), + `memory.peak` реплик 334 и 327 МиБ — со старта стенда в 22:45Z (входы `alerts-check`), лимит 512. + Правило «лимит ≥ 1,5 × пика» — раздел change `slo-alerts` в `evidence/telemetry/budget.md`. +- **Prometheus.** Пока он стоит, правила не вычисляются и точек нет, а cumulative-счётчики после + возврата прежние: приращение между точками до и после окна 2565 ≥ 1833 запросов нагрузки (запросы + нагрузки драйвер считает с первой точки до второй минус 30 с — запас на экспорт SDK и сбор, — + поэтому приращение заведомо больше). diff --git a/evidence/telemetry/budget.md b/evidence/telemetry/budget.md index 2a7fe55..d33dfc0 100644 --- a/evidence/telemetry/budget.md +++ b/evidence/telemetry/budget.md @@ -144,3 +144,61 @@ closed-loop на шумном хосте, не метка `bench/`: это по compose config` — 11,5 / 7296, с `migrate` и `s3-bootstrap` — 12,5 / 7680; совпадают с `.claude/rules/docker.md` («Суммы») и `REPORT.md` («Бюджет»). Соединений PostgreSQL change не прибавил (пул relay 1, `trace-chain`: пределы 10, 10, 2, 1). + +## Change `slo-alerts`: Collector в долгом отказе хранилища, Prometheus в учениях, реплики без Collector (задачи 9.8 и 11.4) + +- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting), + рабочее дерево чистое (вне `evidence/` изменений нет); файлы `src/` и `migrations/` в контейнерах + `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit. Лимиты прежние, новых + сервисов и портов нет (design, решение 13). +- Дата: 2026-11-13, 22:46Z – 23:31Z; стенд `mtusi-lab6` поднят `make run_docker` в 22:45Z (сервисы + телеметрии, реплики, relay и worker — свежие cgroup), ВМ Docker Desktop — 12 CPU / 11 902 МиБ + (`docker info`: 11,62 GiB). +- Методика (design, решение 13; `.claude/rules/telemetry.md`, «Что считать пиком»): худший случай + каждого компонента — своя проверка. Collector — долгий (120 с) отказ Loki и Tempo под нагрузкой + драйвера в `backend-outage` (обе очереди экспорта заполняются; `docker stats` и + `otelcol_process_runtime_total_sys_memory_bytes` раз в 2 с) и `memory.peak` с запуска в 22:45Z за + `alerts-check`; Prometheus — `memory.peak` с запуска за весь `alerts-check` (правила, ~150 новых + рядов, запросы проверки и панелей); реплики API — `memory.current` из их cgroup раз в 2 с во время + 120 с недоступного Collector под нагрузкой (`backend-outage`, шаг `[collector]`) и `memory.peak` + со старта стенда (входы по Basic в шаге 4 `alerts-check`). Пики печатают сами команды + (`evidence/alerts/check.md`, `evidence/telemetry/backend-outage.md`, строки `memory …`). + +| Контейнер | Где пик | `memory.peak`, МиБ | `anon` + `kernel` + `shmem`, МиБ | Прочее | Лимит | 1,5 × пик ≤ лимита | +|---|---|---|---|---|---|---| +| `otel-collector` | `alerts-check` (с 22:45Z) | 76 | 73 | — | 0,5 CPU / 256 МиБ | да (114) | +| `otel-collector` | `backend-outage`, долгий отказ Tempo | — | — | `docker stats` до 93, runtime sys до 84; очередь Tempo 0,656 ёмкости, Loki 0,135 | 0,5 / 256 | да (140 по `docker stats`) | +| `prometheus` | `alerts-check` (с 22:45Z) | 108 | 54 | файловый кэш 6 | 0,5 / 384 | да (162) | +| `api` (`224ebf0e32ba`) | со старта стенда (входы `alerts-check`, `backend-outage`) | 334 | 133 | без Collector: `memory.current` 142 → 156 | 1 / 512 | да (501) | +| `api` (`4b9782f7240b`) | то же | 327 | 135 | без Collector: 145 → 154 | 1 / 512 | да (491) | + +- **Collector.** Худший случай очередей — долгий отказ Tempo: очередь span (8 МиБ) заполнилась до + 0,656 ёмкости, `docker stats` — до 93 МиБ, `otelcol_process_runtime_total_sys_memory_bytes` — до + 84 МиБ; это ниже `GOMEMLIMIT` (160) и мягкого предела `memory_limiter`, отказов приёма не было + (потери — только очередь и повторы экспортёра: 1342 span, 443 записи). `memory.peak` за весь + `alerts-check` — 76 МиБ, неосвобождаемая часть 73 (файлового кэша у Collector нет). Пик cgroup + именно в окне долгого отказа не снят: шаг `[collector]` той же команды перезапускает контейнер + (`docker compose stop` / `start` — новая cgroup, в конце `memory.peak` 68 МиБ с этого момента), а + в пробных прогонах apply (design, «Уточнения apply», п. 13) он был 220–256 МиБ, из них файловый + кэш 157–187 и неосвобождаемая часть 62–72 МиБ. По неосвобождаемой части и по `docker stats` правило + выполнено с запасом (1,5 × 93 = 140 ≤ 256), лимит не меняется. +- **Prometheus.** `memory.peak` 108 МиБ за `alerts-check`, неосвобождаемая часть 54. В пробных + прогонах apply (design, «Уточнения apply», п. 13: процесс жил дольше, до прогона — другие проверки) + было 240 МиБ, из них кэш 148; правило выполнено и для этого пика: 1,5 × 240 = 360 ≤ 384. После + рестартов в `backend-outage` и `telemetry-check` / `telemetry-outage` пики меньше (89 и 96 МиБ). +- **Реплики API без Collector.** Память не растёт сверх очередей SDK: максимум последней трети окна + на 14 и 9 МиБ выше первой (проверка — не больше 16 МиБ), счёт потерь SDK — 11 683 и 11 810. + `memory.peak` 334 и 327 МиБ — от Argon2id входов (3 потока входа в шаге 4 `alerts-check`), а не от + SDK: неосвобождаемая часть в конце — 133 и 135 МиБ. Правило выполнено (501 и 491 ≤ 512), запас + реплики по-прежнему мал (прежний раздел: до 453 МиБ под `make student_test`), лимит не менялся. +- **Остальные контейнеры** — `memory.peak` в конце (23:31Z, после `telemetry-outage` и `trace-chain`: + почти все сервисы перезапущены в 23:26Z), МиБ / лимит: Grafana 238 / 512, Loki 101 / 512, Tempo + 133 / 640, Collector 59 / 256, Prometheus 96 / 384, PostgreSQL 169 / 1024 (с 23:04Z, шаг 5 + `alerts-check`), брокер 239 / 512, S3 350 / 512, Valkey 27 / 128, LB 28 / 256, уборщик 108 / 256, + relay 90 / 256, worker 122 / 1024, реплики 177 / 512. +- **Суммы** не изменились: `docker inspect` 15 работающих контейнеров (`HostConfig.NanoCpus`, + `HostConfig.Memory`) — 11,5 CPU / 7296 МиБ, `docker compose config` — 11,5 / 7296, с `migrate` и + `s3-bootstrap` — 12,5 / 7680; совпадают с `.claude/rules/docker.md` («Суммы») и `REPORT.md` + («Бюджет»). ВМ — 12 CPU / 11 902 МиБ: с одноразовыми и контейнерами `make test_isolated` рядом + (+2,25 CPU / 1792 МиБ) — 9472 МиБ лимитов, запас ~2,4 ГиБ на накладные ВМ; CPU больше не дать (у + ВМ все 12 ядер хоста), сумма лимитов CPU больше 12 — конкуренция, а не отказ. diff --git a/evidence/telemetry/check.md b/evidence/telemetry/check.md index db4699f..f0b5cab 100644 --- a/evidence/telemetry/check.md +++ b/evidence/telemetry/check.md @@ -1,12 +1,14 @@ -# `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задачи 11.1 и 12; change `job-trace-propagation`, задача 12.2) +# `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задачи 11.1 и 12; change `job-trace-propagation`, задача 12.2; change `slo-alerts`, задача 11.4) -- Основа: commit `72cfa9a` (feat: propagate trace context through outbox and add pipeline saturation - metrics), рабочее дерево чистое (`git status --short` пуст до прогона; новые файлы — только - `evidence/`). Файлы `src/` и `migrations/` в контейнерах `api` (2), `relay`, `worker` и `cleaner` - побайтно совпадают с деревом commit (SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`. - Прежний прогон этого файла — на `68f1e97` (до change `job-trace-propagation`). -- Дата: 2026-11-11, 16:59:50Z – 17:01:41Z (~1,9 мин); рабочий стенд `mtusi-lab6` (две реплики API, - relay, worker, уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория: +- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting), + рабочее дерево чистое (вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в + контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256 + каждого файла); ревизия схемы `e4b8c2d17f90`. Прежние прогоны этого файла — на `68f1e97` (до + change `job-trace-propagation`) и на `72cfa9a` (до change `slo-alerts`: dashboard без строк «SLO + and alerts», «Load balancer», «Telemetry pipeline», SDK без внутренних метрик). +- Дата: 2026-11-13, 23:22:43Z – 23:24:43Z (~2 мин), сразу после `backend-outage` + (`evidence/telemetry/backend-outage.md`); рабочий стенд `mtusi-lab6` (две реплики API, relay, + worker, уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-check`, код выхода 0. - Всё — через HTTP API Grafana на `127.0.0.1:3000` с паролем из `.env` (источники-прокси uid `prometheus`, `loki`, `tempo`); пароль, токены и тела в вывод не попадают. Пароль, `username`, @@ -22,17 +24,22 @@ запроса», «Трасса задания», «Отказ S3 в трассе», «Health и фоновые циклы без трасс», «Проба приватности», «Запрос найден», «Задание найдено»; `service-logging` — «Записи запроса ведут к трассе», «Записи задания ведут к трассе», «Запись в Loki совпадает со stdout»; - `service-configuration` — «Переменные OTEL_* не действуют». -- С change `job-trace-propagation`: `observability` «Ресурс relay» (span producer — - `messenger-relay`, `service.instance.id` = `instance_id` stdout relay; relay — в пробе сетей - хранилищ); `service-logging` «Записи relay в Loki» (запись прохода с публикацией в stdout и та же - в Loki) и «Проход relay без полей трассы» (без `trace_id` в обоих; корней-span relay в Tempo - нет). Шаги задания ищутся по consumer span `ready` трассы загрузки, а не по корню: его родитель — - span producer relay; трасса задания = трасса загрузки (`trace_id` записи «Uploaded attachment»). -- Свой запрос: `X-Request-Id` `fa505042431b47c0b898571fb326d873`, `X-Instance-Id` - `a4a1f203ef70`, trace-id `d09ff137a735b772a71fc19d90ab338d`; трасса загрузки - `95d2de2fc407f300bb758dd9586bf8d8`; проба приватности просмотрела 47 записей Loki, 28 трасс Tempo - и 1350 рядов Prometheus окна. + `service-configuration` — «Переменные OTEL_* не действуют». С change `job-trace-propagation`: + `observability` «Ресурс relay», `service-logging` «Записи relay в Loki» и «Проход relay без полей + трассы»; шаги задания — по consumer span `ready` трассы загрузки (его родитель — span producer + relay). +- С change `slo-alerts` (design, «Уточнения apply», пп. 5, 6): `observability` «Метрики балансировщика + без доступа к сети хранилищ» (строки `LB networks` — только `default`, `LB stats port published on + host` — нет, `prometheus has an LB target` — нет, `LB series with job haproxy…`, цель `haproxy` + в списке `up` = 1) и `load-balancing` «Метрики балансировщика» (`LB frontend responses grew by 20 + or more` — 20 своих запросов через LB); «Новые панели после трафика» — `dashboard panel queries + (57) without error: 0` и `panel queries with data after traffic: []`: все 57 запросов панелей к + Prometheus (из них новых с id от 25 — 31, макрос `$__range` подменён на `1h`) выполнены без + ошибки и с данными на стенде без оповещений, в том числе панели потерь и истории оповещений (`or + on() vector(0)`). +- Свой запрос: `X-Request-Id` `c126a16170d94f35b43139e1289b2d81`, `X-Instance-Id` `4b9782f7240b`, + trace-id `6e280eb8369840989e91c7c4a2a062e6`; трасса загрузки `878badb606a661c26d22b71170770d21`; + проба приватности просмотрела 48 записей Loki, 29 трасс Tempo и 903 ряда Prometheus окна. ``` grafana without credentials expected 401 got 401 @@ -55,6 +62,12 @@ prometheus target otel-collector-exporter up expected 1 prometheus target loki up expected 1 got 1 prometheus target tempo up expected 1 got 1 prometheus target prometheus up expected 1 got 1 +prometheus target haproxy up expected 1 got 1 +LB networks expected ['default'] got ['default'] +LB stats port published on host expected no got no +prometheus has an LB target expected no got no +LB series with job haproxy (frontend, backend, ready) expected yes got yes +LB frontend responses grew by 20 or more expected yes got yes register probe user expected 201 got 201 login by Basic expected 201 got 201 create chat expected 201 got 201 @@ -75,15 +88,15 @@ one trace_id and span_id in them expected 1 trace_id format expected yes got yes Loki record of the request expected 1 got 1 Loki service_name expected messenger-api got messenger-api -Loki service_instance_id = X-Instance-Id expected a4a1f203ef70 got a4a1f203ef70 -Loki instance_id = X-Instance-Id expected a4a1f203ef70 got a4a1f203ef70 -Loki trace_id = stdout expected d09ff137a735b772a71fc19d90ab338d got d09ff137a735b772a71fc19d90ab338d +Loki service_instance_id = X-Instance-Id expected 4b9782f7240b got 4b9782f7240b +Loki instance_id = X-Instance-Id expected 4b9782f7240b got 4b9782f7240b +Loki trace_id = stdout expected 6e280eb8369840989e91c7c4a2a062e6 got 6e280eb8369840989e91c7c4a2a062e6 Loki event, method, path, status, duration = stdout expected yes got yes Tempo server span expected POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER got POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER server span status code expected 201 got 201 -server span request id = X-Request-Id expected fa505042431b47c0b898571fb326d873 got fa505042431b47c0b898571fb326d873 +server span request id = X-Request-Id expected c126a16170d94f35b43139e1289b2d81 got c126a16170d94f35b43139e1289b2d81 resource service.name expected messenger-api got messenger-api -resource service.instance.id expected a4a1f203ef70 got a4a1f203ef70 +resource service.instance.id expected 4b9782f7240b got 4b9782f7240b resource service.version = contract expected 1.6.0 got 1.6.0 resource deployment.environment.name expected lab got lab PostgreSQL query spans under it expected yes got yes @@ -96,14 +109,14 @@ traceparent request has its own trace expected yes spans of the foreign trace-id in Tempo expected 0 got 0 its server span has no parent expected yes got yes Loki worker record of the attachment expected 1 got 1 -job trace = upload trace (trace_id of Uploaded attachment) expected 95d2de2fc407f300bb758dd9586bf8d8 got 95d2de2fc407f300bb758dd9586bf8d8 +job trace = upload trace (trace_id of Uploaded attachment) expected 878badb606a661c26d22b71170770d21 got 878badb606a661c26d22b71170770d21 worker stdout records carry the job trace_id expected yes got yes Tempo consumer span in the upload trace expected SPAN_KIND_CONSUMER ready got SPAN_KIND_CONSUMER ready worker resource service.name expected messenger-worker got messenger-worker -worker service.instance.id = instance_id of its stdout expected b221c6088b4b got b221c6088b4b +worker service.instance.id = instance_id of its stdout expected dd039bfb3324 got dd039bfb3324 consumer span parent: relay producer span expected SPAN_KIND_PRODUCER got SPAN_KIND_PRODUCER producer resource service.name expected messenger-relay got messenger-relay -producer service.instance.id = instance_id of relay stdout expected f1a1d8fef0bc got f1a1d8fef0bc +producer service.instance.id = instance_id of relay stdout expected b90816dcb1cd got b90816dcb1cd relay pass record with publication in stdout expected yes got yes same relay pass records in Loki (event, published) expected yes got yes relay pass records without trace_id in stdout and Loki expected yes got yes @@ -155,7 +168,7 @@ _OTHER series without http_route expected yes forbidden label names expected [] got [] label values that are UUIDs expected 0 got 0 label values with BREW, PROPFIND or the odd UUID expected 0 got 0 -dashboard panel queries (26) without error expected 0 got 0 +dashboard panel queries (57) without error expected 0 got 0 panel queries with data after traffic expected [] got [] U in telemetry expected [] got [] P in telemetry expected [] got [] @@ -169,7 +182,7 @@ foreign trace-id in telemetry expected [] pipeline back after restart expected yes got yes same Loki record after restart expected yes got yes same trace after restart expected yes got yes -same metric value at the saved time expected 18 got 18 +same metric value at the saved time expected 10 got 10 PASS: own request and job are found in Loki, Tempo and Prometheus through Grafana, no secrets in telemetry ``` @@ -178,5 +191,6 @@ PASS: own request and job are found in Loki, Tempo and Prometheus through Grafan prometheus loki tempo` (параметр `time` запроса). «Span-to-logs query» — запрос `tracesToLogsV2` источника Tempo из `infra/otel/grafana/datasources.yaml`, в который подставлены `service.name` ресурса и trace-id своей трассы: он возвращает записи только этой трассы — тот же переход, что -открывает ссылка из span в Grafana. «Panel queries with data after traffic: []» — список панелей -без данных пуст (26 запросов dashboard, в том числе уровня 4). +открывает ссылка из span в Grafana. «Dashboard panel queries (57) without error: 0» — число +запросов панелей к Prometheus с ошибкой; «panel queries with data after traffic: []» — список +запросов без данных пуст (57 запросов dashboard: уровни 3 и 4 и новые строки change `slo-alerts`). diff --git a/evidence/telemetry/collector-outage.md b/evidence/telemetry/collector-outage.md index 57fce0c..fa8821d 100644 --- a/evidence/telemetry/collector-outage.md +++ b/evidence/telemetry/collector-outage.md @@ -1,17 +1,21 @@ -# `driver.py --port 8080 telemetry-outage` (change `otel-telemetry`, задача 11.2; change `job-trace-propagation`, задачи 12.2 и 13.11) +# `driver.py --port 8080 telemetry-outage` (change `otel-telemetry`, задача 11.2; change `job-trace-propagation`, задачи 12.2 и 13.11; change `slo-alerts`, задача 11.4) -- Основа: commit `72e2598` (fix: address job-trace-propagation verify findings), рабочее дерево - чистое (`git status --short` до прогона пуст; после — только файлы `evidence/`). Файлы `src/` и - `migrations/` (151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с - деревом commit (SHA-256 каждого файла). Прежние прогоны этого файла — на `68f1e97` (до change - `job-trace-propagation`, без relay) и на `72cfa9a` (до правок verify: сигналы relay после - возврата Collector приходили от перезапущенного контейнера). -- Дата: 2026-11-11, 17:53:55Z – 17:56:10Z (~2,3 мин); рабочий стенд `mtusi-lab6`, команда из корня: +- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting), + рабочее дерево чистое (вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в + контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256 + каждого файла). Прежние прогоны этого файла — на `68f1e97` (до change `job-trace-propagation`, без + relay), на `72cfa9a` (до правок verify: сигналы relay после возврата Collector приходили от + перезапущенного контейнера) и на `72e2598` (до change `slo-alerts`: SDK без внутренних метрик, + процессоры и экспортёры строились до `MeterProvider`). +- Дата: 2026-11-13, 23:24:53Z – 23:27:11Z (~2,3 мин), сразу после `telemetry-check`; рабочий стенд + `mtusi-lab6`, команда из корня: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-outage`, код выхода 0. - Сценарии: `observability` «Collector остановлен», «Collector заморожен», «Collector недоступен для relay»; `service-logging` «Отказ отправки журнала»; `container-run` «Приложение без телеметрии»; `graceful-shutdown` «docker stop при остановленном Collector», «docker stop при замороженном - Collector» (реплика API, worker и с change `job-trace-propagation` relay). + Collector» (реплика API, worker и с change `job-trace-propagation` relay). С change `slo-alerts` + этот прогон показывает, что внутренние метрики SDK (`otel.sdk.*`, те же процессоры и экспортёры с + `meter_provider`) не меняют работу и остановку без Collector: ни сроков, ни числа записей SDK. - Ход (с verify W2, design change `job-trace-propagation`, «Уточнения apply», п. 18): на фазу — `StartedAt` и `RestartCount` всех контейнеров `api` (2), `worker` и `relay`; `docker compose stop` (или `pause`) `otel-collector`; `make test` через LB; `/health/ready`; свой `GET /users/me` и его @@ -28,14 +32,15 @@ сервисов телеметрии остановлены, `docker compose restart api worker relay`, `make test`, затем возврат телеметрии и сигналы снова. В `finally` — `unpause` и `start` телеметрии, `make replicas`, worker и relay. -- Время остановки при недоступном Collector: реплика API — 1,64 с (stop) и 1,66 с (pause), worker — - 0,72 и 0,71 с, relay — 0,63 и 0,64 с; срок закрытия SDK — 1 с у API и окно 0,5 с у worker и relay - (`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS`, design change `otel-telemetry`, решение 13; design change - `job-trace-propagation`, решение 15). +- Время остановки при недоступном Collector: реплика API — 1,91 с (stop) и 1,62 с (pause), worker — + 0,77 и 0,89 с, relay — 0,63 и 0,66 с (на `72e2598` — 1,64 / 1,66, 0,72 / 0,71, 0,63 / 0,64 с); срок + закрытия SDK — 1 с у API и окно 0,5 с у worker и relay (`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS`, + design change `otel-telemetry`, решение 13; design change `job-trace-propagation`, решение 15). - Записи SDK об отказе — по одной на модуль экспортёра (трассы, метрики, логи) на контейнер `api` и `worker` за окно: фильтр пропускает не больше одной в минуту на логгер. В фазе `pause` к моменту подсчёта отказать успели не все экспортёры (запрос к замороженному Collector ждёт срока), и - записей меньше — у второй реплики ни одной. Записи SDK relay в этом подсчёте не участвуют. + записей меньше — у реплики `224ebf0e32ba` и worker нет записи экспортёра журнала. Записи SDK relay + в этом подсчёте не участвуют. ``` [collector stop] docker compose stop otel-collector @@ -43,7 +48,7 @@ [collector stop] /health/ready: 200 [collector stop] upload becomes ready: yes [collector stop] own request record in stdout: yes -[collector stop] SDK records in 20 s: {'820012004c61 opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '820012004c61 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '820012004c61 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '6c86638cdbce opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '6c86638cdbce opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '6c86638cdbce opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http._log_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http.metric_exporter': 1} +[collector stop] SDK records in 21 s: {'224ebf0e32ba opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '224ebf0e32ba opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '224ebf0e32ba opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http._log_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1} [collector stop] SDK records per logger at most 1: yes [collector stop] otel-collector back [collector stop] API record reaches Loki again: yes @@ -57,11 +62,11 @@ [collector stop] api, worker and relay start time and restarts unchanged: yes [collector stop] docker compose stop otel-collector (stops) [collector stop] make test before stops: 0 PASS -[collector stop] docker stop api 820012004c61: 1.64 s +[collector stop] docker stop api 224ebf0e32ba: 1.91 s [collector stop] docker stop api faster than 10 s: yes [collector stop] api exit code: 0 [collector stop] Stopped API in stdout: yes -[collector stop] docker compose stop worker: 0.72 s +[collector stop] docker compose stop worker: 0.77 s [collector stop] stop worker faster than 10 s: yes [collector stop] worker exit code: 0 [collector stop] Stopped worker in stdout: yes @@ -77,7 +82,7 @@ [collector pause] /health/ready: 200 [collector pause] upload becomes ready: yes [collector pause] own request record in stdout: yes -[collector pause] SDK records in 20 s: {'820012004c61 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '820012004c61 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http.metric_exporter': 1} +[collector pause] SDK records in 20 s: {'224ebf0e32ba opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '224ebf0e32ba opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1} [collector pause] SDK records per logger at most 1: yes [collector pause] otel-collector back [collector pause] API record reaches Loki again: yes @@ -91,15 +96,15 @@ [collector pause] api, worker and relay start time and restarts unchanged: yes [collector pause] docker compose pause otel-collector (stops) [collector pause] make test before stops: 0 PASS -[collector pause] docker stop api 820012004c61: 1.66 s +[collector pause] docker stop api 224ebf0e32ba: 1.62 s [collector pause] docker stop api faster than 10 s: yes [collector pause] api exit code: 0 [collector pause] Stopped API in stdout: yes -[collector pause] docker compose stop worker: 0.71 s +[collector pause] docker compose stop worker: 0.89 s [collector pause] stop worker faster than 10 s: yes [collector pause] worker exit code: 0 [collector pause] Stopped worker in stdout: yes -[collector pause] docker stop relay: 0.64 s +[collector pause] docker stop relay: 0.66 s [collector pause] stop relay faster than 10 s: yes [collector pause] relay exit code: 0 [collector pause] Stopped relay in stdout: yes diff --git a/evidence/telemetry/trace-chain.md b/evidence/telemetry/trace-chain.md index 2b06dd0..812af8c 100644 --- a/evidence/telemetry/trace-chain.md +++ b/evidence/telemetry/trace-chain.md @@ -1,12 +1,12 @@ -# `driver.py --port 8080 trace-chain` (change `job-trace-propagation`, задачи 12.1 и 13.11) +# `driver.py --port 8080 trace-chain` (change `job-trace-propagation`, задачи 12.1 и 13.11; change `slo-alerts`, задача 11.4) -- Основа: commit `72e2598` (fix: address job-trace-propagation verify findings), рабочее дерево - чистое (`git status --short` пуст до прогона; после — только файлы `evidence/`). Файлы `src/` и - `migrations/` (151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с - деревом commit (SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`; Grafana запущена - (17:55:46Z, рестарт в `telemetry-outage`) после последней правки dashboard JSON. Прежний прогон - этого файла — на `72cfa9a`, до правок verify. -- Дата: 2026-11-11, 17:56:20Z – 17:59:11Z (~3 мин), сразу после `telemetry-outage`; рабочий стенд +- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting), + рабочее дерево чистое (вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в + контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256 + каждого файла); ревизия схемы `e4b8c2d17f90`; Grafana запущена после последней правки dashboard + JSON (рестарт в `telemetry-outage`, 23:26Z). Прежние прогоны этого файла — на `72cfa9a` и на + `72e2598` (до change `slo-alerts`: dashboard без новых строк, SDK без внутренних метрик). +- Дата: 2026-11-13, 23:27:25Z – 23:30:16Z (~2,9 мин), сразу после `telemetry-outage`; рабочий стенд `mtusi-lab6` (две реплики API, relay, worker, уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 trace-chain`, код выхода 0. @@ -20,15 +20,21 @@ сокета Docker», «Панели уровня 4 после трафика», «Время до готовности в метрике» (шаг 5), «Проверка цепочки» (команда целиком); `service-logging` — «Записи задания ведут к трассе» (записи worker по F несут `trace_id` T записи «Uploaded attachment» запроса R). -- С правками verify (design, «Уточнения apply», п. 19, 22, 23): предусловие — глубина очереди 0 - с ожиданием до 120 с (здесь дождалась сразу; не дождалась бы — код 2 «stand is not quiet»); CPU - каждого контейнера `api`, `worker`, `relay` вырос за прогон (`increase(container_cpu_time_seconds_total[161s])` - > 0 — сценарий «Пределы как в compose», «CPU растёт под нагрузкой»); панель пула с двумя - единицами (ожидающие и отказы в секунду) — среди 19 запросов панелей уровня 4 без ошибок и с - данными. +- С change `slo-alerts`: «Новые панели после трафика» — обход панелей с id от 14 теперь включает и + строки «SLO and alerts», «Load balancer», «Telemetry pipeline» (id от 25): 50 запросов к Prometheus + (было 19) без ошибок и с данными (`level 4 panel queries (50)`), макрос `$__range` подменён на + `1h` (design change `slo-alerts`, «Уточнения apply», п. 5). Цепочка, пулы, пределы и время до + `ready` — как на `72e2598`: внутренние метрики SDK и новый порядок сборки провайдеров трассы не + меняют. +- С правками verify change `job-trace-propagation` («Уточнения apply», п. 19, 22, 23): предусловие — + глубина очереди 0 с ожиданием до 120 с (здесь дождалась сразу, сразу после `telemetry-outage`; не + дождалась бы — код 2 «stand is not quiet»); CPU каждого контейнера `api`, `worker`, `relay` вырос + за прогон (`increase(container_cpu_time_seconds_total[156s])` > 0). - Шаги 2 и 3: Tempo 3.1 собрал span producer и consumer разных попыток (повтор после `pause s3`, - replay) в одной трассе загрузки (п. 7). Время до `ready`: worker перезапускался дважды, проверка - складывает «тихие» значения двух процессов (п. 8). + replay) в одной трассе загрузки. Время до `ready`: worker перезапускался дважды; с change + `slo-alerts` счёт по-прежнему складывает «тихие» значения двух процессов: перезапуск через ~30 с + быстрее срока рядов экспортёра (1 мин), это ограничение design change `slo-alerts`, решение 6 + (полный перезапуск дольше 2 мин проверяет `alerts-check`, шаг 1). - Расхождений с design нет. Ход прогона: @@ -61,7 +67,7 @@ root: server span of the upload: POST /api/v1/chats/{chat_id}/attachments messen producer spans: 2 consumer spans: 2 producers: messenger-relay, children of the root: yes -producer service.instance.id = relay instance_id: 0ac09c58168f +producer service.instance.id = relay instance_id: b90816dcb1cd producer attempts: [1, 2] retry reason of the second producer: storage_unavailable consumers: messenger-worker, parent and link = own producer: yes @@ -90,28 +96,28 @@ pool max: API replicas, worker, relay: ['10', '10'] ['2'] ['1'] pools with used above max: 0 worker capacity: 2 queue series only from relay: ['messenger-relay'] -api 820012004c61 limits = docker inspect: 1 536870912 -api 820012004c61 memory below the limit: yes -api 820012004c61 CPU grows during the run (increase over 161 s > 0): yes -api 6c86638cdbce limits = docker inspect: 1 536870912 -api 6c86638cdbce memory below the limit: yes -api 6c86638cdbce CPU grows during the run (increase over 161 s > 0): yes -worker d04ac10e81df limits = docker inspect: 1 1073741824 -worker d04ac10e81df memory below the limit: yes -worker d04ac10e81df CPU grows during the run (increase over 161 s > 0): yes -relay 0ac09c58168f limits = docker inspect: 0.25 268435456 -relay 0ac09c58168f memory below the limit: yes -relay 0ac09c58168f CPU grows during the run (increase over 161 s > 0): yes +api 224ebf0e32ba limits = docker inspect: 1 536870912 +api 224ebf0e32ba memory below the limit: yes +api 224ebf0e32ba CPU grows during the run (increase over 156 s > 0): yes +api 4b9782f7240b limits = docker inspect: 1 536870912 +api 4b9782f7240b memory below the limit: yes +api 4b9782f7240b CPU grows during the run (increase over 156 s > 0): yes +worker dd039bfb3324 limits = docker inspect: 1 1073741824 +worker dd039bfb3324 memory below the limit: yes +worker dd039bfb3324 CPU grows during the run (increase over 156 s > 0): yes +relay b90816dcb1cd limits = docker inspect: 0.25 268435456 +relay b90816dcb1cd memory below the limit: yes +relay b90816dcb1cd CPU grows during the run (increase over 156 s > 0): yes Docker socket mounted by any service: no dashboard loaded: 200 -level 4 panel queries (19) without error: [] +level 4 panel queries (50) without error: [] level 4 panel queries with data: [] waiting for the time-to-ready histogram to settle time to ready count grew by the uploads without replay: 5 time to ready sum grew by at least 3 x 32 s (worker stopped): yes ``` -Итог («with data: []» — список панелей без данных пуст): +Итог: ```text queue depth before reaches 0 within 120 s (no unfinished jobs) expected yes got yes @@ -133,7 +139,7 @@ root: server span of the upload expected producer spans expected 2 got 2 consumer spans expected 2 got 2 producers: messenger-relay, children of the root expected yes got yes -producer service.instance.id = relay instance_id expected 0ac09c58168f got 0ac09c58168f +producer service.instance.id = relay instance_id expected b90816dcb1cd got b90816dcb1cd producer attempts expected [1, 2] got [1, 2] retry reason of the second producer expected storage_unavailable got storage_unavailable consumers: messenger-worker, parent and link = own producer expected yes got yes @@ -160,21 +166,21 @@ pool max: API replicas, worker, relay expected pools with used above max expected 0 got 0 worker capacity expected 2 got 2 queue series only from relay expected ['messenger-relay'] got ['messenger-relay'] -api 820012004c61 limits = docker inspect expected 1 536870912 got 1 536870912 -api 820012004c61 memory below the limit expected yes got yes -api 820012004c61 CPU grows during the run (increase over 161 s > 0) expected yes got yes -api 6c86638cdbce limits = docker inspect expected 1 536870912 got 1 536870912 -api 6c86638cdbce memory below the limit expected yes got yes -api 6c86638cdbce CPU grows during the run (increase over 161 s > 0) expected yes got yes -worker d04ac10e81df limits = docker inspect expected 1 1073741824 got 1 1073741824 -worker d04ac10e81df memory below the limit expected yes got yes -worker d04ac10e81df CPU grows during the run (increase over 161 s > 0) expected yes got yes -relay 0ac09c58168f limits = docker inspect expected 0.25 268435456 got 0.25 268435456 -relay 0ac09c58168f memory below the limit expected yes got yes -relay 0ac09c58168f CPU grows during the run (increase over 161 s > 0) expected yes got yes +api 224ebf0e32ba limits = docker inspect expected 1 536870912 got 1 536870912 +api 224ebf0e32ba memory below the limit expected yes got yes +api 224ebf0e32ba CPU grows during the run (increase over 156 s > 0) expected yes got yes +api 4b9782f7240b limits = docker inspect expected 1 536870912 got 1 536870912 +api 4b9782f7240b memory below the limit expected yes got yes +api 4b9782f7240b CPU grows during the run (increase over 156 s > 0) expected yes got yes +worker dd039bfb3324 limits = docker inspect expected 1 1073741824 got 1 1073741824 +worker dd039bfb3324 memory below the limit expected yes got yes +worker dd039bfb3324 CPU grows during the run (increase over 156 s > 0) expected yes got yes +relay b90816dcb1cd limits = docker inspect expected 0.25 268435456 got 0.25 268435456 +relay b90816dcb1cd memory below the limit expected yes got yes +relay b90816dcb1cd CPU grows during the run (increase over 156 s > 0) expected yes got yes Docker socket mounted by any service expected no got no dashboard loaded expected 200 got 200 -level 4 panel queries (19) without error expected [] got [] +level 4 panel queries (50) without error expected [] got [] level 4 panel queries with data expected [] got [] time to ready count grew by the uploads without replay expected 5 got 5 time to ready sum grew by at least 3 x 32 s (worker stopped) expected yes got yes diff --git a/openspec/changes/slo-alerts/design.md b/openspec/changes/slo-alerts/design.md index 17bda28..8351f25 100644 --- a/openspec/changes/slo-alerts/design.md +++ b/openspec/changes/slo-alerts/design.md @@ -575,3 +575,11 @@ COMMIT=<прежний> MIGRATE=0`; схема не меняется, нули в окне меньше 1 и отказов по сроку нет; наибольшее `pending` печатается как наблюдение. 15. **ВМ.** Во время первого пробного прогона `alerts-check` пользователь перезапустил ВМ Docker Desktop с памятью 12 ГБ (MemTotal 11 902 МиБ): прогон прерван ошибкой соединения с Grafana и повторён; строки бюджета — по новой ВМ. +16. **Evidence (раздел 11 tasks).** Снято на commit `15ea156` без правок кода, драйвера и конфигураций: стенд поднят + `make run_docker` (контейнеры не пересоздавались, файлы `src/` и `migrations/` всех процессов побайтно равны дереву + commit), затем подряд `alerts-check`, `backend-outage`, `telemetry-check`, `telemetry-outage`, `trace-chain` — все + с кодом 0 с первой попытки. `evidence/alerts/rules-test.md` снят 2026-11-11 на том же commit; повторный `make + alerts_test` 2026-11-13 дал тот же вывод, файл не переснимался. Пик cgroup Collector именно в долгом отказе хранилища + не снят: шаг `[collector]` той же команды перезапускает контейнер (новая cgroup), поэтому в бюджете пик Collector — + `docker stats` и `otelcol_process_runtime_*` окна долгого отказа (до 93 и 84 МиБ) и `memory.peak` за `alerts-check` + (76 МиБ), а пробные числа п. 13 названы рядом; правило «лимит ≥ 1,5 × пика» выполнено по всем. diff --git a/openspec/changes/slo-alerts/tasks.md b/openspec/changes/slo-alerts/tasks.md index 50a66cc..aada2fc 100644 --- a/openspec/changes/slo-alerts/tasks.md +++ b/openspec/changes/slo-alerts/tasks.md @@ -145,19 +145,19 @@ ## 11. Evidence (после коммита кода основной сессией) -- [ ] 11.1 `make alerts_test` → `evidence/alerts/rules-test.md` с commit в шапке. Проверка: сценарий «Тесты правил». -- [ ] 11.2 `driver.py --port 8080 alerts-check` → код 0, `evidence/alerts/check.md`. Проверка: сценарии «Остановленный +- [x] 11.1 `make alerts_test` → `evidence/alerts/rules-test.md` с commit в шапке. Проверка: сценарий «Тесты правил». +- [x] 11.2 `driver.py --port 8080 alerts-check` → код 0, `evidence/alerts/check.md`. Проверка: сценарии «Остановленный worker», «Остановленный relay», «Медленная БД», «Медленный handler не путается с БД», «Недоступная БД», «SLO считается», «Отказ БД виден в SLI доступности», «Тяжёлая ручка вне SLI задержки», «Правила загружены», «Перезапуск worker», «Остановленный relay уходит из рядов», «Ответы самого балансировщика», «История оповещения на панели». -- [ ] 11.3 `driver.py --port 8080 backend-outage` → код 0, `evidence/telemetry/backend-outage.md`. Проверка: сценарии +- [x] 11.3 `driver.py --port 8080 backend-outage` → код 0, `evidence/telemetry/backend-outage.md`. Проверка: сценарии «Короткий отказ хранилища», «Долгий отказ хранилища», «Отказ Prometheus», «Отказ Collector под нагрузкой», «Потери SDK при недоступном Collector», «Потери Collector при недоступном хранилище», «Без потерь». -- [ ] 11.4 Пересъёмка на том же commit: `telemetry-check` → `evidence/telemetry/check.md`, `trace-chain` → +- [x] 11.4 Пересъёмка на том же commit: `telemetry-check` → `evidence/telemetry/check.md`, `trace-chain` → `evidence/telemetry/trace-chain.md`, `telemetry-outage` → `evidence/telemetry/collector-outage.md` (dashboard и SDK изменились); раздел change в `evidence/telemetry/budget.md` (9.8). Проверка: коды 0; сценарии «Новые панели после трафика», «Метрики балансировщика без доступа к сети хранилищ», `load-balancing` «Метрики балансировщика»; лимиты ≥ 1,5 × пика, суммы совпадают. -- [ ] 11.5 Числа и наблюдения инцидентов в `REPORT.md` из 11.2–11.4, ссылки `REPORT.md` и `AGENTS.md` на файлы evidence и их +- [x] 11.5 Числа и наблюдения инцидентов в `REPORT.md` из 11.2–11.4, ссылки `REPORT.md` и `AGENTS.md` на файлы evidence и их commit; `graphify update .`. Проверка: файлы, названные в `REPORT.md`, существуют; у каждого инцидента — шаги со ссылкой на строки evidence.