docs: capture slo-alerts evidence on 15ea156
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -37,7 +37,8 @@ relay и consumer span worker (parent и link) — одна трасса на з
|
||||
`evidence/telemetry/check.md`, `queue-snapshot.md`, раздел change в
|
||||
`budget.md`, `evidence/migrations/job-trace-context.md`; правки verify —
|
||||
commit `72e2598`, на нём пересняты `evidence/telemetry/trace-chain.md` и
|
||||
`collector-outage.md`. Третье изменение лабы, вторая часть уровня 4 —
|
||||
`collector-outage.md` (`check.md`, `trace-chain.md` и `collector-outage.md` ещё раз
|
||||
пересняты на `15ea156`, change `slo-alerts`). Третье изменение лабы, вторая часть уровня 4 —
|
||||
change `slo-alerts` (активный, apply 2026-11-11,
|
||||
`openspec/changes/slo-alerts/`, изменяет `observability` и `load-balancing`):
|
||||
SLI и SLO (доступность на LB 99,5 %, задержка «лёгких» ручек ≤ 0,25 с 99 %,
|
||||
@@ -50,7 +51,10 @@ SLI и SLO (доступность на LB 99,5 %, задержка «лёгки
|
||||
(`created-timestamp-zero-ingestion`); внутренние метрики SDK и учёт потерь
|
||||
(`telemetry:lost_items:total`); панели SLO, LB и конвейера; команды драйвера
|
||||
`alerts-check` и `backend-outage`. ВМ Docker Desktop с 2026-11-11 — 12 CPU /
|
||||
11 902 МиБ. Evidence — после коммита кода.
|
||||
11 902 МиБ. Код — commit `15ea156`, evidence снято на нём (2026-11-13):
|
||||
`evidence/alerts/rules-test.md`, `evidence/alerts/check.md`,
|
||||
`evidence/telemetry/backend-outage.md`, пересняты `evidence/telemetry/check.md`,
|
||||
`trace-chain.md`, `collector-outage.md`, раздел change в `budget.md`.
|
||||
Код перенесён из лабы 5 (репозиторий
|
||||
`mtusi2026lab5-safronov`, ветка `solution/bvt2301-safronov`, commit
|
||||
`046ec9e`) по разделу «Переход в следующую лабу»; отчёт и evidence лабы 5
|
||||
@@ -736,10 +740,10 @@ evidence/attachments/ # change async-attachments: defense.md (driver.py d
|
||||
evidence/s3/ # privacy.md — make s3_check на текущем коде; change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам); change track2-reconciler: cleaner-list.md (bootstrap с политикой списка по префиксу, неверный префикс, make s3_check со строками списка уборщика, окружение s3-bootstrap)
|
||||
evidence/reconcile/ # change track2-reconciler: cycle.md (driver.py reconcile-cycle), stress.md (driver.py reconcile-stress), service.md (Started cleaner с параметрами сверки, плановая сверка при старте, docker stop во время сверки при pause s3, код 1 разового прохода по сигналу — driver.py reconcile-signal, отказ старта на RECONCILER__*, коды 3 и 0; с change track2-reconcile-cost — остановка во время паузы предела скорости, driver.py reconcile-signal --pace)
|
||||
evidence/reconcile/<метка>/ # результаты make bench_reconcile (change track2-reconcile-cost): meta.json (раздел reconcile: план, этапы и модели, commit и образы «до», аргументы S3), passes.csv, windows.csv, summary.md (H1–H4 и S4), cost-by-n.svg, requests-by-n.svg, background-p95.svg, raw/ (записи уборщика по проходам, итог k6 блока H4)
|
||||
evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 72cfa9a change job-trace-propagation переснято: check.md (driver.py telemetry-check); на 72e2598 (правки verify) — collector-outage.md (driver.py telemetry-outage, с relay, сигналы без перезапуска) и новое trace-chain.md (driver.py trace-chain); новое на 72cfa9a: queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта)
|
||||
evidence/telemetry/ # change otel-telemetry: budget.md (пики и лимиты сервисов телеметрии, реплик и worker с телеметрией и без); на commit 15ea156 change slo-alerts переснято: check.md (driver.py telemetry-check, с метриками LB и новыми панелями), collector-outage.md (driver.py telemetry-outage), trace-chain.md (driver.py trace-chain); новое на 15ea156: backend-outage.md (driver.py backend-outage), раздел change slo-alerts в budget.md; на 72cfa9a (change job-trace-propagation): queue-snapshot.md (EXPLAIN снимка очереди), раздел change в budget.md (relay с SDK, уборщик после ленивого импорта)
|
||||
evidence/migrations/ # change job-trace-propagation: job-trace-context.md — ревизия e4b8c2d17f90 (временная база: с нуля, повтор, откат, CHECK, lock_timeout; --sql; рабочий стенд: откат реплик на ff0073e с MIGRATE=0, ревизия до и после make rolling_update)
|
||||
evidence/stand/ # change otel-telemetry: from-scratch.md (driver.py stand-from-scratch --runs 2)
|
||||
evidence/alerts/ # change slo-alerts (после коммита кода): rules-test.md (make alerts_test), check.md (driver.py alerts-check); там же — evidence/telemetry/backend-outage.md (driver.py backend-outage) и раздел change в budget.md
|
||||
evidence/alerts/ # change slo-alerts (commit 15ea156): rules-test.md (make alerts_test), check.md (driver.py alerts-check); там же — evidence/telemetry/backend-outage.md (driver.py backend-outage) и раздел change в budget.md
|
||||
evidence/storage/ # отказы БД, пул, statement_timeout, рестарт, порты Postgres, свежий clone; connection-cost.md — цена нового соединения и пинга; freeze-sessions.md — change unit-of-work: сессии и журнал пула после заморозки PostgreSQL (driver.py freeze-sessions и freeze-lb)
|
||||
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после)
|
||||
evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия)
|
||||
|
||||
@@ -359,6 +359,9 @@ Change `openspec/changes/slo-alerts/` (propose 2026-11-11). Номера — р
|
||||
|
||||
Вопрос verify: устраивает ли такая трактовка двух сценариев спека («SLO считается» — те же окна; «Медленный handler» —
|
||||
место в пуле, а не мгновенный `pending`)? Иначе — правка спека или новый счётчик «ждут места» отдельно от открытия.
|
||||
- Evidence раздела 11 — на commit `15ea156` без правок кода; `rules-test.md` от 2026-11-11 оставлен (повторный прогон —
|
||||
тот же вывод); пик Collector в долгом отказе хранилища — по `docker stats` и метрикам Collector, а не по
|
||||
`memory.peak`: шаг отказа Collector в той же команде начинает новую cgroup (design, «Уточнения apply», п. 16).
|
||||
|
||||
### Вопросы
|
||||
|
||||
|
||||
@@ -21,8 +21,10 @@ Change `otel-telemetry` (design — `openspec/changes/archive/2026-11-11-otel-te
|
||||
`72cfa9a` (код change `job-trace-propagation`: relay с SDK, шаги задания по consumer span), там
|
||||
же план снимка очереди, проба ревизии `e4b8c2d17f90` и раздел change бюджета; `trace-chain` и
|
||||
`telemetry-outage` — ещё раз на `72e2598` (правки verify: сигналы relay без перезапуска, тихая
|
||||
очередь в предусловии, рост CPU каждого процесса);
|
||||
бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов
|
||||
очередь в предусловии, рост CPU каждого процесса); `telemetry-check`, `trace-chain` и
|
||||
`telemetry-outage` — в третий раз на `15ea156` (код change `slo-alerts`: новые панели, метрики LB,
|
||||
внутренние метрики SDK), там же `alerts-check`, `backend-outage`, `make alerts_test` и раздел
|
||||
change `slo-alerts` бюджета; бюджет сервисов телеметрии — на `4178b3d` (лимиты Tempo и Grafana по замеру), шапки файлов
|
||||
`evidence/telemetry/` и `evidence/migrations/`. `evidence/stand/from-
|
||||
scratch.md` ещё снят на рабочем дереве поверх `9b35c25`: пересъёмка ждёт разрешения пользователя
|
||||
(`QUESTIONS.md`, `## otel-telemetry`, вопрос 8).
|
||||
@@ -327,7 +329,20 @@ runbooks — `infra/otel/runbooks/`.
|
||||
ряды правил с исходными счётчиками в тех же окнах и печатает рядом `increase` за час одним
|
||||
окном; SLI за 7 суток включают учения и проверки; при недоступном Prometheus правила не
|
||||
вычисляются, приращение счётчиков после возврата прежнее (`evidence/telemetry/backend-outage.md`).
|
||||
- Значения на момент отчёта — `evidence/alerts/check.md` (раздел SLI).
|
||||
- Значения на момент отчёта (`evidence/alerts/check.md`, раздел `[SLI and panels]`, 2026-11-13
|
||||
23:06Z, commit `15ea156`):
|
||||
|
||||
| SLI | 7 суток | час: по правилам / по исходным счётчикам в тех же окнах | окно учений (~20 мин) | SLO | остаток бюджета за 7 суток |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| доступность | 0,93201 | 1,00000 / 1,00000 (14 685 событий) | 0,89966 | 99,5 % | −12,6 (исчерпан) |
|
||||
| задержка | 0,98539 | 0,98209 / 0,98209 (14 225) | 0,97905 | 99 % | −0,46 |
|
||||
| время до `ready` | 0,93039 | 0,91358 / 0,91358 (37) | 0,86957 | 99 % | −5,96 |
|
||||
|
||||
SLO за 7 суток не соблюдены: в окно входят только учения и проверки рабочего стенда (остановки
|
||||
PostgreSQL, worker, relay, блокировка таблицы сообщений, долгие отказы хранилищ, `make
|
||||
test-failover`) — бюджет съели они, это и показывает строка «окно учений». За час пути совпадают
|
||||
(0 п. п. при допуске 1); за час 3 окна правил из 12 — Prometheus перезапущен в 22:45Z, а отказ БД
|
||||
в конце учений в записанные окна ещё не попал (точки `messenger-slo` отстают на 5–10 мин).
|
||||
|
||||
**Оповещения (SA-3, SA-4).** Правила Prometheus, без Alertmanager и без доставки наружу.
|
||||
Состояние firing / resolved — `/api/v1/rules`, `/api/v1/alerts`, ряды `ALERTS` (история за срок
|
||||
@@ -376,15 +391,30 @@ true`), панель «Alert states». Правила Grafana отвергнут
|
||||
начала. Внутренние метрики SDK (`otel.sdk.*`) включает код: процессоры и экспортёры OTLP span и
|
||||
журнала строятся после `MeterProvider` с ним и с переменной SDK только на время сборки; внешняя
|
||||
`OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED` удаляется, как любая `OTEL_*`; гистограммы SDK не
|
||||
отдаются. Результаты отказа каждого хранилища и Collector (память, потери, оповещения) —
|
||||
`evidence/telemetry/backend-outage.md`.
|
||||
отдаются. Результаты отказа каждого хранилища и Collector под нагрузкой драйвера (~25 запросов/с;
|
||||
`evidence/telemetry/backend-outage.md`, commit `15ea156`):
|
||||
|
||||
| Отказ | Ответы клиенту | Память | Потери (учтены) | Оповещения |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| Loki 10 с | свой запрос найден в Loki после возврата | — | 0 | — |
|
||||
| Loki 120 с | `make test` PASS, 2928 × 2xx, 5xx 0 | Collector `docker stats` ≤ 77 МиБ из 256; очередь Loki ≤ 0,135 ёмкости | 443 записи (`otlp_http/loki`) | `TelemetryTargetDown{job="loki"}` firing через 105 с, `TelemetryDataLoss` firing; сняты через 40 и 145 с |
|
||||
| Tempo 10 с | своя трасса найдена после возврата | — | 0 | — |
|
||||
| Tempo 120 с | `make test` PASS, 2934 × 2xx, 5xx 0 | Collector ≤ 93 МиБ (runtime sys ≤ 84); очередь Tempo ≤ 0,656 ёмкости | 1342 span (`otlp_http/tempo`) | `TelemetryTargetDown{job="tempo"}` через 90 с, `TelemetryDataLoss`; сняты через 30 и 150 с |
|
||||
| Prometheus 60 с | 1467 × 2xx, 5xx 0 | — | счёт запросов API после возврата +2565 ≥ 1833 запросов нагрузки | правила не вычислялись (ограничение) |
|
||||
| Collector 120 с | `make test` PASS | реплики: максимум последней трети окна 156 и 154 МиБ против 142 и 145 первой (лимит 512) | SDK реплик: 11 683 и 11 810; записей API окна в Loki 0 из 5275 в stdout | `TelemetryTargetDown{job="otel-collector"}` через 95 с, снято через 20 с; `MessengerQueueMetricsMissing` не сработало |
|
||||
|
||||
Короткий отказ короче срока повторов (30 с) потерь не дал; долгий потерял конец окна (начало
|
||||
отказа сохранила очередь), отказов приёма Collector (`memory_limiter`) не было. Без Collector
|
||||
память реплик ограничена очередями SDK (2048), счёт потерь SDK копился в процессе и пришёл в
|
||||
Prometheus после возврата Collector.
|
||||
|
||||
**Счётчики после перезапуска процесса (SA-6).** Prometheus принимает время начала cumulative-рядов
|
||||
экспортёра Collector (`PrometheusProto` первым у цели `otel-collector-exporter`, флаг
|
||||
`created-timestamp-zero-ingestion`; у остальных целей — прежний текстовый список) и пишет ноль в
|
||||
момент начала ряда нового процесса; экспортёр убирает ряд, не обновлявшийся минуту. Проверка —
|
||||
`alerts-check`, шаг 1: worker остановлен дольше 2 мин, 3 загрузки, запуск — первая точка ряда
|
||||
нового процесса — ноль, приращение по точкам ровно 3. Остаётся: перезапуск того же контейнера
|
||||
`alerts-check`, шаг 1: worker остановлен на 159 с, 3 загрузки, запуск — первая точка ряда нового
|
||||
процесса — ноль (`(2.5, 0.0)`), приращение по точкам ровно 3 (`evidence/alerts/check.md`, строки
|
||||
76–80). Остаётся: перезапуск того же контейнера
|
||||
быстрее ~75 с, если новый процесс догнал прежнее значение до первого сбора; собственные метрики
|
||||
Collector без времени начала (их закрывает правило потерь). Число рядов экспортёра до и после
|
||||
перехода на protobuf на процесс то же (двойников нет).
|
||||
@@ -392,41 +422,62 @@ Collector без времени начала (их закрывает прави
|
||||
**Инциденты.** Разбор — по runbook оповещения и только по сохранённым наблюдениям вывода
|
||||
`alerts-check` и `backend-outage` (хронология и значения — в файлах evidence).
|
||||
|
||||
1. **Остановлен worker** (`evidence/alerts/check.md`, шаг «worker stopped»). Хронология: остановка,
|
||||
3 загрузки (202), `MessengerQueueLagHigh` pending, затем firing; запуск worker, снятие.
|
||||
Диагностика по runbook `MessengerQueueLagHigh`: «Pipeline» → глубина `outbox` + `published`
|
||||
выросла на 3 (`max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"})`),
|
||||
возраст растёт линейно (`max(messenger_queue_oldest_age_seconds{job="messenger-relay"})`), рядов
|
||||
`messenger-worker` нет → Loki `{service_name="messenger-worker"}`: последняя запись worker до
|
||||
остановки, «Stopped worker» — в stdout → Tempo `{ resource.service.name = "messenger-worker" &&
|
||||
kind = consumer }`: consumer span после остановки нет ⇒ причина — worker не работает.
|
||||
Восстановление — `docker start` worker: все `ready`, счёт времени до готовности +3; SLI времени
|
||||
до `ready` за окно учений — в разделе SLI evidence (время до `ready` этих загрузок не меньше
|
||||
длительности остановки, выше 30 с — плохие события).
|
||||
2. **Медленная БД против медленного handler** (шаги «slow database» и «slow handler»).
|
||||
`MessengerSlowRequests` firing → p95 по маршрутам: медленна только отправка сообщения → Tempo,
|
||||
медленная трасса отправки: span PostgreSQL занимают больше половины server span → пул: занятость
|
||||
выше, чем до шагов → CPU реплик ниже половины предела ⇒ БД (держатель блокировки — сессия
|
||||
`application_name = mtusi-alerts-check`). Для сравнения вход по Basic: длинный server span, span
|
||||
PostgreSQL меньше пятой части, пул не занят целиком и без отказов по сроку, CPU реплик выше ⇒
|
||||
handler (KDF), и вход вне SLI
|
||||
задержки — оповещения нет. **Недоступная БД** (шаг «database down»): `MessengerNoReadyReplicas`
|
||||
и `MessengerHighErrorRate` firing → «Load balancer»: 5xx на LB растут, готовых реплик 0, 5xx API
|
||||
почти нет (почему SLI — на LB) → Loki «Database is unavailable» реплик → Tempo: server span 503 с
|
||||
ошибкой. Восстановление — `docker compose start postgres`; SLI доступности за окно отказа упал на
|
||||
долю 5xx, которую видел клиент.
|
||||
3. **Недоступно хранилище телеметрии** (`evidence/telemetry/backend-outage.md`, шаг «tempo long»).
|
||||
`TelemetryTargetDown{job="tempo"}` и `TelemetryDataLoss` → «Telemetry pipeline»: очередь Tempo
|
||||
растёт к ёмкости, `otelcol_exporter_enqueue_failed_spans` / `send_failed_spans` растут, память
|
||||
Collector ниже лимита → SLI и ответы приложения прежние (`make test` PASS, 5xx 0) ⇒ теряется
|
||||
телеметрия, а не сообщения. После запуска Tempo — новые трассы, оповещения сняты, потери — число
|
||||
из счётчиков.
|
||||
Учения — 2026-11-13, 22:46:44Z – 23:22:25Z, commit `15ea156`, фоновая нагрузка драйвера ~25
|
||||
запросов/с через LB; время — от начала шага (у `MessengerQueueLagHigh` — от первой загрузки, у
|
||||
снятия — от восстановления), «строки N» — строки файла evidence.
|
||||
|
||||
Числа хронологии и наблюдений — из evidence этого change (после коммита кода).
|
||||
1. **Остановлен worker** (`evidence/alerts/check.md`, строки 63–81). Хронология: `docker compose stop
|
||||
worker` на 48-й секунде учений, 3 загрузки — 202 (строка 67); `MessengerQueueLagHigh` pending
|
||||
через 98 с, firing через 158 с после первой загрузки (строки 68–69); worker запущен через 159 с
|
||||
остановки (строка 76), снято через 44 с после запуска (строка 78). Диагностика по runbook
|
||||
`MessengerQueueLagHigh`: «Pipeline» → глубина `published` 3, остальные стадии 0, возраст
|
||||
старейшего 141,3 с (`max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"})`,
|
||||
`max(messenger_queue_oldest_age_seconds{job="messenger-relay"})`; строка 70) — задания приняты и
|
||||
опубликованы, но не взяты; рядов `messenger-worker` к запуску нет (строка 75) → Loki
|
||||
`{service_name="messenger-worker"}`: последняя запись worker — «Attachment became ready» за 1 с до
|
||||
остановки, «Stopped worker» — в stdout (строки 73–74) → Tempo `{ resource.service.name =
|
||||
"messenger-worker" && kind = consumer }`: consumer span после остановки 0 (строка 72) ⇒ причина —
|
||||
worker не работает (не брокер и не relay: сообщения в стадии `published`). Восстановление —
|
||||
`docker start` worker: все 3 `ready` (строка 77), счёт времени до готовности +3 по точкам, первая
|
||||
точка нового процесса — ноль (строки 79–80). SLI времени до `ready` за окно учений — 0,86957
|
||||
(три загрузки ждали дольше 30 с — плохие события; раздел `[SLI and panels]`).
|
||||
2. **Медленная БД против медленного handler** (строки 89–115). Блокировка `LOCK TABLE messages IN
|
||||
SHARE MODE` 2 с с паузой 0,2 с в сессии `application_name = mtusi-alerts-check`:
|
||||
`MessengerSlowRequests` firing через 165 с (строка 91), доля медленных «лёгких» 0,428 при пороге
|
||||
0,1 (строка 92) → p95 по маршрутам: `POST /api/v1/chats/{chat_id}/messages` 0,021 с до и 2,324 с во
|
||||
время (строки 93–94), чтение не медленно → Tempo, медленные трассы отправки: span PostgreSQL —
|
||||
0,99 server span (строка 95) → пул: занято до 6 соединений против 0 до шагов (строка 97) → CPU
|
||||
реплик не выше 0,11 предела (строка 99) ⇒ БД (держатель блокировки — в `pg_stat_activity` по
|
||||
`application_name`). Сессия завершена — снято через 89 с (строка 101); `MessengerHighErrorRate` не
|
||||
срабатывал (строка 102). Для сравнения вход по Basic (строки 103–115): 506 входов, медиана 0,27 с,
|
||||
p95 `/api/v1/auth/sessions` 0,667 с, span PostgreSQL — 0,01–0,02 server span, пул занят не больше
|
||||
0,30 без отказов по сроку, CPU реплик до 0,80 предела ⇒ handler (KDF); вход вне SLI задержки —
|
||||
доля медленных «лёгких» не выше 0,050, оповещения нет. **Недоступная БД** (строки 116–133):
|
||||
`docker compose stop postgres` → `MessengerNoReadyReplicas` firing через 60 с,
|
||||
`MessengerHighErrorRate` через 105 с (строки 118–119) → «Load balancer»: готовых реплик 0 (строка
|
||||
120), 5xx на LB +2603, у API +27 (строка 127) — клиент получил 2562 ответа 5xx, из них 2548 — 503
|
||||
самого LB без `X-Instance-Id` (строка 124): метрики API отказ почти не видят, поэтому SLI — на LB
|
||||
→ Loki: 27 записей «Database is unavailable» реплик (строка 121) → Tempo: 27 трасс с ошибкой
|
||||
server span 503 (строка 122; span PostgreSQL с ошибкой нет — отказ на выдаче соединения из пула,
|
||||
до запроса). Восстановление — `docker compose start postgres`, LB готов; сняты через 29 и 135 с
|
||||
(строки 125–126). SLI доступности за окно отказа — 0,5544 по LB при 0,5576 у клиента (строка 130).
|
||||
3. **Недоступно хранилище телеметрии** (`evidence/telemetry/backend-outage.md`, строки 57–71).
|
||||
`docker compose stop tempo` на 120 с под нагрузкой: `TelemetryTargetDown{job="tempo"}` firing
|
||||
через 90 с (строка 59), `TelemetryDataLoss` firing (строка 66) → «Telemetry pipeline»: очередь
|
||||
экспорта Tempo — до 0,656 ёмкости (строка 60), потери `otlp_http/tempo` — 1342 span (`enqueue_failed`
|
||||
/ `send_failed`, строка 67), память Collector — `docker stats` до 93 МиБ при лимите 256 (строка
|
||||
62) → приложение не задето: `make test` PASS, 2934 ответа 2xx, 5xx 0 (строки 58, 64–65) ⇒ теряется
|
||||
телеметрия, а не сообщения. После `docker compose start tempo` — новые трассы приходят (строка
|
||||
69), `TelemetryTargetDown` снят через 30 с, `TelemetryDataLoss` — через 150 с (строки 70–71);
|
||||
потери — 1342 span из счётчиков Collector.
|
||||
|
||||
**Бюджет (SA-13).** Новых сервисов и портов нет; лимиты — по замеру `backend-outage` и
|
||||
`alerts-check` и правилу «лимит ≥ 1,5 × пика» (раздел change `slo-alerts` в
|
||||
`evidence/telemetry/budget.md`). ВМ Docker Desktop — 12 CPU (все ядра хоста) / 11 902 МиБ: память
|
||||
`evidence/telemetry/budget.md`, commit `15ea156`): Collector в долгом отказе Tempo — `docker stats`
|
||||
до 93 МиБ, `memory.peak` за `alerts-check` 76 МиБ (лимит 256); Prometheus за `alerts-check` — 108
|
||||
МиБ (384; в пробных прогонах apply — до 240, 1,5 × 240 = 360); реплики API без Collector — без роста
|
||||
(142 → 156 и 145 → 154 МиБ), `memory.peak` со старта стенда 334 и 327 МиБ от входов по Basic (512).
|
||||
Правило выполнено у всех, лимиты не менялись. ВМ Docker Desktop — 12 CPU (все ядра хоста) / 11 902 МиБ: память
|
||||
пользователь увеличил до 12 ГБ 2026-11-11 (вопрос 1 `## slo-alerts` в `QUESTIONS.md`); постоянные
|
||||
лимиты стенда — 11,5 CPU / 7296 МиБ, с одноразовыми 12,5 CPU / 7680 МиБ, вместе с контейнерами
|
||||
`make test_isolated` (+2,25 CPU / 1792 МиБ) — 9472 МиБ: помещается с запасом ~2,4 ГиБ на накладные
|
||||
@@ -438,17 +489,17 @@ Collector без времени начала (их закрывает прави
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ | `evidence/telemetry/check.md` |
|
||||
| Телеметрия не меняет ответы и остановку | `driver.py --port 8080 telemetry-outage` | код 0: `make test` PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов | `evidence/telemetry/collector-outage.md` (commit `72e2598`) |
|
||||
| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ | `evidence/telemetry/check.md` (commit `15ea156`) |
|
||||
| Телеметрия не меняет ответы и остановку | `driver.py --port 8080 telemetry-outage` | код 0: `make test` PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов | `evidence/telemetry/collector-outage.md` (commit `15ea156`) |
|
||||
| Стенд с нуля одной командой | `driver.py stand-from-scratch --runs 2` | код 0 оба раза, `RestartCount` брокера и телеметрии 0 | `evidence/stand/from-scratch.md` |
|
||||
| Лимиты и бюджет телеметрии | замер `docker stats`, `memory.peak` и `memory.stat` | лимит ≥ 1,5 × пика у всех сервисов телеметрии (у Grafana пик — `anon` + `kernel` + `shmem` без файлового кэша) | `evidence/telemetry/budget.md` |
|
||||
| Уровень 4: контекст W3C API → relay → worker, producer и consumer span (parent и link), цепочка одной загрузки до S3 и БД с повтором и replay | `driver.py --port 8080 trace-chain` | код 0: одна трасса, две пары producer / consumer, span S3 с ошибкой и запись оригинала и вариантов, replay в той же трассе, задание без контекста — корень worker | `evidence/telemetry/trace-chain.md` (commit `72e2598`) |
|
||||
| Уровень 4: контекст W3C API → relay → worker, producer и consumer span (parent и link), цепочка одной загрузки до S3 и БД с повтором и replay | `driver.py --port 8080 trace-chain` | код 0: одна трасса, две пары producer / consumer, span S3 с ошибкой и запись оригинала и вариантов, replay в той же трассе, задание без контекста — корень worker | `evidence/telemetry/trace-chain.md` (commit `15ea156`) |
|
||||
| Уровень 4: dashboard — p50 / p95 / p99, доля ошибок, глубина и возраст очереди, пул БД, насыщение worker, контейнеры | `driver.py --port 8080 trace-chain`, `telemetry-check` | запросы панелей уровня 4 без ошибок и с данными; ряды очереди только у relay; пределы = `docker inspect`; нет сокета Docker | `evidence/telemetry/trace-chain.md`, `evidence/telemetry/check.md` |
|
||||
| Уровень 4: relay с SDK не меняет остановку | `driver.py --port 8080 telemetry-outage` | `docker stop` relay < 10 с, код 0, «Stopped relay» при остановленном и замороженном Collector | `evidence/telemetry/collector-outage.md` |
|
||||
| Уровень 4: схема контекста задания | миграция с нуля, повтор, откат, `--sql`, `make rolling_update`; план снимка очереди | `lock_timeout`, `NOT VALID`; без Seq Scan | `evidence/migrations/job-trace-context.md`, `evidence/telemetry/queue-snapshot.md` (commit `72cfa9a`) |
|
||||
| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules`; у каждого из 7 оповещений есть runbook | `evidence/alerts/rules-test.md` |
|
||||
| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0: остановленный worker, relay, медленная и недоступная БД, медленный handler — firing и снятие в сроки, лишних нет; SLI двумя путями | `evidence/alerts/check.md` |
|
||||
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0: `make test` PASS при остановленных Loki, Tempo, Prometheus и Collector, память ниже лимитов, потери учтены, оповещения | `evidence/telemetry/backend-outage.md` |
|
||||
| Уровень 4: alert rules с runbooks в git, модульные тесты правил | `make alerts_test` | код 0: `promtool check config`, `check rules`, `test rules` (39 проверок оповещений и 6 правил записи); у каждого из 7 оповещений есть runbook | `evidence/alerts/rules-test.md` (commit `15ea156`) |
|
||||
| Уровень 4: SLI/SLO и окно, firing / resolved искусственным отказом, разбор двух инцидентов | `driver.py --port 8080 alerts-check` | код 0 (~20 мин): остановленный worker — firing через 158 с, снято через 44 с; relay — 220 / 45 с; медленная БД — 165 / 89 с; медленный handler — оповещения нет; недоступная БД — 60 и 105 / 29 и 135 с; лишних нет; SLI двумя путями совпали | `evidence/alerts/check.md` (commit `15ea156`) |
|
||||
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 93 МиБ из 256, реплики без роста; потери учтены (443 записи, 1342 span, SDK 11 683 и 11 810); `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `15ea156`) |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
|
||||
@@ -0,0 +1,232 @@
|
||||
# `driver.py --port 8080 alerts-check` (change `slo-alerts`, задача 11.2)
|
||||
|
||||
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
|
||||
рабочее дерево чистое (`git status --short` до прогона — только `?? evidence/alerts/`). Файлы
|
||||
`src/` и `migrations/` (151) в контейнерах `api` (2: `api-13`, `api-14`), `relay`, `worker` и
|
||||
`cleaner` побайтно совпадают с деревом commit (SHA-256 каждого файла); ревизия схемы
|
||||
`e4b8c2d17f90`. Стенд поднят `make run_docker` в 22:45Z (образ уже был собран из того же дерева,
|
||||
контейнеры не пересоздавались; сервисы телеметрии, в том числе Prometheus и Collector, запущены
|
||||
заново в 22:45Z).
|
||||
- Дата: 2026-11-13, 22:46:44Z – 23:06:20Z (~19,6 мин); хост macOS, Docker 29.9.2, Compose 5.6.1, ВМ
|
||||
Docker Desktop — 12 CPU / 11,6 ГиБ. Рабочий стенд `mtusi-lab6` (две реплики API, relay, worker,
|
||||
уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория:
|
||||
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 alerts-check`, код выхода 0.
|
||||
- Всё — через HTTP API Grafana на `127.0.0.1:3000` с паролем из `.env` (источники-прокси uid
|
||||
`prometheus`, `loki`, `tempo`); моменты pending / firing / снятия — `/api/v1/rules` раз в 5 с,
|
||||
время — от начала шага (у `MessengerQueueLagHigh` — от первой загрузки, у снятия — от
|
||||
восстановления). Пользователи, пароли, токены и файлы — синтетические, в вывод не попадают.
|
||||
Фоновая нагрузка драйвера через LB — 6 потоков отправки сообщения с новым `Idempotency-Key` раз в
|
||||
0,25 с и 1 поток чтения истории раз в 1 с (design, «Уточнения apply», п. 7).
|
||||
- Отказы: шаг 1 — `docker compose stop worker`, 3 загрузки, `docker start` того же контейнера через
|
||||
159 с; шаг 2 — `docker compose stop relay`, `docker start`; шаг 3 — сессия psql с
|
||||
`application_name = mtusi-alerts-check` циклами держит `LOCK TABLE messages IN SHARE MODE` 2 с с
|
||||
паузой 0,2 с, затем `pg_terminate_backend`; шаг 4 — 3 потока входа по Basic 45 с (сравнение, отказа
|
||||
нет); шаг 5 — `docker compose stop postgres`, затем `start`. В `finally` — нагрузка остановлена,
|
||||
сессия блокировки завершена, PostgreSQL, worker и relay запущены, LB готов (последняя строка).
|
||||
|
||||
## Сценарии → строки вывода
|
||||
|
||||
| Сценарий (`observability`, если не указано) | Строки |
|
||||
| --- | --- |
|
||||
| «Правила загружены» | `rule groups loaded`, `rules with evaluation errors`, `alerts loaded`, `Grafana shows rules…`, `rule change through Grafana rejected`, `alert delivery addresses`, `prometheus config has alertmanagers` |
|
||||
| «Остановленный worker» | `[worker stopped]`: firing через 158 с после первой загрузки (≤ 240), `outbox + published` +3, снято через 44 с после запуска (≤ 120), 3 `ready` |
|
||||
| «Перезапуск worker» | `[worker stopped] time to ready count…`: первая точка нового процесса — 0 (время начала), приращение по точкам ровно 3; worker стоял 159 с (> 2 мин) |
|
||||
| «Остановленный relay» | `[relay stopped] MessengerQueueMetricsMissing firing` через 220 с (≤ 300), снято через 45 с (≤ 120) |
|
||||
| «Остановленный relay уходит из рядов» | `[relay stopped] queue series gone within 120 s` — через 65 с |
|
||||
| «Медленная БД» | `[slow database]`: firing через 165 с (≤ 180), доля span PostgreSQL в медленных трассах отправки 0,99, пул 6 против 0, CPU реплик 0,11 предела, снято через 89 с (≤ 240), `MessengerHighErrorRate` нет |
|
||||
| «Медленный handler не путается с БД» | `[slow handler]`: доля span PostgreSQL 0,01–0,02, пул занят не больше 0,30, отказов по сроку 0, CPU реплик 0,80 предела, `MessengerSlowRequests` неактивно (доля медленных до 0,050) |
|
||||
| «Тяжёлая ручка вне SLI задержки» | `[slow handler] login p95 on the route panel slower than 0.25 s` (p95 входа 0,667 с) при неактивном `MessengerSlowRequests` |
|
||||
| «Недоступная БД» | `[database down]`: `MessengerNoReadyReplicas` firing через 60 с, `MessengerHighErrorRate` через 105 с (≤ 180), сняты через 29 и 135 с (≤ 240) |
|
||||
| «Ответы самого балансировщика» | `[database down]`: готовых реплик 0, клиент получил 2548 ответов 503 от LB (без `X-Instance-Id`), 5xx на LB +2603, у API +27 |
|
||||
| «Отказ БД виден в SLI доступности» | `availability SLI over the outage window: LB 0.5544, client 0.5576` |
|
||||
| «SLO считается» | `[SLI and panels]`: три SLI за 7 суток в [0, 1], за час по рядам правил и по исходным счётчикам в тех же окнах совпали (расхождение 0 п. п. при ≤ 1) |
|
||||
| «История оповещения на панели», «Новые панели после трафика» | `alert history panel shows firing of the steps`, `new panel queries (31) with data: []` (у 31 запроса панелей с id от 25 данных хватает) |
|
||||
| «Без потерь» (`TelemetryDataLoss`) | `other alerts firing: []` на каждом шаге |
|
||||
|
||||
Лишних firing нет ни на одном шаге (`other alerts firing: []`); `MessengerQueueMetricsMissing` в
|
||||
pending во время недоступной БД — допустимо (relay не делает снимок без PostgreSQL).
|
||||
|
||||
## Вывод
|
||||
|
||||
```
|
||||
alerts-check 2026-11-13T22:46:44Z: rules, quiet stand
|
||||
rule groups loaded: ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts']
|
||||
rules with evaluation errors: []
|
||||
alerts loaded: ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown']
|
||||
Grafana shows rules of the Prometheus datasource: 200 ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts']
|
||||
rule change through Grafana rejected: yes
|
||||
alert delivery addresses: []
|
||||
prometheus config has alertmanagers: no
|
||||
load: 6 writers every 0.25 s and 1 reader every 1.0 s
|
||||
observed: pool used before the steps (max): 0
|
||||
uploads ready before the steps: 20
|
||||
[worker stopped] stand quiet before the step: yes
|
||||
[worker stopped]
|
||||
observed: queue by stage and age before: {'outbox': 0.0, 'processing': 0.0, 'published': 0.0, 'scheduled': 0.0, 'oldest_age_s': 0.0}
|
||||
observed: worker stopped at 48 s of the drill
|
||||
[worker stopped] uploads accepted (202): 3
|
||||
observed: MessengerQueueLagHigh pending after 98 s
|
||||
[worker stopped] MessengerQueueLagHigh firing after the first upload: after 158 s
|
||||
observed: queue by stage and age: {'outbox': 0.0, 'processing': 0.0, 'published': 3.0, 'scheduled': 0.0, 'oldest_age_s': 141.3}
|
||||
[worker stopped] outbox + published grew by the uploads: 3.0
|
||||
[worker stopped] consumer spans after the stop: 0
|
||||
observed: last worker record in Loki: 'Attachment became ready' 1 s before the stop
|
||||
observed: 'Stopped worker' in stdout: yes
|
||||
[worker stopped] worker series gone before the start: 0
|
||||
observed: worker down for 159 s
|
||||
[worker stopped] uploads ready after the start: 3
|
||||
[worker stopped] MessengerQueueLagHigh resolved after the start: after 44 s
|
||||
observed: time to ready count, first points of the new process: [(2.5, 0.0)]
|
||||
[worker stopped] time to ready count grew by the uploads (by points): 3.0
|
||||
[worker stopped] other alerts firing: []
|
||||
[relay stopped] stand quiet before the step: yes
|
||||
[relay stopped]
|
||||
[relay stopped] queue series gone within 120 s: yes
|
||||
observed: queue series gone after 65 s
|
||||
[relay stopped] MessengerQueueMetricsMissing firing: after 220 s
|
||||
[relay stopped] MessengerQueueMetricsMissing resolved after the start: after 45 s
|
||||
[relay stopped] other alerts firing: []
|
||||
[slow database] stand quiet before the step: yes
|
||||
[slow database]
|
||||
[slow database] MessengerSlowRequests firing: after 165 s
|
||||
observed: slow light requests share: 0.428
|
||||
observed: p95 by route before: {'/api/v1/chats/{chat_id}/messages': 0.021}
|
||||
observed: p95 by route during: {'/api/v1/chats/{chat_id}/messages': 2.324}
|
||||
observed: PostgreSQL share of slow send traces: [0.99, 0.99, 0.99, 0.99, 0.99]
|
||||
[slow database] PostgreSQL spans over half of slow send traces (median): yes
|
||||
observed: pool used during (max): 6, before 0
|
||||
[slow database] pool busier than before: yes
|
||||
observed: CPU of replicas to limit (max): 0.11
|
||||
[slow database] CPU of replicas below half of the limit: yes
|
||||
[slow database] MessengerSlowRequests resolved after the unlock: after 89 s
|
||||
[slow database] other alerts firing: []
|
||||
[slow handler] stand quiet before the step: yes
|
||||
[slow handler]
|
||||
observed: logins: 506, median 0.27 s, max 0.92 s
|
||||
observed: PostgreSQL share of slow login traces: [0.01, 0.01, 0.01, 0.01, 0.02]
|
||||
[slow handler] PostgreSQL spans under a fifth of slow login traces (median): yes
|
||||
observed: pool: max share used 0.30, requests in checkout (max) 0, timeouts 0
|
||||
[slow handler] no request waits for a free pool connection: yes
|
||||
observed: CPU of replicas to limit (max): 0.80
|
||||
observed: p95 by route: {'/api/v1/chats/{chat_id}/messages': 0.127, '/api/v1/auth/sessions': 0.667}
|
||||
[slow handler] login p95 on the route panel slower than 0.25 s: yes
|
||||
observed: slow light requests share (max): 0.050
|
||||
[slow handler] MessengerSlowRequests stayed inactive: yes
|
||||
[slow handler] other alerts firing: []
|
||||
[database down] stand quiet before the step: yes
|
||||
[database down]
|
||||
[database down] MessengerNoReadyReplicas firing: after 60 s
|
||||
[database down] MessengerHighErrorRate firing: after 105 s
|
||||
[database down] ready replicas in LB: 0
|
||||
observed: 'Database is unavailable' records of replicas in Loki: 27
|
||||
observed: API traces with an error server span: 27, with a PostgreSQL span in error: 0
|
||||
[database down] LB ready after the start: yes
|
||||
observed: client responses during the outage: {'5xx': 2562}, from LB: 2548
|
||||
[database down] MessengerNoReadyReplicas resolved: after 29 s
|
||||
[database down] MessengerHighErrorRate resolved: after 135 s
|
||||
observed: 5xx grew: LB 2603, API 27; LB responses 5841
|
||||
[database down] 5xx on LB more than 5xx of API: yes
|
||||
[database down] LB 5xx grew by the LB's own 503 to the client or more: yes
|
||||
observed: availability SLI over the outage window: LB 0.5544, client 0.5576
|
||||
[database down] LB 5xx share equals the client's within 5%: yes
|
||||
observed: MessengerQueueMetricsMissing was pending (allowed)
|
||||
[database down] other alerts firing: []
|
||||
[SLI and panels]
|
||||
observed: client responses over the drill: {'2xx': 22982, '5xx': 2601}
|
||||
observed: messenger-slo windows in the last hour: 3 of 12
|
||||
SLI availability over 7 days within [0, 1]: yes
|
||||
observed: SLI availability: 7 days 0.93201, hour by rules 1.00000, by raw counters in the same windows 1.00000 (14685 events), raw increase over the hour 1.00000
|
||||
SLI availability over the hour, rules vs raw counters within 1 pp: yes
|
||||
observed: SLI availability over the drill: 0.89966
|
||||
SLI latency over 7 days within [0, 1]: yes
|
||||
observed: SLI latency: 7 days 0.98539, hour by rules 0.98209, by raw counters in the same windows 0.98209 (14225 events), raw increase over the hour 0.98290
|
||||
SLI latency over the hour, rules vs raw counters within 1 pp: yes
|
||||
observed: SLI latency over the drill: 0.97905
|
||||
SLI time to ready over 7 days within [0, 1]: yes
|
||||
observed: SLI time to ready: 7 days 0.93039, hour by rules 0.91358, by raw counters in the same windows 0.91358 (37 events), raw increase over the hour 0.86957
|
||||
SLI time to ready over the hour, rules vs raw counters within 1 pp: yes
|
||||
observed: SLI time to ready over the drill: 0.86957
|
||||
new panel queries (31) with data: []
|
||||
alert history panel shows firing of the steps: ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests']
|
||||
memory prometheus 77a121dcddff: peak 108 MiB, anon+kernel+shmem 54 MiB, file 6 MiB, limit 384 MiB
|
||||
memory otel-collector 7209c9b86a7c: peak 76 MiB, anon+kernel+shmem 73 MiB, file 0 MiB, limit 256 MiB
|
||||
rule groups loaded expected ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts'] got ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts']
|
||||
rules with evaluation errors expected [] got []
|
||||
alerts loaded expected ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown'] got ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests', 'TelemetryDataLoss', 'TelemetryTargetDown']
|
||||
Grafana shows rules of the Prometheus datasource expected 200 ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts'] got 200 ['messenger-alerts', 'messenger-sli', 'messenger-slo', 'telemetry-alerts']
|
||||
rule change through Grafana rejected expected yes got yes
|
||||
alert delivery addresses expected [] got []
|
||||
prometheus config has alertmanagers expected no got no
|
||||
uploads ready before the steps expected 20 got 20
|
||||
[worker stopped] stand quiet before the step expected yes got yes
|
||||
[worker stopped] uploads accepted (202) expected 3 got 3
|
||||
[worker stopped] MessengerQueueLagHigh firing after the first upload within 240 s expected yes got yes
|
||||
[worker stopped] outbox + published grew by the uploads expected 3.0 got 3.0
|
||||
[worker stopped] consumer spans after the stop expected 0 got 0
|
||||
[worker stopped] worker series gone before the start expected 0 got 0
|
||||
[worker stopped] uploads ready after the start expected 3 got 3
|
||||
[worker stopped] MessengerQueueLagHigh resolved after the start within 120 s expected yes got yes
|
||||
[worker stopped] time to ready count grew by the uploads (by points) expected 3.0 got 3.0
|
||||
[worker stopped] other alerts firing expected [] got []
|
||||
[relay stopped] stand quiet before the step expected yes got yes
|
||||
[relay stopped] queue series gone within 120 s expected yes got yes
|
||||
[relay stopped] MessengerQueueMetricsMissing firing within 300 s expected yes got yes
|
||||
[relay stopped] MessengerQueueMetricsMissing resolved after the start within 120 s expected yes got yes
|
||||
[relay stopped] other alerts firing expected [] got []
|
||||
[slow database] stand quiet before the step expected yes got yes
|
||||
[slow database] MessengerSlowRequests firing within 180 s expected yes got yes
|
||||
[slow database] PostgreSQL spans over half of slow send traces (median) expected yes got yes
|
||||
[slow database] pool busier than before expected yes got yes
|
||||
[slow database] CPU of replicas below half of the limit expected yes got yes
|
||||
[slow database] MessengerSlowRequests resolved after the unlock within 240 s expected yes got yes
|
||||
[slow database] other alerts firing expected [] got []
|
||||
[slow handler] stand quiet before the step expected yes got yes
|
||||
[slow handler] PostgreSQL spans under a fifth of slow login traces (median) expected yes got yes
|
||||
[slow handler] no request waits for a free pool connection expected yes got yes
|
||||
[slow handler] login p95 on the route panel slower than 0.25 s expected yes got yes
|
||||
[slow handler] MessengerSlowRequests stayed inactive expected yes got yes
|
||||
[slow handler] other alerts firing expected [] got []
|
||||
[database down] stand quiet before the step expected yes got yes
|
||||
[database down] MessengerNoReadyReplicas firing within 180 s expected yes got yes
|
||||
[database down] MessengerHighErrorRate firing within 180 s expected yes got yes
|
||||
[database down] ready replicas in LB expected 0 got 0
|
||||
[database down] LB ready after the start expected yes got yes
|
||||
[database down] MessengerNoReadyReplicas resolved within 240 s expected yes got yes
|
||||
[database down] MessengerHighErrorRate resolved within 240 s expected yes got yes
|
||||
[database down] 5xx on LB more than 5xx of API expected yes got yes
|
||||
[database down] LB 5xx grew by the LB's own 503 to the client or more expected yes got yes
|
||||
[database down] LB 5xx share equals the client's within 5% expected yes got yes
|
||||
[database down] other alerts firing expected [] got []
|
||||
SLI availability over 7 days within [0, 1] expected yes got yes
|
||||
SLI availability over the hour, rules vs raw counters within 1 pp expected yes got yes
|
||||
SLI latency over 7 days within [0, 1] expected yes got yes
|
||||
SLI latency over the hour, rules vs raw counters within 1 pp expected yes got yes
|
||||
SLI time to ready over 7 days within [0, 1] expected yes got yes
|
||||
SLI time to ready over the hour, rules vs raw counters within 1 pp expected yes got yes
|
||||
new panel queries (31) with data expected [] got []
|
||||
alert history panel shows firing of the steps expected ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests'] got ['MessengerHighErrorRate', 'MessengerNoReadyReplicas', 'MessengerQueueLagHigh', 'MessengerQueueMetricsMissing', 'MessengerSlowRequests']
|
||||
PASS: each alert went firing on its fault and resolved after the recovery, no other alert fired; SLI agree by both paths
|
||||
restored: load stopped, lock session ended, PostgreSQL started, worker and relay running: yes, LB ready: yes
|
||||
```
|
||||
|
||||
## Чтение чисел
|
||||
|
||||
- **SLI за час** — по последней точке ряда `messenger-slo` (Prometheus пишет точку с временем
|
||||
предыдущего слота, design, «Уточнения apply», п. 11): окон за час 3 из 12 — Prometheus запущен в
|
||||
22:45Z, раньше рядов правил за этот час нет; поэтому за час доступность 1,00000 — отказ БД (шаг 5)
|
||||
ещё не попал в записанные окна. Окно учений целиком — строки `SLI … over the drill` по исходным
|
||||
счётчикам: доступность 0,89966 (отказ БД), задержка 0,97905 (медленная БД), время до `ready`
|
||||
0,86957 (три загрузки при остановленном worker ждали дольше 30 с).
|
||||
- **SLI за 7 суток** включает все учения и проверки этого и прошлых прогонов на рабочем стенде
|
||||
(доступность 0,93201 при SLO 0,995 — бюджет исчерпан учениями; остаток бюджета на панели
|
||||
отрицательный), это ожидаемо и названо в `REPORT.md` («Ограничения SLI»).
|
||||
- **Время до `ready`** за час одним окном (0,86957) и по окнам правил (0,91358) расходятся из-за
|
||||
потери приращения на границах непересекающихся окон при единицах событий (design, «Уточнения
|
||||
apply», п. 12); проверка сравнивает пути в тех же окнах — 0 п. п.
|
||||
- **Span PostgreSQL с ошибкой при недоступной БД — 0** из 27 трасс 503: отказ — на выдаче
|
||||
соединения из пула, до `before_cursor_execute` (design, «Уточнения apply», п. 9; наблюдение, а не
|
||||
проверка). Причину называют записи «Database is unavailable» в Loki (27 — по одной на ответ 503
|
||||
реплик до вывода из LB).
|
||||
- **Память** Prometheus и Collector — `memory.peak` с их запуска в 22:45Z (весь прогон): Prometheus
|
||||
108 МиБ (неосвобождаемая часть 54), Collector 76 МиБ при лимитах 384 и 256 — правило «лимит ≥
|
||||
1,5 × пика» выполнено (раздел change `slo-alerts` в `evidence/telemetry/budget.md`).
|
||||
@@ -0,0 +1,74 @@
|
||||
# `make alerts_test` (change `slo-alerts`, задача 11.1)
|
||||
|
||||
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
|
||||
рабочее дерево чистое (`git status --short` пуст до прогона; новые файлы — только `evidence/`).
|
||||
- Дата: 2026-11-11, 21:36:51Z – 21:36:52Z (~1 с); хост macOS, Docker 29.9.2, Compose 5.6.1. Стенд
|
||||
не нужен: файлы `infra/otel/prometheus/` (`prometheus.yml`, `rules.yml`, `rules.test.yml`) уходят
|
||||
`tar` через stdin в одноразовый контейнер закреплённого образа Prometheus с `--network none`, там
|
||||
`promtool check config`, `promtool check rules`, `promtool test rules rules.test.yml`; затем у
|
||||
каждого из семи оповещений `rules.yml` поле `runbook_url` — существующий файл репозитория.
|
||||
Команда из корня репозитория: `make alerts_test`, код выхода 0.
|
||||
- Состав тестов `rules.test.yml`: 19 групп синтетических рядов (интервал 15 с, как у стенда),
|
||||
39 проверок оповещений (`alert_rule_test`) и 6 проверок правил записи (`promql_expr_test`). На
|
||||
каждое оповещение — срабатывание после `for`, нет срабатывания ниже порога и без трафика, снятие
|
||||
после восстановления; `MessengerQueueMetricsMissing` молчит при недоступном экспортёре Collector;
|
||||
`TelemetryDataLoss` — новый ряд, рост, сброс счётчика.
|
||||
- Сценарий: `observability` «Тесты правил» (проверка синтаксиса и модульные тесты правил — код 0);
|
||||
«Правила оповещений» — у каждого оповещения есть runbook в git.
|
||||
|
||||
```
|
||||
promtool from prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
|
||||
Checking prometheus.yml
|
||||
SUCCESS: 1 rule files found
|
||||
SUCCESS: prometheus.yml is valid prometheus config file syntax
|
||||
|
||||
Checking /etc/prometheus/rules.yml
|
||||
SUCCESS: 20 rules found
|
||||
|
||||
Checking rules.yml
|
||||
SUCCESS: 20 rules found
|
||||
|
||||
SUCCESS
|
||||
|
||||
runbook infra/otel/runbooks/MessengerHighErrorRate.md: ok
|
||||
runbook infra/otel/runbooks/MessengerSlowRequests.md: ok
|
||||
runbook infra/otel/runbooks/MessengerNoReadyReplicas.md: ok
|
||||
runbook infra/otel/runbooks/MessengerQueueLagHigh.md: ok
|
||||
runbook infra/otel/runbooks/MessengerQueueMetricsMissing.md: ok
|
||||
runbook infra/otel/runbooks/TelemetryTargetDown.md: ok
|
||||
runbook infra/otel/runbooks/TelemetryDataLoss.md: ok
|
||||
alerts: 7, each with an existing runbook
|
||||
```
|
||||
|
||||
Строки по шагам: `Checking prometheus.yml` и `Checking /etc/prometheus/rules.yml` — `check config`
|
||||
(он проверяет и файл из `rule_files`), `Checking rules.yml` — `check rules`, одиночное `SUCCESS` —
|
||||
итог `test rules` (39 + 6 проверок; при отказе он печатает каждую несовпавшую, как ниже).
|
||||
|
||||
## Тесты ловят изменённый порог (контроль, не в git)
|
||||
|
||||
Тот же образ и те же три файла, скопированные во временный каталог вне репозитория; в копии
|
||||
`rules.yml` порог доли медленных «лёгких» запросов у `MessengerSlowRequests` поднят с 0.1 до 0.5
|
||||
(файлы репозитория не менялись):
|
||||
|
||||
```
|
||||
92c92
|
||||
< expr: messenger:http_light_slow:ratio_rate2m > 0.1 and messenger:http_light_requests:rate2m > 0.1
|
||||
---
|
||||
> expr: messenger:http_light_slow:ratio_rate2m > 0.5 and messenger:http_light_requests:rate2m > 0.1
|
||||
```
|
||||
|
||||
`promtool test rules rules.test.yml` на копии — код 1:
|
||||
|
||||
```
|
||||
FAILED:
|
||||
alertname: MessengerSlowRequests, time: 6m,
|
||||
exp:[
|
||||
0:
|
||||
Labels:{alertname="MessengerSlowRequests", severity="warning"}
|
||||
Annotations:{description="50% of light API requests without 5xx in the last 2 minutes took longer than 0.25 s (threshold 10 %, SLO 99 %); login, registration and attachment bytes are not counted. Runbook: infra/otel/runbooks/MessengerSlowRequests.md", runbook_url="infra/otel/runbooks/MessengerSlowRequests.md", summary="Many light API requests are slower than 0.25 s"}
|
||||
],
|
||||
got:[]
|
||||
```
|
||||
|
||||
Доля медленных в тесте — ровно 50 %, поэтому с порогом `> 0.5` оповещение не срабатывает, и тест
|
||||
«срабатывание после `for`» красный.
|
||||
@@ -0,0 +1,163 @@
|
||||
# `driver.py --port 8080 backend-outage` (change `slo-alerts`, задача 11.3)
|
||||
|
||||
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
|
||||
рабочее дерево чистое (до прогона вне `evidence/` изменений нет). Файлы `src/` и `migrations/`
|
||||
(151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit
|
||||
(SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`.
|
||||
- Дата: 2026-11-13, 23:06:38Z – 23:22:25Z (~15,8 мин), сразу после `alerts-check`
|
||||
(`evidence/alerts/check.md`); хост macOS, Docker 29.9.2, Compose 5.6.1, ВМ Docker Desktop — 12 CPU /
|
||||
11,6 ГиБ. Рабочий стенд `mtusi-lab6`, команда из корня репозитория:
|
||||
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 backend-outage`, код выхода 0.
|
||||
- Через HTTP API Grafana на `127.0.0.1:3000` (пароль из `.env`, в вывод не попадает); та же фоновая
|
||||
нагрузка драйвера, что у `alerts-check` (6 потоков отправки раз в 0,25 с, 1 чтения раз в 1 с);
|
||||
память — раз в 2 с: `memory.current` реплик из их cgroup (`docker exec … cat`), Collector —
|
||||
`docker stats` (в образе нет оболочки) и `otelcol_process_runtime_total_sys_memory_bytes`.
|
||||
- Шаги: Loki — `docker compose stop` на 10 с со своим запросом (известный `X-Request-Id`), затем на
|
||||
120 с (> 30 с повторов Collector) с `make test`; то же для Tempo; Prometheus — 60 с; Collector —
|
||||
120 с с `make test`. В `finally` — все сервисы телеметрии, worker и relay запущены, нагрузка
|
||||
остановлена (последняя строка).
|
||||
|
||||
## Сценарии → строки вывода
|
||||
|
||||
| Сценарий (`observability`) | Строки |
|
||||
| --- | --- |
|
||||
| «Короткий отказ хранилища» | `[loki short]`, `[tempo short]`: свой запрос найден после возврата, потери экспортёра 0 |
|
||||
| «Долгий отказ хранилища» | `[loki long]`, `[tempo long]`: `make test` 0 PASS, 5xx у клиента 0 (2928 и 2934 ответа 2xx), очередь экспорта до 0,135 (Loki) и 0,656 (Tempo) ёмкости, память Collector до 93 МиБ при лимите 256, `TelemetryTargetDown` firing через 105 и 90 с (≤ 118), `TelemetryDataLoss` firing, новые сигналы после возврата, оба сняты (через 40 / 145 с и 30 / 150 с, ≤ 240) |
|
||||
| «Потери Collector при недоступном хранилище» | `[tempo long] Collector losses of otlp_http/tempo: 1342 spans` (и `[loki long]` — 443 записи), `TelemetryDataLoss firing` |
|
||||
| «Отказ Prometheus» | `[prometheus]`: 5xx 0 (1467 ответов 2xx), счёт запросов API между точками до и после (105 с) вырос на 2565 при 1833 запросах нагрузки в этом окне |
|
||||
| «Отказ Collector под нагрузкой» | `[collector]`: `make test` 0 PASS, `TelemetryTargetDown{job=otel-collector}` firing через 95 с, память реплик — максимум последней трети окна 156 и 154 МиБ против 142 и 145 первой (рост ≤ 16 МиБ), лимит 512; `MessengerQueueMetricsMissing` неактивно; снято через 20 с |
|
||||
| «Потери SDK при недоступном Collector» | `[collector] SDK losses before {}, after {…: 11683.0, …: 11810.0}`, ёмкость очередей SDK 2048, записей API в окне: stdout 5275, Loki 0 |
|
||||
| «Без потерь» | `stand quiet before the step: yes` перед каждым шагом (в том числе `TelemetryDataLoss` неактивно), потери коротких отказов 0 |
|
||||
|
||||
## Вывод
|
||||
|
||||
```
|
||||
backend-outage 2026-11-13T23:06:38Z
|
||||
[loki short] stand quiet before the step: yes
|
||||
[loki short] own request found after the return: yes
|
||||
[loki short] Collector losses of otlp_http/loki: 0
|
||||
[loki long] stand quiet before the step: yes
|
||||
[loki long] make test: 0 PASS
|
||||
[loki long] TelemetryTargetDown{job=loki} firing: after 105 s
|
||||
observed: export queue of otlp_http/loki, max share of capacity: 0.135
|
||||
[loki long] export queue within its capacity: yes
|
||||
observed: Collector memory: docker stats max 77 MiB, runtime sys max 76 MiB, limit 256 MiB
|
||||
[loki long] Collector memory below its limit: yes
|
||||
observed: client responses during the outage: {'2xx': 2928}
|
||||
[loki long] client 5xx during the outage: 0
|
||||
[loki long] TelemetryDataLoss firing: yes
|
||||
observed: Collector losses of otlp_http/loki: 443 log_records
|
||||
[loki long] losses counted by the Collector: yes
|
||||
[loki long] new signals arrive after the return: yes
|
||||
[loki long] TelemetryTargetDown resolved: after 40 s
|
||||
[loki long] TelemetryDataLoss resolved: after 145 s
|
||||
[tempo short] stand quiet before the step: yes
|
||||
[tempo short] own request found after the return: yes
|
||||
[tempo short] Collector losses of otlp_http/tempo: 0
|
||||
[tempo long] stand quiet before the step: yes
|
||||
[tempo long] make test: 0 PASS
|
||||
[tempo long] TelemetryTargetDown{job=tempo} firing: after 90 s
|
||||
observed: export queue of otlp_http/tempo, max share of capacity: 0.656
|
||||
[tempo long] export queue within its capacity: yes
|
||||
observed: Collector memory: docker stats max 93 MiB, runtime sys max 84 MiB, limit 256 MiB
|
||||
[tempo long] Collector memory below its limit: yes
|
||||
observed: client responses during the outage: {'2xx': 2934}
|
||||
[tempo long] client 5xx during the outage: 0
|
||||
[tempo long] TelemetryDataLoss firing: yes
|
||||
observed: Collector losses of otlp_http/tempo: 1342 spans
|
||||
[tempo long] losses counted by the Collector: yes
|
||||
[tempo long] new signals arrive after the return: yes
|
||||
[tempo long] TelemetryTargetDown resolved: after 30 s
|
||||
[tempo long] TelemetryDataLoss resolved: after 150 s
|
||||
[prometheus] stand quiet before the step: yes
|
||||
observed: client responses while Prometheus is down: {'2xx': 1467}
|
||||
[prometheus] client 5xx while Prometheus is down: 0
|
||||
[prometheus] Prometheus answers again: yes
|
||||
observed: API request count grew by 2565 between scrapes 105 s apart; load sent 1833 in that window
|
||||
[prometheus] request count grew at least by the load: yes
|
||||
[collector] stand quiet before the step: yes
|
||||
[collector] make test: 0 PASS
|
||||
[collector] TelemetryTargetDown{job=otel-collector} firing: after 95 s
|
||||
observed: api 224ebf0e32ba: memory max first third 142 MiB, last third 156 MiB, limit 512 MiB
|
||||
[collector] api 224ebf0e32ba memory does not grow and is below its limit: yes
|
||||
observed: api 4b9782f7240b: memory max first third 145 MiB, last third 154 MiB, limit 512 MiB
|
||||
[collector] api 4b9782f7240b memory does not grow and is below its limit: yes
|
||||
[collector] MessengerQueueMetricsMissing stayed inactive: yes
|
||||
[collector] TelemetryTargetDown resolved: after 20 s
|
||||
observed: SDK losses before {}, after {'224ebf0e32ba': 11683.0, '4b9782f7240b': 11810.0}
|
||||
[collector] SDK loss counters of replicas grew: yes
|
||||
[collector] SDK queue capacity as [telemetry] max_queue_size: {2048.0}
|
||||
observed: API records in the outage window: stdout 5275, Loki 0
|
||||
[collector] fewer Loki records than stdout records in the window: yes
|
||||
memory otel-collector 7209c9b86a7c: peak 68 MiB, anon+kernel+shmem 66 MiB, file 0 MiB, limit 256 MiB
|
||||
memory prometheus 77a121dcddff: peak 89 MiB, anon+kernel+shmem 55 MiB, file 0 MiB, limit 384 MiB
|
||||
memory api 224ebf0e32ba: peak 334 MiB, anon+kernel+shmem 133 MiB, file 0 MiB, limit 512 MiB
|
||||
memory api 4b9782f7240b: peak 327 MiB, anon+kernel+shmem 135 MiB, file 0 MiB, limit 512 MiB
|
||||
[loki short] stand quiet before the step expected yes got yes
|
||||
[loki short] own request found after the return expected yes got yes
|
||||
[loki short] Collector losses of otlp_http/loki expected 0 got 0
|
||||
[loki long] stand quiet before the step expected yes got yes
|
||||
[loki long] make test expected 0 PASS got 0 PASS
|
||||
[loki long] TelemetryTargetDown{job=loki} firing within 118 s expected yes got yes
|
||||
[loki long] export queue within its capacity expected yes got yes
|
||||
[loki long] Collector memory below its limit expected yes got yes
|
||||
[loki long] client 5xx during the outage expected 0 got 0
|
||||
[loki long] TelemetryDataLoss firing expected yes got yes
|
||||
[loki long] losses counted by the Collector expected yes got yes
|
||||
[loki long] new signals arrive after the return expected yes got yes
|
||||
[loki long] TelemetryTargetDown resolved within 240 s expected yes got yes
|
||||
[loki long] TelemetryDataLoss resolved within 240 s expected yes got yes
|
||||
[tempo short] stand quiet before the step expected yes got yes
|
||||
[tempo short] own request found after the return expected yes got yes
|
||||
[tempo short] Collector losses of otlp_http/tempo expected 0 got 0
|
||||
[tempo long] stand quiet before the step expected yes got yes
|
||||
[tempo long] make test expected 0 PASS got 0 PASS
|
||||
[tempo long] TelemetryTargetDown{job=tempo} firing within 118 s expected yes got yes
|
||||
[tempo long] export queue within its capacity expected yes got yes
|
||||
[tempo long] Collector memory below its limit expected yes got yes
|
||||
[tempo long] client 5xx during the outage expected 0 got 0
|
||||
[tempo long] TelemetryDataLoss firing expected yes got yes
|
||||
[tempo long] losses counted by the Collector expected yes got yes
|
||||
[tempo long] new signals arrive after the return expected yes got yes
|
||||
[tempo long] TelemetryTargetDown resolved within 240 s expected yes got yes
|
||||
[tempo long] TelemetryDataLoss resolved within 240 s expected yes got yes
|
||||
[prometheus] stand quiet before the step expected yes got yes
|
||||
[prometheus] client 5xx while Prometheus is down expected 0 got 0
|
||||
[prometheus] Prometheus answers again expected yes got yes
|
||||
[prometheus] request count grew at least by the load expected yes got yes
|
||||
[collector] stand quiet before the step expected yes got yes
|
||||
[collector] make test expected 0 PASS got 0 PASS
|
||||
[collector] TelemetryTargetDown{job=otel-collector} firing within 118 s expected yes got yes
|
||||
[collector] api 224ebf0e32ba memory does not grow and is below its limit expected yes got yes
|
||||
[collector] api 4b9782f7240b memory does not grow and is below its limit expected yes got yes
|
||||
[collector] MessengerQueueMetricsMissing stayed inactive expected yes got yes
|
||||
[collector] TelemetryTargetDown resolved within 240 s expected yes got yes
|
||||
[collector] SDK loss counters of replicas grew expected yes got yes
|
||||
[collector] SDK queue capacity as [telemetry] max_queue_size expected {2048.0} got {2048.0}
|
||||
[collector] fewer Loki records than stdout records in the window expected yes got yes
|
||||
PASS: API and worker work while telemetry stores and the Collector are down; memory is bounded, losses are counted, alerts fire and resolve
|
||||
restored: load stopped, telemetry services started, worker and relay running: yes
|
||||
```
|
||||
|
||||
## Чтение чисел
|
||||
|
||||
- **Потери ограничены и учтены.** Долгий отказ Loki (120 с) — 443 записи журнала, Tempo — 1342 span
|
||||
(`otelcol_exporter_enqueue_failed_*` / `send_failed_*` экспортёра): очередь Tempo (8 МиБ) за 120 с
|
||||
заполнилась до 0,656 ёмкости, Loki (16 МиБ) — до 0,135, и при этом пакеты, чьи повторы истекли
|
||||
(30 с), отброшены (design, решение 7: сохраняется начало отказа, теряется конец). Короткий отказ
|
||||
(10 с + старт хранилища) — короче срока повторов, потерь 0, свой запрос нашёлся.
|
||||
- **Отказ Collector** — потери у источника: очереди SDK (2048) у каждой реплики переполнились, счёт
|
||||
`otel_sdk_*` с `error_type` — 11 683 и 11 810 (span и записи вместе), он копился в процессе и
|
||||
пришёл в Prometheus после возврата Collector; записей API окна в Loki 0 из 5275 в stdout.
|
||||
- **Память.** Collector в долгих отказах — `docker stats` до 93 МиБ, `otelcol_process_runtime_total_sys_memory_bytes`
|
||||
до 84 МиБ при лимите 256 и `GOMEMLIMIT` 160. Строка `memory otel-collector … peak 68 MiB` в конце
|
||||
— `memory.peak` cgroup после шага `[collector]` (`docker compose stop` / `start` того же контейнера
|
||||
начинают новую cgroup), так же строка Prometheus (89 МиБ) — с его запуска на шаге `[prometheus]`;
|
||||
пик Prometheus за всё время его жизни до этого — 108 МиБ в `alerts-check`. Реплики API при
|
||||
недоступном Collector не растут сверх очередей SDK (рост максимума ≤ 14 МиБ, проверка ≤ 16 МиБ),
|
||||
`memory.peak` реплик 334 и 327 МиБ — со старта стенда в 22:45Z (входы `alerts-check`), лимит 512.
|
||||
Правило «лимит ≥ 1,5 × пика» — раздел change `slo-alerts` в `evidence/telemetry/budget.md`.
|
||||
- **Prometheus.** Пока он стоит, правила не вычисляются и точек нет, а cumulative-счётчики после
|
||||
возврата прежние: приращение между точками до и после окна 2565 ≥ 1833 запросов нагрузки (запросы
|
||||
нагрузки драйвер считает с первой точки до второй минус 30 с — запас на экспорт SDK и сбор, —
|
||||
поэтому приращение заведомо больше).
|
||||
@@ -144,3 +144,61 @@ closed-loop на шумном хосте, не метка `bench/`: это по
|
||||
compose config` — 11,5 / 7296, с `migrate` и `s3-bootstrap` — 12,5 / 7680; совпадают с
|
||||
`.claude/rules/docker.md` («Суммы») и `REPORT.md` («Бюджет»). Соединений PostgreSQL change не
|
||||
прибавил (пул relay 1, `trace-chain`: пределы 10, 10, 2, 1).
|
||||
|
||||
## Change `slo-alerts`: Collector в долгом отказе хранилища, Prometheus в учениях, реплики без Collector (задачи 9.8 и 11.4)
|
||||
|
||||
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
|
||||
рабочее дерево чистое (вне `evidence/` изменений нет); файлы `src/` и `migrations/` в контейнерах
|
||||
`api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit. Лимиты прежние, новых
|
||||
сервисов и портов нет (design, решение 13).
|
||||
- Дата: 2026-11-13, 22:46Z – 23:31Z; стенд `mtusi-lab6` поднят `make run_docker` в 22:45Z (сервисы
|
||||
телеметрии, реплики, relay и worker — свежие cgroup), ВМ Docker Desktop — 12 CPU / 11 902 МиБ
|
||||
(`docker info`: 11,62 GiB).
|
||||
- Методика (design, решение 13; `.claude/rules/telemetry.md`, «Что считать пиком»): худший случай
|
||||
каждого компонента — своя проверка. Collector — долгий (120 с) отказ Loki и Tempo под нагрузкой
|
||||
драйвера в `backend-outage` (обе очереди экспорта заполняются; `docker stats` и
|
||||
`otelcol_process_runtime_total_sys_memory_bytes` раз в 2 с) и `memory.peak` с запуска в 22:45Z за
|
||||
`alerts-check`; Prometheus — `memory.peak` с запуска за весь `alerts-check` (правила, ~150 новых
|
||||
рядов, запросы проверки и панелей); реплики API — `memory.current` из их cgroup раз в 2 с во время
|
||||
120 с недоступного Collector под нагрузкой (`backend-outage`, шаг `[collector]`) и `memory.peak`
|
||||
со старта стенда (входы по Basic в шаге 4 `alerts-check`). Пики печатают сами команды
|
||||
(`evidence/alerts/check.md`, `evidence/telemetry/backend-outage.md`, строки `memory …`).
|
||||
|
||||
| Контейнер | Где пик | `memory.peak`, МиБ | `anon` + `kernel` + `shmem`, МиБ | Прочее | Лимит | 1,5 × пик ≤ лимита |
|
||||
|---|---|---|---|---|---|---|
|
||||
| `otel-collector` | `alerts-check` (с 22:45Z) | 76 | 73 | — | 0,5 CPU / 256 МиБ | да (114) |
|
||||
| `otel-collector` | `backend-outage`, долгий отказ Tempo | — | — | `docker stats` до 93, runtime sys до 84; очередь Tempo 0,656 ёмкости, Loki 0,135 | 0,5 / 256 | да (140 по `docker stats`) |
|
||||
| `prometheus` | `alerts-check` (с 22:45Z) | 108 | 54 | файловый кэш 6 | 0,5 / 384 | да (162) |
|
||||
| `api` (`224ebf0e32ba`) | со старта стенда (входы `alerts-check`, `backend-outage`) | 334 | 133 | без Collector: `memory.current` 142 → 156 | 1 / 512 | да (501) |
|
||||
| `api` (`4b9782f7240b`) | то же | 327 | 135 | без Collector: 145 → 154 | 1 / 512 | да (491) |
|
||||
|
||||
- **Collector.** Худший случай очередей — долгий отказ Tempo: очередь span (8 МиБ) заполнилась до
|
||||
0,656 ёмкости, `docker stats` — до 93 МиБ, `otelcol_process_runtime_total_sys_memory_bytes` — до
|
||||
84 МиБ; это ниже `GOMEMLIMIT` (160) и мягкого предела `memory_limiter`, отказов приёма не было
|
||||
(потери — только очередь и повторы экспортёра: 1342 span, 443 записи). `memory.peak` за весь
|
||||
`alerts-check` — 76 МиБ, неосвобождаемая часть 73 (файлового кэша у Collector нет). Пик cgroup
|
||||
именно в окне долгого отказа не снят: шаг `[collector]` той же команды перезапускает контейнер
|
||||
(`docker compose stop` / `start` — новая cgroup, в конце `memory.peak` 68 МиБ с этого момента), а
|
||||
в пробных прогонах apply (design, «Уточнения apply», п. 13) он был 220–256 МиБ, из них файловый
|
||||
кэш 157–187 и неосвобождаемая часть 62–72 МиБ. По неосвобождаемой части и по `docker stats` правило
|
||||
выполнено с запасом (1,5 × 93 = 140 ≤ 256), лимит не меняется.
|
||||
- **Prometheus.** `memory.peak` 108 МиБ за `alerts-check`, неосвобождаемая часть 54. В пробных
|
||||
прогонах apply (design, «Уточнения apply», п. 13: процесс жил дольше, до прогона — другие проверки)
|
||||
было 240 МиБ, из них кэш 148; правило выполнено и для этого пика: 1,5 × 240 = 360 ≤ 384. После
|
||||
рестартов в `backend-outage` и `telemetry-check` / `telemetry-outage` пики меньше (89 и 96 МиБ).
|
||||
- **Реплики API без Collector.** Память не растёт сверх очередей SDK: максимум последней трети окна
|
||||
на 14 и 9 МиБ выше первой (проверка — не больше 16 МиБ), счёт потерь SDK — 11 683 и 11 810.
|
||||
`memory.peak` 334 и 327 МиБ — от Argon2id входов (3 потока входа в шаге 4 `alerts-check`), а не от
|
||||
SDK: неосвобождаемая часть в конце — 133 и 135 МиБ. Правило выполнено (501 и 491 ≤ 512), запас
|
||||
реплики по-прежнему мал (прежний раздел: до 453 МиБ под `make student_test`), лимит не менялся.
|
||||
- **Остальные контейнеры** — `memory.peak` в конце (23:31Z, после `telemetry-outage` и `trace-chain`:
|
||||
почти все сервисы перезапущены в 23:26Z), МиБ / лимит: Grafana 238 / 512, Loki 101 / 512, Tempo
|
||||
133 / 640, Collector 59 / 256, Prometheus 96 / 384, PostgreSQL 169 / 1024 (с 23:04Z, шаг 5
|
||||
`alerts-check`), брокер 239 / 512, S3 350 / 512, Valkey 27 / 128, LB 28 / 256, уборщик 108 / 256,
|
||||
relay 90 / 256, worker 122 / 1024, реплики 177 / 512.
|
||||
- **Суммы** не изменились: `docker inspect` 15 работающих контейнеров (`HostConfig.NanoCpus`,
|
||||
`HostConfig.Memory`) — 11,5 CPU / 7296 МиБ, `docker compose config` — 11,5 / 7296, с `migrate` и
|
||||
`s3-bootstrap` — 12,5 / 7680; совпадают с `.claude/rules/docker.md` («Суммы») и `REPORT.md`
|
||||
(«Бюджет»). ВМ — 12 CPU / 11 902 МиБ: с одноразовыми и контейнерами `make test_isolated` рядом
|
||||
(+2,25 CPU / 1792 МиБ) — 9472 МиБ лимитов, запас ~2,4 ГиБ на накладные ВМ; CPU больше не дать (у
|
||||
ВМ все 12 ядер хоста), сумма лимитов CPU больше 12 — конкуренция, а не отказ.
|
||||
|
||||
+45
-31
@@ -1,12 +1,14 @@
|
||||
# `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задачи 11.1 и 12; change `job-trace-propagation`, задача 12.2)
|
||||
# `driver.py --port 8080 telemetry-check` (change `otel-telemetry`, задачи 11.1 и 12; change `job-trace-propagation`, задача 12.2; change `slo-alerts`, задача 11.4)
|
||||
|
||||
- Основа: commit `72cfa9a` (feat: propagate trace context through outbox and add pipeline saturation
|
||||
metrics), рабочее дерево чистое (`git status --short` пуст до прогона; новые файлы — только
|
||||
`evidence/`). Файлы `src/` и `migrations/` в контейнерах `api` (2), `relay`, `worker` и `cleaner`
|
||||
побайтно совпадают с деревом commit (SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`.
|
||||
Прежний прогон этого файла — на `68f1e97` (до change `job-trace-propagation`).
|
||||
- Дата: 2026-11-11, 16:59:50Z – 17:01:41Z (~1,9 мин); рабочий стенд `mtusi-lab6` (две реплики API,
|
||||
relay, worker, уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория:
|
||||
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
|
||||
рабочее дерево чистое (вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в
|
||||
контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256
|
||||
каждого файла); ревизия схемы `e4b8c2d17f90`. Прежние прогоны этого файла — на `68f1e97` (до
|
||||
change `job-trace-propagation`) и на `72cfa9a` (до change `slo-alerts`: dashboard без строк «SLO
|
||||
and alerts», «Load balancer», «Telemetry pipeline», SDK без внутренних метрик).
|
||||
- Дата: 2026-11-13, 23:22:43Z – 23:24:43Z (~2 мин), сразу после `backend-outage`
|
||||
(`evidence/telemetry/backend-outage.md`); рабочий стенд `mtusi-lab6` (две реплики API, relay,
|
||||
worker, уборщик, Collector, Prometheus, Loki, Tempo, Grafana), команда из корня репозитория:
|
||||
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-check`, код выхода 0.
|
||||
- Всё — через HTTP API Grafana на `127.0.0.1:3000` с паролем из `.env` (источники-прокси uid
|
||||
`prometheus`, `loki`, `tempo`); пароль, токены и тела в вывод не попадают. Пароль, `username`,
|
||||
@@ -22,17 +24,22 @@
|
||||
запроса», «Трасса задания», «Отказ S3 в трассе», «Health и фоновые циклы без трасс», «Проба
|
||||
приватности», «Запрос найден», «Задание найдено»; `service-logging` — «Записи запроса ведут к
|
||||
трассе», «Записи задания ведут к трассе», «Запись в Loki совпадает со stdout»;
|
||||
`service-configuration` — «Переменные OTEL_* не действуют».
|
||||
- С change `job-trace-propagation`: `observability` «Ресурс relay» (span producer —
|
||||
`messenger-relay`, `service.instance.id` = `instance_id` stdout relay; relay — в пробе сетей
|
||||
хранилищ); `service-logging` «Записи relay в Loki» (запись прохода с публикацией в stdout и та же
|
||||
в Loki) и «Проход relay без полей трассы» (без `trace_id` в обоих; корней-span relay в Tempo
|
||||
нет). Шаги задания ищутся по consumer span `ready` трассы загрузки, а не по корню: его родитель —
|
||||
span producer relay; трасса задания = трасса загрузки (`trace_id` записи «Uploaded attachment»).
|
||||
- Свой запрос: `X-Request-Id` `fa505042431b47c0b898571fb326d873`, `X-Instance-Id`
|
||||
`a4a1f203ef70`, trace-id `d09ff137a735b772a71fc19d90ab338d`; трасса загрузки
|
||||
`95d2de2fc407f300bb758dd9586bf8d8`; проба приватности просмотрела 47 записей Loki, 28 трасс Tempo
|
||||
и 1350 рядов Prometheus окна.
|
||||
`service-configuration` — «Переменные OTEL_* не действуют». С change `job-trace-propagation`:
|
||||
`observability` «Ресурс relay», `service-logging` «Записи relay в Loki» и «Проход relay без полей
|
||||
трассы»; шаги задания — по consumer span `ready` трассы загрузки (его родитель — span producer
|
||||
relay).
|
||||
- С change `slo-alerts` (design, «Уточнения apply», пп. 5, 6): `observability` «Метрики балансировщика
|
||||
без доступа к сети хранилищ» (строки `LB networks` — только `default`, `LB stats port published on
|
||||
host` — нет, `prometheus has an LB target` — нет, `LB series with job haproxy…`, цель `haproxy`
|
||||
в списке `up` = 1) и `load-balancing` «Метрики балансировщика» (`LB frontend responses grew by 20
|
||||
or more` — 20 своих запросов через LB); «Новые панели после трафика» — `dashboard panel queries
|
||||
(57) without error: 0` и `panel queries with data after traffic: []`: все 57 запросов панелей к
|
||||
Prometheus (из них новых с id от 25 — 31, макрос `$__range` подменён на `1h`) выполнены без
|
||||
ошибки и с данными на стенде без оповещений, в том числе панели потерь и истории оповещений (`or
|
||||
on() vector(0)`).
|
||||
- Свой запрос: `X-Request-Id` `c126a16170d94f35b43139e1289b2d81`, `X-Instance-Id` `4b9782f7240b`,
|
||||
trace-id `6e280eb8369840989e91c7c4a2a062e6`; трасса загрузки `878badb606a661c26d22b71170770d21`;
|
||||
проба приватности просмотрела 48 записей Loki, 29 трасс Tempo и 903 ряда Prometheus окна.
|
||||
|
||||
```
|
||||
grafana without credentials expected 401 got 401
|
||||
@@ -55,6 +62,12 @@ prometheus target otel-collector-exporter up expected 1
|
||||
prometheus target loki up expected 1 got 1
|
||||
prometheus target tempo up expected 1 got 1
|
||||
prometheus target prometheus up expected 1 got 1
|
||||
prometheus target haproxy up expected 1 got 1
|
||||
LB networks expected ['default'] got ['default']
|
||||
LB stats port published on host expected no got no
|
||||
prometheus has an LB target expected no got no
|
||||
LB series with job haproxy (frontend, backend, ready) expected yes got yes
|
||||
LB frontend responses grew by 20 or more expected yes got yes
|
||||
register probe user expected 201 got 201
|
||||
login by Basic expected 201 got 201
|
||||
create chat expected 201 got 201
|
||||
@@ -75,15 +88,15 @@ one trace_id and span_id in them expected 1
|
||||
trace_id format expected yes got yes
|
||||
Loki record of the request expected 1 got 1
|
||||
Loki service_name expected messenger-api got messenger-api
|
||||
Loki service_instance_id = X-Instance-Id expected a4a1f203ef70 got a4a1f203ef70
|
||||
Loki instance_id = X-Instance-Id expected a4a1f203ef70 got a4a1f203ef70
|
||||
Loki trace_id = stdout expected d09ff137a735b772a71fc19d90ab338d got d09ff137a735b772a71fc19d90ab338d
|
||||
Loki service_instance_id = X-Instance-Id expected 4b9782f7240b got 4b9782f7240b
|
||||
Loki instance_id = X-Instance-Id expected 4b9782f7240b got 4b9782f7240b
|
||||
Loki trace_id = stdout expected 6e280eb8369840989e91c7c4a2a062e6 got 6e280eb8369840989e91c7c4a2a062e6
|
||||
Loki event, method, path, status, duration = stdout expected yes got yes
|
||||
Tempo server span expected POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER got POST /api/v1/chats/{chat_id}/messages SPAN_KIND_SERVER
|
||||
server span status code expected 201 got 201
|
||||
server span request id = X-Request-Id expected fa505042431b47c0b898571fb326d873 got fa505042431b47c0b898571fb326d873
|
||||
server span request id = X-Request-Id expected c126a16170d94f35b43139e1289b2d81 got c126a16170d94f35b43139e1289b2d81
|
||||
resource service.name expected messenger-api got messenger-api
|
||||
resource service.instance.id expected a4a1f203ef70 got a4a1f203ef70
|
||||
resource service.instance.id expected 4b9782f7240b got 4b9782f7240b
|
||||
resource service.version = contract expected 1.6.0 got 1.6.0
|
||||
resource deployment.environment.name expected lab got lab
|
||||
PostgreSQL query spans under it expected yes got yes
|
||||
@@ -96,14 +109,14 @@ traceparent request has its own trace expected yes
|
||||
spans of the foreign trace-id in Tempo expected 0 got 0
|
||||
its server span has no parent expected yes got yes
|
||||
Loki worker record of the attachment expected 1 got 1
|
||||
job trace = upload trace (trace_id of Uploaded attachment) expected 95d2de2fc407f300bb758dd9586bf8d8 got 95d2de2fc407f300bb758dd9586bf8d8
|
||||
job trace = upload trace (trace_id of Uploaded attachment) expected 878badb606a661c26d22b71170770d21 got 878badb606a661c26d22b71170770d21
|
||||
worker stdout records carry the job trace_id expected yes got yes
|
||||
Tempo consumer span in the upload trace expected SPAN_KIND_CONSUMER ready got SPAN_KIND_CONSUMER ready
|
||||
worker resource service.name expected messenger-worker got messenger-worker
|
||||
worker service.instance.id = instance_id of its stdout expected b221c6088b4b got b221c6088b4b
|
||||
worker service.instance.id = instance_id of its stdout expected dd039bfb3324 got dd039bfb3324
|
||||
consumer span parent: relay producer span expected SPAN_KIND_PRODUCER got SPAN_KIND_PRODUCER
|
||||
producer resource service.name expected messenger-relay got messenger-relay
|
||||
producer service.instance.id = instance_id of relay stdout expected f1a1d8fef0bc got f1a1d8fef0bc
|
||||
producer service.instance.id = instance_id of relay stdout expected b90816dcb1cd got b90816dcb1cd
|
||||
relay pass record with publication in stdout expected yes got yes
|
||||
same relay pass records in Loki (event, published) expected yes got yes
|
||||
relay pass records without trace_id in stdout and Loki expected yes got yes
|
||||
@@ -155,7 +168,7 @@ _OTHER series without http_route expected yes
|
||||
forbidden label names expected [] got []
|
||||
label values that are UUIDs expected 0 got 0
|
||||
label values with BREW, PROPFIND or the odd UUID expected 0 got 0
|
||||
dashboard panel queries (26) without error expected 0 got 0
|
||||
dashboard panel queries (57) without error expected 0 got 0
|
||||
panel queries with data after traffic expected [] got []
|
||||
U in telemetry expected [] got []
|
||||
P in telemetry expected [] got []
|
||||
@@ -169,7 +182,7 @@ foreign trace-id in telemetry expected []
|
||||
pipeline back after restart expected yes got yes
|
||||
same Loki record after restart expected yes got yes
|
||||
same trace after restart expected yes got yes
|
||||
same metric value at the saved time expected 18 got 18
|
||||
same metric value at the saved time expected 10 got 10
|
||||
PASS: own request and job are found in Loki, Tempo and Prometheus through Grafana, no secrets in telemetry
|
||||
```
|
||||
|
||||
@@ -178,5 +191,6 @@ PASS: own request and job are found in Loki, Tempo and Prometheus through Grafan
|
||||
prometheus loki tempo` (параметр `time` запроса). «Span-to-logs query» — запрос `tracesToLogsV2`
|
||||
источника Tempo из `infra/otel/grafana/datasources.yaml`, в который подставлены `service.name`
|
||||
ресурса и trace-id своей трассы: он возвращает записи только этой трассы — тот же переход, что
|
||||
открывает ссылка из span в Grafana. «Panel queries with data after traffic: []» — список панелей
|
||||
без данных пуст (26 запросов dashboard, в том числе уровня 4).
|
||||
открывает ссылка из span в Grafana. «Dashboard panel queries (57) without error: 0» — число
|
||||
запросов панелей к Prometheus с ошибкой; «panel queries with data after traffic: []» — список
|
||||
запросов без данных пуст (57 запросов dashboard: уровни 3 и 4 и новые строки change `slo-alerts`).
|
||||
|
||||
@@ -1,17 +1,21 @@
|
||||
# `driver.py --port 8080 telemetry-outage` (change `otel-telemetry`, задача 11.2; change `job-trace-propagation`, задачи 12.2 и 13.11)
|
||||
# `driver.py --port 8080 telemetry-outage` (change `otel-telemetry`, задача 11.2; change `job-trace-propagation`, задачи 12.2 и 13.11; change `slo-alerts`, задача 11.4)
|
||||
|
||||
- Основа: commit `72e2598` (fix: address job-trace-propagation verify findings), рабочее дерево
|
||||
чистое (`git status --short` до прогона пуст; после — только файлы `evidence/`). Файлы `src/` и
|
||||
`migrations/` (151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с
|
||||
деревом commit (SHA-256 каждого файла). Прежние прогоны этого файла — на `68f1e97` (до change
|
||||
`job-trace-propagation`, без relay) и на `72cfa9a` (до правок verify: сигналы relay после
|
||||
возврата Collector приходили от перезапущенного контейнера).
|
||||
- Дата: 2026-11-11, 17:53:55Z – 17:56:10Z (~2,3 мин); рабочий стенд `mtusi-lab6`, команда из корня:
|
||||
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
|
||||
рабочее дерево чистое (вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в
|
||||
контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256
|
||||
каждого файла). Прежние прогоны этого файла — на `68f1e97` (до change `job-trace-propagation`, без
|
||||
relay), на `72cfa9a` (до правок verify: сигналы relay после возврата Collector приходили от
|
||||
перезапущенного контейнера) и на `72e2598` (до change `slo-alerts`: SDK без внутренних метрик,
|
||||
процессоры и экспортёры строились до `MeterProvider`).
|
||||
- Дата: 2026-11-13, 23:24:53Z – 23:27:11Z (~2,3 мин), сразу после `telemetry-check`; рабочий стенд
|
||||
`mtusi-lab6`, команда из корня:
|
||||
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-outage`, код выхода 0.
|
||||
- Сценарии: `observability` «Collector остановлен», «Collector заморожен», «Collector недоступен для
|
||||
relay»; `service-logging` «Отказ отправки журнала»; `container-run` «Приложение без телеметрии»;
|
||||
`graceful-shutdown` «docker stop при остановленном Collector», «docker stop при замороженном
|
||||
Collector» (реплика API, worker и с change `job-trace-propagation` relay).
|
||||
Collector» (реплика API, worker и с change `job-trace-propagation` relay). С change `slo-alerts`
|
||||
этот прогон показывает, что внутренние метрики SDK (`otel.sdk.*`, те же процессоры и экспортёры с
|
||||
`meter_provider`) не меняют работу и остановку без Collector: ни сроков, ни числа записей SDK.
|
||||
- Ход (с verify W2, design change `job-trace-propagation`, «Уточнения apply», п. 18): на фазу —
|
||||
`StartedAt` и `RestartCount` всех контейнеров `api` (2), `worker` и `relay`; `docker compose stop`
|
||||
(или `pause`) `otel-collector`; `make test` через LB; `/health/ready`; свой `GET /users/me` и его
|
||||
@@ -28,14 +32,15 @@
|
||||
сервисов телеметрии остановлены, `docker compose restart api worker relay`, `make test`, затем
|
||||
возврат телеметрии и сигналы снова. В `finally` — `unpause` и `start` телеметрии, `make
|
||||
replicas`, worker и relay.
|
||||
- Время остановки при недоступном Collector: реплика API — 1,64 с (stop) и 1,66 с (pause), worker —
|
||||
0,72 и 0,71 с, relay — 0,63 и 0,64 с; срок закрытия SDK — 1 с у API и окно 0,5 с у worker и relay
|
||||
(`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS`, design change `otel-telemetry`, решение 13; design change
|
||||
`job-trace-propagation`, решение 15).
|
||||
- Время остановки при недоступном Collector: реплика API — 1,91 с (stop) и 1,62 с (pause), worker —
|
||||
0,77 и 0,89 с, relay — 0,63 и 0,66 с (на `72e2598` — 1,64 / 1,66, 0,72 / 0,71, 0,63 / 0,64 с); срок
|
||||
закрытия SDK — 1 с у API и окно 0,5 с у worker и relay (`TELEMETRY_SHUTDOWN_TIMEOUT_SECONDS`,
|
||||
design change `otel-telemetry`, решение 13; design change `job-trace-propagation`, решение 15).
|
||||
- Записи SDK об отказе — по одной на модуль экспортёра (трассы, метрики, логи) на контейнер `api` и
|
||||
`worker` за окно: фильтр пропускает не больше одной в минуту на логгер. В фазе `pause` к моменту
|
||||
подсчёта отказать успели не все экспортёры (запрос к замороженному Collector ждёт срока), и
|
||||
записей меньше — у второй реплики ни одной. Записи SDK relay в этом подсчёте не участвуют.
|
||||
записей меньше — у реплики `224ebf0e32ba` и worker нет записи экспортёра журнала. Записи SDK relay
|
||||
в этом подсчёте не участвуют.
|
||||
|
||||
```
|
||||
[collector stop] docker compose stop otel-collector
|
||||
@@ -43,7 +48,7 @@
|
||||
[collector stop] /health/ready: 200
|
||||
[collector stop] upload becomes ready: yes
|
||||
[collector stop] own request record in stdout: yes
|
||||
[collector stop] SDK records in 20 s: {'820012004c61 opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '820012004c61 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '820012004c61 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '6c86638cdbce opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '6c86638cdbce opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '6c86638cdbce opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http._log_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http.metric_exporter': 1}
|
||||
[collector stop] SDK records in 21 s: {'224ebf0e32ba opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '224ebf0e32ba opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '224ebf0e32ba opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http._log_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1}
|
||||
[collector stop] SDK records per logger at most 1: yes
|
||||
[collector stop] otel-collector back
|
||||
[collector stop] API record reaches Loki again: yes
|
||||
@@ -57,11 +62,11 @@
|
||||
[collector stop] api, worker and relay start time and restarts unchanged: yes
|
||||
[collector stop] docker compose stop otel-collector (stops)
|
||||
[collector stop] make test before stops: 0 PASS
|
||||
[collector stop] docker stop api 820012004c61: 1.64 s
|
||||
[collector stop] docker stop api 224ebf0e32ba: 1.91 s
|
||||
[collector stop] docker stop api faster than 10 s: yes
|
||||
[collector stop] api exit code: 0
|
||||
[collector stop] Stopped API in stdout: yes
|
||||
[collector stop] docker compose stop worker: 0.72 s
|
||||
[collector stop] docker compose stop worker: 0.77 s
|
||||
[collector stop] stop worker faster than 10 s: yes
|
||||
[collector stop] worker exit code: 0
|
||||
[collector stop] Stopped worker in stdout: yes
|
||||
@@ -77,7 +82,7 @@
|
||||
[collector pause] /health/ready: 200
|
||||
[collector pause] upload becomes ready: yes
|
||||
[collector pause] own request record in stdout: yes
|
||||
[collector pause] SDK records in 20 s: {'820012004c61 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '820012004c61 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'd04ac10e81df opentelemetry.exporter.otlp.proto.http.metric_exporter': 1}
|
||||
[collector pause] SDK records in 20 s: {'224ebf0e32ba opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '224ebf0e32ba opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http._log_exporter': 1, '4b9782f7240b opentelemetry.exporter.otlp.proto.http.metric_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http.trace_exporter': 1, 'dd039bfb3324 opentelemetry.exporter.otlp.proto.http.metric_exporter': 1}
|
||||
[collector pause] SDK records per logger at most 1: yes
|
||||
[collector pause] otel-collector back
|
||||
[collector pause] API record reaches Loki again: yes
|
||||
@@ -91,15 +96,15 @@
|
||||
[collector pause] api, worker and relay start time and restarts unchanged: yes
|
||||
[collector pause] docker compose pause otel-collector (stops)
|
||||
[collector pause] make test before stops: 0 PASS
|
||||
[collector pause] docker stop api 820012004c61: 1.66 s
|
||||
[collector pause] docker stop api 224ebf0e32ba: 1.62 s
|
||||
[collector pause] docker stop api faster than 10 s: yes
|
||||
[collector pause] api exit code: 0
|
||||
[collector pause] Stopped API in stdout: yes
|
||||
[collector pause] docker compose stop worker: 0.71 s
|
||||
[collector pause] docker compose stop worker: 0.89 s
|
||||
[collector pause] stop worker faster than 10 s: yes
|
||||
[collector pause] worker exit code: 0
|
||||
[collector pause] Stopped worker in stdout: yes
|
||||
[collector pause] docker stop relay: 0.64 s
|
||||
[collector pause] docker stop relay: 0.66 s
|
||||
[collector pause] stop relay faster than 10 s: yes
|
||||
[collector pause] relay exit code: 0
|
||||
[collector pause] Stopped relay in stdout: yes
|
||||
|
||||
@@ -1,12 +1,12 @@
|
||||
# `driver.py --port 8080 trace-chain` (change `job-trace-propagation`, задачи 12.1 и 13.11)
|
||||
# `driver.py --port 8080 trace-chain` (change `job-trace-propagation`, задачи 12.1 и 13.11; change `slo-alerts`, задача 11.4)
|
||||
|
||||
- Основа: commit `72e2598` (fix: address job-trace-propagation verify findings), рабочее дерево
|
||||
чистое (`git status --short` пуст до прогона; после — только файлы `evidence/`). Файлы `src/` и
|
||||
`migrations/` (151) в контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с
|
||||
деревом commit (SHA-256 каждого файла); ревизия схемы `e4b8c2d17f90`; Grafana запущена
|
||||
(17:55:46Z, рестарт в `telemetry-outage`) после последней правки dashboard JSON. Прежний прогон
|
||||
этого файла — на `72cfa9a`, до правок verify.
|
||||
- Дата: 2026-11-11, 17:56:20Z – 17:59:11Z (~3 мин), сразу после `telemetry-outage`; рабочий стенд
|
||||
- Основа: commit `15ea156` (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
|
||||
рабочее дерево чистое (вне `evidence/` изменений нет). Файлы `src/` и `migrations/` (151) в
|
||||
контейнерах `api` (2), `relay`, `worker` и `cleaner` побайтно совпадают с деревом commit (SHA-256
|
||||
каждого файла); ревизия схемы `e4b8c2d17f90`; Grafana запущена после последней правки dashboard
|
||||
JSON (рестарт в `telemetry-outage`, 23:26Z). Прежние прогоны этого файла — на `72cfa9a` и на
|
||||
`72e2598` (до change `slo-alerts`: dashboard без новых строк, SDK без внутренних метрик).
|
||||
- Дата: 2026-11-13, 23:27:25Z – 23:30:16Z (~2,9 мин), сразу после `telemetry-outage`; рабочий стенд
|
||||
`mtusi-lab6` (две реплики API, relay, worker, уборщик, Collector, Prometheus, Loki, Tempo,
|
||||
Grafana), команда из корня репозитория:
|
||||
`python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 trace-chain`, код выхода 0.
|
||||
@@ -20,15 +20,21 @@
|
||||
сокета Docker», «Панели уровня 4 после трафика», «Время до готовности в метрике» (шаг 5), «Проверка
|
||||
цепочки» (команда целиком); `service-logging` — «Записи задания ведут к трассе» (записи worker по F
|
||||
несут `trace_id` T записи «Uploaded attachment» запроса R).
|
||||
- С правками verify (design, «Уточнения apply», п. 19, 22, 23): предусловие — глубина очереди 0
|
||||
с ожиданием до 120 с (здесь дождалась сразу; не дождалась бы — код 2 «stand is not quiet»); CPU
|
||||
каждого контейнера `api`, `worker`, `relay` вырос за прогон (`increase(container_cpu_time_seconds_total[161s])`
|
||||
> 0 — сценарий «Пределы как в compose», «CPU растёт под нагрузкой»); панель пула с двумя
|
||||
единицами (ожидающие и отказы в секунду) — среди 19 запросов панелей уровня 4 без ошибок и с
|
||||
данными.
|
||||
- С change `slo-alerts`: «Новые панели после трафика» — обход панелей с id от 14 теперь включает и
|
||||
строки «SLO and alerts», «Load balancer», «Telemetry pipeline» (id от 25): 50 запросов к Prometheus
|
||||
(было 19) без ошибок и с данными (`level 4 panel queries (50)`), макрос `$__range` подменён на
|
||||
`1h` (design change `slo-alerts`, «Уточнения apply», п. 5). Цепочка, пулы, пределы и время до
|
||||
`ready` — как на `72e2598`: внутренние метрики SDK и новый порядок сборки провайдеров трассы не
|
||||
меняют.
|
||||
- С правками verify change `job-trace-propagation` («Уточнения apply», п. 19, 22, 23): предусловие —
|
||||
глубина очереди 0 с ожиданием до 120 с (здесь дождалась сразу, сразу после `telemetry-outage`; не
|
||||
дождалась бы — код 2 «stand is not quiet»); CPU каждого контейнера `api`, `worker`, `relay` вырос
|
||||
за прогон (`increase(container_cpu_time_seconds_total[156s])` > 0).
|
||||
- Шаги 2 и 3: Tempo 3.1 собрал span producer и consumer разных попыток (повтор после `pause s3`,
|
||||
replay) в одной трассе загрузки (п. 7). Время до `ready`: worker перезапускался дважды, проверка
|
||||
складывает «тихие» значения двух процессов (п. 8).
|
||||
replay) в одной трассе загрузки. Время до `ready`: worker перезапускался дважды; с change
|
||||
`slo-alerts` счёт по-прежнему складывает «тихие» значения двух процессов: перезапуск через ~30 с
|
||||
быстрее срока рядов экспортёра (1 мин), это ограничение design change `slo-alerts`, решение 6
|
||||
(полный перезапуск дольше 2 мин проверяет `alerts-check`, шаг 1).
|
||||
- Расхождений с design нет.
|
||||
|
||||
Ход прогона:
|
||||
@@ -61,7 +67,7 @@ root: server span of the upload: POST /api/v1/chats/{chat_id}/attachments messen
|
||||
producer spans: 2
|
||||
consumer spans: 2
|
||||
producers: messenger-relay, children of the root: yes
|
||||
producer service.instance.id = relay instance_id: 0ac09c58168f
|
||||
producer service.instance.id = relay instance_id: b90816dcb1cd
|
||||
producer attempts: [1, 2]
|
||||
retry reason of the second producer: storage_unavailable
|
||||
consumers: messenger-worker, parent and link = own producer: yes
|
||||
@@ -90,28 +96,28 @@ pool max: API replicas, worker, relay: ['10', '10'] ['2'] ['1']
|
||||
pools with used above max: 0
|
||||
worker capacity: 2
|
||||
queue series only from relay: ['messenger-relay']
|
||||
api 820012004c61 limits = docker inspect: 1 536870912
|
||||
api 820012004c61 memory below the limit: yes
|
||||
api 820012004c61 CPU grows during the run (increase over 161 s > 0): yes
|
||||
api 6c86638cdbce limits = docker inspect: 1 536870912
|
||||
api 6c86638cdbce memory below the limit: yes
|
||||
api 6c86638cdbce CPU grows during the run (increase over 161 s > 0): yes
|
||||
worker d04ac10e81df limits = docker inspect: 1 1073741824
|
||||
worker d04ac10e81df memory below the limit: yes
|
||||
worker d04ac10e81df CPU grows during the run (increase over 161 s > 0): yes
|
||||
relay 0ac09c58168f limits = docker inspect: 0.25 268435456
|
||||
relay 0ac09c58168f memory below the limit: yes
|
||||
relay 0ac09c58168f CPU grows during the run (increase over 161 s > 0): yes
|
||||
api 224ebf0e32ba limits = docker inspect: 1 536870912
|
||||
api 224ebf0e32ba memory below the limit: yes
|
||||
api 224ebf0e32ba CPU grows during the run (increase over 156 s > 0): yes
|
||||
api 4b9782f7240b limits = docker inspect: 1 536870912
|
||||
api 4b9782f7240b memory below the limit: yes
|
||||
api 4b9782f7240b CPU grows during the run (increase over 156 s > 0): yes
|
||||
worker dd039bfb3324 limits = docker inspect: 1 1073741824
|
||||
worker dd039bfb3324 memory below the limit: yes
|
||||
worker dd039bfb3324 CPU grows during the run (increase over 156 s > 0): yes
|
||||
relay b90816dcb1cd limits = docker inspect: 0.25 268435456
|
||||
relay b90816dcb1cd memory below the limit: yes
|
||||
relay b90816dcb1cd CPU grows during the run (increase over 156 s > 0): yes
|
||||
Docker socket mounted by any service: no
|
||||
dashboard loaded: 200
|
||||
level 4 panel queries (19) without error: []
|
||||
level 4 panel queries (50) without error: []
|
||||
level 4 panel queries with data: []
|
||||
waiting for the time-to-ready histogram to settle
|
||||
time to ready count grew by the uploads without replay: 5
|
||||
time to ready sum grew by at least 3 x 32 s (worker stopped): yes
|
||||
```
|
||||
|
||||
Итог («with data: []» — список панелей без данных пуст):
|
||||
Итог:
|
||||
|
||||
```text
|
||||
queue depth before reaches 0 within 120 s (no unfinished jobs) expected yes got yes
|
||||
@@ -133,7 +139,7 @@ root: server span of the upload expected
|
||||
producer spans expected 2 got 2
|
||||
consumer spans expected 2 got 2
|
||||
producers: messenger-relay, children of the root expected yes got yes
|
||||
producer service.instance.id = relay instance_id expected 0ac09c58168f got 0ac09c58168f
|
||||
producer service.instance.id = relay instance_id expected b90816dcb1cd got b90816dcb1cd
|
||||
producer attempts expected [1, 2] got [1, 2]
|
||||
retry reason of the second producer expected storage_unavailable got storage_unavailable
|
||||
consumers: messenger-worker, parent and link = own producer expected yes got yes
|
||||
@@ -160,21 +166,21 @@ pool max: API replicas, worker, relay expected
|
||||
pools with used above max expected 0 got 0
|
||||
worker capacity expected 2 got 2
|
||||
queue series only from relay expected ['messenger-relay'] got ['messenger-relay']
|
||||
api 820012004c61 limits = docker inspect expected 1 536870912 got 1 536870912
|
||||
api 820012004c61 memory below the limit expected yes got yes
|
||||
api 820012004c61 CPU grows during the run (increase over 161 s > 0) expected yes got yes
|
||||
api 6c86638cdbce limits = docker inspect expected 1 536870912 got 1 536870912
|
||||
api 6c86638cdbce memory below the limit expected yes got yes
|
||||
api 6c86638cdbce CPU grows during the run (increase over 161 s > 0) expected yes got yes
|
||||
worker d04ac10e81df limits = docker inspect expected 1 1073741824 got 1 1073741824
|
||||
worker d04ac10e81df memory below the limit expected yes got yes
|
||||
worker d04ac10e81df CPU grows during the run (increase over 161 s > 0) expected yes got yes
|
||||
relay 0ac09c58168f limits = docker inspect expected 0.25 268435456 got 0.25 268435456
|
||||
relay 0ac09c58168f memory below the limit expected yes got yes
|
||||
relay 0ac09c58168f CPU grows during the run (increase over 161 s > 0) expected yes got yes
|
||||
api 224ebf0e32ba limits = docker inspect expected 1 536870912 got 1 536870912
|
||||
api 224ebf0e32ba memory below the limit expected yes got yes
|
||||
api 224ebf0e32ba CPU grows during the run (increase over 156 s > 0) expected yes got yes
|
||||
api 4b9782f7240b limits = docker inspect expected 1 536870912 got 1 536870912
|
||||
api 4b9782f7240b memory below the limit expected yes got yes
|
||||
api 4b9782f7240b CPU grows during the run (increase over 156 s > 0) expected yes got yes
|
||||
worker dd039bfb3324 limits = docker inspect expected 1 1073741824 got 1 1073741824
|
||||
worker dd039bfb3324 memory below the limit expected yes got yes
|
||||
worker dd039bfb3324 CPU grows during the run (increase over 156 s > 0) expected yes got yes
|
||||
relay b90816dcb1cd limits = docker inspect expected 0.25 268435456 got 0.25 268435456
|
||||
relay b90816dcb1cd memory below the limit expected yes got yes
|
||||
relay b90816dcb1cd CPU grows during the run (increase over 156 s > 0) expected yes got yes
|
||||
Docker socket mounted by any service expected no got no
|
||||
dashboard loaded expected 200 got 200
|
||||
level 4 panel queries (19) without error expected [] got []
|
||||
level 4 panel queries (50) without error expected [] got []
|
||||
level 4 panel queries with data expected [] got []
|
||||
time to ready count grew by the uploads without replay expected 5 got 5
|
||||
time to ready sum grew by at least 3 x 32 s (worker stopped) expected yes got yes
|
||||
|
||||
@@ -575,3 +575,11 @@ COMMIT=<прежний> MIGRATE=0`; схема не меняется, нули
|
||||
в окне меньше 1 и отказов по сроку нет; наибольшее `pending` печатается как наблюдение.
|
||||
15. **ВМ.** Во время первого пробного прогона `alerts-check` пользователь перезапустил ВМ Docker Desktop с памятью 12 ГБ
|
||||
(MemTotal 11 902 МиБ): прогон прерван ошибкой соединения с Grafana и повторён; строки бюджета — по новой ВМ.
|
||||
16. **Evidence (раздел 11 tasks).** Снято на commit `15ea156` без правок кода, драйвера и конфигураций: стенд поднят
|
||||
`make run_docker` (контейнеры не пересоздавались, файлы `src/` и `migrations/` всех процессов побайтно равны дереву
|
||||
commit), затем подряд `alerts-check`, `backend-outage`, `telemetry-check`, `telemetry-outage`, `trace-chain` — все
|
||||
с кодом 0 с первой попытки. `evidence/alerts/rules-test.md` снят 2026-11-11 на том же commit; повторный `make
|
||||
alerts_test` 2026-11-13 дал тот же вывод, файл не переснимался. Пик cgroup Collector именно в долгом отказе хранилища
|
||||
не снят: шаг `[collector]` той же команды перезапускает контейнер (новая cgroup), поэтому в бюджете пик Collector —
|
||||
`docker stats` и `otelcol_process_runtime_*` окна долгого отказа (до 93 и 84 МиБ) и `memory.peak` за `alerts-check`
|
||||
(76 МиБ), а пробные числа п. 13 названы рядом; правило «лимит ≥ 1,5 × пика» выполнено по всем.
|
||||
|
||||
@@ -145,19 +145,19 @@
|
||||
|
||||
## 11. Evidence (после коммита кода основной сессией)
|
||||
|
||||
- [ ] 11.1 `make alerts_test` → `evidence/alerts/rules-test.md` с commit в шапке. Проверка: сценарий «Тесты правил».
|
||||
- [ ] 11.2 `driver.py --port 8080 alerts-check` → код 0, `evidence/alerts/check.md`. Проверка: сценарии «Остановленный
|
||||
- [x] 11.1 `make alerts_test` → `evidence/alerts/rules-test.md` с commit в шапке. Проверка: сценарий «Тесты правил».
|
||||
- [x] 11.2 `driver.py --port 8080 alerts-check` → код 0, `evidence/alerts/check.md`. Проверка: сценарии «Остановленный
|
||||
worker», «Остановленный relay», «Медленная БД», «Медленный handler не путается с БД», «Недоступная БД», «SLO считается»,
|
||||
«Отказ БД виден в SLI доступности», «Тяжёлая ручка вне SLI задержки», «Правила загружены», «Перезапуск worker»,
|
||||
«Остановленный relay уходит из рядов», «Ответы самого балансировщика», «История оповещения на панели».
|
||||
- [ ] 11.3 `driver.py --port 8080 backend-outage` → код 0, `evidence/telemetry/backend-outage.md`. Проверка: сценарии
|
||||
- [x] 11.3 `driver.py --port 8080 backend-outage` → код 0, `evidence/telemetry/backend-outage.md`. Проверка: сценарии
|
||||
«Короткий отказ хранилища», «Долгий отказ хранилища», «Отказ Prometheus», «Отказ Collector под нагрузкой», «Потери SDK при
|
||||
недоступном Collector», «Потери Collector при недоступном хранилище», «Без потерь».
|
||||
- [ ] 11.4 Пересъёмка на том же commit: `telemetry-check` → `evidence/telemetry/check.md`, `trace-chain` →
|
||||
- [x] 11.4 Пересъёмка на том же commit: `telemetry-check` → `evidence/telemetry/check.md`, `trace-chain` →
|
||||
`evidence/telemetry/trace-chain.md`, `telemetry-outage` → `evidence/telemetry/collector-outage.md` (dashboard и SDK
|
||||
изменились); раздел change в `evidence/telemetry/budget.md` (9.8). Проверка: коды 0; сценарии «Новые панели после
|
||||
трафика», «Метрики балансировщика без доступа к сети хранилищ», `load-balancing` «Метрики балансировщика»; лимиты ≥
|
||||
1,5 × пика, суммы совпадают.
|
||||
- [ ] 11.5 Числа и наблюдения инцидентов в `REPORT.md` из 11.2–11.4, ссылки `REPORT.md` и `AGENTS.md` на файлы evidence и их
|
||||
- [x] 11.5 Числа и наблюдения инцидентов в `REPORT.md` из 11.2–11.4, ссылки `REPORT.md` и `AGENTS.md` на файлы evidence и их
|
||||
commit; `graphify update .`. Проверка: файлы, названные в `REPORT.md`, существуют; у каждого инцидента — шаги со ссылкой
|
||||
на строки evidence.
|
||||
|
||||
Reference in New Issue
Block a user