Files
mtusi2026lab6/evidence/telemetry/budget.md
T
2026-11-14 02:36:17 +03:00

21 KiB
Raw Blame History

Бюджет стенда с телеметрией (change otel-telemetry, задача 10.1; verify W1; раздел change job-trace-propagation — в конце)

  • Основа: commit 4178b3d (fix: raise tempo and grafana memory limits to measured peaks), рабочее дерево чистое (git status --short пуст до и после замера); лимиты Tempo 640 МиБ и Grafana 512 МиБ применены docker compose up -d tempo grafana и сверены docker inspect (HostConfig.Memory 671088640 и 536870912).
  • Дата: 2026-11-11, 08:13:29Z – 08:19:01Z; стенд — проект compose mtusi-lab6, Docker 29.9.2, ВМ Docker Desktop 12 CPU / 7934 МиБ, ядро 7.0.14-linuxkit.
  • Методика (design, решение 7; «Уточнения apply», п. 19): на фазу — свежие cgroup реплик API и worker (docker compose up -d --no-deps --force-recreate --wait api worker), 30 с простоя (docker stats), затем make test, make load (30 с, 4 клиента, closed-loop запись) и make student_test через LB под выборкой docker stats раз в 2 с; в конце memory.peak каждого контейнера (cgroup v2 ВМ, одноразовый контейнер с --cgroupns host, --network none, только чтение). Фаза «выключена» — тот же стенд с override TELEMETRY__ENABLED: "false" у api и worker (записи «Started API» и «Started worker» — telemetry_enabled true и false по фазам), после неё — снова без override. Пик сервисов телеметрии — с их старта (Tempo и Grafana — с пересоздания под новые лимиты в 08:13:11Z, остальные — с 08:00:28Z, включает telemetry-outage и первый замер), а не за фазу.
  • Результаты команд в обеих фазах: make test — PASS, make load — 0 ошибок, make student_test — 223 passed и 1 failed: известный test_exclusion_evidence_exists (evidence исключений снимается в последнем шаге лабы).
  • Скрипт замера — во временном каталоге сессии, в git не идёт; это проверка лимитов, а не метка bench/.

Память и CPU

Контейнер Фаза Простой, МиБ Под нагрузкой (макс. выборки), МиБ CPU макс., % memory.peak, МиБ Лимит, МиБ 1,5 × пик ≤ лимита
api-1 телеметрия включена 111,2 290,5 95,8 451,6 512 — (в лимите)
api-2 включена 112,8 301,0 94,5 453,4 512 — (в лимите)
worker включена 101,0 135,7 98,7 502,4 1024 да (754)
api-1 выключена 110,6 287,8 94,8 481,2 512 — (в лимите)
api-2 выключена 110,6 288,8 100,0 481,9 512 — (в лимите)
worker выключена 100,7 132,9 100,7 500,5 1024 да (751)
otel-collector — 66,1 91,6 2,5 96,9 256 да (145)
prometheus — 81,2 82,2 1,8 95,1 384 да (143)
loki — 130,0 164,4 4,6 190,3 512 да (285)
tempo — 37,6 223,5 27,1 252,5 640 да (379)
grafana — 238,9 238,6 1,6 247,7 512 да (372)
  • Почему подняты лимиты Tempo и Grafana. Первый замер той же методикой на 68f1e97 (лимиты 512 и 384 МиБ, 08:02–08:07Z; Tempo и Grafana жили с 08:00:28Z, после telemetry-check и telemetry-outage) дал пики Tempo 398,4 МиБ и Grafana 294,1 МиБ: 1,5 × пика — 598 и 441, больше лимитов. Пик Tempo упёрся в GOMEMLIMIT 400 МиБ: рантайм держит кучу у мягкого предела, поэтому лимит — 1,6 × GOMEMLIMIT (640), а GOMEMLIMIT прежний (design, «Уточнения apply», п. 19). Наибольшие пики обоих замеров правило выполняют и при новых лимитах: 1,5 × 398 = 598 ≤ 640, 1,5 × 294 = 441 ≤ 512. Остальные сервисы в первом замере — Collector 75,7, Prometheus 95,1, Loki 153,0 МиБ, реплики API 451–482, worker 503 — в пределах тех же лимитов.
  • Реплика API — в своём лимите (правило задачи 10.1 для реплик): 452–453 МиБ с телеметрией и 481–482 без неё из 512. Пик даёт Argon2id входов make student_test (4 × 64 МиБ) и места загрузок, а не SDK: с телеметрией он не выше. Запас ~6 % — ограничение в REPORT.md; лимит реплики не менялся.
  • Worker — 500–502 МиБ из 1024: процессы обработки в той же cgroup.

Цена SDK в репликах (грубо, один прогон)

make load (30 с, 4 клиента) на том же стенде подряд:

Телеметрия Успешных запросов/с p50, мс p95, мс p99, мс Ошибок
включена 489,2 6,9 13,8 25,7 0
выключена 568,3 6,4 8,8 12,7 0

Первый замер (68f1e97): 489,7 против 570,8 запросов/с, p95 12,5 против 8,9 мс. Один прогон closed-loop на шумном хосте, не метка bench/: это порядок цены (−14 % RPS, хвост выше), а не замер; исследование — трек 1 «Цена наблюдаемости».

Суммы лимитов (docker compose config, docker inspect)

CPU Память, МиБ
сервисы телеметрии (Collector 256, Prometheus 384, Loki 512, Tempo 640, Grafana 512) 2,5 2304
постоянные сервисы стенда (15 контейнеров, 2 реплики API) 11,5 7296
с одноразовыми (migrate, s3-bootstrap) 12,5 7680
ВМ Docker 12 7934

Постоянные суммы совпадают с docker inspect (HostConfig.NanoCpus, HostConfig.Memory) всех 15 работающих контейнеров рабочего стенда. Лимиты — потолки, а не резерв: CPU делится по времени, а память всего стенда (docker stats) — 1635 МиБ в простое первой фазы и ~2,2 ГиБ сразу после нагрузки, из них сервисы телеметрии — 554 и ~710 МиБ.

Change job-trace-propagation: relay с SDK, уборщик после ленивого импорта (задача 12.4)

  • Основа: commit 72cfa9a (feat: propagate trace context through outbox and add pipeline saturation metrics), рабочее дерево без правок кода (добавлены только файлы evidence/). Реплики API, relay, worker, уборщик и migrate — на одном образе 66e41a7d85f2, собранном make rolling_update из дерева commit (evidence/migrations/job-trace-context.md); relay, worker и уборщик пересозданы docker compose up -d --no-deps --force-recreate в 17:05:57Z — свежие cgroup. Лимиты прежние (relay 0,25 CPU / 256 МиБ, уборщик 0,25 / 256), docker inspect — те же.
  • Дата: 2026-11-11, 17:07:26Z – 17:12:59Z; стенд mtusi-lab6, тот же хост, что выше.
  • Методика (design, решение 15): 30 с простоя, затем make test, make load (30 с, 4 клиента), make student_test через LB и driver.py --port 8080 trace-chain подряд под выборкой docker stats раз в ~2 с; memory.peak / memory.current — после простоя, после make student_test и в конце: у relay, уборщика, worker и реплик — из их собственной cgroup (docker exec … cat /sys/fs/cgroup/memory.peak), у всех контейнеров в конце — из cgroup v2 ВМ одноразовым контейнером (--cgroupns host, --network none, --read-only). Сервисы телеметрии жили с 17:03:47Z (перезапущены telemetry-outage), то есть их пик — за telemetry-outage (конец), бюджет и trace-chain.
  • Результаты команд: make test — PASS, make load — 12 623 успешных, 0 ошибок, 419 запросов/с, p50 / p95 / p99 7,6 / 16,9 / 52,1 мс; make student_test — 223 passed, 1 failed (известный test_exclusion_evidence_exists); trace-chain здесь — нагрузка, его код 1: единственная неудачная строка — предусловие «queue depth before (no unfinished jobs)» 1 вместо 0 (запущен через секунду после make student_test, последняя точка ряда глубины в Prometheus — до 30 с давности; через несколько секунд глубина при трёх загрузках — ровно 3, остальные строки — как в trace-chain.md). Это свойство тихого стенда, а не дефект: файл trace-chain.md снят на тихом стенде с кодом 0.
  • trace-chain останавливает и запускает relay и worker (docker start того же контейнера — новая cgroup), поэтому memory.peak relay в конце — с 17:12:02Z; пик за make test + make load + make student_test снят до него.
Контейнер memory.peak, МиБ docker stats макс., МиБ CPU макс., % ядра Лимит 1,5 × пик ≤ лимита
relay (с 17:05:58Z: простой, make test, make load, make student_test) 103,3 89,5 5,2 0,25 CPU / 256 МиБ да (155)
relay (с 17:12:02Z, trace-chain после docker start) 96,2 89,9 24,9 0,25 / 256 да (144)
одноразовый relay replay (trace-chain, шаг 3) — 48,0 24,8 0,25 / 256 —
cleaner (с 17:05:57Z, плановая сверка при старте) 107,7 106,6 7,7 0,25 / 256 да (162)
  • Relay. Пик 103 МиБ — на старте (после 30 с простоя он уже 103,3 и под нагрузкой не рос): импорт SDK и первый проход; VmRSS после make student_test — 107,5 МиБ. До коммита (scratchpad apply, «Уточнения apply», п. 12) — 94–99 МиБ; правило выполнено, лимит не меняется. CPU упирается в лимит (24,9 % при 25 %) только во время trace-chain — старт после docker start и разбор накопленных при остановленном relay заданий; под make load и make student_test — до 5,2 %.
  • Уборщик. memory.peak с пересоздания — 107,7 МиБ, включая плановую сверку при старте, VmRSS 114,7 МиБ, в простое memory.current ~99 МиБ. В «Уточнениях apply», п. 10, был пик 176 МиБ на образе до коммита — на этом стенде и наборе данных пик сверки при старте ниже; правило «лимит ≥ 1,5 × пика» выполнено (162 ≤ 256). Что пик уборщика зависит от числа строк сверки, а не от SDK, — прежнее (QUESTIONS.md, ## job-trace-propagation, вопрос 5).
  • Остальные контейнеры (memory.peak в конце, МиБ / лимит): реплики API 442,9 и 441,9 / 512 (в лимите, как выше), worker 121,3 / 1024 (с docker start в trace-chain; до него — 502,3: процессы обработки make student_test), Collector 83,5 / 256, Prometheus 94,6 / 384, Loki 159,9 / 512, Tempo 279,6 / 640, PostgreSQL 274,3 / 1024, брокер 250,4 / 512, Valkey 29,8 / 128, LB 29,4 / 256.
  • Grafana: memory.peak раздут файловым кэшем. memory.peak 343,2 МиБ при лимите 512 (1,5 × memory.peak = 515), хотя в первом разделе и в design (решение 15, «Уточнения apply», п. 12) — 248–294 и 255 МиБ. Пик набран в первые минуты после рестарта telemetry-outage (уже 343,2 в начале простоя) и дальше не рос; docker stats (без неактивного page cache) — 253–261 МиБ; memory.stat в конце: anon 188, file 95 (из них inactive_file 69), shmem 1,6 МиБ. Файловый кэш ядро освобождает до OOM, поэтому memory.peak здесь — верхняя граница, а не пик: неосвобождаемая часть anon + kernel + shmem ≈ 197 МиБ, 1,5 × ≈ 296 ≤ 512 — правило telemetry.md («Go и память»: пик, раздутый кэшем) выполнено, лимит не меняется (QUESTIONS.md, ## job-trace-propagation, вопрос 6, закрыт на verify).
  • S3 — memory.peak 512,8 МиБ при лимите 512 (стенд жил с 16:04:32Z): известная запись KNOWN_ISSUES.md «память S3 на долго живущем стенде», не этот change.
  • Суммы не изменились: docker inspect 15 работающих контейнеров — 11,5 CPU / 7296 МиБ, docker compose config — 11,5 / 7296, с migrate и s3-bootstrap — 12,5 / 7680; совпадают с .claude/rules/docker.md («Суммы») и REPORT.md («Бюджет»). Соединений PostgreSQL change не прибавил (пул relay 1, trace-chain: пределы 10, 10, 2, 1).

Change slo-alerts: Collector в долгом отказе хранилища, Prometheus в учениях, реплики без Collector (задачи 9.8 и 11.4)

  • Основа: commit 15ea156 (feat: add SLOs, Prometheus alert rules and telemetry loss accounting), рабочее дерево чистое (вне evidence/ изменений нет); файлы src/ и migrations/ в контейнерах api (2), relay, worker и cleaner побайтно совпадают с деревом commit. Лимиты прежние, новых сервисов и портов нет (design, решение 13).
  • Дата: 2026-11-13, 22:46Z – 23:31Z; стенд mtusi-lab6 поднят make run_docker в 22:45Z (сервисы телеметрии, реплики, relay и worker — свежие cgroup), ВМ Docker Desktop — 12 CPU / 11 902 МиБ (docker info: 11,62 GiB).
  • Методика (design, решение 13; .claude/rules/telemetry.md, «Что считать пиком»): худший случай каждого компонента — своя проверка. Collector — долгий (120 с) отказ Loki и Tempo под нагрузкой драйвера в backend-outage (обе очереди экспорта заполняются; docker stats и otelcol_process_runtime_total_sys_memory_bytes раз в 2 с) и memory.peak с запуска в 22:45Z за alerts-check; Prometheus — memory.peak с запуска за весь alerts-check (правила, ~150 новых рядов, запросы проверки и панелей); реплики API — memory.current из их cgroup раз в 2 с во время 120 с недоступного Collector под нагрузкой (backend-outage, шаг [collector]) и memory.peak со старта стенда (входы по Basic в шаге 4 alerts-check). Пики печатают сами команды (evidence/alerts/check.md, evidence/telemetry/backend-outage.md, строки memory …).
Контейнер Где пик memory.peak, МиБ anon + kernel + shmem, МиБ Прочее Лимит 1,5 × пик ≤ лимита
otel-collector alerts-check (с 22:45Z) 76 73 — 0,5 CPU / 256 МиБ да (114)
otel-collector backend-outage, долгий отказ Tempo — — docker stats до 93, runtime sys до 84; очередь Tempo 0,656 ёмкости, Loki 0,135 0,5 / 256 да (140 по docker stats)
prometheus alerts-check (с 22:45Z) 108 54 файловый кэш 6 0,5 / 384 да (162)
api (224ebf0e32ba) со старта стенда (входы alerts-check, backend-outage) 334 133 без Collector: memory.current 142 → 156 1 / 512 да (501)
api (4b9782f7240b) то же 327 135 без Collector: 145 → 154 1 / 512 да (491)
  • Collector. Худший случай очередей — долгий отказ Tempo: очередь span (8 МиБ) заполнилась до 0,656 ёмкости, docker stats — до 93 МиБ, otelcol_process_runtime_total_sys_memory_bytes — до 84 МиБ; это ниже GOMEMLIMIT (160) и мягкого предела memory_limiter, отказов приёма не было (потери — только очередь и повторы экспортёра: 1342 span, 443 записи). memory.peak за весь alerts-check — 76 МиБ, неосвобождаемая часть 73 (файлового кэша у Collector нет). Пик cgroup именно в окне долгого отказа не снят: шаг [collector] той же команды перезапускает контейнер (docker compose stop / start — новая cgroup, в конце memory.peak 68 МиБ с этого момента), а в пробных прогонах apply (design, «Уточнения apply», п. 13) он был 220–256 МиБ, из них файловый кэш 157–187 и неосвобождаемая часть 62–72 МиБ. По неосвобождаемой части и по docker stats правило выполнено с запасом (1,5 × 93 = 140 ≤ 256), лимит не меняется.
  • Prometheus. memory.peak 108 МиБ за alerts-check, неосвобождаемая часть 54. В пробных прогонах apply (design, «Уточнения apply», п. 13: процесс жил дольше, до прогона — другие проверки) было 240 МиБ, из них кэш 148; правило выполнено и для этого пика: 1,5 × 240 = 360 ≤ 384. После рестартов в backend-outage и telemetry-check / telemetry-outage пики меньше (89 и 96 МиБ).
  • Реплики API без Collector. Память не растёт сверх очередей SDK: максимум последней трети окна на 14 и 9 МиБ выше первой (проверка — не больше 16 МиБ), счёт потерь SDK — 11 683 и 11 810. memory.peak 334 и 327 МиБ — от Argon2id входов (3 потока входа в шаге 4 alerts-check), а не от SDK: неосвобождаемая часть в конце — 133 и 135 МиБ. Правило выполнено (501 и 491 ≤ 512), запас реплики по-прежнему мал (прежний раздел: до 453 МиБ под make student_test), лимит не менялся.
  • Остальные контейнеры — memory.peak в конце (23:31Z, после telemetry-outage и trace-chain: почти все сервисы перезапущены в 23:26Z), МиБ / лимит: Grafana 238 / 512, Loki 101 / 512, Tempo 133 / 640, Collector 59 / 256, Prometheus 96 / 384, PostgreSQL 169 / 1024 (с 23:04Z, шаг 5 alerts-check), брокер 239 / 512, S3 350 / 512, Valkey 27 / 128, LB 28 / 256, уборщик 108 / 256, relay 90 / 256, worker 122 / 1024, реплики 177 / 512.
  • Суммы не изменились: docker inspect 15 работающих контейнеров (HostConfig.NanoCpus, HostConfig.Memory) — 11,5 CPU / 7296 МиБ, docker compose config — 11,5 / 7296, с migrate и s3-bootstrap — 12,5 / 7680; совпадают с .claude/rules/docker.md («Суммы») и REPORT.md («Бюджет»). ВМ — 12 CPU / 11 902 МиБ: с одноразовыми и контейнерами make test_isolated рядом (+2,25 CPU / 1792 МиБ) — 9472 МиБ лимитов, запас ~2,4 ГиБ на накладные ВМ; CPU больше не дать (у ВМ все 12 ядер хоста), сумма лимитов CPU больше 12 — конкуренция, а не отказ.