Бюджет стенда с телеметрией (change otel-telemetry, задача 10.1; verify W1; раздел change job-trace-propagation — в конце)
- Основа: commit
4178b3d (fix: raise tempo and grafana memory limits to measured peaks), рабочее
дерево чистое (git status --short пуст до и после замера); лимиты Tempo 640 МиБ и Grafana 512
МиБ применены docker compose up -d tempo grafana и сверены docker inspect
(HostConfig.Memory 671088640 и 536870912).
- Дата: 2026-11-11, 08:13:29Z – 08:19:01Z; стенд — проект compose
mtusi-lab6, Docker 29.9.2,
ВМ Docker Desktop 12 CPU / 7934 МиБ, ядро 7.0.14-linuxkit.
- Методика (design, решение 7; «Уточнения apply», п. 19): на фазу — свежие cgroup реплик API и
worker (
docker compose up -d --no-deps --force-recreate --wait api worker), 30 с простоя
(docker stats), затем make test, make load (30 с, 4 клиента, closed-loop запись) и make student_test через LB под выборкой docker stats раз в 2 с; в конце memory.peak каждого
контейнера (cgroup v2 ВМ, одноразовый контейнер с --cgroupns host, --network none, только
чтение). Фаза «выключена» — тот же стенд с override TELEMETRY__ENABLED: "false" у api и
worker (записи «Started API» и «Started worker» — telemetry_enabled true и false по
фазам), после неё — снова без override. Пик сервисов телеметрии — с их старта (Tempo и Grafana
— с пересоздания под новые лимиты в 08:13:11Z, остальные — с 08:00:28Z, включает
telemetry-outage и первый замер), а не за фазу.
- Результаты команд в обеих фазах:
make test — PASS, make load — 0 ошибок, make student_test
— 223 passed и 1 failed: известный test_exclusion_evidence_exists (evidence исключений
снимается в последнем шаге лабы).
- Скрипт замера — во временном каталоге сессии, в git не идёт; это проверка лимитов, а не
метка
bench/.
Память и CPU
| Контейнер |
Фаза |
Простой, МиБ |
Под нагрузкой (макс. выборки), МиБ |
CPU макс., % |
memory.peak, МиБ |
Лимит, МиБ |
1,5 × пик ≤ лимита |
api-1 |
телеметрия включена |
111,2 |
290,5 |
95,8 |
451,6 |
512 |
— (в лимите) |
api-2 |
включена |
112,8 |
301,0 |
94,5 |
453,4 |
512 |
— (в лимите) |
worker |
включена |
101,0 |
135,7 |
98,7 |
502,4 |
1024 |
да (754) |
api-1 |
выключена |
110,6 |
287,8 |
94,8 |
481,2 |
512 |
— (в лимите) |
api-2 |
выключена |
110,6 |
288,8 |
100,0 |
481,9 |
512 |
— (в лимите) |
worker |
выключена |
100,7 |
132,9 |
100,7 |
500,5 |
1024 |
да (751) |
otel-collector |
— |
66,1 |
91,6 |
2,5 |
96,9 |
256 |
да (145) |
prometheus |
— |
81,2 |
82,2 |
1,8 |
95,1 |
384 |
да (143) |
loki |
— |
130,0 |
164,4 |
4,6 |
190,3 |
512 |
да (285) |
tempo |
— |
37,6 |
223,5 |
27,1 |
252,5 |
640 |
да (379) |
grafana |
— |
238,9 |
238,6 |
1,6 |
247,7 |
512 |
да (372) |
- Почему подняты лимиты Tempo и Grafana. Первый замер той же методикой на
68f1e97 (лимиты
512 и 384 МиБ, 08:02–08:07Z; Tempo и Grafana жили с 08:00:28Z, после telemetry-check и
telemetry-outage) дал пики Tempo 398,4 МиБ и Grafana 294,1 МиБ: 1,5 × пика — 598 и 441, больше
лимитов. Пик Tempo упёрся в GOMEMLIMIT 400 МиБ: рантайм держит кучу у мягкого предела, поэтому
лимит — 1,6 × GOMEMLIMIT (640), а GOMEMLIMIT прежний (design, «Уточнения apply», п. 19).
Наибольшие пики обоих замеров правило выполняют и при новых лимитах: 1,5 × 398 = 598 ≤ 640,
1,5 × 294 = 441 ≤ 512. Остальные сервисы в первом замере — Collector 75,7, Prometheus 95,1, Loki
153,0 МиБ, реплики API 451–482, worker 503 — в пределах тех же лимитов.
- Реплика API — в своём лимите (правило задачи 10.1 для реплик): 452–453 МиБ с телеметрией и
481–482 без неё из 512. Пик даёт Argon2id входов
make student_test (4 × 64 МиБ) и места
загрузок, а не SDK: с телеметрией он не выше. Запас ~6 % — ограничение в REPORT.md; лимит
реплики не менялся.
- Worker — 500–502 МиБ из 1024: процессы обработки в той же cgroup.
Цена SDK в репликах (грубо, один прогон)
make load (30 с, 4 клиента) на том же стенде подряд:
| Телеметрия |
Успешных запросов/с |
p50, мс |
p95, мс |
p99, мс |
Ошибок |
| включена |
489,2 |
6,9 |
13,8 |
25,7 |
0 |
| выключена |
568,3 |
6,4 |
8,8 |
12,7 |
0 |
Первый замер (68f1e97): 489,7 против 570,8 запросов/с, p95 12,5 против 8,9 мс. Один прогон
closed-loop на шумном хосте, не метка bench/: это порядок цены (−14 % RPS, хвост выше), а не
замер; исследование — трек 1 «Цена наблюдаемости».
Суммы лимитов (docker compose config, docker inspect)
|
CPU |
Память, МиБ |
| сервисы телеметрии (Collector 256, Prometheus 384, Loki 512, Tempo 640, Grafana 512) |
2,5 |
2304 |
| постоянные сервисы стенда (15 контейнеров, 2 реплики API) |
11,5 |
7296 |
с одноразовыми (migrate, s3-bootstrap) |
12,5 |
7680 |
| ВМ Docker |
12 |
7934 |
Постоянные суммы совпадают с docker inspect (HostConfig.NanoCpus, HostConfig.Memory) всех 15
работающих контейнеров рабочего стенда. Лимиты — потолки, а не резерв: CPU делится по времени, а
память всего стенда (docker stats) — 1635 МиБ в простое первой фазы и ~2,2 ГиБ сразу после
нагрузки, из них сервисы телеметрии — 554 и ~710 МиБ.
Change job-trace-propagation: relay с SDK, уборщик после ленивого импорта (задача 12.4)
- Основа: commit
72cfa9a (feat: propagate trace context through outbox and add pipeline saturation
metrics), рабочее дерево без правок кода (добавлены только файлы evidence/). Реплики API,
relay, worker, уборщик и migrate — на одном образе 66e41a7d85f2, собранном make rolling_update из дерева commit (evidence/migrations/job-trace-context.md); relay, worker и
уборщик пересозданы docker compose up -d --no-deps --force-recreate в 17:05:57Z — свежие cgroup.
Лимиты прежние (relay 0,25 CPU / 256 МиБ, уборщик 0,25 / 256), docker inspect — те же.
- Дата: 2026-11-11, 17:07:26Z – 17:12:59Z; стенд
mtusi-lab6, тот же хост, что выше.
- Методика (design, решение 15): 30 с простоя, затем
make test, make load (30 с, 4 клиента),
make student_test через LB и driver.py --port 8080 trace-chain подряд под выборкой docker stats раз в ~2 с; memory.peak / memory.current — после простоя, после make student_test и
в конце: у relay, уборщика, worker и реплик — из их собственной cgroup (docker exec … cat /sys/fs/cgroup/memory.peak), у всех контейнеров в конце — из cgroup v2 ВМ одноразовым контейнером
(--cgroupns host, --network none, --read-only). Сервисы телеметрии жили с 17:03:47Z
(перезапущены telemetry-outage), то есть их пик — за telemetry-outage (конец), бюджет и
trace-chain.
- Результаты команд:
make test — PASS, make load — 12 623 успешных, 0 ошибок, 419 запросов/с,
p50 / p95 / p99 7,6 / 16,9 / 52,1 мс; make student_test — 223 passed, 1 failed (известный
test_exclusion_evidence_exists); trace-chain здесь — нагрузка, его код 1: единственная
неудачная строка — предусловие «queue depth before (no unfinished jobs)» 1 вместо 0 (запущен через
секунду после make student_test, последняя точка ряда глубины в Prometheus — до 30 с давности;
через несколько секунд глубина при трёх загрузках — ровно 3, остальные строки — как в
trace-chain.md). Это свойство тихого стенда, а не дефект: файл trace-chain.md снят на тихом
стенде с кодом 0.
trace-chain останавливает и запускает relay и worker (docker start того же контейнера —
новая cgroup), поэтому memory.peak relay в конце — с 17:12:02Z; пик за make test + make load + make student_test снят до него.
| Контейнер |
memory.peak, МиБ |
docker stats макс., МиБ |
CPU макс., % ядра |
Лимит |
1,5 × пик ≤ лимита |
relay (с 17:05:58Z: простой, make test, make load, make student_test) |
103,3 |
89,5 |
5,2 |
0,25 CPU / 256 МиБ |
да (155) |
relay (с 17:12:02Z, trace-chain после docker start) |
96,2 |
89,9 |
24,9 |
0,25 / 256 |
да (144) |
одноразовый relay replay (trace-chain, шаг 3) |
— |
48,0 |
24,8 |
0,25 / 256 |
— |
cleaner (с 17:05:57Z, плановая сверка при старте) |
107,7 |
106,6 |
7,7 |
0,25 / 256 |
да (162) |
- Relay. Пик 103 МиБ — на старте (после 30 с простоя он уже 103,3 и под нагрузкой не рос):
импорт SDK и первый проход; VmRSS после
make student_test — 107,5 МиБ. До коммита (scratchpad
apply, «Уточнения apply», п. 12) — 94–99 МиБ; правило выполнено, лимит не меняется. CPU упирается в
лимит (24,9 % при 25 %) только во время trace-chain — старт после docker start и разбор
накопленных при остановленном relay заданий; под make load и make student_test — до 5,2 %.
- Уборщик.
memory.peak с пересоздания — 107,7 МиБ, включая плановую сверку при старте,
VmRSS 114,7 МиБ, в простое memory.current ~99 МиБ. В «Уточнениях
apply», п. 10, был пик 176 МиБ на образе до коммита — на этом стенде и наборе данных пик сверки
при старте ниже; правило «лимит ≥ 1,5 × пика» выполнено (162 ≤ 256). Что пик уборщика зависит от
числа строк сверки, а не от SDK, — прежнее (QUESTIONS.md, ## job-trace-propagation, вопрос 5).
- Остальные контейнеры (
memory.peak в конце, МиБ / лимит): реплики API 442,9 и 441,9 / 512 (в
лимите, как выше), worker 121,3 / 1024 (с docker start в trace-chain; до него — 502,3: процессы
обработки make student_test), Collector 83,5 / 256, Prometheus 94,6 / 384, Loki 159,9 / 512,
Tempo 279,6 / 640, PostgreSQL 274,3 / 1024, брокер 250,4 / 512, Valkey 29,8 / 128, LB 29,4 / 256.
- Grafana:
memory.peak раздут файловым кэшем. memory.peak 343,2 МиБ при лимите 512 (1,5 ×
memory.peak = 515), хотя в первом разделе и в design (решение 15, «Уточнения apply», п. 12) —
248–294 и 255 МиБ. Пик набран в первые минуты после рестарта telemetry-outage (уже 343,2 в
начале простоя) и дальше не рос; docker stats (без неактивного page cache) — 253–261 МиБ;
memory.stat в конце: anon 188, file 95 (из них inactive_file 69), shmem 1,6 МиБ.
Файловый кэш ядро освобождает до OOM, поэтому memory.peak здесь — верхняя граница, а не пик:
неосвобождаемая часть anon + kernel + shmem ≈ 197 МиБ, 1,5 × ≈ 296 ≤ 512 — правило
telemetry.md («Go и память»: пик, раздутый кэшем) выполнено, лимит не меняется (QUESTIONS.md,
## job-trace-propagation, вопрос 6, закрыт на verify).
- S3 —
memory.peak 512,8 МиБ при лимите 512 (стенд жил с 16:04:32Z): известная запись
KNOWN_ISSUES.md «память S3 на долго живущем стенде», не этот change.
- Суммы не изменились:
docker inspect 15 работающих контейнеров — 11,5 CPU / 7296 МиБ, docker compose config — 11,5 / 7296, с migrate и s3-bootstrap — 12,5 / 7680; совпадают с
.claude/rules/docker.md («Суммы») и REPORT.md («Бюджет»). Соединений PostgreSQL change не
прибавил (пул relay 1, trace-chain: пределы 10, 10, 2, 1).
Change slo-alerts: Collector в долгом отказе хранилища, Prometheus в учениях, реплики без Collector (задачи 9.8 и 11.4)
- Основа: commit
15ea156 (feat: add SLOs, Prometheus alert rules and telemetry loss accounting),
рабочее дерево чистое (вне evidence/ изменений нет); файлы src/ и migrations/ в контейнерах
api (2), relay, worker и cleaner побайтно совпадают с деревом commit. Лимиты прежние, новых
сервисов и портов нет (design, решение 13).
- Дата: 2026-11-13, 22:46Z – 23:31Z; стенд
mtusi-lab6 поднят make run_docker в 22:45Z (сервисы
телеметрии, реплики, relay и worker — свежие cgroup), ВМ Docker Desktop — 12 CPU / 11 902 МиБ
(docker info: 11,62 GiB).
- Методика (design, решение 13;
.claude/rules/telemetry.md, «Что считать пиком»): худший случай
каждого компонента — своя проверка. Collector — долгий (120 с) отказ Loki и Tempo под нагрузкой
драйвера в backend-outage (обе очереди экспорта заполняются; docker stats и
otelcol_process_runtime_total_sys_memory_bytes раз в 2 с) и memory.peak с запуска в 22:45Z за
alerts-check; Prometheus — memory.peak с запуска за весь alerts-check (правила, ~150 новых
рядов, запросы проверки и панелей); реплики API — memory.current из их cgroup раз в 2 с во время
120 с недоступного Collector под нагрузкой (backend-outage, шаг [collector]) и memory.peak
со старта стенда (входы по Basic в шаге 4 alerts-check). Пики печатают сами команды
(evidence/alerts/check.md, evidence/telemetry/backend-outage.md, строки memory …).
| Контейнер |
Где пик |
memory.peak, МиБ |
anon + kernel + shmem, МиБ |
Прочее |
Лимит |
1,5 × пик ≤ лимита |
otel-collector |
alerts-check (с 22:45Z) |
76 |
73 |
— |
0,5 CPU / 256 МиБ |
да (114) |
otel-collector |
backend-outage, долгий отказ Tempo |
— |
— |
docker stats до 93, runtime sys до 84; очередь Tempo 0,656 ёмкости, Loki 0,135 |
0,5 / 256 |
да (140 по docker stats) |
prometheus |
alerts-check (с 22:45Z) |
108 |
54 |
файловый кэш 6 |
0,5 / 384 |
да (162) |
api (224ebf0e32ba) |
со старта стенда (входы alerts-check, backend-outage) |
334 |
133 |
без Collector: memory.current 142 → 156 |
1 / 512 |
да (501) |
api (4b9782f7240b) |
то же |
327 |
135 |
без Collector: 145 → 154 |
1 / 512 |
да (491) |
- Collector. Худший случай очередей — долгий отказ Tempo: очередь span (8 МиБ) заполнилась до
0,656 ёмкости,
docker stats — до 93 МиБ, otelcol_process_runtime_total_sys_memory_bytes — до
84 МиБ; это ниже GOMEMLIMIT (160) и мягкого предела memory_limiter, отказов приёма не было
(потери — только очередь и повторы экспортёра: 1342 span, 443 записи). memory.peak за весь
alerts-check — 76 МиБ, неосвобождаемая часть 73 (файлового кэша у Collector нет). Пик cgroup
именно в окне долгого отказа не снят: шаг [collector] той же команды перезапускает контейнер
(docker compose stop / start — новая cgroup, в конце memory.peak 68 МиБ с этого момента), а
в пробных прогонах apply (design, «Уточнения apply», п. 13) он был 220–256 МиБ, из них файловый
кэш 157–187 и неосвобождаемая часть 62–72 МиБ. По неосвобождаемой части и по docker stats правило
выполнено с запасом (1,5 × 93 = 140 ≤ 256), лимит не меняется.
- Prometheus.
memory.peak 108 МиБ за alerts-check, неосвобождаемая часть 54. В пробных
прогонах apply (design, «Уточнения apply», п. 13: процесс жил дольше, до прогона — другие проверки)
было 240 МиБ, из них кэш 148; правило выполнено и для этого пика: 1,5 × 240 = 360 ≤ 384. После
рестартов в backend-outage и telemetry-check / telemetry-outage пики меньше (89 и 96 МиБ).
- Реплики API без Collector. Память не растёт сверх очередей SDK: максимум последней трети окна
на 14 и 9 МиБ выше первой (проверка — не больше 16 МиБ), счёт потерь SDK — 11 683 и 11 810.
memory.peak 334 и 327 МиБ — от Argon2id входов (3 потока входа в шаге 4 alerts-check), а не от
SDK: неосвобождаемая часть в конце — 133 и 135 МиБ. Правило выполнено (501 и 491 ≤ 512), запас
реплики по-прежнему мал (прежний раздел: до 453 МиБ под make student_test), лимит не менялся.
- Остальные контейнеры —
memory.peak в конце (23:31Z, после telemetry-outage и trace-chain:
почти все сервисы перезапущены в 23:26Z), МиБ / лимит: Grafana 238 / 512, Loki 101 / 512, Tempo
133 / 640, Collector 59 / 256, Prometheus 96 / 384, PostgreSQL 169 / 1024 (с 23:04Z, шаг 5
alerts-check), брокер 239 / 512, S3 350 / 512, Valkey 27 / 128, LB 28 / 256, уборщик 108 / 256,
relay 90 / 256, worker 122 / 1024, реплики 177 / 512.
- Суммы не изменились:
docker inspect 15 работающих контейнеров (HostConfig.NanoCpus,
HostConfig.Memory) — 11,5 CPU / 7296 МиБ, docker compose config — 11,5 / 7296, с migrate и
s3-bootstrap — 12,5 / 7680; совпадают с .claude/rules/docker.md («Суммы») и REPORT.md
(«Бюджет»). ВМ — 12 CPU / 11 902 МиБ: с одноразовыми и контейнерами make test_isolated рядом
(+2,25 CPU / 1792 МиБ) — 9472 МиБ лимитов, запас ~2,4 ГиБ на накладные ВМ; CPU больше не дать (у
ВМ все 12 ядер хоста), сумма лимитов CPU больше 12 — конкуренция, а не отказ.