Series a/b/pool/ab/quick in bench/run.py: per-cell fresh stand with the configuration's replicas and max_connections, open-model mixed profile (k6/mixed.js), fixed levels and R* search by SLO, a sampler container for cgroup, VM, HAProxy and PostgreSQL metrics, resume and a stand lock. Pure helpers in bench/scaling.py, SVG plots in bench/plots.py, series mode for bench_compare and bench_ab. Hypotheses H1-H3 go to REPORT.md before the first series. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
25 KiB
Tasks
Как строить — design.md (дальше «решение N»). Что должно получиться —
дельта specs/load-benchmark/spec.md.
Правила.
- Перед первым файлом слоя прочитать его правило:
bench.md— всё вbench/;run-modes.md—Makefile;balancer.md— для справки о слотах и runtime API.
- Перед
bench/plots.pyзагрузить скиллdataviz. - Файлы меняются только через Edit/Write. Приложение (
src/), контракт и рабочий стенд не меняются.
Порядок:
- код;
- коммит кода с гипотезами в
REPORT.md; - самопроверки быстрой серией;
- регрессия прежних профилей;
- серии — перед каждой проверка хоста;
- evidence;
REPORT.md;AGENTS.md.
Долгие команды. Всё дольше пары минут — фоном, с журналом в
<scratchpad>/scaling-bench/:
nohup make <цель> > <scratchpad>/scaling-bench/<имя>.log 2>&1 &
Ожидание — Monitor с циклом `until ! pgrep -f "bench/run.py"
/dev/null; do sleep 15; done; tail -30 <журнал>
, не больше 30 мин на вызов. Затем — снова. Голыйsleep` в Bash не использовать. Ни один вызов инструмента не должен упереться в 10 минут.
Проверка хоста перед каждой серией (A, B, pool, A/A; самопроверки и регрессия — без неё), по брифу:
pmset -g batt—AC Power;memory_pressure | tail -1— давления нет;docker ps— посторонних нет; рабочий стенд —make stop;docker info --format '{{.NCPU}} {{.MemTotal}}'— 12 и ~7,75 GiB;vm_stat | grep Swapouts— до и после серии.
Плохо — Telegram «хост не готов к замеру …», остановка и отчёт основной сессии.
1. Код стенда
-
1.1 Профили серий (решения 1, 14).
bench/run.py:- новые поля
Profileпо списку решения 14 и свойствоis_series; - хелпер
scaling_profile(name, series, configs, **поля)с общими значениями решений 1–3 и 6: лимиты PostgreSQL 2 / 1g, LB 1 / 256m, Valkey 0.5 / 128m, k6 2 / 1g (generator_cpu_limit1.8), сэмплер 0.25 / 128m;sizes=(10_000,),repeats=3,members=10,write_chats=10, смесь, SLO, лестница, окна; - профили
scaling_a,scaling_b,scaling_pool,scaling_ab(1 × 1 и 6 × 1, решение 11),scaling_quick— с конфигурациями решений 1 и 14; compose_envпередаётBENCH_DB_MAX_CONNECTIONS: значение конфигурации ячейки, у прочих профилей — 100.
- новые поля
bench/bench.compose.yml: вcommandсервисаpostgres—-c max_connections=${BENCH_DB_MAX_CONNECTIONS:?run make bench}.
Проверка:
uv run python -cс импортомrunпечатает конфигурации и лимиты пяти профилей.docker compose -p mtusi-bench --env-file bench/bench.env -f docker-compose.yml -f bench/bench.compose.yml config --quietс переменнымиBENCH_*проходит. -
1.2 Хост, паспорт, бюджет, блокировка — для всех профилей (решения 1, 5, 12).
host_state()— полеswapouts(vm_stat).- Удалить
SWAP_WARN_MIBи предупреждение о занятом swap. В концеmain()— предупреждение о приростеswapouts; батарея — как раньше. static_passport()—performance_coresиefficiency_cores(sysctl hw.perflevel0/1.physicalcpu, иначе null).vm_warnings()учитывает память генератора и сэмплера.- Для серий —
meta.budgetпо конфигурациям и отказ (код 2), если сумма CPU конфигурации большеNCPUВМ. - Блокировка:
fcntl.flockнаbench/.bench.lockв началеmain(); занята — код 2 с причиной. compare.pypassport_rows: в строке хоста — прирост выгрузок.
Проверка:
make lint. Вызовhost_state()печатаетswapouts. Второй одновременный запуск — задача 3.3. -
1.3 Сценарии k6 (решения 2, 3, 7).
-
bench/k6/prepare.js:WRITE_CHATS(по умолчанию 1) создаёт чаты записи со всеми пользователями. В фикстуреwriteChatIds, аwriteChatId= первый. -
Новый
bench/k6/mixed.js:- три сценария
ramping-arrival-rate(read,write,me) сstartRateи двумя стадиями; VU поprevus_per_rps/vus_per_rps; - тег
windowна каждый запрос поexec.scenario.startTime; - проверки ответов; счётчики
short_pagesиinstance_ok(тегinstance, подметрики поINSTANCESи-); - пороги «всегда выполнены» для подметрик окна и пороги
abortOnFailсdelayAbortEval= прогрев + 5 с; setup()→{t0}; итог —summaryFiles;- ключ записи — только
messageHeaders(token).
Окружение:
LEVEL,START,MIX,WARMUP_S,MEASURE_S,TIMEOUT,PRE_VUS_PER_RPS,MAX_VUS_PER_RPS,SEED,INSTANCES,ABORT_ERRORS,ABORT_P95_MS,STEP,NAME. - три сценария
Проверка:
k6 inspectсценария в образе k6 стенда — опции разбираются. Задача 3.1 сверяет доли и окно на живом стенде. -
-
1.4 Сэмплер и контейнеры стенда (решения 6, 7).
- Новый
bench/sampler.sh(bash, только внутри контейнера): строкиcg,vm,lbв/work/samples.log; фоновыйpsql … \watch 1с запросом решения 7 в/work/pg-samples.log;PGPASSWORDизPOSTGRES_PASSWORD. bench/run.py:Stand.start()запускает k6 с--cpus/--memory/--memory-swap, еслиgenerator_cpusзадан;Stand.start_sampler()иstop_sampler(): образ — уmtusi-bench-postgres, параметры решения 7, проверка первых строк за 5 с, иначеBenchError;leftovers()иStand.stop()знаютmtusi-bench-sampler;Stand.limits()добавляет лимиты k6 иSHOW max_connections; не равно конфигурации —BenchError;Watcher(..., rss=False)— одинdocker inspectреплик, PostgreSQL, Valkey и LB в секунду.
Проверка:
bash -n bench/sampler.sh. Задача 3.1 видит строки всех видов. - Новый
-
1.5 Новый
bench/scaling.py— чистые функции, только stdlib, без docker (решения 3, 6–9):SCALING_FIELDS,SEARCH_FIELDS,SAMPLE_FIELDS,THRESHOLDS;- лестница и автомат поиска: фиксированные уровни → L0 → подъём,
спуск → деление;
floor,search_limit; - разбор итога k6 ступени;
- разбор строк сэмплера и PostgreSQL;
- окна и агрегаты: CPU, троттлинг, память, ВМ, PSI, WAL, классы
ожидания,
pool_busy_share, LB, распределение поX-Instance-Id; - вердикт SLO и брака генератора, признаки
signs; - строки
runs.csv,searches.csv,samples.csv; render_summary()сhost_costпо сводке серии;--selftest: синтетические исходы ступеней (подъём, спуск от первой нарушенной, оба фиксированных уровня провалены, брак) и синтетические строки сэмплера.
Проверка:
uv run python bench/scaling.py --selftest:- R* = наибольший пройденный уровень, F / P ≤ 1,06;
- L0 из примеров решения 3: 596, 745, 1455, 1819;
- CPU и троттлинг из известных разностей;
- код 0.
-
1.6 Исполнитель серий в
bench/run.py(решения 2–5, 8).Bench.run_series():- план кругами с
order_seed, вmeta.plan; - пропуск готовых ячеек при
--resume.
- план кругами с
run_cell():- свежий стенд с конфигурацией через
dataclasses.replace; prepare_load()сWRITE_CHATS, сэмплер;- фиксированные уровни, поиск, сверка записей и читаемого чата;
- строка
searches.csv;stand.stop().
- свежий стенд с конфигурацией через
run_step():- снимки RSS и
count(*)до и после, k6 под облегчённымWatcher; - разбор итога и окна сэмплера, «too many clients» из
docker logs -t --since/--until,host_swapouts; - строка
runs.csv, посекундные строкиsamples.csv; - пауза и
wait_readyпосле нарушения; - строка вывода и
progress.json.
- снимки RSS и
RUN_FIELDS+=SCALING_FIELDS,PREFILL_FIELDS+=cell,attempt— в конец.Results:add_step,add_search,add_samples; веткаwrite_summaryдля серий;raw/сexist_ok.main():--resumeс условиями решения 5 (чистота без своей метки);- для серий — уборка устаревших остатков при взятой блокировке.
eta()по ячейкам.
Проверка:
make lint; задачи 3.1 и 3.3. -
1.7 Новый
bench/plots.py(решение 13), после скиллаdataviz:render_series(label_dir)—p95-by-rate.svg,cpu-by-component.svgв каталоге метки; вызывается в конце серии;render_combined(labels, out)—rstar-by-replicas.svg,p95-by-rate-<серия>.svg,cpu-by-component.svgиsummary.md(R*, эффективность, R*(1 × 4) / R*(1 × 1), k_sat, признаки на k_sat ± 1) вevidence/plots/<PLOTS>/;- CLI
--labels … --out ….
Проверка: задача 3.4 — SVG открываются, PNG через
qlmanage -t -s 1000просмотрен. -
1.8 Сравнение и «до/после» для серий (решение 11).
bench/compare.py: режим серий — методика безname/series/configs, лимиты по общим конфигурациям; R*, задержки на фиксированных уровнях, CPU на запрос, CPU PostgreSQL на R*; несравнённые конфигурации иgenerator_bound— в замечаниях; шумAAпо R*. Серия против матрицы — отказ. Режим матрицы не меняется.bench/ab.py:--series— шаги 1 и 5 черезmake bench_scaling SERIES=… SCALING_LABEL=….
Проверка: задача 3.4.
-
1.9
Makefileи.gitignore(решение 14,run-modes.md).-
Цели:
bench_scaling—SERIESобязателен, иначе подсказка и код 2;SCALING_LABEL ?= scaling-$(SERIES);RESUME=1→--resume;bench_scaling_quick;bench_plots—LABELS,PLOTS ?= scaling;SERIESуbench_ab.
Все — под
$(KEEP_AWAKE), с комментариями в стиле файла. -
.gitignore:bench/.bench.lock,evidence/plots/quick-*/.
Проверка:
make -n bench_scaling SERIES=a,make -n bench_scaling_quick,make -n bench_plots LABELS=xпечатают ожидаемые команды;make bench_scalingбезSERIES— подсказка. -
2. Документы до замеров и коммит кода
-
2.1
.claude/rules/bench.md:- раздел трека 1 из «что меняется» — в «как устроено»: серии и
конфигурации, бюджет, свежий стенд в ячейке, порядок кругами,
ступени, SLO, поиск R*, генератор с лимитом и брак, сэмплер (его
соединение в границе пула), файлы метки, продолжение, блокировка и
уборка остатков сериями,
SERIESуbench_ab, режим серийbench_compare, графики; - «Что не меняется между метками» — лимиты генератора и сэмплера;
- «Результаты» — правило хоста: выгрузка в swap и давление вместо «swap занят — перезагрузить»;
- «Как писать» —
sampler.shработает только в контейнере.
Проверка:
grep -n "swap" .claude/rules/bench.md— нет требования «swap около нуля». - раздел трека 1 из «что меняется» — в «как устроено»: серии и
конфигурации, бюджет, свежий стенд в ячейке, порядок кругами,
ступени, SLO, поиск R*, генератор с лимитом и брак, сэмплер (его
соединение в границе пула), файлы метки, продолжение, блокировка и
уборка остатков сериями,
-
2.2 Скилл
run-mtusi-messenger(SKILL.md): строкаmake bench_scaling_quickрядом с прочими быстрыми профилями. Проверка:grep bench_scaling .claude/skills/run-mtusi-messenger/SKILL.md. -
2.3 Статические проверки:
make lint,make check,uv run python -m py_compile bench/*.py,bash -n bench/sampler.sh,openspec validate scaling-bench --strict. Проверка: все с кодом 0. -
2.4
REPORT.md, «Эксперименты и отказы» — раздел «Цена масштабирования (трек 1)» до первой серии:- гипотезы H1, H1б, H2, H3 из решения 10 — что подтвердит и что опровергнет;
- методика: бюджет (таблица решения 1), ядра хоста, профиль, ступени, SLO, правило R*, повторы и порядок;
- заготовки «Результат» и «Итог по гипотезам» с пометкой «после серий».
Проверка: раздел есть, числа гипотез совпадают с решением 10.
-
2.5 Коммит кода, правил и гипотез:
feat: add track 1 scaling series to the bench stand, в конце — строкаCo-Authored-Byиз брифа. Проверка:git status— чисто; этот commit старше первой метки серий (спек, «Гипотезы до прогонов»).
3. Самопроверки быстрой серией (без проверки хоста)
-
3.1
make bench_scaling_quickфоном. Проверка — код 0, в метке:meta.planс двумя ячейками;budgetи лимиты k6 /max_connectionsпо конфигурациям (50 у второй);runs.csvс новыми столбцами в конце, все заполнены;- доли 70 : 20 : 10 в окне;
sent= запланированным ± 3,missing0 на пройденных ступенях; - сумма
instances= успешным окна; samples.csvсо строками каждого контейнера иvmза каждую секунду окна;searches.csvс R*,resolution≤ 1,12 (одно деление: 1,25^½) и сверкой записей;summary.md,p95-by-rate.svg,cpu-by-component.svg;- секретов нет:
.work/удалён,grep -ril token <метка>/rawпусто,grep -r "$HOME" <метка>пусто.
-
3.2 Запас генератора и окно k6 (решение 6) по метке 3.1:
- CPU k6 на 1 000 запросов/с × ожидаемая вершина серии B (6 × R*(1 × 1)) ≤ 50 % лимита;
- пик памяти k6 на VU ×
vus_maxвершины ≤ 70 % лимита; - досрочный выход по порогам (код 99) встретился на нарушенной
ступени или проверен отдельным запуском
run.py --profile scaling_quickс завышенным уровнем.
Не так — поднять
generator_cpus/generator_memoryв пределах бюджета решения 1, записать в design (раздел «Найдено в apply») иbench.md, коммит кода, повторить 3.1. Запасной вариант тега окна — Risks design. Проверка: числа записаны вevidence/tests/scaling-bench-checks.md. -
3.3 Продолжение, блокировка, уборка:
- во время
make bench_scaling_quick—make bench_quick→ код 2 «другой прогон»; pkill -TERM -f "bench/run.py"после первой ячейки → код 130, меткаincomplete, стенд удалён;- перед продолжением — искусственный остаток:
docker run -d --name mtusi-bench-sampler --entrypoint sleep <образ k6 стенда> 600; make bench_scaling SERIES=quick SCALING_LABEL=<та же> RESUME=1→ остаток удалён самой командой (строка в выводе), снята только вторая ячейка, меткаcomplete;- отказ продолжения на другом коде: копия пробной метки, в её
meta.json(Edit) commit подменён и статусincomplete, затемRESUME=1на копии → код 2 с причиной. Копия —quick-*, в git не идёт, после проверки удаляется.
Проверка: выводы в
evidence/tests/scaling-bench-checks.md. - во время
-
3.4 Сравнение, «до/после», графики:
- вторая быстрая метка;
make bench_compare BEFORE=<1> AFTER=<2> AA=<1>— таблица по общим конфигурациям с шумом и вердиктом; BEFORE=<1> AFTER=<1>— Δ = 0;BEFORE=<быстрая серия> AFTER=<метка make bench_quick>— отказ «разная методика»;uv run python bench/ab.py --before x --after y --reapply HEAD --series quick --dry-run— шаги сmake bench_scaling;make bench_plots LABELS="<1> <2>" PLOTS=quick-check— SVG иsummary.md; PNG черезqlmanage -t -s 1000 -o <scratchpad>/scaling-bench …просмотрен (Read): оси, подписи, легенда, SLO.
Проверка: выводы в
evidence/tests/scaling-bench-checks.md. - вторая быстрая метка;
4. Регрессия прежних профилей
-
4.1 На commit кода фоном, по очереди:
make bench_quick,make bench_restore_quick,make bench_failover_quick,make bench_rollout_quick. Проверка:- все с кодом 0;
- паспорт прежний:
max_connections100, k6 без лимита; - предупреждения о swap только при приросте выгрузок;
- прочие профили по-прежнему отказывают при остатках стенда, а не удаляют их.
-
4.2
evidence/tests/scaling-bench-checks.md:- шапка по брифу: спеки, change, дата, commit, стенд, хост;
- выводы 2.3 и 3.1–4.1 (без секретов и путей домашнего каталога);
- коммит
docs: add scaling-bench self-checks.
Проверка: дерево чистое.
5. Серии (проверка хоста перед каждой)
-
5.1 Проверка хоста. Затем
make stop,nohup make bench_scaling SERIES=a(~50 мин), ожидание циклами Monitor. После —Swapouts. Проверка:evidence/bench/scaling-a/complete;- 9 ячеек без
generator_bound; - коммит метки
docs: add scaling series A— до следующей серии, иначе её паспорт получитdirty: true.
-
5.2 Так же серия B:
SERIES=b, ~100 мин, 18 ячеек. Прервалась —RESUME=1после разбора причины. Проверка: меткаcomplete, коммитdocs: add scaling series B. -
5.3 Так же серия pool:
SERIES=pool, ~35 мин, 6 ячеек. Проверка: меткаcomplete, коммитdocs: add scaling pool series. -
5.4 Разбор серии pool по H3:
- отказы «too many clients» и коды ответов при
max_connections50:runs.csv, журнал LB; - отказ даёт 500, а не 503 → пункт
KNOWN_ISSUES.md: путьsrc/infra/db/errors.py, требование спекаdata-storage, правка (решение 10), без исправления.
Вопрос основной сессии — в итоговый отчёт. Проверка: пункт есть или в design записано, что 503.
- отказы «too many clients» и коды ответов при
-
5.5 Проверка хоста, затем
nohup make bench_scaling SERIES=ab SCALING_LABEL=scaling-aa(~35 мин; профильscaling_ab— 1 × 1 и 6 × 1, решение 11). Проверка:- метка
complete, коммитdocs: add scaling A/A label; - рабочий стенд снова поднят (
make run_docker,make lb_stats— всеUP).
- метка
6. Evidence
-
6.1 Графики и сравнения:
make bench_plots LABELS="scaling-a scaling-b" PLOTS=scaling; k_sat и признаки на k_sat ± 1 — из егоsummary.md;make bench_compare BEFORE=scaling-b AFTER=scaling-aa— шум между сессиями;make bench_compare BEFORE=scaling-b AFTER=scaling-a— 4 × 1 против k = 4;- PNG графиков просмотрены.
Проверка:
evidence/plots/scaling/(3+ SVG иsummary.md) и два файлаevidence/compare/. -
6.2 В
evidence/tests/scaling-bench-checks.md— проверки хоста перед каждой серией иSwapoutsдо и после. Коммит evidencedocs: add scaling-bench plots and comparisons. Проверка: дерево чистое, в evidence нет секретов и абсолютных путей домашнего каталога.
7. REPORT.md
-
7.1 Раздел «Цена масштабирования (трек 1)» по решению 15:
- результаты A, B, pool — таблицы из
summary.mdметок и графиков; - графики (ссылки на SVG);
- точка насыщения и почему рост реплик перестаёт помогать — по
признакам
signsна k_sat ± 1; - итог H1, H1б, H2, H3 как получился;
- шум A/A и согласованность 4 × 1 / k = 4;
- фраза про
workers; - ограничения.
Ещё:
- строки таблицы доказательств «5» вместо TODO «Выбранный трек 5»;
- пункты в «Ограничения и следующие шаги»: серия B до 6, граница пула на дефолтах, разнородные ядра, генератор на том же хосте, окно 20 с;
- кандидаты
scaling-improvementпо узкому месту (решение 11).
Проверка: у каждой новой строки есть команда, наблюдение и файл; числа — из файлов меток и таблиц команд.
- результаты A, B, pool — таблицы из
8. AGENTS.md и завершение
-
8.1
AGENTS.md:- команды:
bench_scaling,bench_scaling_quick,bench_plots,SERIESуbench_ab, режим серийbench_compare; - карта кода:
bench/scaling.py,plots.py,sampler.sh,k6/mixed.js,evidence/plots/, меткиscaling-*; - «Переходное состояние» — снять пункт трека 1
scaling-bench, оставитьscaling-improvement.
Проверка:
grep -n "scaling-bench" AGENTS.md— нет обещаний «будет». - команды:
-
8.2 Финал:
make lint,openspec validate scaling-bench --strict;- отметить задачи;
- коммит
docs: report track 1 scaling series; graphify update .;- рабочий стенд
mtusi-lab3поднят, все репликиUP.
Проверка: дерево чистое.