30 KiB
Tasks
Как строить — design.md (дальше «решение N»). Что должно получиться —
дельта specs/load-benchmark/spec.md.
Правила.
- Перед первым файлом слоя прочитать его правило:
bench.md— всё вbench/;run-modes.md—Makefile;balancer.md— для справки о слотах и runtime API.
- Перед
bench/plots.pyзагрузить скиллdataviz. - Файлы меняются только через Edit/Write. Приложение (
src/), контракт и рабочий стенд не меняются до конца серий; правка 53300 — раздел 9, после серий.
Порядок:
- код;
- коммит кода с гипотезами в
REPORT.md; - самопроверки быстрой серией;
- регрессия прежних профилей;
- серии — перед каждой проверка хоста;
- evidence;
REPORT.md;AGENTS.md.
Долгие команды. Всё дольше пары минут — фоном, с журналом в
<scratchpad>/scaling-bench/:
nohup make <цель> > <scratchpad>/scaling-bench/<имя>.log 2>&1 &
Ожидание — Monitor с циклом `until ! pgrep -f "bench/run.py"
/dev/null; do sleep 15; done; tail -30 <журнал>
, не больше 30 мин на вызов. Затем — снова. Голыйsleep` в Bash не использовать. Ни один вызов инструмента не должен упереться в 10 минут.
Проверка хоста перед каждой серией (A, B, pool, A/A; самопроверки и регрессия — без неё), по брифу:
pmset -g batt—AC Power;memory_pressure | tail -1— давления нет;docker ps— посторонних нет; рабочий стенд —make stop;docker info --format '{{.NCPU}} {{.MemTotal}}'— 12 и ~7,75 GiB;vm_stat | grep Swapouts— до и после серии.
Плохо — Telegram «хост не готов к замеру …», остановка и отчёт основной сессии.
1. Код стенда
-
1.1 Профили серий (решения 1, 14).
bench/run.py:- новые поля
Profileпо списку решения 14 и свойствоis_series; - хелпер
scaling_profile(name, series, configs, **поля)с общими значениями решений 1–3 и 6: лимиты PostgreSQL 2 / 1g, LB 1 / 256m, Valkey 0.5 / 128m, k6 2 / 1g (generator_cpu_limit1.8), сэмплер 0.25 / 128m;sizes=(10_000,),repeats=3,members=10,write_chats=10, смесь, SLO, лестница, окна; - профили
scaling_a,scaling_b,scaling_pool,scaling_ab(1 × 1 и 6 × 1, решение 11),scaling_quick— с конфигурациями решений 1 и 14; compose_envпередаётBENCH_DB_MAX_CONNECTIONS: значение конфигурации ячейки, у прочих профилей — 100.
- новые поля
bench/bench.compose.yml: вcommandсервисаpostgres—-c max_connections=${BENCH_DB_MAX_CONNECTIONS:?run make bench}.
Проверка:
uv run python -cс импортомrunпечатает конфигурации и лимиты пяти профилей.docker compose -p mtusi-bench --env-file bench/bench.env -f docker-compose.yml -f bench/bench.compose.yml config --quietс переменнымиBENCH_*проходит. -
1.2 Хост, паспорт, бюджет, блокировка — для всех профилей (решения 1, 5, 12).
host_state()— полеswapouts(vm_stat).- Удалить
SWAP_WARN_MIBи предупреждение о занятом swap. В концеmain()— предупреждение о приростеswapouts; батарея — как раньше. static_passport()—performance_coresиefficiency_cores(sysctl hw.perflevel0/1.physicalcpu, иначе null).vm_warnings()учитывает память генератора и сэмплера.- Для серий —
meta.budgetпо конфигурациям и отказ (код 2), если сумма CPU конфигурации большеNCPUВМ. - Блокировка:
fcntl.flockнаbench/.bench.lockв началеmain(); занята — код 2 с причиной. compare.pypassport_rows: в строке хоста — прирост выгрузок.
Проверка:
make lint. Вызовhost_state()печатаетswapouts. Второй одновременный запуск — задача 3.3. -
1.3 Сценарии k6 (решения 2, 3, 7).
-
bench/k6/prepare.js:WRITE_CHATS(по умолчанию 1) создаёт чаты записи со всеми пользователями. В фикстуреwriteChatIds, аwriteChatId= первый. -
Новый
bench/k6/mixed.js:- три сценария
ramping-arrival-rate(read,write,me) сstartRateи двумя стадиями; VU поprevus_per_rps/vus_per_rps; - тег
windowна каждый запрос поexec.scenario.startTime; - проверки ответов; счётчики
short_pagesиinstance_ok(тегinstance, подметрики поINSTANCESи-); - пороги «всегда выполнены» для подметрик окна и пороги
abortOnFailсdelayAbortEval= прогрев + 5 с; setup()→{t0}; итог —summaryFiles;- ключ записи — только
messageHeaders(token).
Окружение:
LEVEL,START,MIX,WARMUP_S,MEASURE_S,TIMEOUT,PRE_VUS_PER_RPS,MAX_VUS_PER_RPS,SEED,INSTANCES,ABORT_ERRORS,ABORT_P95_MS,STEP,NAME. - три сценария
Проверка:
k6 inspectсценария в образе k6 стенда — опции разбираются. Задача 3.1 сверяет доли и окно на живом стенде. -
-
1.4 Сэмплер и контейнеры стенда (решения 6, 7).
- Новый
bench/sampler.sh(bash, только внутри контейнера): строкиcg,vm,lbв/work/samples.log; фоновыйpsql … \watch 1с запросом решения 7 в/work/pg-samples.log;PGPASSWORDизPOSTGRES_PASSWORD. bench/run.py:Stand.start()запускает k6 с--cpus/--memory/--memory-swap, еслиgenerator_cpusзадан;Stand.start_sampler()иstop_sampler(): образ — уmtusi-bench-postgres, параметры решения 7, проверка первых строк за 5 с, иначеBenchError;leftovers()иStand.stop()знаютmtusi-bench-sampler;Stand.limits()добавляет лимиты k6 иSHOW max_connections; не равно конфигурации —BenchError;Watcher(..., rss=False)— одинdocker inspectреплик, PostgreSQL, Valkey и LB в секунду.
Проверка:
bash -n bench/sampler.sh. Задача 3.1 видит строки всех видов. - Новый
-
1.5 Новый
bench/scaling.py— чистые функции, только stdlib, без docker (решения 3, 6–9):SCALING_FIELDS,SEARCH_FIELDS,SAMPLE_FIELDS,THRESHOLDS;- лестница и автомат поиска: фиксированные уровни → L0 → подъём,
спуск → деление;
floor,search_limit; - разбор итога k6 ступени;
- разбор строк сэмплера и PostgreSQL;
- окна и агрегаты: CPU, троттлинг, память, ВМ, PSI, WAL, классы
ожидания,
pool_busy_share, LB, распределение поX-Instance-Id; - вердикт SLO и брака генератора, признаки
signs; - строки
runs.csv,searches.csv,samples.csv; render_summary()сhost_costпо сводке серии;--selftest: синтетические исходы ступеней (подъём, спуск от первой нарушенной, оба фиксированных уровня провалены, брак) и синтетические строки сэмплера.
Проверка:
uv run python bench/scaling.py --selftest:- R* = наибольший пройденный уровень, F / P ≤ 1,06;
- L0 из примеров решения 3: 596, 745, 1455, 1819;
- CPU и троттлинг из известных разностей;
- код 0.
-
1.6 Исполнитель серий в
bench/run.py(решения 2–5, 8).Bench.run_series():- план кругами с
order_seed, вmeta.plan; - пропуск готовых ячеек при
--resume.
- план кругами с
run_cell():- свежий стенд с конфигурацией через
dataclasses.replace; prepare_load()сWRITE_CHATS, сэмплер;- фиксированные уровни, поиск, сверка записей и читаемого чата;
- строка
searches.csv;stand.stop().
- свежий стенд с конфигурацией через
run_step():- снимки RSS и
count(*)до и после, k6 под облегчённымWatcher; - разбор итога и окна сэмплера, «too many clients» из
docker logs -t --since/--until,host_swapouts; - строка
runs.csv, посекундные строкиsamples.csv; - пауза и
wait_readyпосле нарушения; - строка вывода и
progress.json.
- снимки RSS и
RUN_FIELDS+=SCALING_FIELDS,PREFILL_FIELDS+=cell,attempt— в конец.Results:add_step,add_search,add_samples; веткаwrite_summaryдля серий;raw/сexist_ok.main():--resumeс условиями решения 5 (чистота без своей метки);- для серий — уборка устаревших остатков при взятой блокировке.
eta()по ячейкам.
Проверка:
make lint; задачи 3.1 и 3.3. -
1.7 Новый
bench/plots.py(решение 13), после скиллаdataviz:render_series(label_dir)—p95-by-rate.svg,cpu-by-component.svgв каталоге метки; вызывается в конце серии;render_combined(labels, out)—rstar-by-replicas.svg,p95-by-rate-<серия>.svg,cpu-by-component.svgиsummary.md(R*, эффективность, R*(1 × 4) / R*(1 × 1), k_sat, признаки на k_sat ± 1) вevidence/plots/<PLOTS>/;- CLI
--labels … --out ….
Проверка: задача 3.4 — SVG открываются, PNG через
qlmanage -t -s 1000просмотрен. -
1.8 Сравнение и «до/после» для серий (решение 11).
bench/compare.py: режим серий — методика безname/series/configs, лимиты по общим конфигурациям; R*, задержки на фиксированных уровнях, CPU на запрос, CPU PostgreSQL на R*; несравнённые конфигурации иgenerator_bound— в замечаниях; шумAAпо R*. Серия против матрицы — отказ. Режим матрицы не меняется.bench/ab.py:--series— шаги 1 и 5 черезmake bench_scaling SERIES=… SCALING_LABEL=….
Проверка: задача 3.4.
-
1.9
Makefileи.gitignore(решение 14,run-modes.md).-
Цели:
bench_scaling—SERIESобязателен, иначе подсказка и код 2;SCALING_LABEL ?= scaling-$(SERIES);RESUME=1→--resume;bench_scaling_quick;bench_plots—LABELS,PLOTS ?= scaling;SERIESуbench_ab.
Все — под
$(KEEP_AWAKE), с комментариями в стиле файла. -
.gitignore:bench/.bench.lock,evidence/plots/quick-*/.
Проверка:
make -n bench_scaling SERIES=a,make -n bench_scaling_quick,make -n bench_plots LABELS=xпечатают ожидаемые команды;make bench_scalingбезSERIES— подсказка. -
2. Документы до замеров и коммит кода
-
2.1
.claude/rules/bench.md:- раздел трека 1 из «что меняется» — в «как устроено»: серии и
конфигурации, бюджет, свежий стенд в ячейке, порядок кругами,
ступени, SLO, поиск R*, генератор с лимитом и брак, сэмплер (его
соединение в границе пула), файлы метки, продолжение, блокировка и
уборка остатков сериями,
SERIESуbench_ab, режим серийbench_compare, графики; - «Что не меняется между метками» — лимиты генератора и сэмплера;
- «Результаты» — правило хоста: выгрузка в swap и давление вместо «swap занят — перезагрузить»;
- «Как писать» —
sampler.shработает только в контейнере.
Проверка:
grep -n "swap" .claude/rules/bench.md— нет требования «swap около нуля». - раздел трека 1 из «что меняется» — в «как устроено»: серии и
конфигурации, бюджет, свежий стенд в ячейке, порядок кругами,
ступени, SLO, поиск R*, генератор с лимитом и брак, сэмплер (его
соединение в границе пула), файлы метки, продолжение, блокировка и
уборка остатков сериями,
-
2.2 Скилл
run-mtusi-messenger(SKILL.md): строкаmake bench_scaling_quickрядом с прочими быстрыми профилями. Проверка:grep bench_scaling .claude/skills/run-mtusi-messenger/SKILL.md. -
2.3 Статические проверки:
make lint,make check,uv run python -m py_compile bench/*.py,bash -n bench/sampler.sh,openspec validate scaling-bench --strict. Проверка: все с кодом 0. -
2.4
REPORT.md, «Эксперименты и отказы» — раздел «Цена масштабирования (трек 1)» до первой серии:- гипотезы H1, H1б, H2, H3 из решения 10 — что подтвердит и что опровергнет;
- методика: бюджет (таблица решения 1), ядра хоста, профиль, ступени, SLO, правило R*, повторы и порядок;
- заготовки «Результат» и «Итог по гипотезам» с пометкой «после серий».
Проверка: раздел есть, числа гипотез совпадают с решением 10.
-
2.5 Коммит кода, правил и гипотез:
feat: add track 1 scaling series to the bench stand, в конце — строкаCo-Authored-Byиз брифа. Проверка:git status— чисто; этот commit старше первой метки серий (спек, «Гипотезы до прогонов»).
3. Самопроверки быстрой серией (без проверки хоста)
-
3.1
make bench_scaling_quickфоном. Проверка — код 0, в метке:meta.planс двумя ячейками;budgetи лимиты k6 /max_connectionsпо конфигурациям (50 у второй);runs.csvс новыми столбцами в конце, все заполнены;- доли 70 : 20 : 10 в окне;
sent= запланированным ± 3,missing0 на пройденных ступенях; - сумма
instances= успешным окна; samples.csvсо строками каждого контейнера иvmза каждую секунду окна;searches.csvс R*,resolution≤ 1,12 (одно деление: 1,25^½) и сверкой записей;summary.md,p95-by-rate.svg,cpu-by-component.svg;- секретов нет:
.work/удалён,grep -ril token <метка>/rawпусто,grep -r "$HOME" <метка>пусто.
-
3.2 Запас генератора и окно k6 (решение 6) по метке 3.1:
- CPU k6 на 1 000 запросов/с × ожидаемая вершина серии B (6 × R*(1 × 1)) ≤ 50 % лимита;
- пик памяти k6 на VU ×
vus_maxвершины ≤ 70 % лимита; - досрочный выход по порогам (код 99) встретился на нарушенной
ступени или проверен отдельным запуском
run.py --profile scaling_quickс завышенным уровнем.
Не так — поднять
generator_cpus/generator_memoryв пределах бюджета решения 1, записать в design (раздел «Найдено в apply») иbench.md, коммит кода, повторить 3.1. Запасной вариант тега окна — Risks design. Проверка: числа записаны вevidence/tests/scaling-bench-checks.md. -
3.3 Продолжение, блокировка, уборка:
- во время
make bench_scaling_quick—make bench_quick→ код 2 «другой прогон»; pkill -TERM -f "bench/run.py"после первой ячейки → код 130, меткаincomplete, стенд удалён;- перед продолжением — искусственный остаток:
docker run -d --name mtusi-bench-sampler --entrypoint sleep <образ k6 стенда> 600; make bench_scaling SERIES=quick SCALING_LABEL=<та же> RESUME=1→ остаток удалён самой командой (строка в выводе), снята только вторая ячейка, меткаcomplete;- отказ продолжения на другом коде: копия пробной метки, в её
meta.json(Edit) commit подменён и статусincomplete, затемRESUME=1на копии → код 2 с причиной. Копия —quick-*, в git не идёт, после проверки удаляется.
Проверка: выводы в
evidence/tests/scaling-bench-checks.md. - во время
-
3.4 Сравнение, «до/после», графики:
- вторая быстрая метка;
make bench_compare BEFORE=<1> AFTER=<2> AA=<1>— таблица по общим конфигурациям с шумом и вердиктом; BEFORE=<1> AFTER=<1>— Δ = 0;BEFORE=<быстрая серия> AFTER=<метка make bench_quick>— отказ «разная методика»;uv run python bench/ab.py --before x --after y --reapply HEAD --series quick --dry-run— шаги сmake bench_scaling;make bench_plots LABELS="<1> <2>" PLOTS=quick-check— SVG иsummary.md; PNG черезqlmanage -t -s 1000 -o <scratchpad>/scaling-bench …просмотрен (Read): оси, подписи, легенда, SLO.
Проверка: выводы в
evidence/tests/scaling-bench-checks.md. - вторая быстрая метка;
4. Регрессия прежних профилей
-
4.1 На commit кода фоном, по очереди:
make bench_quick,make bench_restore_quick,make bench_failover_quick,make bench_rollout_quick. Проверка:- все с кодом 0;
- паспорт прежний:
max_connections100, k6 без лимита; - предупреждения о swap только при приросте выгрузок;
- прочие профили по-прежнему отказывают при остатках стенда, а не удаляют их.
-
4.2
evidence/tests/scaling-bench-checks.md:- шапка по брифу: спеки, change, дата, commit, стенд, хост;
- выводы 2.3 и 3.1–4.1 (без секретов и путей домашнего каталога);
- коммит
docs: add scaling-bench self-checks.
Проверка: дерево чистое.
5. Серии (проверка хоста перед каждой)
-
5.1 Проверка хоста. Затем
make stop,nohup make bench_scaling SERIES=a(~50 мин), ожидание циклами Monitor. После —Swapouts. Проверка:evidence/bench/scaling-a/complete;- 9 ячеек без
generator_bound; - коммит метки
docs: add scaling series A— до следующей серии, иначе её паспорт получитdirty: true.
-
5.2 Так же серия B:
SERIES=b, ~100 мин, 18 ячеек. Прервалась —RESUME=1после разбора причины. Проверка: меткаcomplete, коммитdocs: add scaling series B. -
5.3 Так же серия pool:
SERIES=pool, ~35 мин, 6 ячеек. Проверка: меткаcomplete, коммитdocs: add scaling pool series. -
5.4 Разбор серии pool по H3:
- отказы «too many clients» и коды ответов при
max_connections50:runs.csv, журнал LB; - отказ даёт 500, а не 503 → пункт
KNOWN_ISSUES.md: путьsrc/infra/db/errors.py, требование спекаdata-storage, правка (решение 10), без исправления.
Вопрос основной сессии — в итоговый отчёт. Проверка: пункт есть или в design записано, что 503.
- отказы «too many clients» и коды ответов при
-
5.5 Проверка хоста, затем
nohup make bench_scaling SERIES=ab SCALING_LABEL=scaling-aa(~35 мин; профильscaling_ab— 1 × 1 и 6 × 1, решение 11). Проверка:- метка
complete, коммитdocs: add scaling A/A label; - рабочий стенд снова поднят (
make run_docker,make lb_stats— всеUP).
- метка
6. Evidence
-
6.1 Графики и сравнения:
make bench_plots LABELS="scaling-a scaling-b" PLOTS=scaling; k_sat и признаки на k_sat ± 1 — из егоsummary.md;make bench_compare BEFORE=scaling-b AFTER=scaling-aa— шум между сессиями;make bench_compare BEFORE=scaling-b AFTER=scaling-a— 4 × 1 против k = 4;- PNG графиков просмотрены.
Проверка:
evidence/plots/scaling/(3+ SVG иsummary.md) и два файлаevidence/compare/. -
6.2 В
evidence/tests/scaling-bench-checks.md— проверки хоста перед каждой серией иSwapoutsдо и после. Коммит evidencedocs: add scaling-bench plots and comparisons. Проверка: дерево чистое, в evidence нет секретов и абсолютных путей домашнего каталога.
7. REPORT.md
-
7.1 Раздел «Цена масштабирования (трек 1)» по решению 15:
- результаты A, B, pool — таблицы из
summary.mdметок и графиков; - графики (ссылки на SVG);
- точка насыщения и почему рост реплик перестаёт помогать — по
признакам
signsна k_sat ± 1; - итог H1, H1б, H2, H3 как получился;
- шум A/A и согласованность 4 × 1 / k = 4;
- фраза про
workers; - ограничения.
Ещё:
- строки таблицы доказательств «5» вместо TODO «Выбранный трек 5»;
- пункты в «Ограничения и следующие шаги»: серия B до 6, граница пула на дефолтах, разнородные ядра, генератор на том же хосте, окно 20 с;
- кандидаты
scaling-improvementпо узкому месту (решение 11).
Проверка: у каждой новой строки есть команда, наблюдение и файл; числа — из файлов меток и таблиц команд.
- результаты A, B, pool — таблицы из
8. AGENTS.md и завершение
-
8.1
AGENTS.md:- команды:
bench_scaling,bench_scaling_quick,bench_plots,SERIESуbench_ab, режим серийbench_compare; - карта кода:
bench/scaling.py,plots.py,sampler.sh,k6/mixed.js,evidence/plots/, меткиscaling-*; - «Переходное состояние» — снять пункт трека 1
scaling-bench, оставитьscaling-improvement.
Проверка:
grep -n "scaling-bench" AGENTS.md— нет обещаний «будет». - команды:
-
8.2 Финал:
make lint,openspec validate scaling-bench --strict;- отметить задачи;
- коммит
docs: report track 1 scaling series; graphify update .;- рабочий стенд
mtusi-lab3поднят, все репликиUP.
Проверка: дерево чистое.
9. Исправления по verify (этап fixes)
Отчёт verify: C1 (задача пользователя 53300 → 503), W1–W10, S1–S13. S2 (трактовка рубрики «saturation point БД/LB/пула») — вопрос пользователю у основной сессии, здесь не решается. Решения — design, «Найдено в verify». Порядок коммитов: код → evidence с этого коммита → документы.
-
9.1 Исправление 53300 (C1):
src/infra/db/errors.py:"53300"вUNAVAILABLE_SQLSTATES, комментарий и docstring;student-tests/fault_hook.py:fill-connections <секунд>,clear-connections;student-tests/test_failures.py::test_connection_limit_reached(fault, сценарий «Предел соединений PostgreSQL исчерпан»);- дельта
specs/data-storage/spec.mdи/opsx:syncтолько её: сверка покрытия читает основные спеки (как вinstance-id-idempotency).
Проверка: тест без правки — 500 (красный), с правкой — 503;
openspec validate scaling-bench --strict. -
9.2 Код стенда по verify: таблицы цены запроса, PostgreSQL, троттлинга H1б и памяти в
plots.py(W6, W10); шапки сводки и сравнений (S3); отбор строкraw/*-errors.log(S4); лимиты сэмплера в паспорте (S11). Проверка:make lint,scaling.py --selftest; прочие значенияevidence/plots/scaling/summary.mdи SVG не изменились. -
9.3 Коммиты кода
68edc66(fix: answer 503 when PostgreSQL refuses connections with too many clients) иdcea859(стенд). -
9.4 Регрессия на
dcea859:make lint,make check,make run_docker,make test,make student_test,make test_isolated,make failure_checks,make test-persistence,make test-failover,make bench_scaling_quick; проба 53300 через LB на рабочем стенде. Проверка: всё код 0, сводка — вevidence/tests/scaling-bench-checks.md, проба —evidence/storage/too-many-clients.md. -
9.5 Evidence:
evidence/plots/scaling/, два сравненияevidence/compare/scaling-b__*.mdпересозданы командами, причина 503 в самопроверках поправлена (W1). Коммит evidence. -
9.6 Документы:
KNOWN_ISSUES.md— пункт 53300 закрыт; дельтаload-benchmark(W7, S5, S10); proposal, design;REPORT.md(W1–W6, W9, W10, S1, S6, S8, S9, H3 после правки);PLAN.mdиAGENTS.md(W8);bench.md(S6). Коммит документов.
10. Серия db: насыщение PostgreSQL (S2, решение пользователя)
- 10.1 Дельта
load-benchmark(«Серии трека 1»: серияdb, сценарий «Насыщение PostgreSQL»), design («Найдено в verify»). - 10.2 Код: пятый элемент конфигурации — CPU PostgreSQL
(
scaling.unpack_config,config_key,plan_cells,config_stats, таблица «PostgreSQL на R*» вrender_summary;run.py—budget,vm_warnings,cell_profile, профилиscaling_db,scaling_db_quick);Makefile— подсказкаSERIES. Проверка:make lint,--selftest, планscaling-poolпересчитывается тем же, сводкаevidence/plots/scaling/не меняется. Коммит95539a1. - 10.3 Быстрая самопроверка и калибровка:
make bench_scaling SERIES=db_quick SCALING_LABEL=quick-scaling-db-…— код 0, лимит 0,5 CPU подтверждён (design). - 10.4 Проверка хоста по брифу,
make stop,nohup make bench_scaling SERIES=db(~50 мин),Swapoutsдо и после. Проверка: меткаscaling-dbcomplete, 12 ячеек безgenerator_bound, коммит меткиdocs: add scaling series db. - 10.5 Графики серии в метке;
REPORT.md— точка насыщения БД рядом с пулом и хостом, ответ рубрике;evidence/tests/scaling-bench-checks.md— проверка хоста; коммит. Рабочий стенд снова поднят.