From bbd6f653162e192cbf61895372dc816bc1480090 Mon Sep 17 00:00:00 2001 From: roman Date: Sun, 11 Oct 2026 12:25:18 +0300 Subject: [PATCH] chore: archive scaling-bench change Co-Authored-By: Claude Opus 5.5 --- AGENTS.md | 13 +- PLAN.md | 2 +- .../2026-10-11-scaling-bench}/.openspec.yaml | 0 .../2026-10-11-scaling-bench}/design.md | 0 .../2026-10-11-scaling-bench}/proposal.md | 0 .../specs/data-storage/spec.md | 0 .../specs/load-benchmark/spec.md | 0 .../2026-10-11-scaling-bench}/tasks.md | 0 openspec/specs/load-benchmark/spec.md | 524 ++++++++++++++++-- 9 files changed, 497 insertions(+), 42 deletions(-) rename openspec/changes/{scaling-bench => archive/2026-10-11-scaling-bench}/.openspec.yaml (100%) rename openspec/changes/{scaling-bench => archive/2026-10-11-scaling-bench}/design.md (100%) rename openspec/changes/{scaling-bench => archive/2026-10-11-scaling-bench}/proposal.md (100%) rename openspec/changes/{scaling-bench => archive/2026-10-11-scaling-bench}/specs/data-storage/spec.md (100%) rename openspec/changes/{scaling-bench => archive/2026-10-11-scaling-bench}/specs/load-benchmark/spec.md (100%) rename openspec/changes/{scaling-bench => archive/2026-10-11-scaling-bench}/tasks.md (100%) diff --git a/AGENTS.md b/AGENTS.md index ef94955c..de267021 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -17,7 +17,9 @@ Bearer-сессия, Valkey — кэш карточек чатов, трек 2 `rolling-update` — поочерёдная замена реплик с дренажём через runtime API HAProxy (`make rolling_update`), expand-миграция и профиль `rollout`, `scaling-bench` — серии трека 1 «Цена масштабирования» -(`make bench_scaling`: открытая модель, поиск R*, сэмплер, графики); +(`make bench_scaling`: открытая модель, поиск R*, сэмплер, графики, +насыщение пула и PostgreSQL управляемыми опытами) и ответ 503 на отказ +PostgreSQL «too many clients»; дальше — changes из `PLAN.md`. Переход на lab2 завершён changes OpenSpec, они в `openspec/changes/archive/`. Стек: Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings, structlog @@ -118,10 +120,11 @@ change — в архиве. После замен реплики называю штатные цели с ними работают, `make down` + `make run_docker` снова дают `api-1`, `api-2`. -- Серии трека 1 сняты (change `scaling-bench`, метки `scaling-*` на - коде `712d245`); одно подтверждённое улучшение с A/B — change - `scaling-improvement`. Его A/A снимается заново на коде «до»: - правка 53300 (`68edc66`) изменила `src` после `scaling-aa`. +- Серии трека 1 сняты, change `scaling-bench` в архиве (метки + `scaling-a`, `-b`, `-pool`, `-aa` на коде `712d245`, `scaling-db` — на + `95539a1`). Осталось одно подтверждённое улучшение с A/B — change + `scaling-improvement`. Его A/A снимается заново на коде «до»: правка + 53300 (`68edc66`) изменила `src` после `scaling-aa`. - `REPORT.md` заполнен для уровней «3», «4» и серий трека 1; улучшение трека «5» — впереди. diff --git a/PLAN.md b/PLAN.md index 523e9a86..091663f8 100644 --- a/PLAN.md +++ b/PLAN.md @@ -293,7 +293,7 @@ Swarm дал бы встроенный rolling update (`update_config`), но э | 2 | `replicas-lb` | 3 (+4: лимиты, порты, секреты, гонка через реплики) | HAProxy — единственная точка входа, `api` × `API_REPLICAS` без портов, лимиты CPU/RAM у всех, секреты по сервисам. `restart.sh` с LB, новый `stop-one.sh`. Тесты против стенда с LB | `make test`, `make test-persistence`, `make test-failover` через LB для каждой реплики; гонка ключа видит ≥2 реплики. **Заархивирован 2026-10-10** (`openspec/changes/archive/2026-10-10-replicas-lb/`; verify — решение 14 design: формула обнаружения зависшей реплики `fall × (inter + timeout check)` = 8 с, цена лимита 1 CPU для Argon2id, evidence снято заново с `a4ca9ef`) | | 3 | `graceful-failover` | 4 | Цепочка таймаутов зафиксирована и обоснована. Замер времени обнаружения отказа при `stop` и `kill`. Стенд `bench/` переходит на HAProxy + N реплик, профиль `failover`: поочерёдная остановка каждой реплики под нагрузкой | посекундные RPS, ошибки и время восстановления по каждой реплике в `evidence/failover/`, таблица таймаутов в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-graceful-failover/`; замер `evidence/failover/baseline/` с `459f84c`; verify — решение 10 design: отвергнутый вариант пула LB переснят на закоммиченном коде, уборка триггера `hang-key` при прерывании, `make bench_compare` отказывает метке без LB; дренаж до SIGTERM и `make run_docker` без пересоздания реплик переданы в `rolling-update`, ниже) | | 4 | `rolling-update` | 4 | `scripts/rolling-update.sh`: замена реплик по одной на новый образ под нагрузкой. Миграции однократно и совместимы со старой версией | прогон под нагрузкой с ошибками по секундам в `evidence/rollout/`; старый образ работает на новой схеме. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-rolling-update/`; замер `evidence/rollout/baseline/` с `9dcea0b`, итоговый код `84161c0`; verify — решение 12 design: уборка при Ctrl+C внутри `up --scale`, предусловие о слотах LB с ручным состоянием, `lock_timeout` миграции 2 с вместо 5 с (при равном `statement_timeout` запросы в очереди за миграцией получали 503), ограничение отката; совместимость и отказы скрипта пересняты на `84161c0`) | -| 5 | `scaling-bench` | 5 (трек 1) | Открытая модель нагрузки, серии A (фиксированный бюджет 1×4 / 2×2 / 4×1) и B (1…8 реплик), метрики HAProxy и Postgres, графики, точка насыщения | метки серий и A/A в `evidence/bench/`, точка насыщения и её причина в `REPORT.md` | +| 5 | `scaling-bench` | 5 (трек 1) | Открытая модель нагрузки, серии A (фиксированный бюджет 1×4 / 2×2 / 4×1) и B (1…8 реплик), метрики HAProxy и Postgres, графики, точка насыщения | метки серий и A/A в `evidence/bench/`, точка насыщения и её причина в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-scaling-bench/`; метки `scaling-a`, `-b`, `-pool`, `-aa` на коде `712d245`, серия B — до 6 реплик (бюджет ВМ); verify: 53300 → 503 (`68edc66`), выводы H1 и k_sat переписаны по критериям и разрешению сетки, причина насыщения — хост, механизм не разделён; по решению пользователя (S2) — серия `scaling-db`: при PostgreSQL 0,5 CPU R* 630 → 1 101 → 931 для 1 / 2 / 4 реплик; A/A улучшения — заново на коде «до») | | 6 | `scaling-improvement` | 5 (трек 1) | Одно улучшение на найденном узком месте, «до/после» через `make bench_ab`, отделение эффекта от шума | `evidence/compare/` с эффектом больше шума A/A, вывод в `REPORT.md` | | 7 | — (отчёт и PR) | 3–5 | Сводка `REPORT.md`, проверка из чистого clone, шаблон PR, уборка переходных разделов | PR `ЛР 3 — БВТ2301 — Сафронов — на 5` | diff --git a/openspec/changes/scaling-bench/.openspec.yaml b/openspec/changes/archive/2026-10-11-scaling-bench/.openspec.yaml similarity index 100% rename from openspec/changes/scaling-bench/.openspec.yaml rename to openspec/changes/archive/2026-10-11-scaling-bench/.openspec.yaml diff --git a/openspec/changes/scaling-bench/design.md b/openspec/changes/archive/2026-10-11-scaling-bench/design.md similarity index 100% rename from openspec/changes/scaling-bench/design.md rename to openspec/changes/archive/2026-10-11-scaling-bench/design.md diff --git a/openspec/changes/scaling-bench/proposal.md b/openspec/changes/archive/2026-10-11-scaling-bench/proposal.md similarity index 100% rename from openspec/changes/scaling-bench/proposal.md rename to openspec/changes/archive/2026-10-11-scaling-bench/proposal.md diff --git a/openspec/changes/scaling-bench/specs/data-storage/spec.md b/openspec/changes/archive/2026-10-11-scaling-bench/specs/data-storage/spec.md similarity index 100% rename from openspec/changes/scaling-bench/specs/data-storage/spec.md rename to openspec/changes/archive/2026-10-11-scaling-bench/specs/data-storage/spec.md diff --git a/openspec/changes/scaling-bench/specs/load-benchmark/spec.md b/openspec/changes/archive/2026-10-11-scaling-bench/specs/load-benchmark/spec.md similarity index 100% rename from openspec/changes/scaling-bench/specs/load-benchmark/spec.md rename to openspec/changes/archive/2026-10-11-scaling-bench/specs/load-benchmark/spec.md diff --git a/openspec/changes/scaling-bench/tasks.md b/openspec/changes/archive/2026-10-11-scaling-bench/tasks.md similarity index 100% rename from openspec/changes/scaling-bench/tasks.md rename to openspec/changes/archive/2026-10-11-scaling-bench/tasks.md diff --git a/openspec/specs/load-benchmark/spec.md b/openspec/specs/load-benchmark/spec.md index 032ed7f1..4978d86d 100644 --- a/openspec/specs/load-benchmark/spec.md +++ b/openspec/specs/load-benchmark/spec.md @@ -22,10 +22,16 @@ backup и восстановление в новое хранилище со с результата `BENCH_LABEL` (по умолчанию `baseline`), короткий прогон — командой `make bench_quick`. Результаты SHALL сохраняться в `evidence/bench/<метка>/`. Команда MUST NOT перезаписывать результаты -существующей метки. Она MUST NOT использовать порт 8080 хоста и MUST -NOT трогать контейнеры, базу и кэш рабочего стенда (`make run_dev` / -`make run_docker`). После завершения, в том числе с ошибкой или по -Ctrl+C, контейнеры, сеть и volume стенда SHALL удаляться. +существующей метки. Единственное исключение — продолжение прерванной +серии трека 1 (требование «Серии трека 1»): оно дописывает в метку +только недостающие ячейки. Команда MUST NOT использовать порт 8080 +хоста и MUST NOT трогать контейнеры, базу и кэш рабочего стенда (`make +run_dev` / `make run_docker`). После завершения, в том числе с ошибкой +или по Ctrl+C, контейнеры, сеть и volume стенда SHALL удаляться. + +Одновременно SHALL идти не больше одного прогона стенда любого профиля. +Второй прогон завершается с ненулевым кодом до запуска стенда и +называет причину. #### Scenario: Полная матрица @@ -35,7 +41,8 @@ Ctrl+C, контейнеры, сеть и volume стенда SHALL удалят #### Scenario: Метка уже занята -- **WHEN** каталог `evidence/bench/<метка>/` уже существует +- **WHEN** каталог `evidence/bench/<метка>/` уже существует, и это не + продолжение прерванной серии трека 1 - **THEN** команда завершается с ненулевым кодом до запуска стенда и называет каталог @@ -51,6 +58,13 @@ Ctrl+C, контейнеры, сеть и volume стенда SHALL удалят - **THEN** контейнеры, сеть и volume стенда удалены, частичные результаты помечены как незавершённые +#### Scenario: Второй прогон одновременно + +- **WHEN** идёт прогон стенда, и запускается ещё один прогон любого + профиля +- **THEN** второй завершается с ненулевым кодом до запуска стенда, а + первый продолжается + ### Requirement: Фиксированный стенд Стенд SHALL состоять из балансировщика (LB), реплик приложения, @@ -65,13 +79,20 @@ checkout. LB SHALL стенда. PostgreSQL и Valkey SHALL запускаться из тех же образов, что у рабочего стенда. Valkey получает ту же конфигурацию. PostgreSQL получает те же настройки образа плюс модуль записи планов, выключенный -вне снятия плана. Схема БД SHALL применяться миграциями до наполнения. +вне снятия плана. В сериях трека 1 предел соединений PostgreSQL +(`max_connections`) — параметр конфигурации серии, по умолчанию 100, как +у образа. Схема БД SHALL применяться миграциями до наполнения. -Лимиты SHALL быть одинаковыми во всех прогонах профиля: +Лимиты SHALL быть одинаковыми во всех прогонах профиля, а в серии трека +1 — во всех прогонах одной конфигурации: - у каждой реплики приложения — лимит CPU и памяти без swap, заданный - методикой (в профилях лабы 2 — 1 CPU и 2 ГБ); + методикой (в профилях лабы 2 — 1 CPU и 2 ГБ, в серии трека 1 — по + конфигурации); - у LB, PostgreSQL и Valkey — свои лимиты CPU и памяти без swap, - заданные методикой. + заданные методикой; в серии трека 1 они одинаковы во всех + конфигурациях; +- у генератора нагрузки в профилях трека 1 — лимит CPU и памяти без + swap, заданный методикой; в остальных профилях генератор без лимита. Healthcheck образа приложения SHALL быть отключён: готовность реплик проверяет LB. Порты стенда на хост MUST NOT публиковаться. Настройки @@ -89,6 +110,14 @@ Healthcheck образа приложения SHALL быть отключён: реплики приложения, LB, PostgreSQL и Valkey, прочитанные у запущенных контейнеров, и они одинаковы для всех размеров +#### Scenario: Лимиты конфигурации серии + +- **WHEN** серия трека 1 завершена +- **THEN** паспорт по каждой конфигурации содержит число реплик, лимиты + CPU и памяти каждого контейнера стенда и генератора и предел + соединений PostgreSQL, прочитанные у запущенных контейнеров, и они + одинаковы во всех повторах конфигурации + #### Scenario: Нехватка памяти - **WHEN** процесс приложения превысил лимит памяти и был убит @@ -511,12 +540,14 @@ SHALL сохраняться планы того же запроса с теми наполнения; - таблица всех прогонов в CSV; - таблица порций наполнения в CSV; -- планы запроса истории по размерам; -- сводка по ячейкам матрицы (медиана и разброс min–max по повторам), - по планам и вариантам и по стоимости записи в Markdown; +- у профилей матрицы — планы запроса истории по размерам и сводка по + ячейкам матрицы (медиана и разброс min–max по повторам), по планам и + вариантам и по стоимости записи в Markdown; у серий трека 1 — свои + таблицы и сводка (требование «Метрики ступени серии»); - паспорт стенда; -- состояние хоста в начале и в конце прогона: занятый swap, доля - свободной памяти, питание от сети или от батареи. +- состояние хоста в начале и в конце прогона: занятый swap, счётчик + выгрузок страниц в swap, доля свободной памяти, питание от сети или + от батареи, а также прирост выгрузок за прогон. Паспорт стенда SHALL содержать: - дату, commit и признак незакоммиченных изменений; @@ -527,15 +558,18 @@ SHALL сохраняться планы того же запроса с теми - окружение приложения без паролей; - версии генератора и Python; - лимиты всех контейнеров стенда; -- железо хоста и VM; +- железо хоста и VM, в том числе число производительных и + энергоэффективных ядер, если процессор их различает; - параметры профиля, включая уровни фоновых чатов и варианты индекса, и команду запуска. -Если в начале прогона хост работает от батареи или swap занят сверх -порога методики, команда SHALL предупреждать об этом в выводе и в -паспорте, но не прерываться. Данные MUST быть синтетическими. -Результаты MUST NOT содержать секретов (паролей и токенов стенда), -`.env` и абсолютных путей домашнего каталога. +Если хост в начале или в конце прогона работает от батареи или за +прогон шла выгрузка страниц в swap (счётчик выгрузок вырос), команда +SHALL предупреждать об этом в выводе и в паспорте, но не прерываться. +Занятый swap без выгрузки во время прогона предупреждения не даёт. +Данные MUST быть синтетическими. Результаты MUST NOT содержать секретов +(паролей и токенов стенда), `.env` и абсолютных путей домашнего +каталога. #### Scenario: Повтор на другой машине @@ -546,15 +580,24 @@ SHALL сохраняться планы того же запроса с теми #### Scenario: Условия хоста для сравнения меток - **WHEN** проверяющий сравнивает две метки -- **THEN** по паспортам видно, одинаковы ли были swap, свободная - память и питание хоста в начале и в конце каждого прогона +- **THEN** по паспортам видно, одинаковы ли были питание и свободная + память хоста в начале и в конце каждого прогона и шла ли во время + прогона выгрузка в swap #### Scenario: Неподходящий хост -- **WHEN** прогон запускается от батареи или с занятым swap выше порога +- **WHEN** прогон идёт от батареи или во время прогона шла выгрузка + страниц в swap - **THEN** вывод команды и паспорт содержат предупреждение, а прогон продолжается +#### Scenario: Занятый swap без выгрузки + +- **WHEN** swap занят с начала прогона, но за прогон счётчик выгрузок + не вырос +- **THEN** предупреждения о swap нет, а занятый объём записан в + паспорт + #### Scenario: Хранилища в паспорте - **WHEN** проверяющий открывает паспорт метки @@ -735,25 +778,44 @@ SHALL содержать: Для каждого размера истории таблица SHALL содержать байты RSS на сообщение и байты на сообщение в БД в обеих метках. +Метки серий трека 1 команда SHALL сравнивать по общим конфигурациям. +Для каждой общей конфигурации таблица SHALL содержать: +- медиану и разброс min–max повторов максимальной устойчивой + интенсивности (R*) в обеих метках и изменение медианы в процентах; +- медианы p95 и p99 на фиксированных уровнях интенсивности; +- CPU приложения на один успешный запрос на фиксированном уровне; +- CPU PostgreSQL на уровне R*. + +Конфигурации, которые есть только в одной метке, SHALL перечисляться +как несравнённые. + Команда SHALL отказываться сравнивать метки, снятые разной методикой. Если различаются параметры профиля, лимиты любого контейнера стенда, образы генератора, PostgreSQL или Valkey, настройки PostgreSQL, лимит памяти и политика вытеснения Valkey или окружение приложения, она -завершается с ненулевым кодом, называет -различие и не создаёт таблицу. Метка, снятая без балансировщика (в её -паспорте нет числа реплик), и метка стенда с балансировщиком тоже -сняты разной методикой: команда SHALL отказываться их сравнивать. -Остальной параметр, записанный в паспорте только одной из меток, SHALL -перечисляться в таблице как непроверенный, без отказа. В начале таблицы -SHALL перечисляться незавершённая метка, незакоммиченные изменения, -предупреждения о хосте и помеченные прогоны. +завершается с ненулевым кодом, называет различие и не создаёт таблицу. +У меток серий трека 1 состав конфигураций и имя серии к методике не +относятся, а лимиты контейнеров и предел соединений PostgreSQL +сравниваются по каждой общей конфигурации. Метку серии трека 1 и метку +матрицы команда SHALL отказываться сравнивать. Метка, снятая без +балансировщика (в её паспорте нет числа реплик), и метка стенда с +балансировщиком тоже сняты разной методикой: команда SHALL отказываться +их сравнивать. Остальной параметр, записанный в паспорте только одной +из меток, SHALL перечисляться в таблице как непроверенный, без отказа. +В начале таблицы SHALL перечисляться незавершённая метка, +незакоммиченные изменения, предупреждения о хосте и помеченные прогоны. С необязательным параметром `AA=<метка>` команда SHALL оценивать -уровень шума: наибольшее по ячейкам сценария изменение медианы RPS -между метками `AA` и `BEFORE`, снятыми на одном и том же коде -приложения. Изменение в ячейке SHALL называться эффектом, только если -разбросы повторов двух меток не пересекаются и изменение медианы -больше уровня шума её сценария. Иначе это изменение в пределах шума. +уровень шума между метками `AA` и `BEFORE`, снятыми на одном и том же +коде приложения: +- для матрицы — наибольшее по ячейкам сценария изменение медианы RPS; +- для серий трека 1 — наибольшее по общим конфигурациям изменение + медианы R*. + +Изменение в ячейке или конфигурации SHALL называться эффектом, только +если разбросы повторов двух меток не пересекаются и изменение медианы +больше уровня шума её сценария или серии. Иначе это изменение в +пределах шума. #### Scenario: Сравнимые метки @@ -797,6 +859,21 @@ SHALL перечисляться незавершённая метка, неза - **WHEN** `BEFORE` и `AFTER` — одна и та же метка - **THEN** изменение во всех ячейках равно нулю +#### Scenario: Серии трека 1 + +- **WHEN** сравниваются метка серии `b` и метка серии `ab`, снятые на + том же коде +- **THEN** таблица содержит только общие конфигурации с медианой и + разбросом R*, изменением в процентах, задержками на фиксированных + уровнях и CPU на запрос, а остальные конфигурации серии `b` + перечислены как несравнённые + +#### Scenario: Серия и матрица + +- **WHEN** одна метка — серия трека 1, а другая — полная матрица +- **THEN** команда завершается с ненулевым кодом и называет различие + методики, таблица не создаётся + ### Requirement: Прогоны «до» и «после» подряд Команда `make bench_ab BEFORE=<метка> AFTER=<метка> REAPPLY=` @@ -809,6 +886,10 @@ SHALL снимать метки «до» и «после» одного изме 3. возврат изменения новым commit; 4. полную матрицу для `AFTER`. +С параметром `SERIES=<серия>` команда SHALL снимать в шагах 1 и 4 +вместо полной матрицы серию трека 1 под метками `BEFORE` и `AFTER`. +Остальные шаги и проверки — те же. + Команда SHALL отказываться стартовать, ничего не запустив, если: - рабочее дерево не чистое; - каталог одной из меток уже существует; @@ -845,6 +926,13 @@ SHALL снимать метки «до» и «после» одного изме - **THEN** следующие шаги не выполняются, команда называет номер шага и завершается с ненулевым кодом +#### Scenario: «До» и «после» на серии + +- **WHEN** выполняется `make bench_ab` с `SERIES=ab` +- **THEN** обе метки — полные серии `ab` без признака незакоммиченных + изменений, и `make bench_compare` сравнивает их по общим + конфигурациям + ### Requirement: Сравнение «до/после» в отчёте Результаты полной матрицы на коде до изменения и после него SHALL @@ -1062,3 +1150,367 @@ SHALL сохраняться посекундная шкала от начала - **WHEN** скрипт замены завершился с ненулевым кодом - **THEN** команда завершается с ненулевым кодом, называет шаг из журнала скрипта, сохраняет частичные результаты и удаляет стенд + +### Requirement: Серии трека 1 + +Команда `make bench_scaling SERIES=<серия>` SHALL снимать серию трека 1 +«Цена масштабирования» под меткой `SCALING_LABEL` (по умолчанию +`scaling-<серия>`) в `evidence/bench/<метка>/`. Серия — набор +конфигураций стенда. Конфигурация задаёт число реплик приложения, лимит +CPU и памяти реплики и предел соединений PostgreSQL. Серии: +- `a` — фиксированный суммарный бюджет приложения 4 CPU / 2 ГиБ: + 1 реплика × 4 CPU / 2 ГиБ, 2 × 2 CPU / 1 ГиБ, 4 × 1 CPU / 512 МиБ; +- `b` — рост ресурсов: 1, 2, 3, 4, 5 и 6 реплик по 1 CPU / 512 МиБ; +- `pool` — граница пула: 4 реплики по 1 CPU / 512 МиБ при пределе + соединений PostgreSQL 100 и 50; +- `ab` — 1 и 6 реплик по 1 CPU / 512 МиБ, как в серии `b`: одна + реплика и наибольшая конфигурация в бюджете ВМ, для замера + «до/после» и уровня шума A/A; +- `db` — насыщение PostgreSQL управляемым опытом: 1, 2 и 4 реплики по + 1 CPU / 512 МиБ при узком лимите CPU PostgreSQL (выбран калибровкой, + записан в паспорт и имя конфигурации) и контроль — 4 реплики при + прежних 2 CPU PostgreSQL. Лимит CPU PostgreSQL у этой серии — часть + конфигурации; +- короткие серии самопроверки — `make bench_scaling_quick` и `make + bench_scaling SERIES=db_quick` с меткой `quick-…`, в git не идут. + +Лимиты LB, Valkey и генератора, профиль нагрузки, ступени и SLO SHALL +быть одинаковыми во всех сериях; лимит PostgreSQL — тоже, кроме +конфигураций серии `db`. В каждой конфигурации серий +`a`, `b`, `pool`, `ab` и `db` сумма лимитов CPU стенда и генератора MUST NOT +превышать число CPU ВМ Docker: иначе команда завершается с ненулевым +кодом до запуска стенда. Паспорт SHALL содержать по каждой конфигурации +сумму лимитов CPU и памяти, а также CPU и память ВМ. + +Ячейка серии — конфигурация в одном повторе. Каждая конфигурация SHALL +сниматься 3 раза. Каждая ячейка SHALL начинаться со свежего стенда: +новый volume, миграции, данные профиля. Порядок ячеек SHALL +перемешиваться кругами: в каждом круге каждая конфигурация встречается +один раз, порядок задан зерном методики и записан в метку до первой +ячейки. + +Результат ячейки SHALL сохраняться сразу после неё. Прерванную серию +SHALL можно продолжить той же командой с `RESUME=1`. Продолжение +работает только на том же commit без незакоммиченных изменений: +- снимаются ячейки, которых в метке нет; +- прерванная ячейка снимается заново с новым номером попытки; строки + прежней попытки остаются в таблице, но в сводку не входят. + +Стенд, оставшийся от прерванного прогона, серия SHALL удалять сама, без +ручной уборки, если другой прогон стенда не идёт. + +Во время серии команда SHALL печатать строку на каждую ступень: ячейку +и её номер из общего числа, ступень, уровень, итог и оценку времени до +конца серии. Файл состояния в каталоге метки SHALL показывать текущие +ячейку и ступень. + +#### Scenario: Серия с фиксированным бюджетом + +- **WHEN** выполняется `make bench_scaling SERIES=a` +- **THEN** в метке 9 ячеек (3 конфигурации × 3 повтора), каждая на + свежем стенде, суммарный лимит реплик в каждой конфигурации — 4 CPU и + 2 ГиБ, код выхода 0 + +#### Scenario: Бюджет помещается в ВМ + +- **WHEN** проверяющий открывает паспорт серии `a`, `b`, `pool`, `ab` + или `db` +- **THEN** у каждой конфигурации сумма лимитов CPU стенда и генератора + не больше числа CPU ВМ, а сумма лимитов памяти записана рядом с + памятью ВМ + +#### Scenario: Насыщение PostgreSQL + +- **WHEN** выполняется `make bench_scaling SERIES=db` +- **THEN** в метке все конфигурации серии × 3 повтора в перемешанном + порядке на одном коде; у каждой конфигурации в паспорте — лимит CPU + PostgreSQL, прочитанный у контейнера, а сводка показывает R*, CPU + PostgreSQL на R* относительно лимита и его троттлинг + +#### Scenario: Перемешанный порядок + +- **WHEN** серия запущена дважды с тем же профилем +- **THEN** порядок ячеек одинаков, в каждом круге каждая конфигурация + встречается ровно один раз, а порядок записан в метке + +#### Scenario: Продолжение прерванной серии + +- **WHEN** серия прервана на ячейке k, а затем запущена с `RESUME=1` на + том же commit +- **THEN** снимаются только ячейки, которых в метке нет, начиная с + прерванной, остатки стенда удалены без ручных команд, в конце метка + завершена + +#### Scenario: Продолжение на другом коде + +- **WHEN** `RESUME=1` запускается на другом commit или с + незакоммиченными изменениями +- **THEN** команда завершается с ненулевым кодом до запуска стенда и + называет причину + +### Requirement: Смешанный профиль открытой модели + +Нагрузка серий трека 1 SHALL быть открытой моделью: генератор +отправляет запросы с заданной интенсивностью, не дожидаясь ответов на +прежние. Профиль один для всех конфигураций: +- 70 % — страница истории (`limit=50`) читаемого чата из 10 000 + сообщений с курсором из пула, равномерно покрывающего историю; +- 20 % — отправка сообщения в один из 10 чатов записи с новым + `Idempotency-Key`, отправитель — участник чата; +- 10 % — `GET /users/me`. + +Доли SHALL выдерживаться в каждой ступени с точностью до округления. +Пользователи стенда (читатель и 10 участников) SHALL регистрироваться и +входить по Basic до первой ступени; вход MUST NOT входить в замер. +Каждый ответ SHALL проверяться: у чтения — 200 и полная страница, у +отправки — 201, у `GET /users/me` — 200. Иначе это ошибка ступени. После +ячейки в читаемом чате SHALL быть ровно 10 000 сообщений, а число +сообщений в чатах записи — не меньше подтверждённых и не больше +отправленных отправок ячейки. Иначе команда завершается с ненулевым +кодом и называет ячейку. + +#### Scenario: Доли запросов + +- **WHEN** завершилась любая ступень +- **THEN** число отправленных чтений, записей и `GET /users/me` в окне + замера относится как 70 : 20 : 10 с точностью до округления + +#### Scenario: Вход до замера + +- **WHEN** идут ступени ячейки +- **THEN** генератор не отправляет `POST /auth/sessions` и не + регистрирует пользователей + +#### Scenario: Записи без потерь и дублей + +- **WHEN** ячейка завершена +- **THEN** каждая отправка шла с новым ключом, а число сообщений в + чатах записи лежит между числом ответов 201 и числом отправок + +### Requirement: Максимальная устойчивая интенсивность + +Ячейка SHALL состоять из ступеней. Ступень — подъём интенсивности от +прежнего уровня до нового (прогрев, в замер не входит) и окно замера с +постоянной интенсивностью. Прогрев — 5 с; у первой ступени ячейки и у +ступени после паузы за нарушенной — подъём с нуля за 15 с. Окно замера — +20 с. Сначала SHALL идти фиксированные уровни 250 и 500 запросов в +секунду, одинаковые во всех сериях, затем поиск. + +Ступень проходит SLO, если в окне замера одновременно: +- p95 успешных запросов не больше 200 мс; +- доля ошибок не больше 1 %. В ошибки входят неожиданный статус, + ошибка соединения, таймаут, неполная страница чтения, а также + запросы, которые генератор должен был отправить в окне, но не + отправил. + +Поиск начинается с начального уровня методики: +1. подъём в 1,25 раза до первой ступени, нарушившей SLO, а если + нарушена первая — спуск в 1,25 раза до первой прошедшей; +2. два деления промежутка между последней прошедшей и первой + нарушившей ступенью по среднему геометрическому. + +Максимальная устойчивая интенсивность ячейки (R*) — наибольший уровень +поиска, прошедший SLO. Разрешение поиска — не грубее 6 %. + +После ступени, нарушившей SLO, SHALL идти пауза без нагрузки, а +следующая ступень SHALL начинаться, только когда LB видит готовыми все +реплики. Ступень с долей ошибок больше 50 % или p95 больше 2 с SHALL +прерываться досрочно и считаться нарушившей SLO. + +#### Scenario: Поиск сошёлся + +- **WHEN** ячейка завершена без брака генератора +- **THEN** R* прошёл SLO, ближайший измеренный уровень выше него SLO + нарушил, и их отношение не больше 1,06 + +#### Scenario: Фиксированные уровни + +- **WHEN** проверяющий сравнивает конфигурации серий +- **THEN** у каждой ячейки есть ступени 250 и 500 запросов в секунду с + p50, p95 и p99, даже если конфигурация их не выдержала + +#### Scenario: Нарушение SLO + +- **WHEN** в окне замера p95 больше 200 мс или ошибок больше 1 % +- **THEN** ступень помечена нарушившей, причина записана, а следующая + ступень идёт после паузы и проверки готовности реплик + +#### Scenario: Пропуски генератора — ошибки + +- **WHEN** генератор не отправил часть запланированных запросов окна, + потому что все его VU ждали ответов +- **THEN** эти запросы входят в долю ошибок ступени + +### Requirement: Метрики ступени серии + +Для каждой ступени SHALL сохраняться строка таблицы прогонов. Новые +столбцы SHALL добавляться в конец, прежние MUST NOT меняться. Столбец +конкуренции у ступени — наибольшее из посекундных значений числа +занятых VU генератора. Строка содержит: +- серию, ячейку, попытку, конфигурацию, номер и вид ступени + (фиксированная, подъём, спуск, деление), целевую интенсивность; +- отправленные, успешные и неуспешные запросы окна, неотправленные + генератором, долю ошибок SLO, итог SLO и причину нарушения; +- p50, p95, p99 и max успешных запросов и p95 по видам запросов; +- для реплик приложения, PostgreSQL, LB, Valkey и генератора — среднее + CPU за окно и долю периодов с троттлингом CFS; у реплик — ещё пик + памяти, время троттлинга, сумма CPU, наибольшее среднее по реплике и + наибольшее посекундное значение; у PostgreSQL и генератора — пик + памяти. Полный набор по каждому контейнеру (CPU, время троттлинга, + память) — в посекундной таблице; +- CPU приложения и PostgreSQL на один успешный запрос; +- загрузку CPU ВМ и долю времени, когда задачи ВМ ждали CPU; +- PostgreSQL: commit и rollback в секунду, объём и fsync WAL в секунду, + новые соединения, число соединений всего и наибольшее на реплику, + среднее число активных соединений по классам ожидания (CPU, WAL, + блокировки, прочие легковесные блокировки, ввод-вывод, прочее), долю + отсчётов, когда все соединения пула какой-либо реплики заняты, и + число отказов «слишком много клиентов» из журнала; +- LB: время ответа реплики, ожидания в очереди и полного запроса — + скользящее среднее HAProxy по последним 1 024 запросам на конце окна + (около 0,5 с при 2 000 запросов/с, а не среднее окна; для разбора + задержек не используется), наибольшее число сессий и запросов в + очереди, повторы, + перенаправления, ошибки соединения и ответа, исключения реплик + проверками, ответы 5xx; +- распределение успешных ответов по `X-Instance-Id`; +- прирост выгрузок в swap на хосте. + +Значения SHALL браться из отсчётов не реже раза в секунду в окне +замера. Все отсчёты времени — часы ВМ Docker. Посекундные CPU и +троттлинг каждого контейнера и загрузка ВМ в окнах замера SHALL +сохраняться отдельной таблицей. Для каждой ячейки SHALL сохраняться +строка таблицы ячеек: +- конфигурация, повтор, попытка, место в порядке; +- R*, уровень и причина первого нарушения, число ступеней; +- p95 и p99 на фиксированных уровнях; +- сверка записей и читаемого чата; +- состояние хоста за ячейку; +- пометки. + +#### Scenario: Строка ступени + +- **WHEN** проверяющий открывает таблицу прогонов серии +- **THEN** у каждой строки ступени заполнены поля из списка, а прежние + столбцы таблицы на месте + +#### Scenario: Посекундный CPU реплики + +- **WHEN** проверяющий ищет, сколько ядер занимает одна реплика с + лимитом 4 CPU под перегрузкой +- **THEN** в посекундной таблице есть CPU этой реплики за каждую + секунду окон замера, а в строке ступени — её наибольшее посекундное + значение и троттлинг + +#### Scenario: Распределение по репликам + +- **WHEN** ступень шла на нескольких репликах +- **THEN** строка содержит число успешных ответов каждой реплики по + `X-Instance-Id`, и их сумма равна числу успешных ответов окна + +#### Scenario: Отказ в соединении виден + +- **WHEN** PostgreSQL отказывал в новых соединениях из-за предела + `max_connections` +- **THEN** строка ступени содержит число таких отказов из журнала и + ответы 5xx по данным LB + +### Requirement: Генератор не ограничивает серию + +Для каждой ступени серии SHALL сохраняться: +- CPU генератора, доля периодов его троттлинга и пик памяти; +- число выделенных VU и наибольшее число занятых; +- число пропущенных итераций. + +Ступень SHALL считаться браком генератора, если выполнено одно из +условий: +- CPU генератора не меньше 90 % его лимита; +- троттлинг генератора — не меньше 10 % периодов; +- итерации не отправлены при CPU генератора не меньше 70 % его лимита + (свободные VU по выборке k6 раз в секунду не видны). + +Брак не засчитывается ни как прошедшая, ни как нарушившая SLO ступень. +Поиск ячейки останавливается, а её R* записывается нижней границей с +пометкой. Сводка серии SHALL называть такие ячейки. + +#### Scenario: Генератор упёрся в CPU + +- **WHEN** CPU генератора в окне замера не меньше 90 % его лимита +- **THEN** ступень помечена браком генератора, поиск ячейки + остановлен, R* ячейки — нижняя граница, и сводка это называет + +#### Scenario: Генератор в каждой строке + +- **WHEN** проверяющий открывает таблицу прогонов серии +- **THEN** у каждой ступени есть CPU, троттлинг и память генератора, + число VU и пропущенные итерации + +### Requirement: Графики серий + +Команда `make bench_plots LABELS="<метки>"` SHALL строить по таблицам +меток графики SVG без новых зависимостей: +- R* от числа реплик: медиана и разброс повторов серий `a` и `b` и + линия линейного роста от одной реплики с 1 CPU; +- p95 от интенсивности по конфигурациям, с линией SLO; +- CPU по компонентам на уровне R* по конфигурациям: реплики, + PostgreSQL, LB, Valkey, генератор и остальная загрузка ВМ. + +Вместе с графиками SHALL сохраняться сводная таблица: +- R* серий; +- эффективность роста по числу реплик; +- точка насыщения по правилу методики. + +Графики и таблица выводятся из неизменяемых меток и пересоздаются той +же командой. Серия при завершении SHALL строить свои графики p95 и CPU +в каталоге метки. + +#### Scenario: Графики из меток + +- **WHEN** графики удалены, и команда запускается снова на тех же + метках +- **THEN** графики и сводная таблица созданы заново с теми же + значениями + +#### Scenario: Точка насыщения названа + +- **WHEN** проверяющий открывает сводную таблицу серий +- **THEN** в ней R* по числу реплик, отношение к линейному росту и + число реплик, после которого прирост меньше порога методики + +### Requirement: Цена масштабирования в отчёте + +Гипотезы о фиксированном бюджете, росте ресурсов и границе пула вместе +с тем, что их подтвердит и что опровергнет, SHALL быть закоммичены до +первого прогона серий. Метки серий `a`, `b`, `pool` и метка A/A серии +`ab` на том же коде SHALL сохраняться в `evidence/bench/`. `REPORT.md` +SHALL описывать трек 1: +- гипотезы; +- стенд, бюджет конфигураций, ядра хоста и ВМ; +- профиль нагрузки, ступени, SLO и правило поиска R*; +- результаты серий по конфигурациям (медиана и разброс) и графики; +- точку насыщения и её причину по метрикам ступеней: почему рост + реплик перестаёт помогать; +- итог каждой гипотезы, как получился; +- уровень шума A/A; +- ограничения: один хост, ВМ, разнородные ядра, серия `b` до 6 реплик, + генератор на том же хосте. + +Числа SHALL переноситься из файлов меток и таблиц команд, со ссылками на +них. + +#### Scenario: Проверяющий ищет точку насыщения + +- **WHEN** проверяющий открывает трек 1 в `REPORT.md` +- **THEN** он находит R* по числу реплик, точку, после которой рост + останавливается, метрику, которая называет узкое место, и ссылки на + метки и графики + +#### Scenario: Гипотезы до прогонов + +- **WHEN** проверяющий смотрит историю git +- **THEN** commit с гипотезами старше commit первой метки серий + +#### Scenario: Гипотеза не подтвердилась + +- **WHEN** результат расходится с гипотезой +- **THEN** отчёт называет гипотезу опровергнутой и приводит числа