chore: archive scaling-bench change

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 12:25:18 +03:00
co-authored by Claude Opus 5.5
parent dedb8ba0fa
commit bbd6f65316
9 changed files with 497 additions and 42 deletions
+8 -5
View File
@@ -17,7 +17,9 @@ Bearer-сессия, Valkey — кэш карточек чатов, трек 2
`rolling-update` — поочерёдная замена реплик с дренажём через runtime
API HAProxy (`make rolling_update`), expand-миграция и профиль
`rollout`, `scaling-bench` — серии трека 1 «Цена масштабирования»
(`make bench_scaling`: открытая модель, поиск R*, сэмплер, графики);
(`make bench_scaling`: открытая модель, поиск R*, сэмплер, графики,
насыщение пула и PostgreSQL управляемыми опытами) и ответ 503 на отказ
PostgreSQL «too many clients»;
дальше — changes из `PLAN.md`. Переход на lab2 завершён changes OpenSpec, они в
`openspec/changes/archive/`. Стек:
Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings, structlog
@@ -118,10 +120,11 @@ change — в архиве. После замен реплики называю
штатные цели с ними работают, `make down` + `make run_docker` снова
дают `api-1`, `api-2`.
- Серии трека 1 сняты (change `scaling-bench`, метки `scaling-*` на
коде `712d245`); одно подтверждённое улучшение с A/B — change
`scaling-improvement`. Его A/A снимается заново на коде «до»:
правка 53300 (`68edc66`) изменила `src` после `scaling-aa`.
- Серии трека 1 сняты, change `scaling-bench` в архиве (метки
`scaling-a`, `-b`, `-pool`, `-aa` на коде `712d245`, `scaling-db` — на
`95539a1`). Осталось одно подтверждённое улучшение с A/B — change
`scaling-improvement`. Его A/A снимается заново на коде «до»: правка
53300 (`68edc66`) изменила `src` после `scaling-aa`.
- `REPORT.md` заполнен для уровней «3», «4» и серий трека 1; улучшение
трека «5» — впереди.
+1 -1
View File
@@ -293,7 +293,7 @@ Swarm дал бы встроенный rolling update (`update_config`), но э
| 2 | `replicas-lb` | 3 (+4: лимиты, порты, секреты, гонка через реплики) | HAProxy — единственная точка входа, `api` × `API_REPLICAS` без портов, лимиты CPU/RAM у всех, секреты по сервисам. `restart.sh` с LB, новый `stop-one.sh`. Тесты против стенда с LB | `make test`, `make test-persistence`, `make test-failover` через LB для каждой реплики; гонка ключа видит ≥2 реплики. **Заархивирован 2026-10-10** (`openspec/changes/archive/2026-10-10-replicas-lb/`; verify — решение 14 design: формула обнаружения зависшей реплики `fall × (inter + timeout check)` = 8 с, цена лимита 1 CPU для Argon2id, evidence снято заново с `a4ca9ef`) |
| 3 | `graceful-failover` | 4 | Цепочка таймаутов зафиксирована и обоснована. Замер времени обнаружения отказа при `stop` и `kill`. Стенд `bench/` переходит на HAProxy + N реплик, профиль `failover`: поочерёдная остановка каждой реплики под нагрузкой | посекундные RPS, ошибки и время восстановления по каждой реплике в `evidence/failover/`, таблица таймаутов в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-graceful-failover/`; замер `evidence/failover/baseline/` с `459f84c`; verify — решение 10 design: отвергнутый вариант пула LB переснят на закоммиченном коде, уборка триггера `hang-key` при прерывании, `make bench_compare` отказывает метке без LB; дренаж до SIGTERM и `make run_docker` без пересоздания реплик переданы в `rolling-update`, ниже) |
| 4 | `rolling-update` | 4 | `scripts/rolling-update.sh`: замена реплик по одной на новый образ под нагрузкой. Миграции однократно и совместимы со старой версией | прогон под нагрузкой с ошибками по секундам в `evidence/rollout/`; старый образ работает на новой схеме. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-rolling-update/`; замер `evidence/rollout/baseline/` с `9dcea0b`, итоговый код `84161c0`; verify — решение 12 design: уборка при Ctrl+C внутри `up --scale`, предусловие о слотах LB с ручным состоянием, `lock_timeout` миграции 2 с вместо 5 с (при равном `statement_timeout` запросы в очереди за миграцией получали 503), ограничение отката; совместимость и отказы скрипта пересняты на `84161c0`) |
| 5 | `scaling-bench` | 5 (трек 1) | Открытая модель нагрузки, серии A (фиксированный бюджет 1×4 / 2×2 / 4×1) и B (1…8 реплик), метрики HAProxy и Postgres, графики, точка насыщения | метки серий и A/A в `evidence/bench/`, точка насыщения и её причина в `REPORT.md` |
| 5 | `scaling-bench` | 5 (трек 1) | Открытая модель нагрузки, серии A (фиксированный бюджет 1×4 / 2×2 / 4×1) и B (1…8 реплик), метрики HAProxy и Postgres, графики, точка насыщения | метки серий и A/A в `evidence/bench/`, точка насыщения и её причина в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-scaling-bench/`; метки `scaling-a`, `-b`, `-pool`, `-aa` на коде `712d245`, серия B — до 6 реплик (бюджет ВМ); verify: 53300 → 503 (`68edc66`), выводы H1 и k_sat переписаны по критериям и разрешению сетки, причина насыщения — хост, механизм не разделён; по решению пользователя (S2) — серия `scaling-db`: при PostgreSQL 0,5 CPU R* 630 → 1 101 → 931 для 1 / 2 / 4 реплик; A/A улучшения — заново на коде «до») |
| 6 | `scaling-improvement` | 5 (трек 1) | Одно улучшение на найденном узком месте, «до/после» через `make bench_ab`, отделение эффекта от шума | `evidence/compare/` с эффектом больше шума A/A, вывод в `REPORT.md` |
| 7 | — (отчёт и PR) | 3–5 | Сводка `REPORT.md`, проверка из чистого clone, шаблон PR, уборка переходных разделов | PR `ЛР 3 — БВТ2301 — Сафронов — на 5` |
+488 -36
View File
@@ -22,10 +22,16 @@ backup и восстановление в новое хранилище со с
результата `BENCH_LABEL` (по умолчанию `baseline`), короткий прогон —
командой `make bench_quick`. Результаты SHALL сохраняться в
`evidence/bench/<метка>/`. Команда MUST NOT перезаписывать результаты
существующей метки. Она MUST NOT использовать порт 8080 хоста и MUST
NOT трогать контейнеры, базу и кэш рабочего стенда (`make run_dev` /
`make run_docker`). После завершения, в том числе с ошибкой или по
Ctrl+C, контейнеры, сеть и volume стенда SHALL удаляться.
существующей метки. Единственное исключение — продолжение прерванной
серии трека 1 (требование «Серии трека 1»): оно дописывает в метку
только недостающие ячейки. Команда MUST NOT использовать порт 8080
хоста и MUST NOT трогать контейнеры, базу и кэш рабочего стенда (`make
run_dev` / `make run_docker`). После завершения, в том числе с ошибкой
или по Ctrl+C, контейнеры, сеть и volume стенда SHALL удаляться.
Одновременно SHALL идти не больше одного прогона стенда любого профиля.
Второй прогон завершается с ненулевым кодом до запуска стенда и
называет причину.
#### Scenario: Полная матрица
@@ -35,7 +41,8 @@ Ctrl+C, контейнеры, сеть и volume стенда SHALL удалят
#### Scenario: Метка уже занята
- **WHEN** каталог `evidence/bench/<метка>/` уже существует
- **WHEN** каталог `evidence/bench/<метка>/` уже существует, и это не
продолжение прерванной серии трека 1
- **THEN** команда завершается с ненулевым кодом до запуска стенда и
называет каталог
@@ -51,6 +58,13 @@ Ctrl+C, контейнеры, сеть и volume стенда SHALL удалят
- **THEN** контейнеры, сеть и volume стенда удалены, частичные
результаты помечены как незавершённые
#### Scenario: Второй прогон одновременно
- **WHEN** идёт прогон стенда, и запускается ещё один прогон любого
профиля
- **THEN** второй завершается с ненулевым кодом до запуска стенда, а
первый продолжается
### Requirement: Фиксированный стенд
Стенд SHALL состоять из балансировщика (LB), реплик приложения,
@@ -65,13 +79,20 @@ checkout. LB SHALL
стенда. PostgreSQL и Valkey SHALL запускаться из тех же образов, что у
рабочего стенда. Valkey получает ту же конфигурацию. PostgreSQL
получает те же настройки образа плюс модуль записи планов, выключенный
вне снятия плана. Схема БД SHALL применяться миграциями до наполнения.
вне снятия плана. В сериях трека 1 предел соединений PostgreSQL
(`max_connections`) — параметр конфигурации серии, по умолчанию 100, как
у образа. Схема БД SHALL применяться миграциями до наполнения.
Лимиты SHALL быть одинаковыми во всех прогонах профиля:
Лимиты SHALL быть одинаковыми во всех прогонах профиля, а в серии трека
1 — во всех прогонах одной конфигурации:
- у каждой реплики приложения — лимит CPU и памяти без swap, заданный
методикой (в профилях лабы 2 — 1 CPU и 2 ГБ);
методикой (в профилях лабы 2 — 1 CPU и 2 ГБ, в серии трека 1 — по
конфигурации);
- у LB, PostgreSQL и Valkey — свои лимиты CPU и памяти без swap,
заданные методикой.
заданные методикой; в серии трека 1 они одинаковы во всех
конфигурациях;
- у генератора нагрузки в профилях трека 1 — лимит CPU и памяти без
swap, заданный методикой; в остальных профилях генератор без лимита.
Healthcheck образа приложения SHALL быть отключён: готовность реплик
проверяет LB. Порты стенда на хост MUST NOT публиковаться. Настройки
@@ -89,6 +110,14 @@ Healthcheck образа приложения SHALL быть отключён:
реплики приложения, LB, PostgreSQL и Valkey, прочитанные у запущенных
контейнеров, и они одинаковы для всех размеров
#### Scenario: Лимиты конфигурации серии
- **WHEN** серия трека 1 завершена
- **THEN** паспорт по каждой конфигурации содержит число реплик, лимиты
CPU и памяти каждого контейнера стенда и генератора и предел
соединений PostgreSQL, прочитанные у запущенных контейнеров, и они
одинаковы во всех повторах конфигурации
#### Scenario: Нехватка памяти
- **WHEN** процесс приложения превысил лимит памяти и был убит
@@ -511,12 +540,14 @@ SHALL сохраняться планы того же запроса с теми
наполнения;
- таблица всех прогонов в CSV;
- таблица порций наполнения в CSV;
- планы запроса истории по размерам;
- сводка по ячейкам матрицы (медиана и разброс min–max по повторам),
по планам и вариантам и по стоимости записи в Markdown;
- у профилей матрицы — планы запроса истории по размерам и сводка по
ячейкам матрицы (медиана и разброс min–max по повторам), по планам и
вариантам и по стоимости записи в Markdown; у серий трека 1 — свои
таблицы и сводка (требование «Метрики ступени серии»);
- паспорт стенда;
- состояние хоста в начале и в конце прогона: занятый swap, доля
свободной памяти, питание от сети или от батареи.
- состояние хоста в начале и в конце прогона: занятый swap, счётчик
выгрузок страниц в swap, доля свободной памяти, питание от сети или
от батареи, а также прирост выгрузок за прогон.
Паспорт стенда SHALL содержать:
- дату, commit и признак незакоммиченных изменений;
@@ -527,15 +558,18 @@ SHALL сохраняться планы того же запроса с теми
- окружение приложения без паролей;
- версии генератора и Python;
- лимиты всех контейнеров стенда;
- железо хоста и VM;
- железо хоста и VM, в том числе число производительных и
энергоэффективных ядер, если процессор их различает;
- параметры профиля, включая уровни фоновых чатов и варианты индекса,
и команду запуска.
Если в начале прогона хост работает от батареи или swap занят сверх
порога методики, команда SHALL предупреждать об этом в выводе и в
паспорте, но не прерываться. Данные MUST быть синтетическими.
Результаты MUST NOT содержать секретов (паролей и токенов стенда),
`.env` и абсолютных путей домашнего каталога.
Если хост в начале или в конце прогона работает от батареи или за
прогон шла выгрузка страниц в swap (счётчик выгрузок вырос), команда
SHALL предупреждать об этом в выводе и в паспорте, но не прерываться.
Занятый swap без выгрузки во время прогона предупреждения не даёт.
Данные MUST быть синтетическими. Результаты MUST NOT содержать секретов
(паролей и токенов стенда), `.env` и абсолютных путей домашнего
каталога.
#### Scenario: Повтор на другой машине
@@ -546,15 +580,24 @@ SHALL сохраняться планы того же запроса с теми
#### Scenario: Условия хоста для сравнения меток
- **WHEN** проверяющий сравнивает две метки
- **THEN** по паспортам видно, одинаковы ли были swap, свободная
память и питание хоста в начале и в конце каждого прогона
- **THEN** по паспортам видно, одинаковы ли были питание и свободная
память хоста в начале и в конце каждого прогона и шла ли во время
прогона выгрузка в swap
#### Scenario: Неподходящий хост
- **WHEN** прогон запускается от батареи или с занятым swap выше порога
- **WHEN** прогон идёт от батареи или во время прогона шла выгрузка
страниц в swap
- **THEN** вывод команды и паспорт содержат предупреждение, а прогон
продолжается
#### Scenario: Занятый swap без выгрузки
- **WHEN** swap занят с начала прогона, но за прогон счётчик выгрузок
не вырос
- **THEN** предупреждения о swap нет, а занятый объём записан в
паспорт
#### Scenario: Хранилища в паспорте
- **WHEN** проверяющий открывает паспорт метки
@@ -735,25 +778,44 @@ SHALL содержать:
Для каждого размера истории таблица SHALL содержать байты RSS на
сообщение и байты на сообщение в БД в обеих метках.
Метки серий трека 1 команда SHALL сравнивать по общим конфигурациям.
Для каждой общей конфигурации таблица SHALL содержать:
- медиану и разброс min–max повторов максимальной устойчивой
интенсивности (R*) в обеих метках и изменение медианы в процентах;
- медианы p95 и p99 на фиксированных уровнях интенсивности;
- CPU приложения на один успешный запрос на фиксированном уровне;
- CPU PostgreSQL на уровне R*.
Конфигурации, которые есть только в одной метке, SHALL перечисляться
как несравнённые.
Команда SHALL отказываться сравнивать метки, снятые разной методикой.
Если различаются параметры профиля, лимиты любого контейнера стенда,
образы генератора, PostgreSQL или Valkey, настройки PostgreSQL, лимит
памяти и политика вытеснения Valkey или окружение приложения, она
завершается с ненулевым кодом, называет
различие и не создаёт таблицу. Метка, снятая без балансировщика (в её
паспорте нет числа реплик), и метка стенда с балансировщиком тоже
сняты разной методикой: команда SHALL отказываться их сравнивать.
Остальной параметр, записанный в паспорте только одной из меток, SHALL
перечисляться в таблице как непроверенный, без отказа. В начале таблицы
SHALL перечисляться незавершённая метка, незакоммиченные изменения,
предупреждения о хосте и помеченные прогоны.
завершается с ненулевым кодом, называет различие и не создаёт таблицу.
У меток серий трека 1 состав конфигураций и имя серии к методике не
относятся, а лимиты контейнеров и предел соединений PostgreSQL
сравниваются по каждой общей конфигурации. Метку серии трека 1 и метку
матрицы команда SHALL отказываться сравнивать. Метка, снятая без
балансировщика (в её паспорте нет числа реплик), и метка стенда с
балансировщиком тоже сняты разной методикой: команда SHALL отказываться
их сравнивать. Остальной параметр, записанный в паспорте только одной
из меток, SHALL перечисляться в таблице как непроверенный, без отказа.
В начале таблицы SHALL перечисляться незавершённая метка,
незакоммиченные изменения, предупреждения о хосте и помеченные прогоны.
С необязательным параметром `AA=<метка>` команда SHALL оценивать
уровень шума: наибольшее по ячейкам сценария изменение медианы RPS
между метками `AA` и `BEFORE`, снятыми на одном и том же коде
приложения. Изменение в ячейке SHALL называться эффектом, только если
разбросы повторов двух меток не пересекаются и изменение медианы
больше уровня шума её сценария. Иначе это изменение в пределах шума.
уровень шума между метками `AA` и `BEFORE`, снятыми на одном и том же
коде приложения:
- для матрицы — наибольшее по ячейкам сценария изменение медианы RPS;
- для серий трека 1 — наибольшее по общим конфигурациям изменение
медианы R*.
Изменение в ячейке или конфигурации SHALL называться эффектом, только
если разбросы повторов двух меток не пересекаются и изменение медианы
больше уровня шума её сценария или серии. Иначе это изменение в
пределах шума.
#### Scenario: Сравнимые метки
@@ -797,6 +859,21 @@ SHALL перечисляться незавершённая метка, неза
- **WHEN** `BEFORE` и `AFTER` — одна и та же метка
- **THEN** изменение во всех ячейках равно нулю
#### Scenario: Серии трека 1
- **WHEN** сравниваются метка серии `b` и метка серии `ab`, снятые на
том же коде
- **THEN** таблица содержит только общие конфигурации с медианой и
разбросом R*, изменением в процентах, задержками на фиксированных
уровнях и CPU на запрос, а остальные конфигурации серии `b`
перечислены как несравнённые
#### Scenario: Серия и матрица
- **WHEN** одна метка — серия трека 1, а другая — полная матрица
- **THEN** команда завершается с ненулевым кодом и называет различие
методики, таблица не создаётся
### Requirement: Прогоны «до» и «после» подряд
Команда `make bench_ab BEFORE=<метка> AFTER=<метка> REAPPLY=<commit>`
@@ -809,6 +886,10 @@ SHALL снимать метки «до» и «после» одного изме
3. возврат изменения новым commit;
4. полную матрицу для `AFTER`.
С параметром `SERIES=<серия>` команда SHALL снимать в шагах 1 и 4
вместо полной матрицы серию трека 1 под метками `BEFORE` и `AFTER`.
Остальные шаги и проверки — те же.
Команда SHALL отказываться стартовать, ничего не запустив, если:
- рабочее дерево не чистое;
- каталог одной из меток уже существует;
@@ -845,6 +926,13 @@ SHALL снимать метки «до» и «после» одного изме
- **THEN** следующие шаги не выполняются, команда называет номер шага
и завершается с ненулевым кодом
#### Scenario: «До» и «после» на серии
- **WHEN** выполняется `make bench_ab` с `SERIES=ab`
- **THEN** обе метки — полные серии `ab` без признака незакоммиченных
изменений, и `make bench_compare` сравнивает их по общим
конфигурациям
### Requirement: Сравнение «до/после» в отчёте
Результаты полной матрицы на коде до изменения и после него SHALL
@@ -1062,3 +1150,367 @@ SHALL сохраняться посекундная шкала от начала
- **WHEN** скрипт замены завершился с ненулевым кодом
- **THEN** команда завершается с ненулевым кодом, называет шаг из
журнала скрипта, сохраняет частичные результаты и удаляет стенд
### Requirement: Серии трека 1
Команда `make bench_scaling SERIES=<серия>` SHALL снимать серию трека 1
«Цена масштабирования» под меткой `SCALING_LABEL` (по умолчанию
`scaling-<серия>`) в `evidence/bench/<метка>/`. Серия — набор
конфигураций стенда. Конфигурация задаёт число реплик приложения, лимит
CPU и памяти реплики и предел соединений PostgreSQL. Серии:
- `a` — фиксированный суммарный бюджет приложения 4 CPU / 2 ГиБ:
1 реплика × 4 CPU / 2 ГиБ, 2 × 2 CPU / 1 ГиБ, 4 × 1 CPU / 512 МиБ;
- `b` — рост ресурсов: 1, 2, 3, 4, 5 и 6 реплик по 1 CPU / 512 МиБ;
- `pool` — граница пула: 4 реплики по 1 CPU / 512 МиБ при пределе
соединений PostgreSQL 100 и 50;
- `ab` — 1 и 6 реплик по 1 CPU / 512 МиБ, как в серии `b`: одна
реплика и наибольшая конфигурация в бюджете ВМ, для замера
«до/после» и уровня шума A/A;
- `db` — насыщение PostgreSQL управляемым опытом: 1, 2 и 4 реплики по
1 CPU / 512 МиБ при узком лимите CPU PostgreSQL (выбран калибровкой,
записан в паспорт и имя конфигурации) и контроль — 4 реплики при
прежних 2 CPU PostgreSQL. Лимит CPU PostgreSQL у этой серии — часть
конфигурации;
- короткие серии самопроверки — `make bench_scaling_quick` и `make
bench_scaling SERIES=db_quick` с меткой `quick-…`, в git не идут.
Лимиты LB, Valkey и генератора, профиль нагрузки, ступени и SLO SHALL
быть одинаковыми во всех сериях; лимит PostgreSQL — тоже, кроме
конфигураций серии `db`. В каждой конфигурации серий
`a`, `b`, `pool`, `ab` и `db` сумма лимитов CPU стенда и генератора MUST NOT
превышать число CPU ВМ Docker: иначе команда завершается с ненулевым
кодом до запуска стенда. Паспорт SHALL содержать по каждой конфигурации
сумму лимитов CPU и памяти, а также CPU и память ВМ.
Ячейка серии — конфигурация в одном повторе. Каждая конфигурация SHALL
сниматься 3 раза. Каждая ячейка SHALL начинаться со свежего стенда:
новый volume, миграции, данные профиля. Порядок ячеек SHALL
перемешиваться кругами: в каждом круге каждая конфигурация встречается
один раз, порядок задан зерном методики и записан в метку до первой
ячейки.
Результат ячейки SHALL сохраняться сразу после неё. Прерванную серию
SHALL можно продолжить той же командой с `RESUME=1`. Продолжение
работает только на том же commit без незакоммиченных изменений:
- снимаются ячейки, которых в метке нет;
- прерванная ячейка снимается заново с новым номером попытки; строки
прежней попытки остаются в таблице, но в сводку не входят.
Стенд, оставшийся от прерванного прогона, серия SHALL удалять сама, без
ручной уборки, если другой прогон стенда не идёт.
Во время серии команда SHALL печатать строку на каждую ступень: ячейку
и её номер из общего числа, ступень, уровень, итог и оценку времени до
конца серии. Файл состояния в каталоге метки SHALL показывать текущие
ячейку и ступень.
#### Scenario: Серия с фиксированным бюджетом
- **WHEN** выполняется `make bench_scaling SERIES=a`
- **THEN** в метке 9 ячеек (3 конфигурации × 3 повтора), каждая на
свежем стенде, суммарный лимит реплик в каждой конфигурации — 4 CPU и
2 ГиБ, код выхода 0
#### Scenario: Бюджет помещается в ВМ
- **WHEN** проверяющий открывает паспорт серии `a`, `b`, `pool`, `ab`
или `db`
- **THEN** у каждой конфигурации сумма лимитов CPU стенда и генератора
не больше числа CPU ВМ, а сумма лимитов памяти записана рядом с
памятью ВМ
#### Scenario: Насыщение PostgreSQL
- **WHEN** выполняется `make bench_scaling SERIES=db`
- **THEN** в метке все конфигурации серии × 3 повтора в перемешанном
порядке на одном коде; у каждой конфигурации в паспорте — лимит CPU
PostgreSQL, прочитанный у контейнера, а сводка показывает R*, CPU
PostgreSQL на R* относительно лимита и его троттлинг
#### Scenario: Перемешанный порядок
- **WHEN** серия запущена дважды с тем же профилем
- **THEN** порядок ячеек одинаков, в каждом круге каждая конфигурация
встречается ровно один раз, а порядок записан в метке
#### Scenario: Продолжение прерванной серии
- **WHEN** серия прервана на ячейке k, а затем запущена с `RESUME=1` на
том же commit
- **THEN** снимаются только ячейки, которых в метке нет, начиная с
прерванной, остатки стенда удалены без ручных команд, в конце метка
завершена
#### Scenario: Продолжение на другом коде
- **WHEN** `RESUME=1` запускается на другом commit или с
незакоммиченными изменениями
- **THEN** команда завершается с ненулевым кодом до запуска стенда и
называет причину
### Requirement: Смешанный профиль открытой модели
Нагрузка серий трека 1 SHALL быть открытой моделью: генератор
отправляет запросы с заданной интенсивностью, не дожидаясь ответов на
прежние. Профиль один для всех конфигураций:
- 70 % — страница истории (`limit=50`) читаемого чата из 10 000
сообщений с курсором из пула, равномерно покрывающего историю;
- 20 % — отправка сообщения в один из 10 чатов записи с новым
`Idempotency-Key`, отправитель — участник чата;
- 10 % — `GET /users/me`.
Доли SHALL выдерживаться в каждой ступени с точностью до округления.
Пользователи стенда (читатель и 10 участников) SHALL регистрироваться и
входить по Basic до первой ступени; вход MUST NOT входить в замер.
Каждый ответ SHALL проверяться: у чтения — 200 и полная страница, у
отправки — 201, у `GET /users/me` — 200. Иначе это ошибка ступени. После
ячейки в читаемом чате SHALL быть ровно 10 000 сообщений, а число
сообщений в чатах записи — не меньше подтверждённых и не больше
отправленных отправок ячейки. Иначе команда завершается с ненулевым
кодом и называет ячейку.
#### Scenario: Доли запросов
- **WHEN** завершилась любая ступень
- **THEN** число отправленных чтений, записей и `GET /users/me` в окне
замера относится как 70 : 20 : 10 с точностью до округления
#### Scenario: Вход до замера
- **WHEN** идут ступени ячейки
- **THEN** генератор не отправляет `POST /auth/sessions` и не
регистрирует пользователей
#### Scenario: Записи без потерь и дублей
- **WHEN** ячейка завершена
- **THEN** каждая отправка шла с новым ключом, а число сообщений в
чатах записи лежит между числом ответов 201 и числом отправок
### Requirement: Максимальная устойчивая интенсивность
Ячейка SHALL состоять из ступеней. Ступень — подъём интенсивности от
прежнего уровня до нового (прогрев, в замер не входит) и окно замера с
постоянной интенсивностью. Прогрев — 5 с; у первой ступени ячейки и у
ступени после паузы за нарушенной — подъём с нуля за 15 с. Окно замера —
20 с. Сначала SHALL идти фиксированные уровни 250 и 500 запросов в
секунду, одинаковые во всех сериях, затем поиск.
Ступень проходит SLO, если в окне замера одновременно:
- p95 успешных запросов не больше 200 мс;
- доля ошибок не больше 1 %. В ошибки входят неожиданный статус,
ошибка соединения, таймаут, неполная страница чтения, а также
запросы, которые генератор должен был отправить в окне, но не
отправил.
Поиск начинается с начального уровня методики:
1. подъём в 1,25 раза до первой ступени, нарушившей SLO, а если
нарушена первая — спуск в 1,25 раза до первой прошедшей;
2. два деления промежутка между последней прошедшей и первой
нарушившей ступенью по среднему геометрическому.
Максимальная устойчивая интенсивность ячейки (R*) — наибольший уровень
поиска, прошедший SLO. Разрешение поиска — не грубее 6 %.
После ступени, нарушившей SLO, SHALL идти пауза без нагрузки, а
следующая ступень SHALL начинаться, только когда LB видит готовыми все
реплики. Ступень с долей ошибок больше 50 % или p95 больше 2 с SHALL
прерываться досрочно и считаться нарушившей SLO.
#### Scenario: Поиск сошёлся
- **WHEN** ячейка завершена без брака генератора
- **THEN** R* прошёл SLO, ближайший измеренный уровень выше него SLO
нарушил, и их отношение не больше 1,06
#### Scenario: Фиксированные уровни
- **WHEN** проверяющий сравнивает конфигурации серий
- **THEN** у каждой ячейки есть ступени 250 и 500 запросов в секунду с
p50, p95 и p99, даже если конфигурация их не выдержала
#### Scenario: Нарушение SLO
- **WHEN** в окне замера p95 больше 200 мс или ошибок больше 1 %
- **THEN** ступень помечена нарушившей, причина записана, а следующая
ступень идёт после паузы и проверки готовности реплик
#### Scenario: Пропуски генератора — ошибки
- **WHEN** генератор не отправил часть запланированных запросов окна,
потому что все его VU ждали ответов
- **THEN** эти запросы входят в долю ошибок ступени
### Requirement: Метрики ступени серии
Для каждой ступени SHALL сохраняться строка таблицы прогонов. Новые
столбцы SHALL добавляться в конец, прежние MUST NOT меняться. Столбец
конкуренции у ступени — наибольшее из посекундных значений числа
занятых VU генератора. Строка содержит:
- серию, ячейку, попытку, конфигурацию, номер и вид ступени
(фиксированная, подъём, спуск, деление), целевую интенсивность;
- отправленные, успешные и неуспешные запросы окна, неотправленные
генератором, долю ошибок SLO, итог SLO и причину нарушения;
- p50, p95, p99 и max успешных запросов и p95 по видам запросов;
- для реплик приложения, PostgreSQL, LB, Valkey и генератора — среднее
CPU за окно и долю периодов с троттлингом CFS; у реплик — ещё пик
памяти, время троттлинга, сумма CPU, наибольшее среднее по реплике и
наибольшее посекундное значение; у PostgreSQL и генератора — пик
памяти. Полный набор по каждому контейнеру (CPU, время троттлинга,
память) — в посекундной таблице;
- CPU приложения и PostgreSQL на один успешный запрос;
- загрузку CPU ВМ и долю времени, когда задачи ВМ ждали CPU;
- PostgreSQL: commit и rollback в секунду, объём и fsync WAL в секунду,
новые соединения, число соединений всего и наибольшее на реплику,
среднее число активных соединений по классам ожидания (CPU, WAL,
блокировки, прочие легковесные блокировки, ввод-вывод, прочее), долю
отсчётов, когда все соединения пула какой-либо реплики заняты, и
число отказов «слишком много клиентов» из журнала;
- LB: время ответа реплики, ожидания в очереди и полного запроса —
скользящее среднее HAProxy по последним 1 024 запросам на конце окна
(около 0,5 с при 2 000 запросов/с, а не среднее окна; для разбора
задержек не используется), наибольшее число сессий и запросов в
очереди, повторы,
перенаправления, ошибки соединения и ответа, исключения реплик
проверками, ответы 5xx;
- распределение успешных ответов по `X-Instance-Id`;
- прирост выгрузок в swap на хосте.
Значения SHALL браться из отсчётов не реже раза в секунду в окне
замера. Все отсчёты времени — часы ВМ Docker. Посекундные CPU и
троттлинг каждого контейнера и загрузка ВМ в окнах замера SHALL
сохраняться отдельной таблицей. Для каждой ячейки SHALL сохраняться
строка таблицы ячеек:
- конфигурация, повтор, попытка, место в порядке;
- R*, уровень и причина первого нарушения, число ступеней;
- p95 и p99 на фиксированных уровнях;
- сверка записей и читаемого чата;
- состояние хоста за ячейку;
- пометки.
#### Scenario: Строка ступени
- **WHEN** проверяющий открывает таблицу прогонов серии
- **THEN** у каждой строки ступени заполнены поля из списка, а прежние
столбцы таблицы на месте
#### Scenario: Посекундный CPU реплики
- **WHEN** проверяющий ищет, сколько ядер занимает одна реплика с
лимитом 4 CPU под перегрузкой
- **THEN** в посекундной таблице есть CPU этой реплики за каждую
секунду окон замера, а в строке ступени — её наибольшее посекундное
значение и троттлинг
#### Scenario: Распределение по репликам
- **WHEN** ступень шла на нескольких репликах
- **THEN** строка содержит число успешных ответов каждой реплики по
`X-Instance-Id`, и их сумма равна числу успешных ответов окна
#### Scenario: Отказ в соединении виден
- **WHEN** PostgreSQL отказывал в новых соединениях из-за предела
`max_connections`
- **THEN** строка ступени содержит число таких отказов из журнала и
ответы 5xx по данным LB
### Requirement: Генератор не ограничивает серию
Для каждой ступени серии SHALL сохраняться:
- CPU генератора, доля периодов его троттлинга и пик памяти;
- число выделенных VU и наибольшее число занятых;
- число пропущенных итераций.
Ступень SHALL считаться браком генератора, если выполнено одно из
условий:
- CPU генератора не меньше 90 % его лимита;
- троттлинг генератора — не меньше 10 % периодов;
- итерации не отправлены при CPU генератора не меньше 70 % его лимита
(свободные VU по выборке k6 раз в секунду не видны).
Брак не засчитывается ни как прошедшая, ни как нарушившая SLO ступень.
Поиск ячейки останавливается, а её R* записывается нижней границей с
пометкой. Сводка серии SHALL называть такие ячейки.
#### Scenario: Генератор упёрся в CPU
- **WHEN** CPU генератора в окне замера не меньше 90 % его лимита
- **THEN** ступень помечена браком генератора, поиск ячейки
остановлен, R* ячейки — нижняя граница, и сводка это называет
#### Scenario: Генератор в каждой строке
- **WHEN** проверяющий открывает таблицу прогонов серии
- **THEN** у каждой ступени есть CPU, троттлинг и память генератора,
число VU и пропущенные итерации
### Requirement: Графики серий
Команда `make bench_plots LABELS="<метки>"` SHALL строить по таблицам
меток графики SVG без новых зависимостей:
- R* от числа реплик: медиана и разброс повторов серий `a` и `b` и
линия линейного роста от одной реплики с 1 CPU;
- p95 от интенсивности по конфигурациям, с линией SLO;
- CPU по компонентам на уровне R* по конфигурациям: реплики,
PostgreSQL, LB, Valkey, генератор и остальная загрузка ВМ.
Вместе с графиками SHALL сохраняться сводная таблица:
- R* серий;
- эффективность роста по числу реплик;
- точка насыщения по правилу методики.
Графики и таблица выводятся из неизменяемых меток и пересоздаются той
же командой. Серия при завершении SHALL строить свои графики p95 и CPU
в каталоге метки.
#### Scenario: Графики из меток
- **WHEN** графики удалены, и команда запускается снова на тех же
метках
- **THEN** графики и сводная таблица созданы заново с теми же
значениями
#### Scenario: Точка насыщения названа
- **WHEN** проверяющий открывает сводную таблицу серий
- **THEN** в ней R* по числу реплик, отношение к линейному росту и
число реплик, после которого прирост меньше порога методики
### Requirement: Цена масштабирования в отчёте
Гипотезы о фиксированном бюджете, росте ресурсов и границе пула вместе
с тем, что их подтвердит и что опровергнет, SHALL быть закоммичены до
первого прогона серий. Метки серий `a`, `b`, `pool` и метка A/A серии
`ab` на том же коде SHALL сохраняться в `evidence/bench/`. `REPORT.md`
SHALL описывать трек 1:
- гипотезы;
- стенд, бюджет конфигураций, ядра хоста и ВМ;
- профиль нагрузки, ступени, SLO и правило поиска R*;
- результаты серий по конфигурациям (медиана и разброс) и графики;
- точку насыщения и её причину по метрикам ступеней: почему рост
реплик перестаёт помогать;
- итог каждой гипотезы, как получился;
- уровень шума A/A;
- ограничения: один хост, ВМ, разнородные ядра, серия `b` до 6 реплик,
генератор на том же хосте.
Числа SHALL переноситься из файлов меток и таблиц команд, со ссылками на
них.
#### Scenario: Проверяющий ищет точку насыщения
- **WHEN** проверяющий открывает трек 1 в `REPORT.md`
- **THEN** он находит R* по числу реплик, точку, после которой рост
останавливается, метрику, которая называет узкое место, и ссылки на
метки и графики
#### Scenario: Гипотезы до прогонов
- **WHEN** проверяющий смотрит историю git
- **THEN** commit с гипотезами старше commit первой метки серий
#### Scenario: Гипотеза не подтвердилась
- **WHEN** результат расходится с гипотезой
- **THEN** отчёт называет гипотезу опровергнутой и приводит числа