chore: archive scaling-bench change
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -17,7 +17,9 @@ Bearer-сессия, Valkey — кэш карточек чатов, трек 2
|
||||
`rolling-update` — поочерёдная замена реплик с дренажём через runtime
|
||||
API HAProxy (`make rolling_update`), expand-миграция и профиль
|
||||
`rollout`, `scaling-bench` — серии трека 1 «Цена масштабирования»
|
||||
(`make bench_scaling`: открытая модель, поиск R*, сэмплер, графики);
|
||||
(`make bench_scaling`: открытая модель, поиск R*, сэмплер, графики,
|
||||
насыщение пула и PostgreSQL управляемыми опытами) и ответ 503 на отказ
|
||||
PostgreSQL «too many clients»;
|
||||
дальше — changes из `PLAN.md`. Переход на lab2 завершён changes OpenSpec, они в
|
||||
`openspec/changes/archive/`. Стек:
|
||||
Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings, structlog
|
||||
@@ -118,10 +120,11 @@ change — в архиве. После замен реплики называю
|
||||
штатные цели с ними работают, `make down` + `make run_docker` снова
|
||||
дают `api-1`, `api-2`.
|
||||
|
||||
- Серии трека 1 сняты (change `scaling-bench`, метки `scaling-*` на
|
||||
коде `712d245`); одно подтверждённое улучшение с A/B — change
|
||||
`scaling-improvement`. Его A/A снимается заново на коде «до»:
|
||||
правка 53300 (`68edc66`) изменила `src` после `scaling-aa`.
|
||||
- Серии трека 1 сняты, change `scaling-bench` в архиве (метки
|
||||
`scaling-a`, `-b`, `-pool`, `-aa` на коде `712d245`, `scaling-db` — на
|
||||
`95539a1`). Осталось одно подтверждённое улучшение с A/B — change
|
||||
`scaling-improvement`. Его A/A снимается заново на коде «до»: правка
|
||||
53300 (`68edc66`) изменила `src` после `scaling-aa`.
|
||||
- `REPORT.md` заполнен для уровней «3», «4» и серий трека 1; улучшение
|
||||
трека «5» — впереди.
|
||||
|
||||
|
||||
@@ -293,7 +293,7 @@ Swarm дал бы встроенный rolling update (`update_config`), но э
|
||||
| 2 | `replicas-lb` | 3 (+4: лимиты, порты, секреты, гонка через реплики) | HAProxy — единственная точка входа, `api` × `API_REPLICAS` без портов, лимиты CPU/RAM у всех, секреты по сервисам. `restart.sh` с LB, новый `stop-one.sh`. Тесты против стенда с LB | `make test`, `make test-persistence`, `make test-failover` через LB для каждой реплики; гонка ключа видит ≥2 реплики. **Заархивирован 2026-10-10** (`openspec/changes/archive/2026-10-10-replicas-lb/`; verify — решение 14 design: формула обнаружения зависшей реплики `fall × (inter + timeout check)` = 8 с, цена лимита 1 CPU для Argon2id, evidence снято заново с `a4ca9ef`) |
|
||||
| 3 | `graceful-failover` | 4 | Цепочка таймаутов зафиксирована и обоснована. Замер времени обнаружения отказа при `stop` и `kill`. Стенд `bench/` переходит на HAProxy + N реплик, профиль `failover`: поочерёдная остановка каждой реплики под нагрузкой | посекундные RPS, ошибки и время восстановления по каждой реплике в `evidence/failover/`, таблица таймаутов в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-graceful-failover/`; замер `evidence/failover/baseline/` с `459f84c`; verify — решение 10 design: отвергнутый вариант пула LB переснят на закоммиченном коде, уборка триггера `hang-key` при прерывании, `make bench_compare` отказывает метке без LB; дренаж до SIGTERM и `make run_docker` без пересоздания реплик переданы в `rolling-update`, ниже) |
|
||||
| 4 | `rolling-update` | 4 | `scripts/rolling-update.sh`: замена реплик по одной на новый образ под нагрузкой. Миграции однократно и совместимы со старой версией | прогон под нагрузкой с ошибками по секундам в `evidence/rollout/`; старый образ работает на новой схеме. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-rolling-update/`; замер `evidence/rollout/baseline/` с `9dcea0b`, итоговый код `84161c0`; verify — решение 12 design: уборка при Ctrl+C внутри `up --scale`, предусловие о слотах LB с ручным состоянием, `lock_timeout` миграции 2 с вместо 5 с (при равном `statement_timeout` запросы в очереди за миграцией получали 503), ограничение отката; совместимость и отказы скрипта пересняты на `84161c0`) |
|
||||
| 5 | `scaling-bench` | 5 (трек 1) | Открытая модель нагрузки, серии A (фиксированный бюджет 1×4 / 2×2 / 4×1) и B (1…8 реплик), метрики HAProxy и Postgres, графики, точка насыщения | метки серий и A/A в `evidence/bench/`, точка насыщения и её причина в `REPORT.md` |
|
||||
| 5 | `scaling-bench` | 5 (трек 1) | Открытая модель нагрузки, серии A (фиксированный бюджет 1×4 / 2×2 / 4×1) и B (1…8 реплик), метрики HAProxy и Postgres, графики, точка насыщения | метки серий и A/A в `evidence/bench/`, точка насыщения и её причина в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-scaling-bench/`; метки `scaling-a`, `-b`, `-pool`, `-aa` на коде `712d245`, серия B — до 6 реплик (бюджет ВМ); verify: 53300 → 503 (`68edc66`), выводы H1 и k_sat переписаны по критериям и разрешению сетки, причина насыщения — хост, механизм не разделён; по решению пользователя (S2) — серия `scaling-db`: при PostgreSQL 0,5 CPU R* 630 → 1 101 → 931 для 1 / 2 / 4 реплик; A/A улучшения — заново на коде «до») |
|
||||
| 6 | `scaling-improvement` | 5 (трек 1) | Одно улучшение на найденном узком месте, «до/после» через `make bench_ab`, отделение эффекта от шума | `evidence/compare/` с эффектом больше шума A/A, вывод в `REPORT.md` |
|
||||
| 7 | — (отчёт и PR) | 3–5 | Сводка `REPORT.md`, проверка из чистого clone, шаблон PR, уборка переходных разделов | PR `ЛР 3 — БВТ2301 — Сафронов — на 5` |
|
||||
|
||||
|
||||
@@ -22,10 +22,16 @@ backup и восстановление в новое хранилище со с
|
||||
результата `BENCH_LABEL` (по умолчанию `baseline`), короткий прогон —
|
||||
командой `make bench_quick`. Результаты SHALL сохраняться в
|
||||
`evidence/bench/<метка>/`. Команда MUST NOT перезаписывать результаты
|
||||
существующей метки. Она MUST NOT использовать порт 8080 хоста и MUST
|
||||
NOT трогать контейнеры, базу и кэш рабочего стенда (`make run_dev` /
|
||||
`make run_docker`). После завершения, в том числе с ошибкой или по
|
||||
Ctrl+C, контейнеры, сеть и volume стенда SHALL удаляться.
|
||||
существующей метки. Единственное исключение — продолжение прерванной
|
||||
серии трека 1 (требование «Серии трека 1»): оно дописывает в метку
|
||||
только недостающие ячейки. Команда MUST NOT использовать порт 8080
|
||||
хоста и MUST NOT трогать контейнеры, базу и кэш рабочего стенда (`make
|
||||
run_dev` / `make run_docker`). После завершения, в том числе с ошибкой
|
||||
или по Ctrl+C, контейнеры, сеть и volume стенда SHALL удаляться.
|
||||
|
||||
Одновременно SHALL идти не больше одного прогона стенда любого профиля.
|
||||
Второй прогон завершается с ненулевым кодом до запуска стенда и
|
||||
называет причину.
|
||||
|
||||
#### Scenario: Полная матрица
|
||||
|
||||
@@ -35,7 +41,8 @@ Ctrl+C, контейнеры, сеть и volume стенда SHALL удалят
|
||||
|
||||
#### Scenario: Метка уже занята
|
||||
|
||||
- **WHEN** каталог `evidence/bench/<метка>/` уже существует
|
||||
- **WHEN** каталог `evidence/bench/<метка>/` уже существует, и это не
|
||||
продолжение прерванной серии трека 1
|
||||
- **THEN** команда завершается с ненулевым кодом до запуска стенда и
|
||||
называет каталог
|
||||
|
||||
@@ -51,6 +58,13 @@ Ctrl+C, контейнеры, сеть и volume стенда SHALL удалят
|
||||
- **THEN** контейнеры, сеть и volume стенда удалены, частичные
|
||||
результаты помечены как незавершённые
|
||||
|
||||
#### Scenario: Второй прогон одновременно
|
||||
|
||||
- **WHEN** идёт прогон стенда, и запускается ещё один прогон любого
|
||||
профиля
|
||||
- **THEN** второй завершается с ненулевым кодом до запуска стенда, а
|
||||
первый продолжается
|
||||
|
||||
### Requirement: Фиксированный стенд
|
||||
|
||||
Стенд SHALL состоять из балансировщика (LB), реплик приложения,
|
||||
@@ -65,13 +79,20 @@ checkout. LB SHALL
|
||||
стенда. PostgreSQL и Valkey SHALL запускаться из тех же образов, что у
|
||||
рабочего стенда. Valkey получает ту же конфигурацию. PostgreSQL
|
||||
получает те же настройки образа плюс модуль записи планов, выключенный
|
||||
вне снятия плана. Схема БД SHALL применяться миграциями до наполнения.
|
||||
вне снятия плана. В сериях трека 1 предел соединений PostgreSQL
|
||||
(`max_connections`) — параметр конфигурации серии, по умолчанию 100, как
|
||||
у образа. Схема БД SHALL применяться миграциями до наполнения.
|
||||
|
||||
Лимиты SHALL быть одинаковыми во всех прогонах профиля:
|
||||
Лимиты SHALL быть одинаковыми во всех прогонах профиля, а в серии трека
|
||||
1 — во всех прогонах одной конфигурации:
|
||||
- у каждой реплики приложения — лимит CPU и памяти без swap, заданный
|
||||
методикой (в профилях лабы 2 — 1 CPU и 2 ГБ);
|
||||
методикой (в профилях лабы 2 — 1 CPU и 2 ГБ, в серии трека 1 — по
|
||||
конфигурации);
|
||||
- у LB, PostgreSQL и Valkey — свои лимиты CPU и памяти без swap,
|
||||
заданные методикой.
|
||||
заданные методикой; в серии трека 1 они одинаковы во всех
|
||||
конфигурациях;
|
||||
- у генератора нагрузки в профилях трека 1 — лимит CPU и памяти без
|
||||
swap, заданный методикой; в остальных профилях генератор без лимита.
|
||||
|
||||
Healthcheck образа приложения SHALL быть отключён: готовность реплик
|
||||
проверяет LB. Порты стенда на хост MUST NOT публиковаться. Настройки
|
||||
@@ -89,6 +110,14 @@ Healthcheck образа приложения SHALL быть отключён:
|
||||
реплики приложения, LB, PostgreSQL и Valkey, прочитанные у запущенных
|
||||
контейнеров, и они одинаковы для всех размеров
|
||||
|
||||
#### Scenario: Лимиты конфигурации серии
|
||||
|
||||
- **WHEN** серия трека 1 завершена
|
||||
- **THEN** паспорт по каждой конфигурации содержит число реплик, лимиты
|
||||
CPU и памяти каждого контейнера стенда и генератора и предел
|
||||
соединений PostgreSQL, прочитанные у запущенных контейнеров, и они
|
||||
одинаковы во всех повторах конфигурации
|
||||
|
||||
#### Scenario: Нехватка памяти
|
||||
|
||||
- **WHEN** процесс приложения превысил лимит памяти и был убит
|
||||
@@ -511,12 +540,14 @@ SHALL сохраняться планы того же запроса с теми
|
||||
наполнения;
|
||||
- таблица всех прогонов в CSV;
|
||||
- таблица порций наполнения в CSV;
|
||||
- планы запроса истории по размерам;
|
||||
- сводка по ячейкам матрицы (медиана и разброс min–max по повторам),
|
||||
по планам и вариантам и по стоимости записи в Markdown;
|
||||
- у профилей матрицы — планы запроса истории по размерам и сводка по
|
||||
ячейкам матрицы (медиана и разброс min–max по повторам), по планам и
|
||||
вариантам и по стоимости записи в Markdown; у серий трека 1 — свои
|
||||
таблицы и сводка (требование «Метрики ступени серии»);
|
||||
- паспорт стенда;
|
||||
- состояние хоста в начале и в конце прогона: занятый swap, доля
|
||||
свободной памяти, питание от сети или от батареи.
|
||||
- состояние хоста в начале и в конце прогона: занятый swap, счётчик
|
||||
выгрузок страниц в swap, доля свободной памяти, питание от сети или
|
||||
от батареи, а также прирост выгрузок за прогон.
|
||||
|
||||
Паспорт стенда SHALL содержать:
|
||||
- дату, commit и признак незакоммиченных изменений;
|
||||
@@ -527,15 +558,18 @@ SHALL сохраняться планы того же запроса с теми
|
||||
- окружение приложения без паролей;
|
||||
- версии генератора и Python;
|
||||
- лимиты всех контейнеров стенда;
|
||||
- железо хоста и VM;
|
||||
- железо хоста и VM, в том числе число производительных и
|
||||
энергоэффективных ядер, если процессор их различает;
|
||||
- параметры профиля, включая уровни фоновых чатов и варианты индекса,
|
||||
и команду запуска.
|
||||
|
||||
Если в начале прогона хост работает от батареи или swap занят сверх
|
||||
порога методики, команда SHALL предупреждать об этом в выводе и в
|
||||
паспорте, но не прерываться. Данные MUST быть синтетическими.
|
||||
Результаты MUST NOT содержать секретов (паролей и токенов стенда),
|
||||
`.env` и абсолютных путей домашнего каталога.
|
||||
Если хост в начале или в конце прогона работает от батареи или за
|
||||
прогон шла выгрузка страниц в swap (счётчик выгрузок вырос), команда
|
||||
SHALL предупреждать об этом в выводе и в паспорте, но не прерываться.
|
||||
Занятый swap без выгрузки во время прогона предупреждения не даёт.
|
||||
Данные MUST быть синтетическими. Результаты MUST NOT содержать секретов
|
||||
(паролей и токенов стенда), `.env` и абсолютных путей домашнего
|
||||
каталога.
|
||||
|
||||
#### Scenario: Повтор на другой машине
|
||||
|
||||
@@ -546,15 +580,24 @@ SHALL сохраняться планы того же запроса с теми
|
||||
#### Scenario: Условия хоста для сравнения меток
|
||||
|
||||
- **WHEN** проверяющий сравнивает две метки
|
||||
- **THEN** по паспортам видно, одинаковы ли были swap, свободная
|
||||
память и питание хоста в начале и в конце каждого прогона
|
||||
- **THEN** по паспортам видно, одинаковы ли были питание и свободная
|
||||
память хоста в начале и в конце каждого прогона и шла ли во время
|
||||
прогона выгрузка в swap
|
||||
|
||||
#### Scenario: Неподходящий хост
|
||||
|
||||
- **WHEN** прогон запускается от батареи или с занятым swap выше порога
|
||||
- **WHEN** прогон идёт от батареи или во время прогона шла выгрузка
|
||||
страниц в swap
|
||||
- **THEN** вывод команды и паспорт содержат предупреждение, а прогон
|
||||
продолжается
|
||||
|
||||
#### Scenario: Занятый swap без выгрузки
|
||||
|
||||
- **WHEN** swap занят с начала прогона, но за прогон счётчик выгрузок
|
||||
не вырос
|
||||
- **THEN** предупреждения о swap нет, а занятый объём записан в
|
||||
паспорт
|
||||
|
||||
#### Scenario: Хранилища в паспорте
|
||||
|
||||
- **WHEN** проверяющий открывает паспорт метки
|
||||
@@ -735,25 +778,44 @@ SHALL содержать:
|
||||
Для каждого размера истории таблица SHALL содержать байты RSS на
|
||||
сообщение и байты на сообщение в БД в обеих метках.
|
||||
|
||||
Метки серий трека 1 команда SHALL сравнивать по общим конфигурациям.
|
||||
Для каждой общей конфигурации таблица SHALL содержать:
|
||||
- медиану и разброс min–max повторов максимальной устойчивой
|
||||
интенсивности (R*) в обеих метках и изменение медианы в процентах;
|
||||
- медианы p95 и p99 на фиксированных уровнях интенсивности;
|
||||
- CPU приложения на один успешный запрос на фиксированном уровне;
|
||||
- CPU PostgreSQL на уровне R*.
|
||||
|
||||
Конфигурации, которые есть только в одной метке, SHALL перечисляться
|
||||
как несравнённые.
|
||||
|
||||
Команда SHALL отказываться сравнивать метки, снятые разной методикой.
|
||||
Если различаются параметры профиля, лимиты любого контейнера стенда,
|
||||
образы генератора, PostgreSQL или Valkey, настройки PostgreSQL, лимит
|
||||
памяти и политика вытеснения Valkey или окружение приложения, она
|
||||
завершается с ненулевым кодом, называет
|
||||
различие и не создаёт таблицу. Метка, снятая без балансировщика (в её
|
||||
паспорте нет числа реплик), и метка стенда с балансировщиком тоже
|
||||
сняты разной методикой: команда SHALL отказываться их сравнивать.
|
||||
Остальной параметр, записанный в паспорте только одной из меток, SHALL
|
||||
перечисляться в таблице как непроверенный, без отказа. В начале таблицы
|
||||
SHALL перечисляться незавершённая метка, незакоммиченные изменения,
|
||||
предупреждения о хосте и помеченные прогоны.
|
||||
завершается с ненулевым кодом, называет различие и не создаёт таблицу.
|
||||
У меток серий трека 1 состав конфигураций и имя серии к методике не
|
||||
относятся, а лимиты контейнеров и предел соединений PostgreSQL
|
||||
сравниваются по каждой общей конфигурации. Метку серии трека 1 и метку
|
||||
матрицы команда SHALL отказываться сравнивать. Метка, снятая без
|
||||
балансировщика (в её паспорте нет числа реплик), и метка стенда с
|
||||
балансировщиком тоже сняты разной методикой: команда SHALL отказываться
|
||||
их сравнивать. Остальной параметр, записанный в паспорте только одной
|
||||
из меток, SHALL перечисляться в таблице как непроверенный, без отказа.
|
||||
В начале таблицы SHALL перечисляться незавершённая метка,
|
||||
незакоммиченные изменения, предупреждения о хосте и помеченные прогоны.
|
||||
|
||||
С необязательным параметром `AA=<метка>` команда SHALL оценивать
|
||||
уровень шума: наибольшее по ячейкам сценария изменение медианы RPS
|
||||
между метками `AA` и `BEFORE`, снятыми на одном и том же коде
|
||||
приложения. Изменение в ячейке SHALL называться эффектом, только если
|
||||
разбросы повторов двух меток не пересекаются и изменение медианы
|
||||
больше уровня шума её сценария. Иначе это изменение в пределах шума.
|
||||
уровень шума между метками `AA` и `BEFORE`, снятыми на одном и том же
|
||||
коде приложения:
|
||||
- для матрицы — наибольшее по ячейкам сценария изменение медианы RPS;
|
||||
- для серий трека 1 — наибольшее по общим конфигурациям изменение
|
||||
медианы R*.
|
||||
|
||||
Изменение в ячейке или конфигурации SHALL называться эффектом, только
|
||||
если разбросы повторов двух меток не пересекаются и изменение медианы
|
||||
больше уровня шума её сценария или серии. Иначе это изменение в
|
||||
пределах шума.
|
||||
|
||||
#### Scenario: Сравнимые метки
|
||||
|
||||
@@ -797,6 +859,21 @@ SHALL перечисляться незавершённая метка, неза
|
||||
- **WHEN** `BEFORE` и `AFTER` — одна и та же метка
|
||||
- **THEN** изменение во всех ячейках равно нулю
|
||||
|
||||
#### Scenario: Серии трека 1
|
||||
|
||||
- **WHEN** сравниваются метка серии `b` и метка серии `ab`, снятые на
|
||||
том же коде
|
||||
- **THEN** таблица содержит только общие конфигурации с медианой и
|
||||
разбросом R*, изменением в процентах, задержками на фиксированных
|
||||
уровнях и CPU на запрос, а остальные конфигурации серии `b`
|
||||
перечислены как несравнённые
|
||||
|
||||
#### Scenario: Серия и матрица
|
||||
|
||||
- **WHEN** одна метка — серия трека 1, а другая — полная матрица
|
||||
- **THEN** команда завершается с ненулевым кодом и называет различие
|
||||
методики, таблица не создаётся
|
||||
|
||||
### Requirement: Прогоны «до» и «после» подряд
|
||||
|
||||
Команда `make bench_ab BEFORE=<метка> AFTER=<метка> REAPPLY=<commit>`
|
||||
@@ -809,6 +886,10 @@ SHALL снимать метки «до» и «после» одного изме
|
||||
3. возврат изменения новым commit;
|
||||
4. полную матрицу для `AFTER`.
|
||||
|
||||
С параметром `SERIES=<серия>` команда SHALL снимать в шагах 1 и 4
|
||||
вместо полной матрицы серию трека 1 под метками `BEFORE` и `AFTER`.
|
||||
Остальные шаги и проверки — те же.
|
||||
|
||||
Команда SHALL отказываться стартовать, ничего не запустив, если:
|
||||
- рабочее дерево не чистое;
|
||||
- каталог одной из меток уже существует;
|
||||
@@ -845,6 +926,13 @@ SHALL снимать метки «до» и «после» одного изме
|
||||
- **THEN** следующие шаги не выполняются, команда называет номер шага
|
||||
и завершается с ненулевым кодом
|
||||
|
||||
#### Scenario: «До» и «после» на серии
|
||||
|
||||
- **WHEN** выполняется `make bench_ab` с `SERIES=ab`
|
||||
- **THEN** обе метки — полные серии `ab` без признака незакоммиченных
|
||||
изменений, и `make bench_compare` сравнивает их по общим
|
||||
конфигурациям
|
||||
|
||||
### Requirement: Сравнение «до/после» в отчёте
|
||||
|
||||
Результаты полной матрицы на коде до изменения и после него SHALL
|
||||
@@ -1062,3 +1150,367 @@ SHALL сохраняться посекундная шкала от начала
|
||||
- **WHEN** скрипт замены завершился с ненулевым кодом
|
||||
- **THEN** команда завершается с ненулевым кодом, называет шаг из
|
||||
журнала скрипта, сохраняет частичные результаты и удаляет стенд
|
||||
|
||||
### Requirement: Серии трека 1
|
||||
|
||||
Команда `make bench_scaling SERIES=<серия>` SHALL снимать серию трека 1
|
||||
«Цена масштабирования» под меткой `SCALING_LABEL` (по умолчанию
|
||||
`scaling-<серия>`) в `evidence/bench/<метка>/`. Серия — набор
|
||||
конфигураций стенда. Конфигурация задаёт число реплик приложения, лимит
|
||||
CPU и памяти реплики и предел соединений PostgreSQL. Серии:
|
||||
- `a` — фиксированный суммарный бюджет приложения 4 CPU / 2 ГиБ:
|
||||
1 реплика × 4 CPU / 2 ГиБ, 2 × 2 CPU / 1 ГиБ, 4 × 1 CPU / 512 МиБ;
|
||||
- `b` — рост ресурсов: 1, 2, 3, 4, 5 и 6 реплик по 1 CPU / 512 МиБ;
|
||||
- `pool` — граница пула: 4 реплики по 1 CPU / 512 МиБ при пределе
|
||||
соединений PostgreSQL 100 и 50;
|
||||
- `ab` — 1 и 6 реплик по 1 CPU / 512 МиБ, как в серии `b`: одна
|
||||
реплика и наибольшая конфигурация в бюджете ВМ, для замера
|
||||
«до/после» и уровня шума A/A;
|
||||
- `db` — насыщение PostgreSQL управляемым опытом: 1, 2 и 4 реплики по
|
||||
1 CPU / 512 МиБ при узком лимите CPU PostgreSQL (выбран калибровкой,
|
||||
записан в паспорт и имя конфигурации) и контроль — 4 реплики при
|
||||
прежних 2 CPU PostgreSQL. Лимит CPU PostgreSQL у этой серии — часть
|
||||
конфигурации;
|
||||
- короткие серии самопроверки — `make bench_scaling_quick` и `make
|
||||
bench_scaling SERIES=db_quick` с меткой `quick-…`, в git не идут.
|
||||
|
||||
Лимиты LB, Valkey и генератора, профиль нагрузки, ступени и SLO SHALL
|
||||
быть одинаковыми во всех сериях; лимит PostgreSQL — тоже, кроме
|
||||
конфигураций серии `db`. В каждой конфигурации серий
|
||||
`a`, `b`, `pool`, `ab` и `db` сумма лимитов CPU стенда и генератора MUST NOT
|
||||
превышать число CPU ВМ Docker: иначе команда завершается с ненулевым
|
||||
кодом до запуска стенда. Паспорт SHALL содержать по каждой конфигурации
|
||||
сумму лимитов CPU и памяти, а также CPU и память ВМ.
|
||||
|
||||
Ячейка серии — конфигурация в одном повторе. Каждая конфигурация SHALL
|
||||
сниматься 3 раза. Каждая ячейка SHALL начинаться со свежего стенда:
|
||||
новый volume, миграции, данные профиля. Порядок ячеек SHALL
|
||||
перемешиваться кругами: в каждом круге каждая конфигурация встречается
|
||||
один раз, порядок задан зерном методики и записан в метку до первой
|
||||
ячейки.
|
||||
|
||||
Результат ячейки SHALL сохраняться сразу после неё. Прерванную серию
|
||||
SHALL можно продолжить той же командой с `RESUME=1`. Продолжение
|
||||
работает только на том же commit без незакоммиченных изменений:
|
||||
- снимаются ячейки, которых в метке нет;
|
||||
- прерванная ячейка снимается заново с новым номером попытки; строки
|
||||
прежней попытки остаются в таблице, но в сводку не входят.
|
||||
|
||||
Стенд, оставшийся от прерванного прогона, серия SHALL удалять сама, без
|
||||
ручной уборки, если другой прогон стенда не идёт.
|
||||
|
||||
Во время серии команда SHALL печатать строку на каждую ступень: ячейку
|
||||
и её номер из общего числа, ступень, уровень, итог и оценку времени до
|
||||
конца серии. Файл состояния в каталоге метки SHALL показывать текущие
|
||||
ячейку и ступень.
|
||||
|
||||
#### Scenario: Серия с фиксированным бюджетом
|
||||
|
||||
- **WHEN** выполняется `make bench_scaling SERIES=a`
|
||||
- **THEN** в метке 9 ячеек (3 конфигурации × 3 повтора), каждая на
|
||||
свежем стенде, суммарный лимит реплик в каждой конфигурации — 4 CPU и
|
||||
2 ГиБ, код выхода 0
|
||||
|
||||
#### Scenario: Бюджет помещается в ВМ
|
||||
|
||||
- **WHEN** проверяющий открывает паспорт серии `a`, `b`, `pool`, `ab`
|
||||
или `db`
|
||||
- **THEN** у каждой конфигурации сумма лимитов CPU стенда и генератора
|
||||
не больше числа CPU ВМ, а сумма лимитов памяти записана рядом с
|
||||
памятью ВМ
|
||||
|
||||
#### Scenario: Насыщение PostgreSQL
|
||||
|
||||
- **WHEN** выполняется `make bench_scaling SERIES=db`
|
||||
- **THEN** в метке все конфигурации серии × 3 повтора в перемешанном
|
||||
порядке на одном коде; у каждой конфигурации в паспорте — лимит CPU
|
||||
PostgreSQL, прочитанный у контейнера, а сводка показывает R*, CPU
|
||||
PostgreSQL на R* относительно лимита и его троттлинг
|
||||
|
||||
#### Scenario: Перемешанный порядок
|
||||
|
||||
- **WHEN** серия запущена дважды с тем же профилем
|
||||
- **THEN** порядок ячеек одинаков, в каждом круге каждая конфигурация
|
||||
встречается ровно один раз, а порядок записан в метке
|
||||
|
||||
#### Scenario: Продолжение прерванной серии
|
||||
|
||||
- **WHEN** серия прервана на ячейке k, а затем запущена с `RESUME=1` на
|
||||
том же commit
|
||||
- **THEN** снимаются только ячейки, которых в метке нет, начиная с
|
||||
прерванной, остатки стенда удалены без ручных команд, в конце метка
|
||||
завершена
|
||||
|
||||
#### Scenario: Продолжение на другом коде
|
||||
|
||||
- **WHEN** `RESUME=1` запускается на другом commit или с
|
||||
незакоммиченными изменениями
|
||||
- **THEN** команда завершается с ненулевым кодом до запуска стенда и
|
||||
называет причину
|
||||
|
||||
### Requirement: Смешанный профиль открытой модели
|
||||
|
||||
Нагрузка серий трека 1 SHALL быть открытой моделью: генератор
|
||||
отправляет запросы с заданной интенсивностью, не дожидаясь ответов на
|
||||
прежние. Профиль один для всех конфигураций:
|
||||
- 70 % — страница истории (`limit=50`) читаемого чата из 10 000
|
||||
сообщений с курсором из пула, равномерно покрывающего историю;
|
||||
- 20 % — отправка сообщения в один из 10 чатов записи с новым
|
||||
`Idempotency-Key`, отправитель — участник чата;
|
||||
- 10 % — `GET /users/me`.
|
||||
|
||||
Доли SHALL выдерживаться в каждой ступени с точностью до округления.
|
||||
Пользователи стенда (читатель и 10 участников) SHALL регистрироваться и
|
||||
входить по Basic до первой ступени; вход MUST NOT входить в замер.
|
||||
Каждый ответ SHALL проверяться: у чтения — 200 и полная страница, у
|
||||
отправки — 201, у `GET /users/me` — 200. Иначе это ошибка ступени. После
|
||||
ячейки в читаемом чате SHALL быть ровно 10 000 сообщений, а число
|
||||
сообщений в чатах записи — не меньше подтверждённых и не больше
|
||||
отправленных отправок ячейки. Иначе команда завершается с ненулевым
|
||||
кодом и называет ячейку.
|
||||
|
||||
#### Scenario: Доли запросов
|
||||
|
||||
- **WHEN** завершилась любая ступень
|
||||
- **THEN** число отправленных чтений, записей и `GET /users/me` в окне
|
||||
замера относится как 70 : 20 : 10 с точностью до округления
|
||||
|
||||
#### Scenario: Вход до замера
|
||||
|
||||
- **WHEN** идут ступени ячейки
|
||||
- **THEN** генератор не отправляет `POST /auth/sessions` и не
|
||||
регистрирует пользователей
|
||||
|
||||
#### Scenario: Записи без потерь и дублей
|
||||
|
||||
- **WHEN** ячейка завершена
|
||||
- **THEN** каждая отправка шла с новым ключом, а число сообщений в
|
||||
чатах записи лежит между числом ответов 201 и числом отправок
|
||||
|
||||
### Requirement: Максимальная устойчивая интенсивность
|
||||
|
||||
Ячейка SHALL состоять из ступеней. Ступень — подъём интенсивности от
|
||||
прежнего уровня до нового (прогрев, в замер не входит) и окно замера с
|
||||
постоянной интенсивностью. Прогрев — 5 с; у первой ступени ячейки и у
|
||||
ступени после паузы за нарушенной — подъём с нуля за 15 с. Окно замера —
|
||||
20 с. Сначала SHALL идти фиксированные уровни 250 и 500 запросов в
|
||||
секунду, одинаковые во всех сериях, затем поиск.
|
||||
|
||||
Ступень проходит SLO, если в окне замера одновременно:
|
||||
- p95 успешных запросов не больше 200 мс;
|
||||
- доля ошибок не больше 1 %. В ошибки входят неожиданный статус,
|
||||
ошибка соединения, таймаут, неполная страница чтения, а также
|
||||
запросы, которые генератор должен был отправить в окне, но не
|
||||
отправил.
|
||||
|
||||
Поиск начинается с начального уровня методики:
|
||||
1. подъём в 1,25 раза до первой ступени, нарушившей SLO, а если
|
||||
нарушена первая — спуск в 1,25 раза до первой прошедшей;
|
||||
2. два деления промежутка между последней прошедшей и первой
|
||||
нарушившей ступенью по среднему геометрическому.
|
||||
|
||||
Максимальная устойчивая интенсивность ячейки (R*) — наибольший уровень
|
||||
поиска, прошедший SLO. Разрешение поиска — не грубее 6 %.
|
||||
|
||||
После ступени, нарушившей SLO, SHALL идти пауза без нагрузки, а
|
||||
следующая ступень SHALL начинаться, только когда LB видит готовыми все
|
||||
реплики. Ступень с долей ошибок больше 50 % или p95 больше 2 с SHALL
|
||||
прерываться досрочно и считаться нарушившей SLO.
|
||||
|
||||
#### Scenario: Поиск сошёлся
|
||||
|
||||
- **WHEN** ячейка завершена без брака генератора
|
||||
- **THEN** R* прошёл SLO, ближайший измеренный уровень выше него SLO
|
||||
нарушил, и их отношение не больше 1,06
|
||||
|
||||
#### Scenario: Фиксированные уровни
|
||||
|
||||
- **WHEN** проверяющий сравнивает конфигурации серий
|
||||
- **THEN** у каждой ячейки есть ступени 250 и 500 запросов в секунду с
|
||||
p50, p95 и p99, даже если конфигурация их не выдержала
|
||||
|
||||
#### Scenario: Нарушение SLO
|
||||
|
||||
- **WHEN** в окне замера p95 больше 200 мс или ошибок больше 1 %
|
||||
- **THEN** ступень помечена нарушившей, причина записана, а следующая
|
||||
ступень идёт после паузы и проверки готовности реплик
|
||||
|
||||
#### Scenario: Пропуски генератора — ошибки
|
||||
|
||||
- **WHEN** генератор не отправил часть запланированных запросов окна,
|
||||
потому что все его VU ждали ответов
|
||||
- **THEN** эти запросы входят в долю ошибок ступени
|
||||
|
||||
### Requirement: Метрики ступени серии
|
||||
|
||||
Для каждой ступени SHALL сохраняться строка таблицы прогонов. Новые
|
||||
столбцы SHALL добавляться в конец, прежние MUST NOT меняться. Столбец
|
||||
конкуренции у ступени — наибольшее из посекундных значений числа
|
||||
занятых VU генератора. Строка содержит:
|
||||
- серию, ячейку, попытку, конфигурацию, номер и вид ступени
|
||||
(фиксированная, подъём, спуск, деление), целевую интенсивность;
|
||||
- отправленные, успешные и неуспешные запросы окна, неотправленные
|
||||
генератором, долю ошибок SLO, итог SLO и причину нарушения;
|
||||
- p50, p95, p99 и max успешных запросов и p95 по видам запросов;
|
||||
- для реплик приложения, PostgreSQL, LB, Valkey и генератора — среднее
|
||||
CPU за окно и долю периодов с троттлингом CFS; у реплик — ещё пик
|
||||
памяти, время троттлинга, сумма CPU, наибольшее среднее по реплике и
|
||||
наибольшее посекундное значение; у PostgreSQL и генератора — пик
|
||||
памяти. Полный набор по каждому контейнеру (CPU, время троттлинга,
|
||||
память) — в посекундной таблице;
|
||||
- CPU приложения и PostgreSQL на один успешный запрос;
|
||||
- загрузку CPU ВМ и долю времени, когда задачи ВМ ждали CPU;
|
||||
- PostgreSQL: commit и rollback в секунду, объём и fsync WAL в секунду,
|
||||
новые соединения, число соединений всего и наибольшее на реплику,
|
||||
среднее число активных соединений по классам ожидания (CPU, WAL,
|
||||
блокировки, прочие легковесные блокировки, ввод-вывод, прочее), долю
|
||||
отсчётов, когда все соединения пула какой-либо реплики заняты, и
|
||||
число отказов «слишком много клиентов» из журнала;
|
||||
- LB: время ответа реплики, ожидания в очереди и полного запроса —
|
||||
скользящее среднее HAProxy по последним 1 024 запросам на конце окна
|
||||
(около 0,5 с при 2 000 запросов/с, а не среднее окна; для разбора
|
||||
задержек не используется), наибольшее число сессий и запросов в
|
||||
очереди, повторы,
|
||||
перенаправления, ошибки соединения и ответа, исключения реплик
|
||||
проверками, ответы 5xx;
|
||||
- распределение успешных ответов по `X-Instance-Id`;
|
||||
- прирост выгрузок в swap на хосте.
|
||||
|
||||
Значения SHALL браться из отсчётов не реже раза в секунду в окне
|
||||
замера. Все отсчёты времени — часы ВМ Docker. Посекундные CPU и
|
||||
троттлинг каждого контейнера и загрузка ВМ в окнах замера SHALL
|
||||
сохраняться отдельной таблицей. Для каждой ячейки SHALL сохраняться
|
||||
строка таблицы ячеек:
|
||||
- конфигурация, повтор, попытка, место в порядке;
|
||||
- R*, уровень и причина первого нарушения, число ступеней;
|
||||
- p95 и p99 на фиксированных уровнях;
|
||||
- сверка записей и читаемого чата;
|
||||
- состояние хоста за ячейку;
|
||||
- пометки.
|
||||
|
||||
#### Scenario: Строка ступени
|
||||
|
||||
- **WHEN** проверяющий открывает таблицу прогонов серии
|
||||
- **THEN** у каждой строки ступени заполнены поля из списка, а прежние
|
||||
столбцы таблицы на месте
|
||||
|
||||
#### Scenario: Посекундный CPU реплики
|
||||
|
||||
- **WHEN** проверяющий ищет, сколько ядер занимает одна реплика с
|
||||
лимитом 4 CPU под перегрузкой
|
||||
- **THEN** в посекундной таблице есть CPU этой реплики за каждую
|
||||
секунду окон замера, а в строке ступени — её наибольшее посекундное
|
||||
значение и троттлинг
|
||||
|
||||
#### Scenario: Распределение по репликам
|
||||
|
||||
- **WHEN** ступень шла на нескольких репликах
|
||||
- **THEN** строка содержит число успешных ответов каждой реплики по
|
||||
`X-Instance-Id`, и их сумма равна числу успешных ответов окна
|
||||
|
||||
#### Scenario: Отказ в соединении виден
|
||||
|
||||
- **WHEN** PostgreSQL отказывал в новых соединениях из-за предела
|
||||
`max_connections`
|
||||
- **THEN** строка ступени содержит число таких отказов из журнала и
|
||||
ответы 5xx по данным LB
|
||||
|
||||
### Requirement: Генератор не ограничивает серию
|
||||
|
||||
Для каждой ступени серии SHALL сохраняться:
|
||||
- CPU генератора, доля периодов его троттлинга и пик памяти;
|
||||
- число выделенных VU и наибольшее число занятых;
|
||||
- число пропущенных итераций.
|
||||
|
||||
Ступень SHALL считаться браком генератора, если выполнено одно из
|
||||
условий:
|
||||
- CPU генератора не меньше 90 % его лимита;
|
||||
- троттлинг генератора — не меньше 10 % периодов;
|
||||
- итерации не отправлены при CPU генератора не меньше 70 % его лимита
|
||||
(свободные VU по выборке k6 раз в секунду не видны).
|
||||
|
||||
Брак не засчитывается ни как прошедшая, ни как нарушившая SLO ступень.
|
||||
Поиск ячейки останавливается, а её R* записывается нижней границей с
|
||||
пометкой. Сводка серии SHALL называть такие ячейки.
|
||||
|
||||
#### Scenario: Генератор упёрся в CPU
|
||||
|
||||
- **WHEN** CPU генератора в окне замера не меньше 90 % его лимита
|
||||
- **THEN** ступень помечена браком генератора, поиск ячейки
|
||||
остановлен, R* ячейки — нижняя граница, и сводка это называет
|
||||
|
||||
#### Scenario: Генератор в каждой строке
|
||||
|
||||
- **WHEN** проверяющий открывает таблицу прогонов серии
|
||||
- **THEN** у каждой ступени есть CPU, троттлинг и память генератора,
|
||||
число VU и пропущенные итерации
|
||||
|
||||
### Requirement: Графики серий
|
||||
|
||||
Команда `make bench_plots LABELS="<метки>"` SHALL строить по таблицам
|
||||
меток графики SVG без новых зависимостей:
|
||||
- R* от числа реплик: медиана и разброс повторов серий `a` и `b` и
|
||||
линия линейного роста от одной реплики с 1 CPU;
|
||||
- p95 от интенсивности по конфигурациям, с линией SLO;
|
||||
- CPU по компонентам на уровне R* по конфигурациям: реплики,
|
||||
PostgreSQL, LB, Valkey, генератор и остальная загрузка ВМ.
|
||||
|
||||
Вместе с графиками SHALL сохраняться сводная таблица:
|
||||
- R* серий;
|
||||
- эффективность роста по числу реплик;
|
||||
- точка насыщения по правилу методики.
|
||||
|
||||
Графики и таблица выводятся из неизменяемых меток и пересоздаются той
|
||||
же командой. Серия при завершении SHALL строить свои графики p95 и CPU
|
||||
в каталоге метки.
|
||||
|
||||
#### Scenario: Графики из меток
|
||||
|
||||
- **WHEN** графики удалены, и команда запускается снова на тех же
|
||||
метках
|
||||
- **THEN** графики и сводная таблица созданы заново с теми же
|
||||
значениями
|
||||
|
||||
#### Scenario: Точка насыщения названа
|
||||
|
||||
- **WHEN** проверяющий открывает сводную таблицу серий
|
||||
- **THEN** в ней R* по числу реплик, отношение к линейному росту и
|
||||
число реплик, после которого прирост меньше порога методики
|
||||
|
||||
### Requirement: Цена масштабирования в отчёте
|
||||
|
||||
Гипотезы о фиксированном бюджете, росте ресурсов и границе пула вместе
|
||||
с тем, что их подтвердит и что опровергнет, SHALL быть закоммичены до
|
||||
первого прогона серий. Метки серий `a`, `b`, `pool` и метка A/A серии
|
||||
`ab` на том же коде SHALL сохраняться в `evidence/bench/`. `REPORT.md`
|
||||
SHALL описывать трек 1:
|
||||
- гипотезы;
|
||||
- стенд, бюджет конфигураций, ядра хоста и ВМ;
|
||||
- профиль нагрузки, ступени, SLO и правило поиска R*;
|
||||
- результаты серий по конфигурациям (медиана и разброс) и графики;
|
||||
- точку насыщения и её причину по метрикам ступеней: почему рост
|
||||
реплик перестаёт помогать;
|
||||
- итог каждой гипотезы, как получился;
|
||||
- уровень шума A/A;
|
||||
- ограничения: один хост, ВМ, разнородные ядра, серия `b` до 6 реплик,
|
||||
генератор на том же хосте.
|
||||
|
||||
Числа SHALL переноситься из файлов меток и таблиц команд, со ссылками на
|
||||
них.
|
||||
|
||||
#### Scenario: Проверяющий ищет точку насыщения
|
||||
|
||||
- **WHEN** проверяющий открывает трек 1 в `REPORT.md`
|
||||
- **THEN** он находит R* по числу реплик, точку, после которой рост
|
||||
останавливается, метрику, которая называет узкое место, и ссылки на
|
||||
метки и графики
|
||||
|
||||
#### Scenario: Гипотезы до прогонов
|
||||
|
||||
- **WHEN** проверяющий смотрит историю git
|
||||
- **THEN** commit с гипотезами старше commit первой метки серий
|
||||
|
||||
#### Scenario: Гипотеза не подтвердилась
|
||||
|
||||
- **WHEN** результат расходится с гипотезой
|
||||
- **THEN** отчёт называет гипотезу опровергнутой и приводит числа
|
||||
|
||||
Reference in New Issue
Block a user