docs: address scaling-improvement verify findings
Fix the two-step threshold (x1.118), CPU-per-request spread and PostgreSQL ranges in REPORT.md and design, record the LB side check (lb_chkdown, error_codes) in evidence, add the db4 series to the load-benchmark delta, refresh AGENTS.md, bench.md, PLAN.md and proposal, and log the swapouts_delta passport defect. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -239,7 +239,9 @@ uv.lock` пуст.
|
||||
> предсказания и пункт дрейфа по `2x1-pg0.5` из решения 5 сняты (H4 в
|
||||
> `REPORT.md` записана уже с сокращённым набором). «R*(4 × 1) ≥ R*(2 × 1)»
|
||||
> — только справка против `2x1-pg0.5` метки `scaling-db` (другая
|
||||
> сессия). Дальше в этом решении — исходный выбор.
|
||||
> сессия). Новый профиль требует дельты «Серии трека 1» в
|
||||
> `specs/load-benchmark/spec.md` (серия `db4`; добавлена по verify, W2).
|
||||
> Дальше в этом решении — исходный выбор.
|
||||
|
||||
Серия `db` тем же профилем `scaling_db`, что у метки `scaling-db`:
|
||||
- 1, 2 и 4 реплики по 1 CPU при PostgreSQL 0,5 CPU;
|
||||
@@ -672,7 +674,7 @@ bench_compare`. `PLAN.md` — при archive.
|
||||
сбрасывает статистику принудительно по таймеру `PGSTAT_IDLE_INTERVAL`
|
||||
(10 с).
|
||||
|
||||
Проверка: красный на 10 + 5 (18–24 новые сессии), зелёный на 10 + 0
|
||||
Проверка: красный на 10 + 5 (18–21 новая сессия), зелёный на 10 + 0
|
||||
три полных прогона подряд. Исправления — коммиты X2 (`623a973`) и X3
|
||||
(`80e64cd`), R откатывает X, X2 и X3 вместе (задачи 3.7, 4.1). Свойство
|
||||
и порог теста не ослаблены: окно по-прежнему требует 0 новых сессий.
|
||||
@@ -686,11 +688,12 @@ bench_compare`. `PLAN.md` — при archive.
|
||||
прошли заранее записанный пункт 3 критерия. Шум A/A был 20 %, а в
|
||||
ячейках CPU реплик на запрос при 500/с отклонялся больше чем на ±5 %.
|
||||
Причина — помехи вне ВМ Docker; основная сессия сверила это по
|
||||
журналу питания macOS:
|
||||
- «до» `4x1-pg0.5-r2`: CPU на запрос при 500/с +8 % к A/A, на окне —
|
||||
всплеск синхронизации iCloud и смена аудиоустройства;
|
||||
- «до» `4x1-pg0.5-r3`: +10 %, посреди ячейки запущен Zoom;
|
||||
- «до» `4x1-pg2-r3`: +40 %, свободной памяти 37 %;
|
||||
журналу питания macOS (CPU реплик на запрос при 500/с — к медиане
|
||||
A/A той же конфигурации, 2 042 мкс у обеих):
|
||||
- «до» `4x1-pg0.5-r2`: +7 %, на окне — всплеск синхронизации iCloud
|
||||
и смена аудиоустройства;
|
||||
- «до» `4x1-pg0.5-r3`: +9 %, посреди ячейки запущен Zoom;
|
||||
- «до» `4x1-pg2-r3`: +38 %, свободной памяти 37 %;
|
||||
- «после» `4x1-pg0.5-r2`: +20 %, работали Zoom и iCloud.
|
||||
|
||||
Против чистой базы того же кода (`scaling-db` 931 ×3, медиана A/A
|
||||
@@ -724,7 +727,8 @@ bench_compare`. `PLAN.md` — при archive.
|
||||
|
||||
По букве критерия H4 не подтверждена, порог не менялся. Детектор
|
||||
±5 % оказался того же порядка, что разброс CPU на запрос между
|
||||
ячейками одной метки (до 7,3 %). Это урок для следующих замеров, а не
|
||||
ячейками одной метки (до 7,3 % у основной ячейки и до 12,2 % у
|
||||
контроля: `scaling-db-before2`, `4x1-pg2`, 500/с). Это урок для следующих замеров, а не
|
||||
повод менять порог задним числом.
|
||||
4. **Решение пользователя, 2026-10-11, после результатов попытки 2:
|
||||
улучшение засчитывается с явной оговоркой.** Это анализ после
|
||||
|
||||
@@ -50,6 +50,11 @@
|
||||
`scaling-db-nooverflow`;
|
||||
- затем `make bench_compare … AA=scaling-db-aa`.
|
||||
|
||||
Попытку 1 испортили помехи хоста, и замер переснят тем же порядком с
|
||||
тем же критерием (попытка 2, окончательная): метки `scaling-db-aa2`,
|
||||
`scaling-db-before2`, `scaling-db-nooverflow2` (design, «Найдено в
|
||||
apply», п. 3 и 4).
|
||||
|
||||
Изменение засчитывается при сдвиге R* основной ячейки 4 × 1 при
|
||||
0,5 CPU не меньше чем на две ступени сетки и больше шума A/A. Ещё
|
||||
нужно, чтобы таблица PostgreSQL подтвердила механизм, а CPU на запрос
|
||||
@@ -86,7 +91,9 @@
|
||||
- «Сравнение „до/после“ в отчёте» — замер и на серии трека 1:
|
||||
- A/A того же кода в той же сессии;
|
||||
- эффект R* — не меньше двух ступеней сетки;
|
||||
- контрольные конфигурации.
|
||||
- контрольные конфигурации;
|
||||
- «Серии трека 1» — серия `db4` (добавлена в apply): две конфигурации
|
||||
серии `db` для «до/после».
|
||||
|
||||
## Impact
|
||||
|
||||
@@ -105,19 +112,24 @@
|
||||
`--change`);
|
||||
- `Makefile` (`CHANGE` у `bench_compare`).
|
||||
|
||||
Профили, `run.py`, k6 и лимиты не меняются. Серия `db` снимается тем
|
||||
же профилем `scaling_db`.
|
||||
k6 и лимиты не меняются. В `run.py` добавлен профиль `scaling_db4`
|
||||
(`SERIES=db4`, две конфигурации серии `db` с теми же полями; в apply,
|
||||
`1bb8ea6`), им сняты все метки change; дельта `load-benchmark`, «Серии
|
||||
трека 1».
|
||||
- **Граница пула** уходит с k = 7 на k = 10 (10 × 10 + 1 > 100). Метки
|
||||
`scaling-a`, `-b`, `-pool`, `-aa`, `-db` остаются результатом пула
|
||||
10 + 5.
|
||||
- **Evidence:**
|
||||
- метки `evidence/bench/scaling-db-aa/`, `scaling-db-before/`,
|
||||
`scaling-db-nooverflow/`;
|
||||
- `evidence/compare/scaling-db-before__scaling-db-nooverflow.md` и
|
||||
таблица A/A;
|
||||
`scaling-db-nooverflow/` (попытка 1) и `scaling-db-aa2/`,
|
||||
`scaling-db-before2/`, `scaling-db-nooverflow2/` (попытка 2);
|
||||
- `evidence/compare/scaling-db-before__scaling-db-nooverflow.md`,
|
||||
`scaling-db-before2__scaling-db-nooverflow2.md`, таблицы A/A и
|
||||
сравнение «после» с A/A2 (`scaling-db-aa2__scaling-db-nooverflow2.md`);
|
||||
- `evidence/storage/connection-cost.md` — цена соединения и пинга;
|
||||
- `evidence/tests/scaling-improvement-checks.md`.
|
||||
- **Документы:** `REPORT.md`, `AGENTS.md`, `PLAN.md`, правила
|
||||
`bench.md`, `infra.md`, `student-tests.md` (действие hook).
|
||||
- **Время:** около 2,5 ч замеров (A/A ~50 мин, `make bench_ab` ~100
|
||||
мин), всё — фоновыми командами.
|
||||
- **Время:** план — около 2,5 ч замеров (A/A ~50 мин, `make bench_ab`
|
||||
~100 мин), всё — фоновыми командами. Фактически, с профилем `db4`, —
|
||||
две попытки по ~1 ч 20 мин (A/A ~25 мин, `make bench_ab` 50–53 мин).
|
||||
|
||||
@@ -197,3 +197,115 @@ SHALL быть change, к которому относится сравнение
|
||||
выводом сравнения и сдвиг основной конфигурации в ступенях сетки
|
||||
- **AND** механизм изменения показан числами из таблиц команд, а не
|
||||
пересчётом вручную
|
||||
|
||||
### Requirement: Серии трека 1
|
||||
|
||||
Команда `make bench_scaling SERIES=<серия>` SHALL снимать серию трека 1
|
||||
«Цена масштабирования» под меткой `SCALING_LABEL` (по умолчанию
|
||||
`scaling-<серия>`) в `evidence/bench/<метка>/`. Серия — набор
|
||||
конфигураций стенда. Конфигурация задаёт число реплик приложения, лимит
|
||||
CPU и памяти реплики и предел соединений PostgreSQL. Серии:
|
||||
- `a` — фиксированный суммарный бюджет приложения 4 CPU / 2 ГиБ:
|
||||
1 реплика × 4 CPU / 2 ГиБ, 2 × 2 CPU / 1 ГиБ, 4 × 1 CPU / 512 МиБ;
|
||||
- `b` — рост ресурсов: 1, 2, 3, 4, 5 и 6 реплик по 1 CPU / 512 МиБ;
|
||||
- `pool` — граница пула: 4 реплики по 1 CPU / 512 МиБ при пределе
|
||||
соединений PostgreSQL 100 и 50;
|
||||
- `ab` — 1 и 6 реплик по 1 CPU / 512 МиБ, как в серии `b`: одна
|
||||
реплика и наибольшая конфигурация в бюджете ВМ, для замера
|
||||
«до/после» и уровня шума A/A;
|
||||
- `db` — насыщение PostgreSQL управляемым опытом: 1, 2 и 4 реплики по
|
||||
1 CPU / 512 МиБ при узком лимите CPU PostgreSQL (выбран калибровкой,
|
||||
записан в паспорт и имя конфигурации) и контроль — 4 реплики при
|
||||
прежних 2 CPU PostgreSQL. Лимит CPU PostgreSQL у этой серии — часть
|
||||
конфигурации;
|
||||
- `db4` — две конфигурации серии `db` для замера «до/после»: 4 реплики
|
||||
по 1 CPU / 512 МиБ при узком лимите CPU PostgreSQL и при 2 CPU, с теми
|
||||
же полями и лимитами, что у `db`. Имя серии и состав конфигураций к
|
||||
методике сравнения не относятся: метки `db4` сравнимы с метками `db`
|
||||
по общим конфигурациям;
|
||||
- короткие серии самопроверки — `make bench_scaling_quick` и `make
|
||||
bench_scaling SERIES=db_quick` с меткой `quick-…`, в git не идут.
|
||||
|
||||
Лимиты LB, Valkey и генератора, профиль нагрузки, ступени и SLO SHALL
|
||||
быть одинаковыми во всех сериях; лимит PostgreSQL — тоже, кроме
|
||||
конфигураций серий `db` и `db4`. В каждой конфигурации серий
|
||||
`a`, `b`, `pool`, `ab`, `db` и `db4` сумма лимитов CPU стенда и
|
||||
генератора MUST NOT превышать число CPU ВМ Docker: иначе команда
|
||||
завершается с ненулевым кодом до запуска стенда. Паспорт SHALL
|
||||
содержать по каждой конфигурации сумму лимитов CPU и памяти, а также CPU
|
||||
и память ВМ.
|
||||
|
||||
Ячейка серии — конфигурация в одном повторе. Каждая конфигурация SHALL
|
||||
сниматься 3 раза. Каждая ячейка SHALL начинаться со свежего стенда:
|
||||
новый volume, миграции, данные профиля. Порядок ячеек SHALL
|
||||
перемешиваться кругами: в каждом круге каждая конфигурация встречается
|
||||
один раз, порядок задан зерном методики и записан в метку до первой
|
||||
ячейки.
|
||||
|
||||
Результат ячейки SHALL сохраняться сразу после неё. Прерванную серию
|
||||
SHALL можно продолжить той же командой с `RESUME=1`. Продолжение
|
||||
работает только на том же commit без незакоммиченных изменений:
|
||||
- снимаются ячейки, которых в метке нет;
|
||||
- прерванная ячейка снимается заново с новым номером попытки; строки
|
||||
прежней попытки остаются в таблице, но в сводку не входят.
|
||||
|
||||
Стенд, оставшийся от прерванного прогона, серия SHALL удалять сама, без
|
||||
ручной уборки, если другой прогон стенда не идёт.
|
||||
|
||||
Во время серии команда SHALL печатать строку на каждую ступень: ячейку
|
||||
и её номер из общего числа, ступень, уровень, итог и оценку времени до
|
||||
конца серии. Файл состояния в каталоге метки SHALL показывать текущие
|
||||
ячейку и ступень.
|
||||
|
||||
#### Scenario: Серия с фиксированным бюджетом
|
||||
|
||||
- **WHEN** выполняется `make bench_scaling SERIES=a`
|
||||
- **THEN** в метке 9 ячеек (3 конфигурации × 3 повтора), каждая на
|
||||
свежем стенде, суммарный лимит реплик в каждой конфигурации — 4 CPU и
|
||||
2 ГиБ, код выхода 0
|
||||
|
||||
#### Scenario: Бюджет помещается в ВМ
|
||||
|
||||
- **WHEN** проверяющий открывает паспорт серии `a`, `b`, `pool`, `ab`,
|
||||
`db` или `db4`
|
||||
- **THEN** у каждой конфигурации сумма лимитов CPU стенда и генератора
|
||||
не больше числа CPU ВМ, а сумма лимитов памяти записана рядом с
|
||||
памятью ВМ
|
||||
|
||||
#### Scenario: Насыщение PostgreSQL
|
||||
|
||||
- **WHEN** выполняется `make bench_scaling SERIES=db`
|
||||
- **THEN** в метке все конфигурации серии × 3 повтора в перемешанном
|
||||
порядке на одном коде; у каждой конфигурации в паспорте — лимит CPU
|
||||
PostgreSQL, прочитанный у контейнера, а сводка показывает R*, CPU
|
||||
PostgreSQL на R* относительно лимита и его троттлинг
|
||||
|
||||
#### Scenario: Подмножество серии для «до/после»
|
||||
|
||||
- **WHEN** выполняется `make bench_scaling SERIES=db4`
|
||||
- **THEN** в метке 6 ячеек (2 конфигурации серии `db` × 3 повтора) в
|
||||
перемешанном порядке на одном коде, с теми же полями паспорта и
|
||||
сводки, что у серии `db`
|
||||
- **AND** `make bench_compare` сравнивает её с меткой серии `db` или
|
||||
`db4` по общим конфигурациям без отказа «разная методика»
|
||||
|
||||
#### Scenario: Перемешанный порядок
|
||||
|
||||
- **WHEN** серия запущена дважды с тем же профилем
|
||||
- **THEN** порядок ячеек одинаков, в каждом круге каждая конфигурация
|
||||
встречается ровно один раз, а порядок записан в метке
|
||||
|
||||
#### Scenario: Продолжение прерванной серии
|
||||
|
||||
- **WHEN** серия прервана на ячейке k, а затем запущена с `RESUME=1` на
|
||||
том же commit
|
||||
- **THEN** снимаются только ячейки, которых в метке нет, начиная с
|
||||
прерванной, остатки стенда удалены без ручных команд, в конце метка
|
||||
завершена
|
||||
|
||||
#### Scenario: Продолжение на другом коде
|
||||
|
||||
- **WHEN** `RESUME=1` запускается на другом commit или с
|
||||
незакоммиченными изменениями
|
||||
- **THEN** команда завершается с ненулевым кодом до запуска стенда и
|
||||
называет причину
|
||||
|
||||
Reference in New Issue
Block a user