docs: address scaling-improvement verify findings

Fix the two-step threshold (x1.118), CPU-per-request spread and
PostgreSQL ranges in REPORT.md and design, record the LB side check
(lb_chkdown, error_codes) in evidence, add the db4 series to the
load-benchmark delta, refresh AGENTS.md, bench.md, PLAN.md and
proposal, and log the swapouts_delta passport defect.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 21:36:21 +03:00
co-authored by Claude Opus 5.5
parent cb984c1d8d
commit 25f1962021
11 changed files with 278 additions and 61 deletions
+12 -8
View File
@@ -239,7 +239,9 @@ uv.lock` пуст.
> предсказания и пункт дрейфа по `2x1-pg0.5` из решения 5 сняты (H4 в
> `REPORT.md` записана уже с сокращённым набором). «R*(4 × 1) ≥ R*(2 × 1)»
> — только справка против `2x1-pg0.5` метки `scaling-db` (другая
> сессия). Дальше в этом решении — исходный выбор.
> сессия). Новый профиль требует дельты «Серии трека 1» в
> `specs/load-benchmark/spec.md` (серия `db4`; добавлена по verify, W2).
> Дальше в этом решении — исходный выбор.
Серия `db` тем же профилем `scaling_db`, что у метки `scaling-db`:
- 1, 2 и 4 реплики по 1 CPU при PostgreSQL 0,5 CPU;
@@ -672,7 +674,7 @@ bench_compare`. `PLAN.md` — при archive.
сбрасывает статистику принудительно по таймеру `PGSTAT_IDLE_INTERVAL`
(10 с).
Проверка: красный на 10 + 5 (18–24 новые сессии), зелёный на 10 + 0
Проверка: красный на 10 + 5 (18–21 новая сессия), зелёный на 10 + 0
три полных прогона подряд. Исправления — коммиты X2 (`623a973`) и X3
(`80e64cd`), R откатывает X, X2 и X3 вместе (задачи 3.7, 4.1). Свойство
и порог теста не ослаблены: окно по-прежнему требует 0 новых сессий.
@@ -686,11 +688,12 @@ bench_compare`. `PLAN.md` — при archive.
прошли заранее записанный пункт 3 критерия. Шум A/A был 20 %, а в
ячейках CPU реплик на запрос при 500/с отклонялся больше чем на ±5 %.
Причина — помехи вне ВМ Docker; основная сессия сверила это по
журналу питания macOS:
- «до» `4x1-pg0.5-r2`: CPU на запрос при 500/с +8 % к A/A, на окне —
всплеск синхронизации iCloud и смена аудиоустройства;
- «до» `4x1-pg0.5-r3`: +10 %, посреди ячейки запущен Zoom;
- «до» `4x1-pg2-r3`: +40 %, свободной памяти 37 %;
журналу питания macOS (CPU реплик на запрос при 500/с — к медиане
A/A той же конфигурации, 2 042 мкс у обеих):
- «до» `4x1-pg0.5-r2`: +7 %, на окне — всплеск синхронизации iCloud
и смена аудиоустройства;
- «до» `4x1-pg0.5-r3`: +9 %, посреди ячейки запущен Zoom;
- «до» `4x1-pg2-r3`: +38 %, свободной памяти 37 %;
- «после» `4x1-pg0.5-r2`: +20 %, работали Zoom и iCloud.
Против чистой базы того же кода (`scaling-db` 931 ×3, медиана A/A
@@ -724,7 +727,8 @@ bench_compare`. `PLAN.md` — при archive.
По букве критерия H4 не подтверждена, порог не менялся. Детектор
±5 % оказался того же порядка, что разброс CPU на запрос между
ячейками одной метки (до 7,3 %). Это урок для следующих замеров, а не
ячейками одной метки (до 7,3 % у основной ячейки и до 12,2 % у
контроля: `scaling-db-before2`, `4x1-pg2`, 500/с). Это урок для следующих замеров, а не
повод менять порог задним числом.
4. **Решение пользователя, 2026-10-11, после результатов попытки 2:
улучшение засчитывается с явной оговоркой.** Это анализ после
@@ -50,6 +50,11 @@
`scaling-db-nooverflow`;
- затем `make bench_compare … AA=scaling-db-aa`.
Попытку 1 испортили помехи хоста, и замер переснят тем же порядком с
тем же критерием (попытка 2, окончательная): метки `scaling-db-aa2`,
`scaling-db-before2`, `scaling-db-nooverflow2` (design, «Найдено в
apply», п. 3 и 4).
Изменение засчитывается при сдвиге R* основной ячейки 4 × 1 при
0,5 CPU не меньше чем на две ступени сетки и больше шума A/A. Ещё
нужно, чтобы таблица PostgreSQL подтвердила механизм, а CPU на запрос
@@ -86,7 +91,9 @@
- «Сравнение „до/после“ в отчёте» — замер и на серии трека 1:
- A/A того же кода в той же сессии;
- эффект R* — не меньше двух ступеней сетки;
- контрольные конфигурации.
- контрольные конфигурации;
- «Серии трека 1» — серия `db4` (добавлена в apply): две конфигурации
серии `db` для «до/после».
## Impact
@@ -105,19 +112,24 @@
`--change`);
- `Makefile` (`CHANGE` у `bench_compare`).
Профили, `run.py`, k6 и лимиты не меняются. Серия `db` снимается тем
же профилем `scaling_db`.
k6 и лимиты не меняются. В `run.py` добавлен профиль `scaling_db4`
(`SERIES=db4`, две конфигурации серии `db` с теми же полями; в apply,
`1bb8ea6`), им сняты все метки change; дельта `load-benchmark`, «Серии
трека 1».
- **Граница пула** уходит с k = 7 на k = 10 (10 × 10 + 1 > 100). Метки
`scaling-a`, `-b`, `-pool`, `-aa`, `-db` остаются результатом пула
10 + 5.
- **Evidence:**
- метки `evidence/bench/scaling-db-aa/`, `scaling-db-before/`,
`scaling-db-nooverflow/`;
- `evidence/compare/scaling-db-before__scaling-db-nooverflow.md` и
таблица A/A;
`scaling-db-nooverflow/` (попытка 1) и `scaling-db-aa2/`,
`scaling-db-before2/`, `scaling-db-nooverflow2/` (попытка 2);
- `evidence/compare/scaling-db-before__scaling-db-nooverflow.md`,
`scaling-db-before2__scaling-db-nooverflow2.md`, таблицы A/A и
сравнение «после» с A/A2 (`scaling-db-aa2__scaling-db-nooverflow2.md`);
- `evidence/storage/connection-cost.md` — цена соединения и пинга;
- `evidence/tests/scaling-improvement-checks.md`.
- **Документы:** `REPORT.md`, `AGENTS.md`, `PLAN.md`, правила
`bench.md`, `infra.md`, `student-tests.md` (действие hook).
- **Время:** около 2,5 ч замеров (A/A ~50 мин, `make bench_ab` ~100
мин), всё — фоновыми командами.
- **Время:** план — около 2,5 ч замеров (A/A ~50 мин, `make bench_ab`
~100 мин), всё — фоновыми командами. Фактически, с профилем `db4`, —
две попытки по ~1 ч 20 мин (A/A ~25 мин, `make bench_ab` 50–53 мин).
@@ -197,3 +197,115 @@ SHALL быть change, к которому относится сравнение
выводом сравнения и сдвиг основной конфигурации в ступенях сетки
- **AND** механизм изменения показан числами из таблиц команд, а не
пересчётом вручную
### Requirement: Серии трека 1
Команда `make bench_scaling SERIES=<серия>` SHALL снимать серию трека 1
«Цена масштабирования» под меткой `SCALING_LABEL` (по умолчанию
`scaling-<серия>`) в `evidence/bench/<метка>/`. Серия — набор
конфигураций стенда. Конфигурация задаёт число реплик приложения, лимит
CPU и памяти реплики и предел соединений PostgreSQL. Серии:
- `a` — фиксированный суммарный бюджет приложения 4 CPU / 2 ГиБ:
1 реплика × 4 CPU / 2 ГиБ, 2 × 2 CPU / 1 ГиБ, 4 × 1 CPU / 512 МиБ;
- `b` — рост ресурсов: 1, 2, 3, 4, 5 и 6 реплик по 1 CPU / 512 МиБ;
- `pool` — граница пула: 4 реплики по 1 CPU / 512 МиБ при пределе
соединений PostgreSQL 100 и 50;
- `ab` — 1 и 6 реплик по 1 CPU / 512 МиБ, как в серии `b`: одна
реплика и наибольшая конфигурация в бюджете ВМ, для замера
«до/после» и уровня шума A/A;
- `db` — насыщение PostgreSQL управляемым опытом: 1, 2 и 4 реплики по
1 CPU / 512 МиБ при узком лимите CPU PostgreSQL (выбран калибровкой,
записан в паспорт и имя конфигурации) и контроль — 4 реплики при
прежних 2 CPU PostgreSQL. Лимит CPU PostgreSQL у этой серии — часть
конфигурации;
- `db4` — две конфигурации серии `db` для замера «до/после»: 4 реплики
по 1 CPU / 512 МиБ при узком лимите CPU PostgreSQL и при 2 CPU, с теми
же полями и лимитами, что у `db`. Имя серии и состав конфигураций к
методике сравнения не относятся: метки `db4` сравнимы с метками `db`
по общим конфигурациям;
- короткие серии самопроверки — `make bench_scaling_quick` и `make
bench_scaling SERIES=db_quick` с меткой `quick-…`, в git не идут.
Лимиты LB, Valkey и генератора, профиль нагрузки, ступени и SLO SHALL
быть одинаковыми во всех сериях; лимит PostgreSQL — тоже, кроме
конфигураций серий `db` и `db4`. В каждой конфигурации серий
`a`, `b`, `pool`, `ab`, `db` и `db4` сумма лимитов CPU стенда и
генератора MUST NOT превышать число CPU ВМ Docker: иначе команда
завершается с ненулевым кодом до запуска стенда. Паспорт SHALL
содержать по каждой конфигурации сумму лимитов CPU и памяти, а также CPU
и память ВМ.
Ячейка серии — конфигурация в одном повторе. Каждая конфигурация SHALL
сниматься 3 раза. Каждая ячейка SHALL начинаться со свежего стенда:
новый volume, миграции, данные профиля. Порядок ячеек SHALL
перемешиваться кругами: в каждом круге каждая конфигурация встречается
один раз, порядок задан зерном методики и записан в метку до первой
ячейки.
Результат ячейки SHALL сохраняться сразу после неё. Прерванную серию
SHALL можно продолжить той же командой с `RESUME=1`. Продолжение
работает только на том же commit без незакоммиченных изменений:
- снимаются ячейки, которых в метке нет;
- прерванная ячейка снимается заново с новым номером попытки; строки
прежней попытки остаются в таблице, но в сводку не входят.
Стенд, оставшийся от прерванного прогона, серия SHALL удалять сама, без
ручной уборки, если другой прогон стенда не идёт.
Во время серии команда SHALL печатать строку на каждую ступень: ячейку
и её номер из общего числа, ступень, уровень, итог и оценку времени до
конца серии. Файл состояния в каталоге метки SHALL показывать текущие
ячейку и ступень.
#### Scenario: Серия с фиксированным бюджетом
- **WHEN** выполняется `make bench_scaling SERIES=a`
- **THEN** в метке 9 ячеек (3 конфигурации × 3 повтора), каждая на
свежем стенде, суммарный лимит реплик в каждой конфигурации — 4 CPU и
2 ГиБ, код выхода 0
#### Scenario: Бюджет помещается в ВМ
- **WHEN** проверяющий открывает паспорт серии `a`, `b`, `pool`, `ab`,
`db` или `db4`
- **THEN** у каждой конфигурации сумма лимитов CPU стенда и генератора
не больше числа CPU ВМ, а сумма лимитов памяти записана рядом с
памятью ВМ
#### Scenario: Насыщение PostgreSQL
- **WHEN** выполняется `make bench_scaling SERIES=db`
- **THEN** в метке все конфигурации серии × 3 повтора в перемешанном
порядке на одном коде; у каждой конфигурации в паспорте — лимит CPU
PostgreSQL, прочитанный у контейнера, а сводка показывает R*, CPU
PostgreSQL на R* относительно лимита и его троттлинг
#### Scenario: Подмножество серии для «до/после»
- **WHEN** выполняется `make bench_scaling SERIES=db4`
- **THEN** в метке 6 ячеек (2 конфигурации серии `db` × 3 повтора) в
перемешанном порядке на одном коде, с теми же полями паспорта и
сводки, что у серии `db`
- **AND** `make bench_compare` сравнивает её с меткой серии `db` или
`db4` по общим конфигурациям без отказа «разная методика»
#### Scenario: Перемешанный порядок
- **WHEN** серия запущена дважды с тем же профилем
- **THEN** порядок ячеек одинаков, в каждом круге каждая конфигурация
встречается ровно один раз, а порядок записан в метке
#### Scenario: Продолжение прерванной серии
- **WHEN** серия прервана на ячейке k, а затем запущена с `RESUME=1` на
том же commit
- **THEN** снимаются только ячейки, которых в метке нет, начиная с
прерванной, остатки стенда удалены без ручных команд, в конце метка
завершена
#### Scenario: Продолжение на другом коде
- **WHEN** `RESUME=1` запускается на другом commit или с
незакоммиченными изменениями
- **THEN** команда завершается с ненулевым кодом до запуска стенда и
называет причину