Track 1 "cost of scaling": open-model series A (fixed 4 CPU budget), B (1-6 replicas), pool border (max_connections 100 vs 50) and A/A, sampler of cgroup/VM/LB/PostgreSQL metrics, generator limits, series mode for bench_compare and bench_ab. Hypotheses H1-H3 are recorded in the design before any series run. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
149 lines
9.0 KiB
Markdown
149 lines
9.0 KiB
Markdown
# Proposal
|
||
|
||
## Why
|
||
|
||
Уровень «5» лабы 3 — трек 1 «Цена масштабирования» (`README.md`, выбран
|
||
в `PLAN.md`). Нужно:
|
||
|
||
- при фиксированном суммарном CPU/RAM сравнить 1, 2 и 4 реплики API на
|
||
одном профиле нагрузки;
|
||
- провести серию с ростом ресурсов;
|
||
- найти точку насыщения БД, LB или пула и показать, почему рост
|
||
реплик перестаёт помогать;
|
||
- приложить исходные данные и графики.
|
||
|
||
Одно подтверждённое улучшение — следующий change, `scaling-improvement`.
|
||
Этот change готовит для него A/B и уровень шума.
|
||
|
||
Стенд `bench/` уже поднимает HAProxy и N реплик (`graceful-failover`),
|
||
но для трека 1 его не хватает:
|
||
|
||
- **Модель нагрузки закрытая.** Матрица лаб 1–2 — фиксированное число
|
||
клиентов. Такая модель скрывает насыщение (coordinated omission) и не
|
||
даёт максимальной устойчивой интенсивности.
|
||
- **Нет метрик насыщения.** Не снимаются статистика LB, соединения и
|
||
ожидания PostgreSQL, троттлинг CFS, загрузка ВМ. У генератора нет
|
||
лимита, графиков нет.
|
||
- **A/B только для матрицы.** `make bench_ab` и `make bench_compare`
|
||
работают только с ней.
|
||
|
||
План упирается в хост: ВМ Docker — 12 vCPU и 7,75 GiB, процессор M3 Pro —
|
||
6 производительных и 6 энергоэффективных ядер. Серия B «как в плане»
|
||
не помещается в ВМ: 8 реплик по 1 CPU, PostgreSQL 2, HAProxy 1, Valkey
|
||
0,5, k6 2 — всего 13,5 CPU. Правило «swap занят — перезагрузить»
|
||
пользователь заменил 2026-10-10: помеха — выгрузка в swap во время
|
||
прогона, а не занятый swap.
|
||
|
||
## What Changes
|
||
|
||
- **Серии трека 1 в `bench/run.py`** — новые профили:
|
||
- `scaling_a` — фиксированный бюджет API 4 CPU / 2 ГиБ: 1 × 4, 2 × 2,
|
||
4 × 1;
|
||
- `scaling_b` — рост: 1…6 реплик по 1 CPU / 512 МиБ;
|
||
- `scaling_pool` — граница пула: 4 реплики при `max_connections`
|
||
PostgreSQL 100 и 50;
|
||
- `scaling_ab` — 1 и 6 реплик серии B для «до/после» и уровня шума
|
||
A/A;
|
||
- `scaling_quick` — самопроверка.
|
||
|
||
Запуск: `make bench_scaling SERIES=… [SCALING_LABEL=…] [RESUME=1]` и
|
||
`make bench_scaling_quick`.
|
||
- **Ячейка серии** — конфигурация × повтор, каждая на свежем стенде.
|
||
- 3 повтора, порядок блочно перемешан с зерном.
|
||
- Прерванную серию можно продолжить (`RESUME=1`) без ручной уборки.
|
||
- Блокировка не даёт двум прогонам стенда идти одновременно.
|
||
- **Ресурсы.** Серия B ограничена 6 репликами: так сумма лимитов не
|
||
превышает число vCPU ВМ (решение 1 design).
|
||
- PostgreSQL получает лимиты рабочего стенда — 2 CPU / 1 ГиБ, а не
|
||
3 ГБ из плана.
|
||
- Граница пула при 7+ репликах проверяется управляемым опытом в
|
||
серии `scaling_pool`, а не переподпиской.
|
||
- Бюджет каждой конфигурации и ядра хоста записываются в паспорт.
|
||
- **Открытая модель нагрузки.**
|
||
- Новый сценарий k6 `k6/mixed.js`: 70 % — страница истории, 20 % —
|
||
отправка с новым `Idempotency-Key`, 10 % — `GET /users/me`.
|
||
- Ступени `ramping-arrival-rate`: прогрев, затем окно замера.
|
||
- Сначала фиксированные уровни 250 и 500 запросов/с, затем поиск
|
||
максимальной устойчивой интенсивности R*. SLO: p95 ≤ 200 мс,
|
||
ошибок вместе с пропущенными итерациями ≤ 1 %.
|
||
- Токены готовятся до замера.
|
||
- **Генератор с лимитом** 2 CPU / 1 ГиБ. По каждой ступени
|
||
записываются его CPU, троттлинг, `dropped_iterations` и `vus_max`.
|
||
Ступень, упёршаяся в генератор, — брак.
|
||
- **Метрики.** Сэмплер раз в секунду снимает:
|
||
- CPU, память и троттлинг (`cpu.stat`) каждого контейнера стенда;
|
||
- загрузку и PSI CPU ВМ;
|
||
- статистику HAProxy;
|
||
- PostgreSQL: соединения по репликам и `wait_event`, commit/s, WAL,
|
||
новые сессии.
|
||
|
||
Кроме того, отказы «too many clients» из журнала PostgreSQL и
|
||
распределение ответов по `X-Instance-Id`. Новые столбцы `runs.csv`
|
||
— в конец. Новые файлы: `searches.csv` (R* ячеек), `samples.csv`
|
||
(посекундные ряды).
|
||
- **Графики SVG** — `bench/plots.py`, только stdlib:
|
||
- R* от числа реплик (серии A и B);
|
||
- p95 от интенсивности;
|
||
- CPU по компонентам.
|
||
|
||
Цель — `make bench_plots`.
|
||
- **`make bench_compare` и `make bench_ab` для серий:**
|
||
- сравнение по общим конфигурациям, с уровнем шума A/A (`AA`);
|
||
- «до/после» на серии (`SERIES=`);
|
||
- метки с разной методикой по-прежнему не сравниваются.
|
||
- **Хост.** Порог занятого swap заменён приростом `Swapouts` за прогон
|
||
(паспорт, предупреждение). Число P- и E-ядер — в паспорте.
|
||
- **Гипотезы H1–H3** записаны в design до прогонов (решение 9) и входят
|
||
в коммит этого предложения.
|
||
- **Документы:**
|
||
- правило `bench.md`;
|
||
- `AGENTS.md`;
|
||
- `REPORT.md` — трек «5», строки доказательств, ограничения;
|
||
- `KNOWN_ISSUES.md` — если подтвердится 500 на «too many clients»
|
||
(решение 9, H3).
|
||
|
||
## Capabilities
|
||
|
||
### New Capabilities
|
||
|
||
Нет.
|
||
|
||
### Modified Capabilities
|
||
|
||
- `load-benchmark`:
|
||
- серии трека 1: конфигурации, ячейки, повторы, порядок, продолжение;
|
||
- смешанный профиль открытой модели;
|
||
- максимальная устойчивая интенсивность по SLO;
|
||
- метрики ступени: контейнеры с троттлингом, ВМ, LB, PostgreSQL,
|
||
`X-Instance-Id`;
|
||
- достоверность генератора;
|
||
- графики;
|
||
- отчёт о цене масштабирования;
|
||
- сравнение меток и «до/после» для серий;
|
||
- состояние хоста: выгрузка в swap вместо занятого swap;
|
||
- лимиты по конфигурациям и лимит генератора в стенде.
|
||
|
||
## Impact
|
||
|
||
- **Стенд `bench/`:**
|
||
- `run.py` — профили и исполнитель серий, продолжение, блокировка,
|
||
сэмплер, лимиты k6, состояние хоста;
|
||
- новые файлы: `scaling.py` (чистые функции разбора, поиска и
|
||
сводки), `plots.py`, `sampler.sh`, `k6/mixed.js`;
|
||
- правки: `k6/prepare.js` (несколько чатов записи), `compare.py`,
|
||
`ab.py`, `bench.compose.yml` (`max_connections` PostgreSQL).
|
||
- **Сборка и окружение:** `Makefile` (цели `bench_scaling`,
|
||
`bench_scaling_quick`, `bench_plots`, `SERIES` у `bench_ab`),
|
||
`.gitignore` (файл блокировки).
|
||
- **Приложение, контракт, рабочий стенд** не меняются.
|
||
- **Зависимостей не прибавляется:** образы k6 и PostgreSQL уже
|
||
закреплены, сэмплер работает на образе PostgreSQL стенда.
|
||
- **Evidence:**
|
||
- метки `evidence/bench/scaling-a/`, `scaling-b/`, `scaling-pool/`,
|
||
`scaling-aa/`;
|
||
- графики `evidence/plots/scaling/`;
|
||
- сравнения `evidence/compare/`;
|
||
- самопроверки `evidence/tests/scaling-bench-checks.md`.
|
||
- **Время:** около 3,7 ч замеров (решение 5 design), каждая серия —
|
||
отдельный фоновый запуск.
|