Files
mtusi2026lab3/openspec/changes/scaling-bench/proposal.md
T
ricoromaandClaude Opus 5.5 525ace7c9b docs: propose scaling-bench change
Track 1 "cost of scaling": open-model series A (fixed 4 CPU budget),
B (1-6 replicas), pool border (max_connections 100 vs 50) and A/A,
sampler of cgroup/VM/LB/PostgreSQL metrics, generator limits, series
mode for bench_compare and bench_ab. Hypotheses H1-H3 are recorded in
the design before any series run.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-11 02:48:40 +03:00

149 lines
9.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Proposal
## Why
Уровень «5» лабы 3 — трек 1 «Цена масштабирования» (`README.md`, выбран
в `PLAN.md`). Нужно:
- при фиксированном суммарном CPU/RAM сравнить 1, 2 и 4 реплики API на
одном профиле нагрузки;
- провести серию с ростом ресурсов;
- найти точку насыщения БД, LB или пула и показать, почему рост
реплик перестаёт помогать;
- приложить исходные данные и графики.
Одно подтверждённое улучшение — следующий change, `scaling-improvement`.
Этот change готовит для него A/B и уровень шума.
Стенд `bench/` уже поднимает HAProxy и N реплик (`graceful-failover`),
но для трека 1 его не хватает:
- **Модель нагрузки закрытая.** Матрица лаб 1–2 — фиксированное число
клиентов. Такая модель скрывает насыщение (coordinated omission) и не
даёт максимальной устойчивой интенсивности.
- **Нет метрик насыщения.** Не снимаются статистика LB, соединения и
ожидания PostgreSQL, троттлинг CFS, загрузка ВМ. У генератора нет
лимита, графиков нет.
- **A/B только для матрицы.** `make bench_ab` и `make bench_compare`
работают только с ней.
План упирается в хост: ВМ Docker — 12 vCPU и 7,75 GiB, процессор M3 Pro —
6 производительных и 6 энергоэффективных ядер. Серия B «как в плане»
не помещается в ВМ: 8 реплик по 1 CPU, PostgreSQL 2, HAProxy 1, Valkey
0,5, k6 2 — всего 13,5 CPU. Правило «swap занят — перезагрузить»
пользователь заменил 2026-10-10: помеха — выгрузка в swap во время
прогона, а не занятый swap.
## What Changes
- **Серии трека 1 в `bench/run.py`** — новые профили:
- `scaling_a` — фиксированный бюджет API 4 CPU / 2 ГиБ: 1 × 4, 2 × 2,
4 × 1;
- `scaling_b` — рост: 1…6 реплик по 1 CPU / 512 МиБ;
- `scaling_pool` — граница пула: 4 реплики при `max_connections`
PostgreSQL 100 и 50;
- `scaling_ab` — 1 и 6 реплик серии B для «до/после» и уровня шума
A/A;
- `scaling_quick` — самопроверка.
Запуск: `make bench_scaling SERIES=… [SCALING_LABEL=…] [RESUME=1]` и
`make bench_scaling_quick`.
- **Ячейка серии** — конфигурация × повтор, каждая на свежем стенде.
- 3 повтора, порядок блочно перемешан с зерном.
- Прерванную серию можно продолжить (`RESUME=1`) без ручной уборки.
- Блокировка не даёт двум прогонам стенда идти одновременно.
- **Ресурсы.** Серия B ограничена 6 репликами: так сумма лимитов не
превышает число vCPU ВМ (решение 1 design).
- PostgreSQL получает лимиты рабочего стенда — 2 CPU / 1 ГиБ, а не
3 ГБ из плана.
- Граница пула при 7+ репликах проверяется управляемым опытом в
серии `scaling_pool`, а не переподпиской.
- Бюджет каждой конфигурации и ядра хоста записываются в паспорт.
- **Открытая модель нагрузки.**
- Новый сценарий k6 `k6/mixed.js`: 70 % — страница истории, 20 % —
отправка с новым `Idempotency-Key`, 10 % — `GET /users/me`.
- Ступени `ramping-arrival-rate`: прогрев, затем окно замера.
- Сначала фиксированные уровни 250 и 500 запросов/с, затем поиск
максимальной устойчивой интенсивности R*. SLO: p95 ≤ 200 мс,
ошибок вместе с пропущенными итерациями ≤ 1 %.
- Токены готовятся до замера.
- **Генератор с лимитом** 2 CPU / 1 ГиБ. По каждой ступени
записываются его CPU, троттлинг, `dropped_iterations` и `vus_max`.
Ступень, упёршаяся в генератор, — брак.
- **Метрики.** Сэмплер раз в секунду снимает:
- CPU, память и троттлинг (`cpu.stat`) каждого контейнера стенда;
- загрузку и PSI CPU ВМ;
- статистику HAProxy;
- PostgreSQL: соединения по репликам и `wait_event`, commit/s, WAL,
новые сессии.
Кроме того, отказы «too many clients» из журнала PostgreSQL и
распределение ответов по `X-Instance-Id`. Новые столбцы `runs.csv`
— в конец. Новые файлы: `searches.csv` (R* ячеек), `samples.csv`
(посекундные ряды).
- **Графики SVG** — `bench/plots.py`, только stdlib:
- R* от числа реплик (серии A и B);
- p95 от интенсивности;
- CPU по компонентам.
Цель — `make bench_plots`.
- **`make bench_compare` и `make bench_ab` для серий:**
- сравнение по общим конфигурациям, с уровнем шума A/A (`AA`);
- «до/после» на серии (`SERIES=`);
- метки с разной методикой по-прежнему не сравниваются.
- **Хост.** Порог занятого swap заменён приростом `Swapouts` за прогон
(паспорт, предупреждение). Число P- и E-ядер — в паспорте.
- **Гипотезы H1–H3** записаны в design до прогонов (решение 9) и входят
в коммит этого предложения.
- **Документы:**
- правило `bench.md`;
- `AGENTS.md`;
- `REPORT.md` — трек «5», строки доказательств, ограничения;
- `KNOWN_ISSUES.md` — если подтвердится 500 на «too many clients»
(решение 9, H3).
## Capabilities
### New Capabilities
Нет.
### Modified Capabilities
- `load-benchmark`:
- серии трека 1: конфигурации, ячейки, повторы, порядок, продолжение;
- смешанный профиль открытой модели;
- максимальная устойчивая интенсивность по SLO;
- метрики ступени: контейнеры с троттлингом, ВМ, LB, PostgreSQL,
`X-Instance-Id`;
- достоверность генератора;
- графики;
- отчёт о цене масштабирования;
- сравнение меток и «до/после» для серий;
- состояние хоста: выгрузка в swap вместо занятого swap;
- лимиты по конфигурациям и лимит генератора в стенде.
## Impact
- **Стенд `bench/`:**
- `run.py` — профили и исполнитель серий, продолжение, блокировка,
сэмплер, лимиты k6, состояние хоста;
- новые файлы: `scaling.py` (чистые функции разбора, поиска и
сводки), `plots.py`, `sampler.sh`, `k6/mixed.js`;
- правки: `k6/prepare.js` (несколько чатов записи), `compare.py`,
`ab.py`, `bench.compose.yml` (`max_connections` PostgreSQL).
- **Сборка и окружение:** `Makefile` (цели `bench_scaling`,
`bench_scaling_quick`, `bench_plots`, `SERIES` у `bench_ab`),
`.gitignore` (файл блокировки).
- **Приложение, контракт, рабочий стенд** не меняются.
- **Зависимостей не прибавляется:** образы k6 и PostgreSQL уже
закреплены, сэмплер работает на образе PostgreSQL стенда.
- **Evidence:**
- метки `evidence/bench/scaling-a/`, `scaling-b/`, `scaling-pool/`,
`scaling-aa/`;
- графики `evidence/plots/scaling/`;
- сравнения `evidence/compare/`;
- самопроверки `evidence/tests/scaling-bench-checks.md`.
- **Время:** около 3,7 ч замеров (решение 5 design), каждая серия —
отдельный фоновый запуск.