docs: address scaling-improvement verify findings

Fix the two-step threshold (x1.118), CPU-per-request spread and
PostgreSQL ranges in REPORT.md and design, record the LB side check
(lb_chkdown, error_codes) in evidence, add the db4 series to the
load-benchmark delta, refresh AGENTS.md, bench.md, PLAN.md and
proposal, and log the swapouts_delta passport defect.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 21:36:21 +03:00
co-authored by Claude Opus 5.5
parent cb984c1d8d
commit 25f1962021
11 changed files with 278 additions and 61 deletions
+9 -6
View File
@@ -80,7 +80,7 @@ paths:
| `run.py` (профили `restore`, `restore_quick`), `k6/after_backup.js`, `k6/restore_check.js` | `make bench_restore`, `make bench_restore_quick` | тот же стенд без матрицы прогонов: backup под записью, восстановление в новое хранилище, сверка, RTO и потеря, кэш до и после `FLUSHALL` |
| `run.py` (профили `failover`, `failover_quick`), `failover.py`, `k6/failover.js`, `k6/retry.js` | `make bench_failover`, `make bench_failover_quick` | две реплики с лимитами рабочего стенда, постоянная интенсивность записи с ключом и чтения, каждая реплика в каждом режиме (`stop`, `kill`, `pause`) с возвратом: посекундная шкала, время обнаружения и восстановления, сверка записей; результаты — `evidence/failover/<метка>/` |
| `run.py` (профили `rollout`, `rollout_quick`), `rollout.py`, `k6/failover.js`, `k6/retry.js`, `scripts/rolling-update.sh` | `make bench_rollout`, `make bench_rollout_quick` | две реплики с лимитами рабочего стенда на образе прежнего commit, та же постоянная нагрузка, посреди неё — поочерёдная замена на образ текущего checkout: посекундная шкала с ответами старых и новых реплик, шаги по каждой реплике, контейнеры, образы и ревизия схемы до и после, сверка записей; результаты — `evidence/rollout/<метка>/` |
| `run.py` (профили `scaling_*`), `scaling.py`, `sampler.sh`, `k6/mixed.js` | `make bench_scaling SERIES=a\|b\|pool\|ab\|db`, `make bench_scaling_quick`, `SERIES=db_quick` | серии трека 1: конфигурации реплик и лимитов, на каждую ячейку — свежий стенд, открытая модель, фиксированные уровни и поиск R* по SLO, посекундный сэмплер контейнеров, ВМ, LB и PostgreSQL; результаты — `evidence/bench/<метка>/` |
| `run.py` (профили `scaling_*`), `scaling.py`, `sampler.sh`, `k6/mixed.js` | `make bench_scaling SERIES=a\|b\|pool\|ab\|db\|db4`, `make bench_scaling_quick`, `SERIES=db_quick` | серии трека 1: конфигурации реплик и лимитов, на каждую ячейку — свежий стенд, открытая модель, фиксированные уровни и поиск R* по SLO, посекундный сэмплер контейнеров, ВМ, LB и PostgreSQL; результаты — `evidence/bench/<метка>/` |
| `plots.py` | `make bench_plots LABELS="…"` | графики SVG и сводка серий (R* от числа реплик, p95 от интенсивности, CPU по компонентам, точка насыщения) — `evidence/plots/<PLOTS>/` |
| `compare.py` | `make bench_compare` | дельта двух меток стенда (ячейки матрицы или общие конфигурации серий), эффект или шум |
| `ab.py` | `make bench_ab [SERIES=…]` | стенд «до» и «после» одного изменения подряд, в одной сессии хоста; с `SERIES` — серия трека 1 вместо матрицы |
@@ -240,16 +240,19 @@ paths:
и контроль 4 × 1 при 2 CPU (насыщение БД управляемым опытом; лимит
PostgreSQL — пятый элемент конфигурации, имя `<k>x1-pg<CPU>`); `db4`
— две ячейки серии `db` (4 × 1 при 0,5 и 2 CPU) для «до/после» change
`scaling-improvement` (метки `scaling-db-aa`, `scaling-db-before` —
пул 10 + 5, `scaling-db-nooverflow` — 10 + 0; метки `scaling-a`, `-b`,
`-pool`, `-aa`, `-db` сняты на 10 + 5); `quick` и `db_quick` —
`scaling-improvement`: окончательные метки попытки 2 —
`scaling-db-aa2`, `scaling-db-before2` (пул 10 + 5) и
`scaling-db-nooverflow2` (10 + 0); попытка 1 (`scaling-db-aa`,
`-before`, `-nooverflow`) испорчена помехами хоста и оставлена как
есть; метки `scaling-a`, `-b`, `-pool`, `-aa`, `-db` сняты на
10 + 5); `quick` и `db_quick` —
самопроверки. Общие поля — в
`scaling_profile()` `run.py`, чтобы методика серий не расходилась.
- **Бюджет:** PostgreSQL 2 / 1 ГиБ, HAProxy 1 / 256 МиБ, Valkey 0,5 /
128 МиБ, k6 2 / 1 ГиБ, сэмплер 0,25 / 128 МиБ — 5,75 CPU без реплик.
Сумма CPU конфигурации больше CPU ВМ — отказ до стенда (код 2); поэтому
серия `b` — до 6 реплик (11,75 CPU), граница пула на дефолтах (k = 7)
— управляемым опытом `pool`. Бюджет — `meta.budget`.
серия `b` — до 6 реплик (11,75 CPU), граница пула при 10 + 5 того
времени (k = 7) — управляемым опытом `pool`; с 10 + 0 — k = 10. Бюджет — `meta.budget`.
- **Ячейка** — конфигурация × повтор, 3 повтора, каждая на свежем стенде
(`down -v`, миграции, данные: читаемый чат 10 000, 10 чатов записи).
Порядок — круги, перестановка с зерном `order_seed`, повтор одной
+3 -1
View File
@@ -113,7 +113,9 @@ paths:
- Как устроен `make failure_checks` (`student-tests/run_failures.py`):
- тот же `docker-compose.yml` под проектом `<рабочий>-failures` с
override `failures.compose.yml`: свои Postgres и Valkey со своим
volume, их порты не публикуются;
volume, их порты не публикуются, healthcheck PostgreSQL проверяет
служебную базу `postgres` (иначе каждая проверка — сессия в базе
приложения и шум счётчика `db-sessions`);
- два API на свободных портах `127.0.0.1`: обычный (`BASE_URL`) и
«тесный» (`FAULT_TIGHT_BASE_URL`: сроки сессии и ключа
идемпотентности 2 с, пул 1, короткие таймауты);
+7 -6
View File
@@ -134,7 +134,8 @@ change — в архиве. После замен реплики называю
change, «Найдено в apply», п. 4). Дальше — verify и archive; change
не в архиве.
- `REPORT.md` заполнен для уровней «3», «4», серий трека 1 и
улучшения (с отрицательным результатом по критерию).
улучшения (засчитано с оговоркой; по букве критерия — не
подтверждено).
Закрытый пункт убрать отсюда, закрытый переход — удалить раздел.
@@ -299,7 +300,7 @@ change — в архиве. После замен реплики называю
| `make wipe_data` | `down -v` — удалить данные стенда (и кэш); только после ввода `yes` |
| `make test_isolated [KEEP_TEST_DB=1]` | образ на временной базе `test_<db>` с Valkey стенда (ключи разделены именем базы): сборка, миграции, отдельный контейнер API на `TEST_APP_PORT`, `make test` + `make student_test EXPECT_REPLICAS=1` (тесты реплик пропускаются с причиной), уборка при любом исходе (`student-tests.md`) |
| `make student_test [BASE_URL=...] [EXPECT_REPLICAS=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); `EXPECT_REPLICAS` (по умолчанию `API_REPLICAS`) — сколько реплик за `BASE_URL`, против одного процесса — 1; сервер недоступен — код 2 и одна строка с адресом |
| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, ~45 с) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres и Valkey, обычный и «тесный» API (срок 2 с, пул 1), hook `student-tests/fault_hook.py`; стенд и его volume удаляются при любом исходе, рабочий не трогается (`student-tests.md`) |
| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, ~60 с) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres и Valkey, обычный и «тесный» API (срок 2 с, пул 1), hook `student-tests/fault_hook.py`; стенд и его volume удаляются при любом исходе, рабочий не трогается (`student-tests.md`) |
| `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k читаемого чата плюс 100 000 сообщений в 1 110 фоновых чатах разного размера (~35 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (HAProxy и одна реплика API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда; k6 ходит через LB); на каждый размер — свежий стенд, `VACUUM (ANALYZE)`, планы запроса истории (`auto_explain`) по уровням чатов с вариантами индекса и запроса, в конце — пробы стоимости записи по вариантам. Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) |
| `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт |
| `make bench_restore [RESTORE_LABEL=...]` | трек 2, восстановление (~20 мин, метка `restore` по умолчанию): тот же стенд и данные, без матрицы прогонов; на каждый размер — `pg_dump` во время записи через HTTP, активность после backup, `pg_restore -j` в новый контейнер Postgres на новом volume, сверка обеих баз построчно, переключение API, проверки через HTTP до и после `FLUSHALL`; время dump / restore / RTO и потерянные сообщения — в `summary.md` |
@@ -329,7 +330,7 @@ change — в архиве. После замен реплики называю
src/
__main__.py # python -m src → main.main()
main.py # FastAPI app: lifespan, middlewares, обработчики ошибок, uvicorn.run
config/settings.py # Settings (pydantic-settings), экземпляр settings; [app] instance_id (пусто → hostname) и keep_alive_seconds, [database] idle_in_transaction_timeout_ms, [idempotency] ttl_seconds
config/settings.py # Settings (pydantic-settings), экземпляр settings; [app] instance_id (пусто → hostname) и keep_alive_seconds, [database] pool_size 10 и max_overflow 0 (постоянный пул без переполнения), idle_in_transaction_timeout_ms, [idempotency] ttl_seconds
api/
routers/health.py # /health/live, /health/ready: вне версии, без идентификации
routers/v1/<domain>.py # ручки под /api/v1, сборка в routers/v1/__init__.py; Idempotency-Key — параметр POST сообщения (message.py)
@@ -371,8 +372,8 @@ student-tests/ # black-box тесты по HTTP (уровень 4)
test_failures.py # проверки отказов (маркер fault): только make failure_checks
run_isolated.py # make test_isolated: образ на временной базе test_<db> (stdlib)
run_failures.py # make failure_checks: стенд <рабочий>-failures, два API, pytest -m fault, уборка (stdlib)
fault_hook.py # hook стенда отказов: stop/start/pause/unpause, кэш, триггеры сбоя участников и сообщений, заполнение слотов max_connections (stdlib)
failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, LB)
fault_hook.py # hook стенда отказов: stop/start/pause/unpause, кэш, триггеры сбоя участников и сообщений, заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions (stdlib)
failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, LB), healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения)
bench/ # нагрузочный стенд на HAProxy + N реплик API + Postgres + Valkey: make bench / bench_quick / bench_restore / bench_failover / bench_rollout / bench_scaling
run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover, профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json
scaling.py # серии трека 1 без docker: лестница и автомат поиска R*, разбор итога k6 и строк сэмплера, агрегаты окна, вердикт SLO и брака генератора, признаки узкого места (THRESHOLDS), предельный CPU на запрос, сводка серии; --selftest
@@ -408,7 +409,7 @@ evidence/failover/<метка>/ # результаты make bench_failover: п
evidence/rollout/ # совместимость старого образа с новой схемой, make rolling_update и жизненный цикл стенда после замены, отказы скрипта (Ctrl+C, слоты, lock_timeout миграции)
evidence/rollout/<метка>/ # результаты make bench_rollout: паспорт с контейнерами, образами и ревизией до и после, rollout.csv, replicas.csv, timeline.csv, summary.md, строки скрипта, журнал LB
evidence/bench/<метка>/ # результаты make bench / bench_restore: паспорт, прогоны, наполнение, сводка (планы, стоимость записи, восстановление), планы explain-<размер>.txt, сырые итоги k6
evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx
evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL; db4 — «до/после» пула без переполнения: scaling-db-aa*, -before*, -nooverflow*, окончательные — с суффиксом 2): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx
evidence/plots/scaling/ # make bench_plots по сериям a и b: графики SVG и summary.md (R*, эффективность, точка насыщения, цена запроса, память)
evidence/plots/scaling-db/ # make bench_plots по серии db: R* по лимитам PostgreSQL и раздел «Насыщение PostgreSQL»
evidence/compare/ # таблицы make bench_compare: <до>__<после>.md
+15
View File
@@ -85,3 +85,18 @@
true` у `postgres` в `student-tests/failures.compose.yml` (tini
реапит сирот сам), либо держать `psql` детьми долгоживущего `sh`
(`wait` в конце `FILL_SH`, `CLEAR_FILL_SH` убивает группу процессов).
## Паспорт метки без `swapouts_delta`, когда счётчик выгрузок равен 0
- **Где:** `bench/run.py`, конец `main()` — условие `if
state.get("swapouts") is not None and end_state.get("swapouts"):`.
- **Что не так:** при `Swapouts` 0 в конце прогона (хост после
перезагрузки) второе условие ложно, и `host_state.swapouts_delta` в
`meta.json` не пишется, хотя `start` и `end` (0 и 0) записаны. Так у
меток `scaling-db-aa2`, `scaling-db-before2`, `scaling-db-nooverflow2`.
Предупреждение о выгрузке (`swap_warning`) и проверка в
`bench/compare.py` работают верно: страдает только поле паспорта.
- **Найдено:** verify change `scaling-improvement` (2026-10-11, S5).
- **Предложение:** `end_state.get("swapouts") is not None`. Правка
меняет код стенда `bench/`: делать её между сериями, а не посреди
«до/после».
+7 -5
View File
@@ -170,9 +170,10 @@ Swarm дал бы встроенный rolling update (`update_config`), но э
- Лимиты CPU/RAM у каждого сервиса стенда: api, haproxy, postgres,
valkey, migrate.
- Соединения Postgres: `API_REPLICAS × (pool_size + max_overflow)` +
migrate + запас ≤ `max_connections`. Сейчас пул 10 + 5 на реплику:
при 2–4 репликах запас есть, при 8 — уже нет (120 > 100). Это одна из
гипотез трека 1.
migrate + запас ≤ `max_connections`. Сейчас пул 10 + 0 на реплику
(change `scaling-improvement`; было 10 + 5): граница — 10 реплик
(10 × 10 + 1 > 100), при 10 + 5 была 7. Граница пула показана
управляемым опытом серии `pool` трека 1 (на 10 + 5).
- Окружение по сервисам: пароль Valkey получает только `api`, `migrate`
— только Postgres, LB — ни одного секрета (рубрика «4»: секреты общие
только там, где нужно).
@@ -294,7 +295,7 @@ Swarm дал бы встроенный rolling update (`update_config`), но э
| 3 | `graceful-failover` | 4 | Цепочка таймаутов зафиксирована и обоснована. Замер времени обнаружения отказа при `stop` и `kill`. Стенд `bench/` переходит на HAProxy + N реплик, профиль `failover`: поочерёдная остановка каждой реплики под нагрузкой | посекундные RPS, ошибки и время восстановления по каждой реплике в `evidence/failover/`, таблица таймаутов в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-graceful-failover/`; замер `evidence/failover/baseline/` с `459f84c`; verify — решение 10 design: отвергнутый вариант пула LB переснят на закоммиченном коде, уборка триггера `hang-key` при прерывании, `make bench_compare` отказывает метке без LB; дренаж до SIGTERM и `make run_docker` без пересоздания реплик переданы в `rolling-update`, ниже) |
| 4 | `rolling-update` | 4 | `scripts/rolling-update.sh`: замена реплик по одной на новый образ под нагрузкой. Миграции однократно и совместимы со старой версией | прогон под нагрузкой с ошибками по секундам в `evidence/rollout/`; старый образ работает на новой схеме. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-rolling-update/`; замер `evidence/rollout/baseline/` с `9dcea0b`, итоговый код `84161c0`; verify — решение 12 design: уборка при Ctrl+C внутри `up --scale`, предусловие о слотах LB с ручным состоянием, `lock_timeout` миграции 2 с вместо 5 с (при равном `statement_timeout` запросы в очереди за миграцией получали 503), ограничение отката; совместимость и отказы скрипта пересняты на `84161c0`) |
| 5 | `scaling-bench` | 5 (трек 1) | Открытая модель нагрузки, серии A (фиксированный бюджет 1×4 / 2×2 / 4×1) и B (1…8 реплик), метрики HAProxy и Postgres, графики, точка насыщения | метки серий и A/A в `evidence/bench/`, точка насыщения и её причина в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-scaling-bench/`; метки `scaling-a`, `-b`, `-pool`, `-aa` на коде `712d245`, серия B — до 6 реплик (бюджет ВМ); verify: 53300 → 503 (`68edc66`), выводы H1 и k_sat переписаны по критериям и разрешению сетки, причина насыщения — хост, механизм не разделён; по решению пользователя (S2) — серия `scaling-db`: при PostgreSQL 0,5 CPU R* 630 → 1 101 → 931 для 1 / 2 / 4 реплик; A/A улучшения — заново на коде «до») |
| 6 | `scaling-improvement` | 5 (трек 1) | Одно улучшение на найденном узком месте, «до/после» через `make bench_ab`, отделение эффекта от шума | `evidence/compare/` с эффектом больше шума A/A, вывод в `REPORT.md` |
| 6 | `scaling-improvement` | 5 (трек 1) | Одно улучшение на найденном узком месте, «до/после» через `make bench_ab`, отделение эффекта от шума | `evidence/compare/` с эффектом больше шума A/A, вывод в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-scaling-improvement/`; пул 10 + 0 вместо 10 + 5 (`9c3959d`), тест `test_pool_keeps_connections`; профиль `db4`; попытка 1 (`scaling-db-aa`, `-before`, `-nooverflow`) испорчена помехами хоста, попытка 2 (`scaling-db-aa2`, `-before2`, `-nooverflow2`, итоговый код `7a38c5d`): R* `4x1-pg0.5` 931 → 1 101, +18,3 %, «эффект», механизм 102 → 4 новых сессий; по букве критерия H4 проверка дрейфа нарушена на 0,4 п. п., засчитано с оговоркой решением пользователя — против A/A2 той же сессии дрейфа нет, +11,9 %; verify: порог × 1,118 в отчёте, дельта «Серии трека 1» (`db4`), побочная проверка LB в evidence) |
| 7 | — (отчёт и PR) | 3–5 | Сводка `REPORT.md`, проверка из чистого clone, шаблон PR, уборка переходных разделов | PR `ЛР 3 — БВТ2301 — Сафронов — на 5` |
Код лабы 2 (`bench_restore`, проверки отказов хранилищ, кэш) должен
@@ -597,7 +598,8 @@ design change, решение 1: сборка раньше миграций, м
годится: свою A/A (`make bench_scaling SERIES=ab SCALING_LABEL=…` на
коде «до») снимает этот change. Шум по `scaling-aa` — 5,4–5,7 %, одна
ступень сетки поиска (≈ 5,7 %); эффект R* засчитывается со сдвигом не
меньше двух ступеней (≥ 12 %) или с явной оговоркой (`bench.md`).
меньше двух ступеней (× 1,118, +11,8 %; порог уточнён до замеров
`scaling-improvement`) или с явной оговоркой (`bench.md`).
Кандидат по данным `scaling-bench` (verify S8): переполнение пула. На
R* при k ≥ 2 PostgreSQL открывает 168–298 новых соединений за окно 20 с
+48 -24
View File
@@ -460,7 +460,7 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`,
| «5», трек 1: исходные данные и графики | `make bench_plots`; таблицы меток | R* от числа реплик, p95 от интенсивности (лог. шкала, линия SLO), CPU по компонентам на R*; строка на ступень, на ячейку и посекундные отсчёты | `evidence/plots/scaling/*.svg`, `evidence/bench/scaling-*/runs.csv`, `searches.csv`, `samples.csv` |
| «5», трек 1: уровень шума для улучшения | `make bench_scaling SERIES=ab SCALING_LABEL=scaling-aa`; `make bench_compare BEFORE=scaling-b AFTER=scaling-aa`, `BEFORE=scaling-b AFTER=scaling-a` | шум между сессиями (B → A/A, тот же код `712d245`): 1 × 1 666 (666–704) → 704 (666–704), +5,7 % — одна ступень деления; 6 × 1 2 034 (1 923–2 034) → 2 034 (2 034–2 034), Δ в пределах одной ступени (< 5,7 %); разбросы пересекаются. Согласованность серий: 4 × 1 серии `a` и k = 4 серии `b` — 1 819 и 1 819. Для `scaling-improvement` `scaling-aa` как `AA` не годится: код после правки 53300 другой, A/A снимается заново | `evidence/compare/scaling-b__scaling-aa.md`, `evidence/compare/scaling-b__scaling-a.md` |
| «5», трек 1: одно подтверждённое улучшение — пул без переполнения (change `scaling-improvement`) | H4 закоммичена до замеров (`0b0421a`, набор ячеек — `1bb8ea6`, попытка 2 — `a676a52`); изменение `9c3959d` (дефолт `max_overflow` 5 → 0) откачено; в одной сессии хоста: A/A `make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa2`, затем `make bench_ab BEFORE=scaling-db-before2 AFTER=scaling-db-nooverflow2 REAPPLY=5c07923 SERIES=db4`; `make bench_compare … AA=scaling-db-aa2 CHANGE=scaling-improvement`. Попытка 1 — те же команды с метками без `2`, откат `62fa575` | **попытка 2 (окончательная, тихий хост):** основная `4x1-pg0.5` R* 931 (931–984) → 1 101 (1 101–1 101), +18,3 %, «эффект», шум A/A 5,4 %; механизм: новых сессий на первой нарушившей 102 → 4, соединений 60 → 40, CPU PostgreSQL на запрос там 416 → 336 мкс; контроль `4x1-pg2` +5,7 % (в пределах шума). **Подтверждено с оговоркой**: по букве критерия проверка дрейфа (CPU на запрос при 500/с ±5 %) у основной ячейки −5,4 % из-за двух ячеек «до» (переполнения при 500/с нет ни в одной метке); против A/A2 той же сессии (`make bench_compare BEFORE=scaling-db-aa2 AFTER=scaling-db-nooverflow2 AA=scaling-db-before2 CHANGE=scaling-improvement`) дрейфа нет — 1 940 → 1 936 мкс, R* 984 → 1 101, +11,9 % (две ступени), «эффект»; засчитано решением автора после результатов. Попытка 1: +32 %, но шум A/A 20 % из-за помех macOS (iCloud, Zoom) — не прошла дрейф | `evidence/compare/scaling-db-before2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-before2.md`, `evidence/bench/scaling-db-{aa2,before2,nooverflow2}/`, попытка 1 — `evidence/compare/scaling-db-before__scaling-db-nooverflow.md` и метки без `2`, `evidence/tests/scaling-improvement-checks.md` |
| Пул без переполнения: соединения не переоткрываются | `make failure_checks`: тест `test_pool_keeps_connections` (48 потоков × 5 запросов, пачки больше пула 10, счётчик `pg_stat_database.sessions` через hook `db-sessions`); рабочий `config.toml` с `max_overflow` 5 и 0 | 10 + 5 — красный: 18–24 новые сессии PostgreSQL за 720 запросов; 10 + 0 — 0, 17 проверок отказов прошли (4 прогона); регрессия на коде X: `make test`, `make student_test` (131 passed), `make test_isolated`, `make test-persistence`, `make test-failover` для обеих реплик — `PASS`; соединений приложения на рабочем стенде 17 ≤ 2 × 10 | `evidence/tests/scaling-improvement-checks.md` |
| Пул без переполнения: соединения не переоткрываются | `make failure_checks`: тест `test_pool_keeps_connections` (48 потоков × 5 запросов, пачки больше пула 10, счётчик `pg_stat_database.sessions` через hook `db-sessions`); рабочий `config.toml` с `max_overflow` 5 и 0 | 10 + 5 — красный: 18–21 новая сессия PostgreSQL за 720 запросов; 10 + 0 — 0, 17 проверок отказов прошли (4 прогона); регрессия на коде X: `make test`, `make student_test` (131 passed), `make test_isolated`, `make test-persistence`, `make test-failover` для обеих реплик — `PASS`; соединений приложения на рабочем стенде 17 ≤ 2 × 10 | `evidence/tests/scaling-improvement-checks.md` |
| Цена нового соединения PostgreSQL и пинга | микропроба в реплике рабочего стенда (`cd88b48`): проверка сессии и страница истории через repo, из пула с пингом, без пинга и с новым соединением на итерацию | новое соединение — 11,7–11,8 мс CPU реплики (SCRAM-SHA-256 asyncpg в event loop) и 2,7 мс CPU PostgreSQL против 0,6 и 0,15 мс из пула; пинг при выдаче — +0,13 мс реплики и +0,05 мс PostgreSQL на запрос | `evidence/storage/connection-cost.md` |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
@@ -695,7 +695,8 @@ swap занят 920 МиБ, но выгрузки за прогон не был
- **H3. Граница пула** (серия `pool`). Пул приложения — 10 + 5 = 15 на
реплику, пользователь приложения — суперпользователь (резерв
`superuser_reserved_connections` его не держит), сэмплер занимает 1
соединение. На дефолтах граница — k = 7, вне серии `b`; опыт — 4
соединение. На дефолтах граница — k = 7 (пул 10 + 5 того времени; с
10 + 0 change `scaling-improvement` — k = 10), вне серии `b`; опыт — 4
реплики при `max_connections` 100 (61 ≤ 100) и 50 (61 > 50).
- Предсказание: при 100 отказов «too many clients» нет, на R* и выше
`pool_busy_share` > 0, `db_conn_replica_max` доходит до 15; при 50,
@@ -711,8 +712,10 @@ swap занят 920 МиБ, но выгрузки за прогон не был
**H4. Пул без переполнения** (change `scaling-improvement`, design
решение 5). Записана после серий `scaling-bench` и до замеров «до/после»
этого change: коммит с H4 старше меток `scaling-db-aa`,
`scaling-db-before`, `scaling-db-nooverflow`.
этого change: коммит с H4 (`0b0421a`) старше меток попытки 1
(`scaling-db-aa`, `scaling-db-before`, `scaling-db-nooverflow`), а план
попытки 2 с тем же критерием (`a676a52`) — старше её меток
(`scaling-db-aa2`, `scaling-db-before2`, `scaling-db-nooverflow2`).
- **Утверждение.** У насыщенного PostgreSQL рост реплик вредит из-за
переполнения пула (10 + 5). Под нагрузкой реплики открывают
@@ -763,8 +766,9 @@ swap занят 920 МиБ, но выгрузки за прогон не был
(шаг сетки после двух делений 1,25^¼ ≈ 5,7 %; 931 → 1 041 — ровно две
ступени).
- **Подтверждено**, если выполнено всё:
1. у `4x1-pg0.5` вывод `make bench_compare … AA=scaling-db-aa` —
«эффект», и медиана «после» ≥ медиана «до» × 1,118;
1. у `4x1-pg0.5` вывод `make bench_compare … AA=scaling-db-aa` (в
попытке 2 — `AA=scaling-db-aa2`) — «эффект», и медиана «после» ≥
медиана «до» × 1,118;
2. механизм по таблице «PostgreSQL на R* и первой нарушившей
ступени»: «после» новых сессий за окно ≤ 10 на обеих ступенях,
соединений на R* ≤ 40; «до» на первой нарушившей — ≥ 40 новых
@@ -966,8 +970,8 @@ keep-alive-сессия держит своё соединение к каждо
хост** — общий CPU ноутбука для реплик, PostgreSQL, LB и генератора, а
не БД, LB или пул; каким механизмом секунда CPU дешевеет, замер не
разделяет. Границы пула и БД достижимы управляемыми опытами (серии
`pool` и `db`, ниже): на дефолтах граница пула — k = 7, за пределом
бюджета ВМ, а PostgreSQL 2 CPU занят на 1,1 ядра.
`pool` и `db`, ниже): на дефолтах граница пула — k = 7 (пул 10 + 5
того времени; с 10 + 0 — k = 10), за пределом бюджета ВМ, а PostgreSQL 2 CPU занят на 1,1 ядра.
Память нигде не была узким местом (раздел «Память» той же сводки,
пики за серию): RSS процесса реплики — 106–135 МиБ при лимите 512 МиБ
@@ -1061,7 +1065,8 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch
насыщается: 1,1 ядра из 2 при 6 репликах.
- **Пул** — показан управляемым опытом `scaling-pool`: при
`max_connections` 50 отказы «too many clients» с 1 455/с и R* 1 539
против 1 819; на дефолтах граница — k = 7, за бюджетом ВМ. За R* реплики
против 1 819; на дефолтах граница — k = 7 (пул 10 + 5 того времени; с
10 + 0 — k = 10), за бюджетом ВМ. За R* реплики
ждут свободное соединение пула до 5 с (503).
- **LB** — не насыщен ни в одной серии: HAProxy ≤ 0,30 ядра из 1,
очередь 0, ошибок соединения нет.
@@ -1154,8 +1159,8 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch
b → aa) — одна ступень деления. Оценён по двум конфигурациям × 3
повтора. Сдвиг на одну ступень при непересекающихся разбросах команда
назовёт эффектом, но он в пределах разрешения: эффект R* засчитывается
при сдвиге не меньше двух ступеней (≥ 12 %) или с оговоркой
(`bench.md`). Для `scaling-improvement` `scaling-aa` как `AA` не
при сдвиге не меньше двух ступеней (× 1,118, +11,8 %; порог уточнён
до замеров change `scaling-improvement`) или с оговоркой (`bench.md`). Для `scaling-improvement` `scaling-aa` как `AA` не
годится: правка 53300 (`68edc66`) изменила код приложения после неё,
поэтому A/A снимается заново на коде «до» (design, «Найдено в
verify»).
@@ -1220,11 +1225,12 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch
выдаче, рестарт PostgreSQL («БД вернулась»), «too many clients» (53300)
— без изменений, контракт и HTTP-поведение не меняются. Соединений
рабочего стенда — до 21 вместо 31. Свойство проверяет тест `fault`
`test_pool_keeps_connections`: на 10 + 5 — 18–24 новые сессии за
`test_pool_keeps_connections`: на 10 + 5 — 18–21 новая сессия за
720 запросов пачками по 48, на 10 + 0 — 0.
**Предсказание** — H4 выше, закоммичена до замеров (`0b0421a`); набор
ячеек сокращён до замеров решением пользователя (`1bb8ea6`).
ячеек сокращён до замеров решением пользователя (`1bb8ea6`); план
попытки 2 с тем же критерием — до её замеров (`a676a52`).
**Методика.**
@@ -1244,7 +1250,8 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch
`make bench_ab` и раз в минуту во время прогонов: питание от сети,
Zoom не запущен, средняя нагрузка за 5 мин < 8 (≤ 7,88), Spotlight
< 15 % CPU (≤ 12,6 %), выгрузок 0.
- Эффект — вывод `make bench_compare … AA=scaling-db-aa`: разбросы не
- Эффект — вывод `make bench_compare … AA=scaling-db-aa` (попытка 1) /
`AA=scaling-db-aa2` (попытка 2): разбросы не
пересекаются и Δ больше шума A/A; плюс сдвиг не меньше двух ступеней
сетки (× 1,118); плюс механизм по таблице PostgreSQL и отсутствие
дрейфа (CPU реплик на запрос на 500/с ±5 %, шум A/A меньше двух
@@ -1282,10 +1289,10 @@ PostgreSQL на R* и первой нарушившей ступени, «до
3. Дрейф — есть: CPU реплик на запрос на 500/с в пределах ±5 % (−3,8 %
и +2,0 %), но шум A/A — 20 %, больше двух ступеней. В метке «до» три
ячейки из шести (r2 и r3 основной, r3 контроля) шли на более
медленном хосте: CPU реплик на запрос уже на 250 и 500/с выше на
8–40 %, чем в остальных ячейках, — R* 745, 745 и 1 301. В A/A и
«после» таких ячеек нет (кроме «после» `4x1-pg0.5-r2`, +20 % на
500/с). Сверка с журналом питания macOS: на окнах этих ячеек —
медленном хосте: CPU реплик на запрос уже на 250 и 500/с выше
медианы A/A той же конфигурации на 7–38 % (на 250/с — +10…+24 %, на
500/с — +7…+38 %), — R* 745, 745 и 1 301. В A/A и «после» таких ячеек
нет (кроме «после» `4x1-pg0.5-r2`, +20 % к медиане A/A на 500/с). Сверка с журналом питания macOS: на окнах этих ячеек —
всплески синхронизации iCloud, смена аудиоустройства, запущенный
Zoom, у одной — 37 % свободной памяти. Помехи были вне ВМ Docker,
стенд их не видит.
@@ -1373,8 +1380,10 @@ CHANGE=scaling-improvement`
соединений и задержки event loop ~10 мс на каждое ушли.
**Что осталось узким местом.** Выше излома насыщенная база (0,5 CPU)
выбирает квоту при любом пуле: CPU PostgreSQL на запрос ~340–530 мкс
на нарушивших ступенях и «до», и «после». Изменение отодвигает момент,
выбирает квоту при любом пуле: CPU PostgreSQL на запрос на первой
нарушившей ступени `4x1-pg0.5` — 416 «до» и 336 «после» в попытке 2
(646 и 420 в попытке 1), против 277–293 на R*
(`evidence/compare/scaling-db-before2__scaling-db-nooverflow2.md`). Изменение отодвигает момент,
когда база туда сваливается, но насыщенную базу дешевле не делает. На
дефолтных лимитах рост реплик останавливает хост, и переоткрытие на R*
там — около 2 % CPU (design change, решение 3): контроль `4x1-pg2`
@@ -1387,7 +1396,16 @@ CHANGE=scaling-improvement`
- Помехи macOS вне ВМ (iCloud, Zoom, Spotlight) стенд не видит. Они
испортили попытку 1. В попытке 2 они ограничены условиями хоста, но
не исключены: CPU реплик на запрос между ячейками одной метки
расходится до 7,3 %.
расходится до 7,3 % у основной ячейки и до 12,2 % у контроля
(`scaling-db-before2`, `4x1-pg2`, 500/с: 1 898–2 130 мкс).
- LB не исключал реплики ни на одной ступени: `lb_chkdown` 0 во всех
239 ступенях шести меток, отказов «too many clients» 0. На R* и ниже
`error_codes` пуст во всех метках; 503 (ожидание пула дольше 5 с) —
только выше R* и в обеих версиях: на коде «до» (метки A/A и «до») —
1–13 за окно, «после» — 23 и 8
у `4x1-pg2-r3` на 2 274 и 2 034/с (R* ячейки 1 923). Заранее
записанная побочная проверка (design, решение 2 и Risks) выполнена
(`evidence/tests/scaling-improvement-checks.md`, раздел 11).
- Детектор дрейфа ±5 % оказался того же порядка, что и этот разброс.
- Один хост, генератор на нём же.
@@ -1411,7 +1429,8 @@ CHANGE=scaling-improvement`
ядрами и свободным CPU насыщение, вероятно, наступило бы позже; это
не проверялось.
- Серия `b` — до 6 реплик: при 7 сумма лимитов (12,75 CPU) больше 12
vCPU ВМ. Граница пула на дефолтах (k = 7) показана управляемым
vCPU ВМ. Граница пула на дефолтах (k = 7 при пуле 10 + 5 того
времени; с 10 + 0 — k = 10) показана управляемым
опытом (`max_connections` 50 при 4 репликах), а не ростом реплик.
- Насыщение БД показано управляемым опытом: лимит PostgreSQL 0,5 CPU
вместо 2 (серия `db`). Эффект соединений у насыщенной базы (CPU на
@@ -1586,7 +1605,8 @@ TODO: какие отказы выдерживаются и какие нет;
проверка дрейфа (±5 % CPU на запрос при 500/с) дала −5,4 %.
- Попытку 1 испортили помехи macOS: шум A/A 20 %.
- Детектор ±5 % оказался того же порядка, что разброс CPU на запрос
между ячейками одной метки на этом хосте (до 7,3 %).
между ячейками одной метки на этом хосте (до 7,3 % у основной ячейки
и до 12,2 % у контроля, `scaling-db-before2`, `4x1-pg2`, 500/с).
- Сказать, сдвигает ли изменение R* на дефолтных лимитах, нельзя:
там рост останавливает хост, а переоткрытие на R* — около 2 % CPU
(design change, решение 3).
@@ -1746,7 +1766,11 @@ k = 6, вместе с числом занятых ядер хоста. Доба
PostgreSQL 0,5 CPU база насыщается около 950–1 000/с (троттлинг до
100 %, `db_cpu`), и 4 реплики дают R* на 15 % меньше, чем 2 (931 против
1 101): лишние реплики только добавляют соединения, и запрос в
насыщенной базе дорожает с 279 до 441 мкс CPU. Серия `pool`: при
насыщенной базе дорожает с 279 до 441 мкс CPU. Главная причина —
переполнение пула 10 + 5: соединения сверх 10 переоткрываются. С пулом
10 + 0 (change `scaling-improvement`) R*(4 × 1) = 1 101 = R*(2 × 1),
новых сессий на первой нарушившей ступени 102 → 4 (раздел «Улучшение
по найденному узкому месту: пул без переполнения»). Серия `pool`: при
`max_connections` 50 — отказы и падение R* на 15 % (после правки 53300
отказ — 503). LB не насыщался нигде: ≤ 0,30 ядра из 1.
+40 -2
View File
@@ -221,8 +221,9 @@ CPU реплик на запрос, мкс, на 250 / 500 запросов/с
В метке «до» три ячейки из шести (r2 и r3 основной, r3 контроля)
шли на заметно более медленном хосте: CPU на запрос на тех же 250 и
500/с выше на 8–40 %, ещё до насыщения базы. Именно у них R* 745 и
1 301.
500/с выше медианы A/A той же конфигурации на 7–38 % (на 250/с — к
2 127 и 2 143, на 500/с — к 2 042), ещё до насыщения базы. Именно у них
R* 745 и 1 301.
Сверка по журналу питания macOS (`pmset -g log`, основная сессия; здесь
обобщённо, сырой журнал не кладётся — в нём имя устройства): на окнах
@@ -380,6 +381,33 @@ $ make bench_compare BEFORE=scaling-db-aa2 AFTER=scaling-db-nooverflow2 AA=scali
CPU на запрос при 500/с ±0,4 %, дрейфа нет; 1 101 / 984 = 1,119 ≥
1,118 (две ступени), разбросы не пересекаются.
Разброс CPU реплик на запрос между ячейками одной метки попытки 2 (по
таблице выше): у основной ячейки до 7,3 % (`scaling-db-before2`,
500/с, 1 914–2 054), у контроля до 12,2 % (`scaling-db-before2`,
`4x1-pg2`, 500/с, 1 898–2 130), у A/A2 `4x1-pg0.5` на 250/с — 8,0 %
(2 007–2 168).
**Побочная проверка LB и ответов** (design, решение 2 и Risks, задача
7.2: `/health/ready` ждёт в очереди пула; исключение реплики на R* и
ниже — изменение не засчитывается). Поля `lb_chkdown`,
`db_too_many_clients` и `error_codes` в `runs.csv` шести меток (строка
на ступень), ступень сравнивается с R* своей ячейки из `searches.csv`:
| Метка | Ступеней | `lb_chkdown` | «too many clients» | `error_codes` на R* и ниже | `error_codes` выше R* |
|---|---|---|---|---|---|
| `scaling-db-aa` | 40 | 0 | 0 | — | `4x1-pg2-r1` 1 819/с `503:13`; `4x1-pg2-r2` 1 819/с `503:1` |
| `scaling-db-before` | 41 | 0 | 0 | — | `4x1-pg0.5-r1` 1 455/с `503:1`; `4x1-pg2-r2` 1 819/с `503:1`; `4x1-pg2-r3` 1 455/с `503:1` |
| `scaling-db-nooverflow` | 40 | 0 | 0 | — | — |
| `scaling-db-aa2` | 39 | 0 | 0 | — | `4x1-pg0.5-r1` 1 455/с `503:1` |
| `scaling-db-before2` | 39 | 0 | 0 | — | — |
| `scaling-db-nooverflow2` | 40 | 0 | 0 | — | `4x1-pg2-r3` (R* 1 923) 2 274/с `503:23`, 2 034/с `503:8` |
LB не исключал реплики ни на одной из 239 ступеней, отказов «too many
clients» нет. На R* и ниже ответов 5xx нет ни в одной метке; 503 (запрос
ждал соединение пула дольше `pool_timeout` 5 с) — только выше R* и в
обеих версиях кода. Условие design выполнено: изменение
отказоустойчивость не ломает.
## 8. Итоговый код
```text
@@ -407,3 +435,13 @@ CHAIN EXIT 0
```
Метки `quick-*` — в `.gitignore`.
Итоговый код change — `7a38c5d` (возврат X после попытки 2), проверки
выше сняты на `cd88b48`. Между ними код приложения и стенда не
менялся, поэтому регрессия и цена соединения
(`evidence/storage/connection-cost.md`) относятся и к итоговому коду:
```text
$ git diff --stat cd88b48 HEAD -- src Dockerfile pyproject.toml uv.lock bench .dockerignore .python-version migrations docker-compose.yml infra config_example.toml
(пусто; HEAD — cb984c1, проверка verify и fixes)
```
+12 -8
View File
@@ -239,7 +239,9 @@ uv.lock` пуст.
> предсказания и пункт дрейфа по `2x1-pg0.5` из решения 5 сняты (H4 в
> `REPORT.md` записана уже с сокращённым набором). «R*(4 × 1) ≥ R*(2 × 1)»
> — только справка против `2x1-pg0.5` метки `scaling-db` (другая
> сессия). Дальше в этом решении — исходный выбор.
> сессия). Новый профиль требует дельты «Серии трека 1» в
> `specs/load-benchmark/spec.md` (серия `db4`; добавлена по verify, W2).
> Дальше в этом решении — исходный выбор.
Серия `db` тем же профилем `scaling_db`, что у метки `scaling-db`:
- 1, 2 и 4 реплики по 1 CPU при PostgreSQL 0,5 CPU;
@@ -672,7 +674,7 @@ bench_compare`. `PLAN.md` — при archive.
сбрасывает статистику принудительно по таймеру `PGSTAT_IDLE_INTERVAL`
(10 с).
Проверка: красный на 10 + 5 (18–24 новые сессии), зелёный на 10 + 0
Проверка: красный на 10 + 5 (18–21 новая сессия), зелёный на 10 + 0
три полных прогона подряд. Исправления — коммиты X2 (`623a973`) и X3
(`80e64cd`), R откатывает X, X2 и X3 вместе (задачи 3.7, 4.1). Свойство
и порог теста не ослаблены: окно по-прежнему требует 0 новых сессий.
@@ -686,11 +688,12 @@ bench_compare`. `PLAN.md` — при archive.
прошли заранее записанный пункт 3 критерия. Шум A/A был 20 %, а в
ячейках CPU реплик на запрос при 500/с отклонялся больше чем на ±5 %.
Причина — помехи вне ВМ Docker; основная сессия сверила это по
журналу питания macOS:
- «до» `4x1-pg0.5-r2`: CPU на запрос при 500/с +8 % к A/A, на окне —
всплеск синхронизации iCloud и смена аудиоустройства;
- «до» `4x1-pg0.5-r3`: +10 %, посреди ячейки запущен Zoom;
- «до» `4x1-pg2-r3`: +40 %, свободной памяти 37 %;
журналу питания macOS (CPU реплик на запрос при 500/с — к медиане
A/A той же конфигурации, 2 042 мкс у обеих):
- «до» `4x1-pg0.5-r2`: +7 %, на окне — всплеск синхронизации iCloud
и смена аудиоустройства;
- «до» `4x1-pg0.5-r3`: +9 %, посреди ячейки запущен Zoom;
- «до» `4x1-pg2-r3`: +38 %, свободной памяти 37 %;
- «после» `4x1-pg0.5-r2`: +20 %, работали Zoom и iCloud.
Против чистой базы того же кода (`scaling-db` 931 ×3, медиана A/A
@@ -724,7 +727,8 @@ bench_compare`. `PLAN.md` — при archive.
По букве критерия H4 не подтверждена, порог не менялся. Детектор
±5 % оказался того же порядка, что разброс CPU на запрос между
ячейками одной метки (до 7,3 %). Это урок для следующих замеров, а не
ячейками одной метки (до 7,3 % у основной ячейки и до 12,2 % у
контроля: `scaling-db-before2`, `4x1-pg2`, 500/с). Это урок для следующих замеров, а не
повод менять порог задним числом.
4. **Решение пользователя, 2026-10-11, после результатов попытки 2:
улучшение засчитывается с явной оговоркой.** Это анализ после
@@ -50,6 +50,11 @@
`scaling-db-nooverflow`;
- затем `make bench_compare … AA=scaling-db-aa`.
Попытку 1 испортили помехи хоста, и замер переснят тем же порядком с
тем же критерием (попытка 2, окончательная): метки `scaling-db-aa2`,
`scaling-db-before2`, `scaling-db-nooverflow2` (design, «Найдено в
apply», п. 3 и 4).
Изменение засчитывается при сдвиге R* основной ячейки 4 × 1 при
0,5 CPU не меньше чем на две ступени сетки и больше шума A/A. Ещё
нужно, чтобы таблица PostgreSQL подтвердила механизм, а CPU на запрос
@@ -86,7 +91,9 @@
- «Сравнение „до/после“ в отчёте» — замер и на серии трека 1:
- A/A того же кода в той же сессии;
- эффект R* — не меньше двух ступеней сетки;
- контрольные конфигурации.
- контрольные конфигурации;
- «Серии трека 1» — серия `db4` (добавлена в apply): две конфигурации
серии `db` для «до/после».
## Impact
@@ -105,19 +112,24 @@
`--change`);
- `Makefile` (`CHANGE` у `bench_compare`).
Профили, `run.py`, k6 и лимиты не меняются. Серия `db` снимается тем
же профилем `scaling_db`.
k6 и лимиты не меняются. В `run.py` добавлен профиль `scaling_db4`
(`SERIES=db4`, две конфигурации серии `db` с теми же полями; в apply,
`1bb8ea6`), им сняты все метки change; дельта `load-benchmark`, «Серии
трека 1».
- **Граница пула** уходит с k = 7 на k = 10 (10 × 10 + 1 > 100). Метки
`scaling-a`, `-b`, `-pool`, `-aa`, `-db` остаются результатом пула
10 + 5.
- **Evidence:**
- метки `evidence/bench/scaling-db-aa/`, `scaling-db-before/`,
`scaling-db-nooverflow/`;
- `evidence/compare/scaling-db-before__scaling-db-nooverflow.md` и
таблица A/A;
`scaling-db-nooverflow/` (попытка 1) и `scaling-db-aa2/`,
`scaling-db-before2/`, `scaling-db-nooverflow2/` (попытка 2);
- `evidence/compare/scaling-db-before__scaling-db-nooverflow.md`,
`scaling-db-before2__scaling-db-nooverflow2.md`, таблицы A/A и
сравнение «после» с A/A2 (`scaling-db-aa2__scaling-db-nooverflow2.md`);
- `evidence/storage/connection-cost.md` — цена соединения и пинга;
- `evidence/tests/scaling-improvement-checks.md`.
- **Документы:** `REPORT.md`, `AGENTS.md`, `PLAN.md`, правила
`bench.md`, `infra.md`, `student-tests.md` (действие hook).
- **Время:** около 2,5 ч замеров (A/A ~50 мин, `make bench_ab` ~100
мин), всё — фоновыми командами.
- **Время:** план — около 2,5 ч замеров (A/A ~50 мин, `make bench_ab`
~100 мин), всё — фоновыми командами. Фактически, с профилем `db4`, —
две попытки по ~1 ч 20 мин (A/A ~25 мин, `make bench_ab` 50–53 мин).
@@ -197,3 +197,115 @@ SHALL быть change, к которому относится сравнение
выводом сравнения и сдвиг основной конфигурации в ступенях сетки
- **AND** механизм изменения показан числами из таблиц команд, а не
пересчётом вручную
### Requirement: Серии трека 1
Команда `make bench_scaling SERIES=<серия>` SHALL снимать серию трека 1
«Цена масштабирования» под меткой `SCALING_LABEL` (по умолчанию
`scaling-<серия>`) в `evidence/bench/<метка>/`. Серия — набор
конфигураций стенда. Конфигурация задаёт число реплик приложения, лимит
CPU и памяти реплики и предел соединений PostgreSQL. Серии:
- `a` — фиксированный суммарный бюджет приложения 4 CPU / 2 ГиБ:
1 реплика × 4 CPU / 2 ГиБ, 2 × 2 CPU / 1 ГиБ, 4 × 1 CPU / 512 МиБ;
- `b` — рост ресурсов: 1, 2, 3, 4, 5 и 6 реплик по 1 CPU / 512 МиБ;
- `pool` — граница пула: 4 реплики по 1 CPU / 512 МиБ при пределе
соединений PostgreSQL 100 и 50;
- `ab` — 1 и 6 реплик по 1 CPU / 512 МиБ, как в серии `b`: одна
реплика и наибольшая конфигурация в бюджете ВМ, для замера
«до/после» и уровня шума A/A;
- `db` — насыщение PostgreSQL управляемым опытом: 1, 2 и 4 реплики по
1 CPU / 512 МиБ при узком лимите CPU PostgreSQL (выбран калибровкой,
записан в паспорт и имя конфигурации) и контроль — 4 реплики при
прежних 2 CPU PostgreSQL. Лимит CPU PostgreSQL у этой серии — часть
конфигурации;
- `db4` — две конфигурации серии `db` для замера «до/после»: 4 реплики
по 1 CPU / 512 МиБ при узком лимите CPU PostgreSQL и при 2 CPU, с теми
же полями и лимитами, что у `db`. Имя серии и состав конфигураций к
методике сравнения не относятся: метки `db4` сравнимы с метками `db`
по общим конфигурациям;
- короткие серии самопроверки — `make bench_scaling_quick` и `make
bench_scaling SERIES=db_quick` с меткой `quick-…`, в git не идут.
Лимиты LB, Valkey и генератора, профиль нагрузки, ступени и SLO SHALL
быть одинаковыми во всех сериях; лимит PostgreSQL — тоже, кроме
конфигураций серий `db` и `db4`. В каждой конфигурации серий
`a`, `b`, `pool`, `ab`, `db` и `db4` сумма лимитов CPU стенда и
генератора MUST NOT превышать число CPU ВМ Docker: иначе команда
завершается с ненулевым кодом до запуска стенда. Паспорт SHALL
содержать по каждой конфигурации сумму лимитов CPU и памяти, а также CPU
и память ВМ.
Ячейка серии — конфигурация в одном повторе. Каждая конфигурация SHALL
сниматься 3 раза. Каждая ячейка SHALL начинаться со свежего стенда:
новый volume, миграции, данные профиля. Порядок ячеек SHALL
перемешиваться кругами: в каждом круге каждая конфигурация встречается
один раз, порядок задан зерном методики и записан в метку до первой
ячейки.
Результат ячейки SHALL сохраняться сразу после неё. Прерванную серию
SHALL можно продолжить той же командой с `RESUME=1`. Продолжение
работает только на том же commit без незакоммиченных изменений:
- снимаются ячейки, которых в метке нет;
- прерванная ячейка снимается заново с новым номером попытки; строки
прежней попытки остаются в таблице, но в сводку не входят.
Стенд, оставшийся от прерванного прогона, серия SHALL удалять сама, без
ручной уборки, если другой прогон стенда не идёт.
Во время серии команда SHALL печатать строку на каждую ступень: ячейку
и её номер из общего числа, ступень, уровень, итог и оценку времени до
конца серии. Файл состояния в каталоге метки SHALL показывать текущие
ячейку и ступень.
#### Scenario: Серия с фиксированным бюджетом
- **WHEN** выполняется `make bench_scaling SERIES=a`
- **THEN** в метке 9 ячеек (3 конфигурации × 3 повтора), каждая на
свежем стенде, суммарный лимит реплик в каждой конфигурации — 4 CPU и
2 ГиБ, код выхода 0
#### Scenario: Бюджет помещается в ВМ
- **WHEN** проверяющий открывает паспорт серии `a`, `b`, `pool`, `ab`,
`db` или `db4`
- **THEN** у каждой конфигурации сумма лимитов CPU стенда и генератора
не больше числа CPU ВМ, а сумма лимитов памяти записана рядом с
памятью ВМ
#### Scenario: Насыщение PostgreSQL
- **WHEN** выполняется `make bench_scaling SERIES=db`
- **THEN** в метке все конфигурации серии × 3 повтора в перемешанном
порядке на одном коде; у каждой конфигурации в паспорте — лимит CPU
PostgreSQL, прочитанный у контейнера, а сводка показывает R*, CPU
PostgreSQL на R* относительно лимита и его троттлинг
#### Scenario: Подмножество серии для «до/после»
- **WHEN** выполняется `make bench_scaling SERIES=db4`
- **THEN** в метке 6 ячеек (2 конфигурации серии `db` × 3 повтора) в
перемешанном порядке на одном коде, с теми же полями паспорта и
сводки, что у серии `db`
- **AND** `make bench_compare` сравнивает её с меткой серии `db` или
`db4` по общим конфигурациям без отказа «разная методика»
#### Scenario: Перемешанный порядок
- **WHEN** серия запущена дважды с тем же профилем
- **THEN** порядок ячеек одинаков, в каждом круге каждая конфигурация
встречается ровно один раз, а порядок записан в метке
#### Scenario: Продолжение прерванной серии
- **WHEN** серия прервана на ячейке k, а затем запущена с `RESUME=1` на
том же commit
- **THEN** снимаются только ячейки, которых в метке нет, начиная с
прерванной, остатки стенда удалены без ручных команд, в конце метка
завершена
#### Scenario: Продолжение на другом коде
- **WHEN** `RESUME=1` запускается на другом commit или с
незакоммиченными изменениями
- **THEN** команда завершается с ненулевым кодом до запуска стенда и
называет причину
+5 -1
View File
@@ -50,7 +50,11 @@ COMPOSE_FILES = (
)
PROJECT_SUFFIX = "-failures"
SERVICES = ("postgres", "valkey")
# та же проверка, что в healthcheck сервиса в docker-compose.yml
# та же проверка, что в healthcheck сервиса в docker-compose.yml. У
# PostgreSQL стенда отказов healthcheck переопределён на базу postgres
# (failures.compose.yml), а проба после start / unpause ходит в базу
# приложения и добавляет в её pg_stat_database одну сессию: тест «Соединения
# пула не переоткрываются» start в своём окне не вызывает
PROBES = {
"postgres": 'pg_isready -q -h 127.0.0.1 -U "$POSTGRES_USER" '
'-d "$POSTGRES_DB"',