From 25f196202167be3989ec79a461b456d8520e19da Mon Sep 17 00:00:00 2001 From: roman Date: Sun, 11 Oct 2026 21:36:21 +0300 Subject: [PATCH] docs: address scaling-improvement verify findings Fix the two-step threshold (x1.118), CPU-per-request spread and PostgreSQL ranges in REPORT.md and design, record the LB side check (lb_chkdown, error_codes) in evidence, add the db4 series to the load-benchmark delta, refresh AGENTS.md, bench.md, PLAN.md and proposal, and log the swapouts_delta passport defect. Co-Authored-By: Claude Opus 5.5 --- .claude/rules/bench.md | 15 ++- .claude/rules/student-tests.md | 4 +- AGENTS.md | 13 +- KNOWN_ISSUES.md | 15 +++ PLAN.md | 12 +- REPORT.md | 72 +++++++---- evidence/tests/scaling-improvement-checks.md | 42 ++++++- .../changes/scaling-improvement/design.md | 20 ++-- .../changes/scaling-improvement/proposal.md | 28 +++-- .../specs/load-benchmark/spec.md | 112 ++++++++++++++++++ student-tests/fault_hook.py | 6 +- 11 files changed, 278 insertions(+), 61 deletions(-) diff --git a/.claude/rules/bench.md b/.claude/rules/bench.md index aeaa9d54..6f7c2b37 100644 --- a/.claude/rules/bench.md +++ b/.claude/rules/bench.md @@ -80,7 +80,7 @@ paths: | `run.py` (профили `restore`, `restore_quick`), `k6/after_backup.js`, `k6/restore_check.js` | `make bench_restore`, `make bench_restore_quick` | тот же стенд без матрицы прогонов: backup под записью, восстановление в новое хранилище, сверка, RTO и потеря, кэш до и после `FLUSHALL` | | `run.py` (профили `failover`, `failover_quick`), `failover.py`, `k6/failover.js`, `k6/retry.js` | `make bench_failover`, `make bench_failover_quick` | две реплики с лимитами рабочего стенда, постоянная интенсивность записи с ключом и чтения, каждая реплика в каждом режиме (`stop`, `kill`, `pause`) с возвратом: посекундная шкала, время обнаружения и восстановления, сверка записей; результаты — `evidence/failover/<метка>/` | | `run.py` (профили `rollout`, `rollout_quick`), `rollout.py`, `k6/failover.js`, `k6/retry.js`, `scripts/rolling-update.sh` | `make bench_rollout`, `make bench_rollout_quick` | две реплики с лимитами рабочего стенда на образе прежнего commit, та же постоянная нагрузка, посреди неё — поочерёдная замена на образ текущего checkout: посекундная шкала с ответами старых и новых реплик, шаги по каждой реплике, контейнеры, образы и ревизия схемы до и после, сверка записей; результаты — `evidence/rollout/<метка>/` | -| `run.py` (профили `scaling_*`), `scaling.py`, `sampler.sh`, `k6/mixed.js` | `make bench_scaling SERIES=a\|b\|pool\|ab\|db`, `make bench_scaling_quick`, `SERIES=db_quick` | серии трека 1: конфигурации реплик и лимитов, на каждую ячейку — свежий стенд, открытая модель, фиксированные уровни и поиск R* по SLO, посекундный сэмплер контейнеров, ВМ, LB и PostgreSQL; результаты — `evidence/bench/<метка>/` | +| `run.py` (профили `scaling_*`), `scaling.py`, `sampler.sh`, `k6/mixed.js` | `make bench_scaling SERIES=a\|b\|pool\|ab\|db\|db4`, `make bench_scaling_quick`, `SERIES=db_quick` | серии трека 1: конфигурации реплик и лимитов, на каждую ячейку — свежий стенд, открытая модель, фиксированные уровни и поиск R* по SLO, посекундный сэмплер контейнеров, ВМ, LB и PostgreSQL; результаты — `evidence/bench/<метка>/` | | `plots.py` | `make bench_plots LABELS="…"` | графики SVG и сводка серий (R* от числа реплик, p95 от интенсивности, CPU по компонентам, точка насыщения) — `evidence/plots//` | | `compare.py` | `make bench_compare` | дельта двух меток стенда (ячейки матрицы или общие конфигурации серий), эффект или шум | | `ab.py` | `make bench_ab [SERIES=…]` | стенд «до» и «после» одного изменения подряд, в одной сессии хоста; с `SERIES` — серия трека 1 вместо матрицы | @@ -240,16 +240,19 @@ paths: и контроль 4 × 1 при 2 CPU (насыщение БД управляемым опытом; лимит PostgreSQL — пятый элемент конфигурации, имя `x1-pg`); `db4` — две ячейки серии `db` (4 × 1 при 0,5 и 2 CPU) для «до/после» change - `scaling-improvement` (метки `scaling-db-aa`, `scaling-db-before` — - пул 10 + 5, `scaling-db-nooverflow` — 10 + 0; метки `scaling-a`, `-b`, - `-pool`, `-aa`, `-db` сняты на 10 + 5); `quick` и `db_quick` — + `scaling-improvement`: окончательные метки попытки 2 — + `scaling-db-aa2`, `scaling-db-before2` (пул 10 + 5) и + `scaling-db-nooverflow2` (10 + 0); попытка 1 (`scaling-db-aa`, + `-before`, `-nooverflow`) испорчена помехами хоста и оставлена как + есть; метки `scaling-a`, `-b`, `-pool`, `-aa`, `-db` сняты на + 10 + 5); `quick` и `db_quick` — самопроверки. Общие поля — в `scaling_profile()` `run.py`, чтобы методика серий не расходилась. - **Бюджет:** PostgreSQL 2 / 1 ГиБ, HAProxy 1 / 256 МиБ, Valkey 0,5 / 128 МиБ, k6 2 / 1 ГиБ, сэмплер 0,25 / 128 МиБ — 5,75 CPU без реплик. Сумма CPU конфигурации больше CPU ВМ — отказ до стенда (код 2); поэтому - серия `b` — до 6 реплик (11,75 CPU), граница пула на дефолтах (k = 7) - — управляемым опытом `pool`. Бюджет — `meta.budget`. + серия `b` — до 6 реплик (11,75 CPU), граница пула при 10 + 5 того + времени (k = 7) — управляемым опытом `pool`; с 10 + 0 — k = 10. Бюджет — `meta.budget`. - **Ячейка** — конфигурация × повтор, 3 повтора, каждая на свежем стенде (`down -v`, миграции, данные: читаемый чат 10 000, 10 чатов записи). Порядок — круги, перестановка с зерном `order_seed`, повтор одной diff --git a/.claude/rules/student-tests.md b/.claude/rules/student-tests.md index a914e2d7..8d6b7a41 100644 --- a/.claude/rules/student-tests.md +++ b/.claude/rules/student-tests.md @@ -113,7 +113,9 @@ paths: - Как устроен `make failure_checks` (`student-tests/run_failures.py`): - тот же `docker-compose.yml` под проектом `<рабочий>-failures` с override `failures.compose.yml`: свои Postgres и Valkey со своим - volume, их порты не публикуются; + volume, их порты не публикуются, healthcheck PostgreSQL проверяет + служебную базу `postgres` (иначе каждая проверка — сессия в базе + приложения и шум счётчика `db-sessions`); - два API на свободных портах `127.0.0.1`: обычный (`BASE_URL`) и «тесный» (`FAULT_TIGHT_BASE_URL`: сроки сессии и ключа идемпотентности 2 с, пул 1, короткие таймауты); diff --git a/AGENTS.md b/AGENTS.md index 812d9bd4..34f12976 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -134,7 +134,8 @@ change — в архиве. После замен реплики называю change, «Найдено в apply», п. 4). Дальше — verify и archive; change не в архиве. - `REPORT.md` заполнен для уровней «3», «4», серий трека 1 и - улучшения (с отрицательным результатом по критерию). + улучшения (засчитано с оговоркой; по букве критерия — не + подтверждено). Закрытый пункт убрать отсюда, закрытый переход — удалить раздел. @@ -299,7 +300,7 @@ change — в архиве. После замен реплики называю | `make wipe_data` | `down -v` — удалить данные стенда (и кэш); только после ввода `yes` | | `make test_isolated [KEEP_TEST_DB=1]` | образ на временной базе `test_` с Valkey стенда (ключи разделены именем базы): сборка, миграции, отдельный контейнер API на `TEST_APP_PORT`, `make test` + `make student_test EXPECT_REPLICAS=1` (тесты реплик пропускаются с причиной), уборка при любом исходе (`student-tests.md`) | | `make student_test [BASE_URL=...] [EXPECT_REPLICAS=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); `EXPECT_REPLICAS` (по умолчанию `API_REPLICAS`) — сколько реплик за `BASE_URL`, против одного процесса — 1; сервер недоступен — код 2 и одна строка с адресом | -| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, ~45 с) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres и Valkey, обычный и «тесный» API (срок 2 с, пул 1), hook `student-tests/fault_hook.py`; стенд и его volume удаляются при любом исходе, рабочий не трогается (`student-tests.md`) | +| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, ~60 с) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres и Valkey, обычный и «тесный» API (срок 2 с, пул 1), hook `student-tests/fault_hook.py`; стенд и его volume удаляются при любом исходе, рабочий не трогается (`student-tests.md`) | | `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k читаемого чата плюс 100 000 сообщений в 1 110 фоновых чатах разного размера (~35 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (HAProxy и одна реплика API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда; k6 ходит через LB); на каждый размер — свежий стенд, `VACUUM (ANALYZE)`, планы запроса истории (`auto_explain`) по уровням чатов с вариантами индекса и запроса, в конце — пробы стоимости записи по вариантам. Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) | | `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт | | `make bench_restore [RESTORE_LABEL=...]` | трек 2, восстановление (~20 мин, метка `restore` по умолчанию): тот же стенд и данные, без матрицы прогонов; на каждый размер — `pg_dump` во время записи через HTTP, активность после backup, `pg_restore -j` в новый контейнер Postgres на новом volume, сверка обеих баз построчно, переключение API, проверки через HTTP до и после `FLUSHALL`; время dump / restore / RTO и потерянные сообщения — в `summary.md` | @@ -329,7 +330,7 @@ change — в архиве. После замен реплики называю src/ __main__.py # python -m src → main.main() main.py # FastAPI app: lifespan, middlewares, обработчики ошибок, uvicorn.run - config/settings.py # Settings (pydantic-settings), экземпляр settings; [app] instance_id (пусто → hostname) и keep_alive_seconds, [database] idle_in_transaction_timeout_ms, [idempotency] ttl_seconds + config/settings.py # Settings (pydantic-settings), экземпляр settings; [app] instance_id (пусто → hostname) и keep_alive_seconds, [database] pool_size 10 и max_overflow 0 (постоянный пул без переполнения), idle_in_transaction_timeout_ms, [idempotency] ttl_seconds api/ routers/health.py # /health/live, /health/ready: вне версии, без идентификации routers/v1/.py # ручки под /api/v1, сборка в routers/v1/__init__.py; Idempotency-Key — параметр POST сообщения (message.py) @@ -371,8 +372,8 @@ student-tests/ # black-box тесты по HTTP (уровень 4) test_failures.py # проверки отказов (маркер fault): только make failure_checks run_isolated.py # make test_isolated: образ на временной базе test_ (stdlib) run_failures.py # make failure_checks: стенд <рабочий>-failures, два API, pytest -m fault, уборка (stdlib) - fault_hook.py # hook стенда отказов: stop/start/pause/unpause, кэш, триггеры сбоя участников и сообщений, заполнение слотов max_connections (stdlib) - failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, LB) + fault_hook.py # hook стенда отказов: stop/start/pause/unpause, кэш, триггеры сбоя участников и сообщений, заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions (stdlib) + failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, LB), healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения) bench/ # нагрузочный стенд на HAProxy + N реплик API + Postgres + Valkey: make bench / bench_quick / bench_restore / bench_failover / bench_rollout / bench_scaling run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover, профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json scaling.py # серии трека 1 без docker: лестница и автомат поиска R*, разбор итога k6 и строк сэмплера, агрегаты окна, вердикт SLO и брака генератора, признаки узкого места (THRESHOLDS), предельный CPU на запрос, сводка серии; --selftest @@ -408,7 +409,7 @@ evidence/failover/<метка>/ # результаты make bench_failover: п evidence/rollout/ # совместимость старого образа с новой схемой, make rolling_update и жизненный цикл стенда после замены, отказы скрипта (Ctrl+C, слоты, lock_timeout миграции) evidence/rollout/<метка>/ # результаты make bench_rollout: паспорт с контейнерами, образами и ревизией до и после, rollout.csv, replicas.csv, timeline.csv, summary.md, строки скрипта, журнал LB evidence/bench/<метка>/ # результаты make bench / bench_restore: паспорт, прогоны, наполнение, сводка (планы, стоимость записи, восстановление), планы explain-<размер>.txt, сырые итоги k6 -evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx +evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL; db4 — «до/после» пула без переполнения: scaling-db-aa*, -before*, -nooverflow*, окончательные — с суффиксом 2): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx evidence/plots/scaling/ # make bench_plots по сериям a и b: графики SVG и summary.md (R*, эффективность, точка насыщения, цена запроса, память) evidence/plots/scaling-db/ # make bench_plots по серии db: R* по лимитам PostgreSQL и раздел «Насыщение PostgreSQL» evidence/compare/ # таблицы make bench_compare: <до>__<после>.md diff --git a/KNOWN_ISSUES.md b/KNOWN_ISSUES.md index 40a9671e..b0b5b292 100644 --- a/KNOWN_ISSUES.md +++ b/KNOWN_ISSUES.md @@ -85,3 +85,18 @@ true` у `postgres` в `student-tests/failures.compose.yml` (tini реапит сирот сам), либо держать `psql` детьми долгоживущего `sh` (`wait` в конце `FILL_SH`, `CLEAR_FILL_SH` убивает группу процессов). + +## Паспорт метки без `swapouts_delta`, когда счётчик выгрузок равен 0 + +- **Где:** `bench/run.py`, конец `main()` — условие `if + state.get("swapouts") is not None and end_state.get("swapouts"):`. +- **Что не так:** при `Swapouts` 0 в конце прогона (хост после + перезагрузки) второе условие ложно, и `host_state.swapouts_delta` в + `meta.json` не пишется, хотя `start` и `end` (0 и 0) записаны. Так у + меток `scaling-db-aa2`, `scaling-db-before2`, `scaling-db-nooverflow2`. + Предупреждение о выгрузке (`swap_warning`) и проверка в + `bench/compare.py` работают верно: страдает только поле паспорта. +- **Найдено:** verify change `scaling-improvement` (2026-10-11, S5). +- **Предложение:** `end_state.get("swapouts") is not None`. Правка + меняет код стенда `bench/`: делать её между сериями, а не посреди + «до/после». diff --git a/PLAN.md b/PLAN.md index 091663f8..80b7aa4e 100644 --- a/PLAN.md +++ b/PLAN.md @@ -170,9 +170,10 @@ Swarm дал бы встроенный rolling update (`update_config`), но э - Лимиты CPU/RAM у каждого сервиса стенда: api, haproxy, postgres, valkey, migrate. - Соединения Postgres: `API_REPLICAS × (pool_size + max_overflow)` + - migrate + запас ≤ `max_connections`. Сейчас пул 10 + 5 на реплику: - при 2–4 репликах запас есть, при 8 — уже нет (120 > 100). Это одна из - гипотез трека 1. + migrate + запас ≤ `max_connections`. Сейчас пул 10 + 0 на реплику + (change `scaling-improvement`; было 10 + 5): граница — 10 реплик + (10 × 10 + 1 > 100), при 10 + 5 была 7. Граница пула показана + управляемым опытом серии `pool` трека 1 (на 10 + 5). - Окружение по сервисам: пароль Valkey получает только `api`, `migrate` — только Postgres, LB — ни одного секрета (рубрика «4»: секреты общие только там, где нужно). @@ -294,7 +295,7 @@ Swarm дал бы встроенный rolling update (`update_config`), но э | 3 | `graceful-failover` | 4 | Цепочка таймаутов зафиксирована и обоснована. Замер времени обнаружения отказа при `stop` и `kill`. Стенд `bench/` переходит на HAProxy + N реплик, профиль `failover`: поочерёдная остановка каждой реплики под нагрузкой | посекундные RPS, ошибки и время восстановления по каждой реплике в `evidence/failover/`, таблица таймаутов в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-graceful-failover/`; замер `evidence/failover/baseline/` с `459f84c`; verify — решение 10 design: отвергнутый вариант пула LB переснят на закоммиченном коде, уборка триггера `hang-key` при прерывании, `make bench_compare` отказывает метке без LB; дренаж до SIGTERM и `make run_docker` без пересоздания реплик переданы в `rolling-update`, ниже) | | 4 | `rolling-update` | 4 | `scripts/rolling-update.sh`: замена реплик по одной на новый образ под нагрузкой. Миграции однократно и совместимы со старой версией | прогон под нагрузкой с ошибками по секундам в `evidence/rollout/`; старый образ работает на новой схеме. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-rolling-update/`; замер `evidence/rollout/baseline/` с `9dcea0b`, итоговый код `84161c0`; verify — решение 12 design: уборка при Ctrl+C внутри `up --scale`, предусловие о слотах LB с ручным состоянием, `lock_timeout` миграции 2 с вместо 5 с (при равном `statement_timeout` запросы в очереди за миграцией получали 503), ограничение отката; совместимость и отказы скрипта пересняты на `84161c0`) | | 5 | `scaling-bench` | 5 (трек 1) | Открытая модель нагрузки, серии A (фиксированный бюджет 1×4 / 2×2 / 4×1) и B (1…8 реплик), метрики HAProxy и Postgres, графики, точка насыщения | метки серий и A/A в `evidence/bench/`, точка насыщения и её причина в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-scaling-bench/`; метки `scaling-a`, `-b`, `-pool`, `-aa` на коде `712d245`, серия B — до 6 реплик (бюджет ВМ); verify: 53300 → 503 (`68edc66`), выводы H1 и k_sat переписаны по критериям и разрешению сетки, причина насыщения — хост, механизм не разделён; по решению пользователя (S2) — серия `scaling-db`: при PostgreSQL 0,5 CPU R* 630 → 1 101 → 931 для 1 / 2 / 4 реплик; A/A улучшения — заново на коде «до») | -| 6 | `scaling-improvement` | 5 (трек 1) | Одно улучшение на найденном узком месте, «до/после» через `make bench_ab`, отделение эффекта от шума | `evidence/compare/` с эффектом больше шума A/A, вывод в `REPORT.md` | +| 6 | `scaling-improvement` | 5 (трек 1) | Одно улучшение на найденном узком месте, «до/после» через `make bench_ab`, отделение эффекта от шума | `evidence/compare/` с эффектом больше шума A/A, вывод в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-scaling-improvement/`; пул 10 + 0 вместо 10 + 5 (`9c3959d`), тест `test_pool_keeps_connections`; профиль `db4`; попытка 1 (`scaling-db-aa`, `-before`, `-nooverflow`) испорчена помехами хоста, попытка 2 (`scaling-db-aa2`, `-before2`, `-nooverflow2`, итоговый код `7a38c5d`): R* `4x1-pg0.5` 931 → 1 101, +18,3 %, «эффект», механизм 102 → 4 новых сессий; по букве критерия H4 проверка дрейфа нарушена на 0,4 п. п., засчитано с оговоркой решением пользователя — против A/A2 той же сессии дрейфа нет, +11,9 %; verify: порог × 1,118 в отчёте, дельта «Серии трека 1» (`db4`), побочная проверка LB в evidence) | | 7 | — (отчёт и PR) | 3–5 | Сводка `REPORT.md`, проверка из чистого clone, шаблон PR, уборка переходных разделов | PR `ЛР 3 — БВТ2301 — Сафронов — на 5` | Код лабы 2 (`bench_restore`, проверки отказов хранилищ, кэш) должен @@ -597,7 +598,8 @@ design change, решение 1: сборка раньше миграций, м годится: свою A/A (`make bench_scaling SERIES=ab SCALING_LABEL=…` на коде «до») снимает этот change. Шум по `scaling-aa` — 5,4–5,7 %, одна ступень сетки поиска (≈ 5,7 %); эффект R* засчитывается со сдвигом не -меньше двух ступеней (≥ 12 %) или с явной оговоркой (`bench.md`). +меньше двух ступеней (× 1,118, +11,8 %; порог уточнён до замеров +`scaling-improvement`) или с явной оговоркой (`bench.md`). Кандидат по данным `scaling-bench` (verify S8): переполнение пула. На R* при k ≥ 2 PostgreSQL открывает 168–298 новых соединений за окно 20 с diff --git a/REPORT.md b/REPORT.md index 1bb0d8b5..8f00762c 100644 --- a/REPORT.md +++ b/REPORT.md @@ -460,7 +460,7 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`, | «5», трек 1: исходные данные и графики | `make bench_plots`; таблицы меток | R* от числа реплик, p95 от интенсивности (лог. шкала, линия SLO), CPU по компонентам на R*; строка на ступень, на ячейку и посекундные отсчёты | `evidence/plots/scaling/*.svg`, `evidence/bench/scaling-*/runs.csv`, `searches.csv`, `samples.csv` | | «5», трек 1: уровень шума для улучшения | `make bench_scaling SERIES=ab SCALING_LABEL=scaling-aa`; `make bench_compare BEFORE=scaling-b AFTER=scaling-aa`, `BEFORE=scaling-b AFTER=scaling-a` | шум между сессиями (B → A/A, тот же код `712d245`): 1 × 1 666 (666–704) → 704 (666–704), +5,7 % — одна ступень деления; 6 × 1 2 034 (1 923–2 034) → 2 034 (2 034–2 034), Δ в пределах одной ступени (< 5,7 %); разбросы пересекаются. Согласованность серий: 4 × 1 серии `a` и k = 4 серии `b` — 1 819 и 1 819. Для `scaling-improvement` `scaling-aa` как `AA` не годится: код после правки 53300 другой, A/A снимается заново | `evidence/compare/scaling-b__scaling-aa.md`, `evidence/compare/scaling-b__scaling-a.md` | | «5», трек 1: одно подтверждённое улучшение — пул без переполнения (change `scaling-improvement`) | H4 закоммичена до замеров (`0b0421a`, набор ячеек — `1bb8ea6`, попытка 2 — `a676a52`); изменение `9c3959d` (дефолт `max_overflow` 5 → 0) откачено; в одной сессии хоста: A/A `make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa2`, затем `make bench_ab BEFORE=scaling-db-before2 AFTER=scaling-db-nooverflow2 REAPPLY=5c07923 SERIES=db4`; `make bench_compare … AA=scaling-db-aa2 CHANGE=scaling-improvement`. Попытка 1 — те же команды с метками без `2`, откат `62fa575` | **попытка 2 (окончательная, тихий хост):** основная `4x1-pg0.5` R* 931 (931–984) → 1 101 (1 101–1 101), +18,3 %, «эффект», шум A/A 5,4 %; механизм: новых сессий на первой нарушившей 102 → 4, соединений 60 → 40, CPU PostgreSQL на запрос там 416 → 336 мкс; контроль `4x1-pg2` +5,7 % (в пределах шума). **Подтверждено с оговоркой**: по букве критерия проверка дрейфа (CPU на запрос при 500/с ±5 %) у основной ячейки −5,4 % из-за двух ячеек «до» (переполнения при 500/с нет ни в одной метке); против A/A2 той же сессии (`make bench_compare BEFORE=scaling-db-aa2 AFTER=scaling-db-nooverflow2 AA=scaling-db-before2 CHANGE=scaling-improvement`) дрейфа нет — 1 940 → 1 936 мкс, R* 984 → 1 101, +11,9 % (две ступени), «эффект»; засчитано решением автора после результатов. Попытка 1: +32 %, но шум A/A 20 % из-за помех macOS (iCloud, Zoom) — не прошла дрейф | `evidence/compare/scaling-db-before2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-before2.md`, `evidence/bench/scaling-db-{aa2,before2,nooverflow2}/`, попытка 1 — `evidence/compare/scaling-db-before__scaling-db-nooverflow.md` и метки без `2`, `evidence/tests/scaling-improvement-checks.md` | -| Пул без переполнения: соединения не переоткрываются | `make failure_checks`: тест `test_pool_keeps_connections` (48 потоков × 5 запросов, пачки больше пула 10, счётчик `pg_stat_database.sessions` через hook `db-sessions`); рабочий `config.toml` с `max_overflow` 5 и 0 | 10 + 5 — красный: 18–24 новые сессии PostgreSQL за 720 запросов; 10 + 0 — 0, 17 проверок отказов прошли (4 прогона); регрессия на коде X: `make test`, `make student_test` (131 passed), `make test_isolated`, `make test-persistence`, `make test-failover` для обеих реплик — `PASS`; соединений приложения на рабочем стенде 17 ≤ 2 × 10 | `evidence/tests/scaling-improvement-checks.md` | +| Пул без переполнения: соединения не переоткрываются | `make failure_checks`: тест `test_pool_keeps_connections` (48 потоков × 5 запросов, пачки больше пула 10, счётчик `pg_stat_database.sessions` через hook `db-sessions`); рабочий `config.toml` с `max_overflow` 5 и 0 | 10 + 5 — красный: 18–21 новая сессия PostgreSQL за 720 запросов; 10 + 0 — 0, 17 проверок отказов прошли (4 прогона); регрессия на коде X: `make test`, `make student_test` (131 passed), `make test_isolated`, `make test-persistence`, `make test-failover` для обеих реплик — `PASS`; соединений приложения на рабочем стенде 17 ≤ 2 × 10 | `evidence/tests/scaling-improvement-checks.md` | | Цена нового соединения PostgreSQL и пинга | микропроба в реплике рабочего стенда (`cd88b48`): проверка сессии и страница истории через repo, из пула с пингом, без пинга и с новым соединением на итерацию | новое соединение — 11,7–11,8 мс CPU реплики (SCRAM-SHA-256 asyncpg в event loop) и 2,7 мс CPU PostgreSQL против 0,6 и 0,15 мс из пула; пинг при выдаче — +0,13 мс реплики и +0,05 мс PostgreSQL на запрос | `evidence/storage/connection-cost.md` | TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. @@ -695,7 +695,8 @@ swap занят 920 МиБ, но выгрузки за прогон не был - **H3. Граница пула** (серия `pool`). Пул приложения — 10 + 5 = 15 на реплику, пользователь приложения — суперпользователь (резерв `superuser_reserved_connections` его не держит), сэмплер занимает 1 - соединение. На дефолтах граница — k = 7, вне серии `b`; опыт — 4 + соединение. На дефолтах граница — k = 7 (пул 10 + 5 того времени; с + 10 + 0 change `scaling-improvement` — k = 10), вне серии `b`; опыт — 4 реплики при `max_connections` 100 (61 ≤ 100) и 50 (61 > 50). - Предсказание: при 100 отказов «too many clients» нет, на R* и выше `pool_busy_share` > 0, `db_conn_replica_max` доходит до 15; при 50, @@ -711,8 +712,10 @@ swap занят 920 МиБ, но выгрузки за прогон не был **H4. Пул без переполнения** (change `scaling-improvement`, design решение 5). Записана после серий `scaling-bench` и до замеров «до/после» -этого change: коммит с H4 старше меток `scaling-db-aa`, -`scaling-db-before`, `scaling-db-nooverflow`. +этого change: коммит с H4 (`0b0421a`) старше меток попытки 1 +(`scaling-db-aa`, `scaling-db-before`, `scaling-db-nooverflow`), а план +попытки 2 с тем же критерием (`a676a52`) — старше её меток +(`scaling-db-aa2`, `scaling-db-before2`, `scaling-db-nooverflow2`). - **Утверждение.** У насыщенного PostgreSQL рост реплик вредит из-за переполнения пула (10 + 5). Под нагрузкой реплики открывают @@ -763,8 +766,9 @@ swap занят 920 МиБ, но выгрузки за прогон не был (шаг сетки после двух делений 1,25^¼ ≈ 5,7 %; 931 → 1 041 — ровно две ступени). - **Подтверждено**, если выполнено всё: - 1. у `4x1-pg0.5` вывод `make bench_compare … AA=scaling-db-aa` — - «эффект», и медиана «после» ≥ медиана «до» × 1,118; + 1. у `4x1-pg0.5` вывод `make bench_compare … AA=scaling-db-aa` (в + попытке 2 — `AA=scaling-db-aa2`) — «эффект», и медиана «после» ≥ + медиана «до» × 1,118; 2. механизм по таблице «PostgreSQL на R* и первой нарушившей ступени»: «после» новых сессий за окно ≤ 10 на обеих ступенях, соединений на R* ≤ 40; «до» на первой нарушившей — ≥ 40 новых @@ -966,8 +970,8 @@ keep-alive-сессия держит своё соединение к каждо хост** — общий CPU ноутбука для реплик, PostgreSQL, LB и генератора, а не БД, LB или пул; каким механизмом секунда CPU дешевеет, замер не разделяет. Границы пула и БД достижимы управляемыми опытами (серии -`pool` и `db`, ниже): на дефолтах граница пула — k = 7, за пределом -бюджета ВМ, а PostgreSQL 2 CPU занят на 1,1 ядра. +`pool` и `db`, ниже): на дефолтах граница пула — k = 7 (пул 10 + 5 +того времени; с 10 + 0 — k = 10), за пределом бюджета ВМ, а PostgreSQL 2 CPU занят на 1,1 ядра. Память нигде не была узким местом (раздел «Память» той же сводки, пики за серию): RSS процесса реплики — 106–135 МиБ при лимите 512 МиБ @@ -1061,7 +1065,8 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch насыщается: 1,1 ядра из 2 при 6 репликах. - **Пул** — показан управляемым опытом `scaling-pool`: при `max_connections` 50 отказы «too many clients» с 1 455/с и R* 1 539 - против 1 819; на дефолтах граница — k = 7, за бюджетом ВМ. За R* реплики + против 1 819; на дефолтах граница — k = 7 (пул 10 + 5 того времени; с + 10 + 0 — k = 10), за бюджетом ВМ. За R* реплики ждут свободное соединение пула до 5 с (503). - **LB** — не насыщен ни в одной серии: HAProxy ≤ 0,30 ядра из 1, очередь 0, ошибок соединения нет. @@ -1154,8 +1159,8 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch b → aa) — одна ступень деления. Оценён по двум конфигурациям × 3 повтора. Сдвиг на одну ступень при непересекающихся разбросах команда назовёт эффектом, но он в пределах разрешения: эффект R* засчитывается - при сдвиге не меньше двух ступеней (≥ 12 %) или с оговоркой - (`bench.md`). Для `scaling-improvement` `scaling-aa` как `AA` не + при сдвиге не меньше двух ступеней (× 1,118, +11,8 %; порог уточнён + до замеров change `scaling-improvement`) или с оговоркой (`bench.md`). Для `scaling-improvement` `scaling-aa` как `AA` не годится: правка 53300 (`68edc66`) изменила код приложения после неё, поэтому A/A снимается заново на коде «до» (design, «Найдено в verify»). @@ -1220,11 +1225,12 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch выдаче, рестарт PostgreSQL («БД вернулась»), «too many clients» (53300) — без изменений, контракт и HTTP-поведение не меняются. Соединений рабочего стенда — до 21 вместо 31. Свойство проверяет тест `fault` -`test_pool_keeps_connections`: на 10 + 5 — 18–24 новые сессии за +`test_pool_keeps_connections`: на 10 + 5 — 18–21 новая сессия за 720 запросов пачками по 48, на 10 + 0 — 0. **Предсказание** — H4 выше, закоммичена до замеров (`0b0421a`); набор -ячеек сокращён до замеров решением пользователя (`1bb8ea6`). +ячеек сокращён до замеров решением пользователя (`1bb8ea6`); план +попытки 2 с тем же критерием — до её замеров (`a676a52`). **Методика.** @@ -1244,7 +1250,8 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch `make bench_ab` и раз в минуту во время прогонов: питание от сети, Zoom не запущен, средняя нагрузка за 5 мин < 8 (≤ 7,88), Spotlight < 15 % CPU (≤ 12,6 %), выгрузок 0. -- Эффект — вывод `make bench_compare … AA=scaling-db-aa`: разбросы не +- Эффект — вывод `make bench_compare … AA=scaling-db-aa` (попытка 1) / + `AA=scaling-db-aa2` (попытка 2): разбросы не пересекаются и Δ больше шума A/A; плюс сдвиг не меньше двух ступеней сетки (× 1,118); плюс механизм по таблице PostgreSQL и отсутствие дрейфа (CPU реплик на запрос на 500/с ±5 %, шум A/A меньше двух @@ -1282,10 +1289,10 @@ PostgreSQL на R* и первой нарушившей ступени, «до 3. Дрейф — есть: CPU реплик на запрос на 500/с в пределах ±5 % (−3,8 % и +2,0 %), но шум A/A — 20 %, больше двух ступеней. В метке «до» три ячейки из шести (r2 и r3 основной, r3 контроля) шли на более - медленном хосте: CPU реплик на запрос уже на 250 и 500/с выше на - 8–40 %, чем в остальных ячейках, — R* 745, 745 и 1 301. В A/A и - «после» таких ячеек нет (кроме «после» `4x1-pg0.5-r2`, +20 % на - 500/с). Сверка с журналом питания macOS: на окнах этих ячеек — + медленном хосте: CPU реплик на запрос уже на 250 и 500/с выше + медианы A/A той же конфигурации на 7–38 % (на 250/с — +10…+24 %, на + 500/с — +7…+38 %), — R* 745, 745 и 1 301. В A/A и «после» таких ячеек + нет (кроме «после» `4x1-pg0.5-r2`, +20 % к медиане A/A на 500/с). Сверка с журналом питания macOS: на окнах этих ячеек — всплески синхронизации iCloud, смена аудиоустройства, запущенный Zoom, у одной — 37 % свободной памяти. Помехи были вне ВМ Docker, стенд их не видит. @@ -1373,8 +1380,10 @@ CHANGE=scaling-improvement` соединений и задержки event loop ~10 мс на каждое ушли. **Что осталось узким местом.** Выше излома насыщенная база (0,5 CPU) -выбирает квоту при любом пуле: CPU PostgreSQL на запрос ~340–530 мкс -на нарушивших ступенях и «до», и «после». Изменение отодвигает момент, +выбирает квоту при любом пуле: CPU PostgreSQL на запрос на первой +нарушившей ступени `4x1-pg0.5` — 416 «до» и 336 «после» в попытке 2 +(646 и 420 в попытке 1), против 277–293 на R* +(`evidence/compare/scaling-db-before2__scaling-db-nooverflow2.md`). Изменение отодвигает момент, когда база туда сваливается, но насыщенную базу дешевле не делает. На дефолтных лимитах рост реплик останавливает хост, и переоткрытие на R* там — около 2 % CPU (design change, решение 3): контроль `4x1-pg2` @@ -1387,7 +1396,16 @@ CHANGE=scaling-improvement` - Помехи macOS вне ВМ (iCloud, Zoom, Spotlight) стенд не видит. Они испортили попытку 1. В попытке 2 они ограничены условиями хоста, но не исключены: CPU реплик на запрос между ячейками одной метки - расходится до 7,3 %. + расходится до 7,3 % у основной ячейки и до 12,2 % у контроля + (`scaling-db-before2`, `4x1-pg2`, 500/с: 1 898–2 130 мкс). +- LB не исключал реплики ни на одной ступени: `lb_chkdown` 0 во всех + 239 ступенях шести меток, отказов «too many clients» 0. На R* и ниже + `error_codes` пуст во всех метках; 503 (ожидание пула дольше 5 с) — + только выше R* и в обеих версиях: на коде «до» (метки A/A и «до») — + 1–13 за окно, «после» — 23 и 8 + у `4x1-pg2-r3` на 2 274 и 2 034/с (R* ячейки 1 923). Заранее + записанная побочная проверка (design, решение 2 и Risks) выполнена + (`evidence/tests/scaling-improvement-checks.md`, раздел 11). - Детектор дрейфа ±5 % оказался того же порядка, что и этот разброс. - Один хост, генератор на нём же. @@ -1411,7 +1429,8 @@ CHANGE=scaling-improvement` ядрами и свободным CPU насыщение, вероятно, наступило бы позже; это не проверялось. - Серия `b` — до 6 реплик: при 7 сумма лимитов (12,75 CPU) больше 12 - vCPU ВМ. Граница пула на дефолтах (k = 7) показана управляемым + vCPU ВМ. Граница пула на дефолтах (k = 7 при пуле 10 + 5 того + времени; с 10 + 0 — k = 10) показана управляемым опытом (`max_connections` 50 при 4 репликах), а не ростом реплик. - Насыщение БД показано управляемым опытом: лимит PostgreSQL 0,5 CPU вместо 2 (серия `db`). Эффект соединений у насыщенной базы (CPU на @@ -1586,7 +1605,8 @@ TODO: какие отказы выдерживаются и какие нет; проверка дрейфа (±5 % CPU на запрос при 500/с) дала −5,4 %. - Попытку 1 испортили помехи macOS: шум A/A 20 %. - Детектор ±5 % оказался того же порядка, что разброс CPU на запрос - между ячейками одной метки на этом хосте (до 7,3 %). + между ячейками одной метки на этом хосте (до 7,3 % у основной ячейки + и до 12,2 % у контроля, `scaling-db-before2`, `4x1-pg2`, 500/с). - Сказать, сдвигает ли изменение R* на дефолтных лимитах, нельзя: там рост останавливает хост, а переоткрытие на R* — около 2 % CPU (design change, решение 3). @@ -1746,7 +1766,11 @@ k = 6, вместе с числом занятых ядер хоста. Доба PostgreSQL 0,5 CPU база насыщается около 950–1 000/с (троттлинг до 100 %, `db_cpu`), и 4 реплики дают R* на 15 % меньше, чем 2 (931 против 1 101): лишние реплики только добавляют соединения, и запрос в -насыщенной базе дорожает с 279 до 441 мкс CPU. Серия `pool`: при +насыщенной базе дорожает с 279 до 441 мкс CPU. Главная причина — +переполнение пула 10 + 5: соединения сверх 10 переоткрываются. С пулом +10 + 0 (change `scaling-improvement`) R*(4 × 1) = 1 101 = R*(2 × 1), +новых сессий на первой нарушившей ступени 102 → 4 (раздел «Улучшение +по найденному узкому месту: пул без переполнения»). Серия `pool`: при `max_connections` 50 — отказы и падение R* на 15 % (после правки 53300 отказ — 503). LB не насыщался нигде: ≤ 0,30 ядра из 1. diff --git a/evidence/tests/scaling-improvement-checks.md b/evidence/tests/scaling-improvement-checks.md index a06f83ab..dddb62f8 100644 --- a/evidence/tests/scaling-improvement-checks.md +++ b/evidence/tests/scaling-improvement-checks.md @@ -221,8 +221,9 @@ CPU реплик на запрос, мкс, на 250 / 500 запросов/с В метке «до» три ячейки из шести (r2 и r3 основной, r3 контроля) шли на заметно более медленном хосте: CPU на запрос на тех же 250 и -500/с выше на 8–40 %, ещё до насыщения базы. Именно у них R* 745 и -1 301. +500/с выше медианы A/A той же конфигурации на 7–38 % (на 250/с — к +2 127 и 2 143, на 500/с — к 2 042), ещё до насыщения базы. Именно у них +R* 745 и 1 301. Сверка по журналу питания macOS (`pmset -g log`, основная сессия; здесь обобщённо, сырой журнал не кладётся — в нём имя устройства): на окнах @@ -380,6 +381,33 @@ $ make bench_compare BEFORE=scaling-db-aa2 AFTER=scaling-db-nooverflow2 AA=scali CPU на запрос при 500/с ±0,4 %, дрейфа нет; 1 101 / 984 = 1,119 ≥ 1,118 (две ступени), разбросы не пересекаются. +Разброс CPU реплик на запрос между ячейками одной метки попытки 2 (по +таблице выше): у основной ячейки до 7,3 % (`scaling-db-before2`, +500/с, 1 914–2 054), у контроля до 12,2 % (`scaling-db-before2`, +`4x1-pg2`, 500/с, 1 898–2 130), у A/A2 `4x1-pg0.5` на 250/с — 8,0 % +(2 007–2 168). + +**Побочная проверка LB и ответов** (design, решение 2 и Risks, задача +7.2: `/health/ready` ждёт в очереди пула; исключение реплики на R* и +ниже — изменение не засчитывается). Поля `lb_chkdown`, +`db_too_many_clients` и `error_codes` в `runs.csv` шести меток (строка +на ступень), ступень сравнивается с R* своей ячейки из `searches.csv`: + +| Метка | Ступеней | `lb_chkdown` | «too many clients» | `error_codes` на R* и ниже | `error_codes` выше R* | +|---|---|---|---|---|---| +| `scaling-db-aa` | 40 | 0 | 0 | — | `4x1-pg2-r1` 1 819/с `503:13`; `4x1-pg2-r2` 1 819/с `503:1` | +| `scaling-db-before` | 41 | 0 | 0 | — | `4x1-pg0.5-r1` 1 455/с `503:1`; `4x1-pg2-r2` 1 819/с `503:1`; `4x1-pg2-r3` 1 455/с `503:1` | +| `scaling-db-nooverflow` | 40 | 0 | 0 | — | — | +| `scaling-db-aa2` | 39 | 0 | 0 | — | `4x1-pg0.5-r1` 1 455/с `503:1` | +| `scaling-db-before2` | 39 | 0 | 0 | — | — | +| `scaling-db-nooverflow2` | 40 | 0 | 0 | — | `4x1-pg2-r3` (R* 1 923) 2 274/с `503:23`, 2 034/с `503:8` | + +LB не исключал реплики ни на одной из 239 ступеней, отказов «too many +clients» нет. На R* и ниже ответов 5xx нет ни в одной метке; 503 (запрос +ждал соединение пула дольше `pool_timeout` 5 с) — только выше R* и в +обеих версиях кода. Условие design выполнено: изменение +отказоустойчивость не ломает. + ## 8. Итоговый код ```text @@ -407,3 +435,13 @@ CHAIN EXIT 0 ``` Метки `quick-*` — в `.gitignore`. + +Итоговый код change — `7a38c5d` (возврат X после попытки 2), проверки +выше сняты на `cd88b48`. Между ними код приложения и стенда не +менялся, поэтому регрессия и цена соединения +(`evidence/storage/connection-cost.md`) относятся и к итоговому коду: + +```text +$ git diff --stat cd88b48 HEAD -- src Dockerfile pyproject.toml uv.lock bench .dockerignore .python-version migrations docker-compose.yml infra config_example.toml +(пусто; HEAD — cb984c1, проверка verify и fixes) +``` diff --git a/openspec/changes/scaling-improvement/design.md b/openspec/changes/scaling-improvement/design.md index f80b69cc..de5accdd 100644 --- a/openspec/changes/scaling-improvement/design.md +++ b/openspec/changes/scaling-improvement/design.md @@ -239,7 +239,9 @@ uv.lock` пуст. > предсказания и пункт дрейфа по `2x1-pg0.5` из решения 5 сняты (H4 в > `REPORT.md` записана уже с сокращённым набором). «R*(4 × 1) ≥ R*(2 × 1)» > — только справка против `2x1-pg0.5` метки `scaling-db` (другая -> сессия). Дальше в этом решении — исходный выбор. +> сессия). Новый профиль требует дельты «Серии трека 1» в +> `specs/load-benchmark/spec.md` (серия `db4`; добавлена по verify, W2). +> Дальше в этом решении — исходный выбор. Серия `db` тем же профилем `scaling_db`, что у метки `scaling-db`: - 1, 2 и 4 реплики по 1 CPU при PostgreSQL 0,5 CPU; @@ -672,7 +674,7 @@ bench_compare`. `PLAN.md` — при archive. сбрасывает статистику принудительно по таймеру `PGSTAT_IDLE_INTERVAL` (10 с). - Проверка: красный на 10 + 5 (18–24 новые сессии), зелёный на 10 + 0 + Проверка: красный на 10 + 5 (18–21 новая сессия), зелёный на 10 + 0 три полных прогона подряд. Исправления — коммиты X2 (`623a973`) и X3 (`80e64cd`), R откатывает X, X2 и X3 вместе (задачи 3.7, 4.1). Свойство и порог теста не ослаблены: окно по-прежнему требует 0 новых сессий. @@ -686,11 +688,12 @@ bench_compare`. `PLAN.md` — при archive. прошли заранее записанный пункт 3 критерия. Шум A/A был 20 %, а в ячейках CPU реплик на запрос при 500/с отклонялся больше чем на ±5 %. Причина — помехи вне ВМ Docker; основная сессия сверила это по - журналу питания macOS: - - «до» `4x1-pg0.5-r2`: CPU на запрос при 500/с +8 % к A/A, на окне — - всплеск синхронизации iCloud и смена аудиоустройства; - - «до» `4x1-pg0.5-r3`: +10 %, посреди ячейки запущен Zoom; - - «до» `4x1-pg2-r3`: +40 %, свободной памяти 37 %; + журналу питания macOS (CPU реплик на запрос при 500/с — к медиане + A/A той же конфигурации, 2 042 мкс у обеих): + - «до» `4x1-pg0.5-r2`: +7 %, на окне — всплеск синхронизации iCloud + и смена аудиоустройства; + - «до» `4x1-pg0.5-r3`: +9 %, посреди ячейки запущен Zoom; + - «до» `4x1-pg2-r3`: +38 %, свободной памяти 37 %; - «после» `4x1-pg0.5-r2`: +20 %, работали Zoom и iCloud. Против чистой базы того же кода (`scaling-db` 931 ×3, медиана A/A @@ -724,7 +727,8 @@ bench_compare`. `PLAN.md` — при archive. По букве критерия H4 не подтверждена, порог не менялся. Детектор ±5 % оказался того же порядка, что разброс CPU на запрос между - ячейками одной метки (до 7,3 %). Это урок для следующих замеров, а не + ячейками одной метки (до 7,3 % у основной ячейки и до 12,2 % у + контроля: `scaling-db-before2`, `4x1-pg2`, 500/с). Это урок для следующих замеров, а не повод менять порог задним числом. 4. **Решение пользователя, 2026-10-11, после результатов попытки 2: улучшение засчитывается с явной оговоркой.** Это анализ после diff --git a/openspec/changes/scaling-improvement/proposal.md b/openspec/changes/scaling-improvement/proposal.md index c93efe37..f85f5afd 100644 --- a/openspec/changes/scaling-improvement/proposal.md +++ b/openspec/changes/scaling-improvement/proposal.md @@ -50,6 +50,11 @@ `scaling-db-nooverflow`; - затем `make bench_compare … AA=scaling-db-aa`. + Попытку 1 испортили помехи хоста, и замер переснят тем же порядком с + тем же критерием (попытка 2, окончательная): метки `scaling-db-aa2`, + `scaling-db-before2`, `scaling-db-nooverflow2` (design, «Найдено в + apply», п. 3 и 4). + Изменение засчитывается при сдвиге R* основной ячейки 4 × 1 при 0,5 CPU не меньше чем на две ступени сетки и больше шума A/A. Ещё нужно, чтобы таблица PostgreSQL подтвердила механизм, а CPU на запрос @@ -86,7 +91,9 @@ - «Сравнение „до/после“ в отчёте» — замер и на серии трека 1: - A/A того же кода в той же сессии; - эффект R* — не меньше двух ступеней сетки; - - контрольные конфигурации. + - контрольные конфигурации; + - «Серии трека 1» — серия `db4` (добавлена в apply): две конфигурации + серии `db` для «до/после». ## Impact @@ -105,19 +112,24 @@ `--change`); - `Makefile` (`CHANGE` у `bench_compare`). - Профили, `run.py`, k6 и лимиты не меняются. Серия `db` снимается тем - же профилем `scaling_db`. + k6 и лимиты не меняются. В `run.py` добавлен профиль `scaling_db4` + (`SERIES=db4`, две конфигурации серии `db` с теми же полями; в apply, + `1bb8ea6`), им сняты все метки change; дельта `load-benchmark`, «Серии + трека 1». - **Граница пула** уходит с k = 7 на k = 10 (10 × 10 + 1 > 100). Метки `scaling-a`, `-b`, `-pool`, `-aa`, `-db` остаются результатом пула 10 + 5. - **Evidence:** - метки `evidence/bench/scaling-db-aa/`, `scaling-db-before/`, - `scaling-db-nooverflow/`; - - `evidence/compare/scaling-db-before__scaling-db-nooverflow.md` и - таблица A/A; + `scaling-db-nooverflow/` (попытка 1) и `scaling-db-aa2/`, + `scaling-db-before2/`, `scaling-db-nooverflow2/` (попытка 2); + - `evidence/compare/scaling-db-before__scaling-db-nooverflow.md`, + `scaling-db-before2__scaling-db-nooverflow2.md`, таблицы A/A и + сравнение «после» с A/A2 (`scaling-db-aa2__scaling-db-nooverflow2.md`); - `evidence/storage/connection-cost.md` — цена соединения и пинга; - `evidence/tests/scaling-improvement-checks.md`. - **Документы:** `REPORT.md`, `AGENTS.md`, `PLAN.md`, правила `bench.md`, `infra.md`, `student-tests.md` (действие hook). -- **Время:** около 2,5 ч замеров (A/A ~50 мин, `make bench_ab` ~100 - мин), всё — фоновыми командами. +- **Время:** план — около 2,5 ч замеров (A/A ~50 мин, `make bench_ab` + ~100 мин), всё — фоновыми командами. Фактически, с профилем `db4`, — + две попытки по ~1 ч 20 мин (A/A ~25 мин, `make bench_ab` 50–53 мин). diff --git a/openspec/changes/scaling-improvement/specs/load-benchmark/spec.md b/openspec/changes/scaling-improvement/specs/load-benchmark/spec.md index 59623cd1..38c9ed18 100644 --- a/openspec/changes/scaling-improvement/specs/load-benchmark/spec.md +++ b/openspec/changes/scaling-improvement/specs/load-benchmark/spec.md @@ -197,3 +197,115 @@ SHALL быть change, к которому относится сравнение выводом сравнения и сдвиг основной конфигурации в ступенях сетки - **AND** механизм изменения показан числами из таблиц команд, а не пересчётом вручную + +### Requirement: Серии трека 1 + +Команда `make bench_scaling SERIES=<серия>` SHALL снимать серию трека 1 +«Цена масштабирования» под меткой `SCALING_LABEL` (по умолчанию +`scaling-<серия>`) в `evidence/bench/<метка>/`. Серия — набор +конфигураций стенда. Конфигурация задаёт число реплик приложения, лимит +CPU и памяти реплики и предел соединений PostgreSQL. Серии: +- `a` — фиксированный суммарный бюджет приложения 4 CPU / 2 ГиБ: + 1 реплика × 4 CPU / 2 ГиБ, 2 × 2 CPU / 1 ГиБ, 4 × 1 CPU / 512 МиБ; +- `b` — рост ресурсов: 1, 2, 3, 4, 5 и 6 реплик по 1 CPU / 512 МиБ; +- `pool` — граница пула: 4 реплики по 1 CPU / 512 МиБ при пределе + соединений PostgreSQL 100 и 50; +- `ab` — 1 и 6 реплик по 1 CPU / 512 МиБ, как в серии `b`: одна + реплика и наибольшая конфигурация в бюджете ВМ, для замера + «до/после» и уровня шума A/A; +- `db` — насыщение PostgreSQL управляемым опытом: 1, 2 и 4 реплики по + 1 CPU / 512 МиБ при узком лимите CPU PostgreSQL (выбран калибровкой, + записан в паспорт и имя конфигурации) и контроль — 4 реплики при + прежних 2 CPU PostgreSQL. Лимит CPU PostgreSQL у этой серии — часть + конфигурации; +- `db4` — две конфигурации серии `db` для замера «до/после»: 4 реплики + по 1 CPU / 512 МиБ при узком лимите CPU PostgreSQL и при 2 CPU, с теми + же полями и лимитами, что у `db`. Имя серии и состав конфигураций к + методике сравнения не относятся: метки `db4` сравнимы с метками `db` + по общим конфигурациям; +- короткие серии самопроверки — `make bench_scaling_quick` и `make + bench_scaling SERIES=db_quick` с меткой `quick-…`, в git не идут. + +Лимиты LB, Valkey и генератора, профиль нагрузки, ступени и SLO SHALL +быть одинаковыми во всех сериях; лимит PostgreSQL — тоже, кроме +конфигураций серий `db` и `db4`. В каждой конфигурации серий +`a`, `b`, `pool`, `ab`, `db` и `db4` сумма лимитов CPU стенда и +генератора MUST NOT превышать число CPU ВМ Docker: иначе команда +завершается с ненулевым кодом до запуска стенда. Паспорт SHALL +содержать по каждой конфигурации сумму лимитов CPU и памяти, а также CPU +и память ВМ. + +Ячейка серии — конфигурация в одном повторе. Каждая конфигурация SHALL +сниматься 3 раза. Каждая ячейка SHALL начинаться со свежего стенда: +новый volume, миграции, данные профиля. Порядок ячеек SHALL +перемешиваться кругами: в каждом круге каждая конфигурация встречается +один раз, порядок задан зерном методики и записан в метку до первой +ячейки. + +Результат ячейки SHALL сохраняться сразу после неё. Прерванную серию +SHALL можно продолжить той же командой с `RESUME=1`. Продолжение +работает только на том же commit без незакоммиченных изменений: +- снимаются ячейки, которых в метке нет; +- прерванная ячейка снимается заново с новым номером попытки; строки + прежней попытки остаются в таблице, но в сводку не входят. + +Стенд, оставшийся от прерванного прогона, серия SHALL удалять сама, без +ручной уборки, если другой прогон стенда не идёт. + +Во время серии команда SHALL печатать строку на каждую ступень: ячейку +и её номер из общего числа, ступень, уровень, итог и оценку времени до +конца серии. Файл состояния в каталоге метки SHALL показывать текущие +ячейку и ступень. + +#### Scenario: Серия с фиксированным бюджетом + +- **WHEN** выполняется `make bench_scaling SERIES=a` +- **THEN** в метке 9 ячеек (3 конфигурации × 3 повтора), каждая на + свежем стенде, суммарный лимит реплик в каждой конфигурации — 4 CPU и + 2 ГиБ, код выхода 0 + +#### Scenario: Бюджет помещается в ВМ + +- **WHEN** проверяющий открывает паспорт серии `a`, `b`, `pool`, `ab`, + `db` или `db4` +- **THEN** у каждой конфигурации сумма лимитов CPU стенда и генератора + не больше числа CPU ВМ, а сумма лимитов памяти записана рядом с + памятью ВМ + +#### Scenario: Насыщение PostgreSQL + +- **WHEN** выполняется `make bench_scaling SERIES=db` +- **THEN** в метке все конфигурации серии × 3 повтора в перемешанном + порядке на одном коде; у каждой конфигурации в паспорте — лимит CPU + PostgreSQL, прочитанный у контейнера, а сводка показывает R*, CPU + PostgreSQL на R* относительно лимита и его троттлинг + +#### Scenario: Подмножество серии для «до/после» + +- **WHEN** выполняется `make bench_scaling SERIES=db4` +- **THEN** в метке 6 ячеек (2 конфигурации серии `db` × 3 повтора) в + перемешанном порядке на одном коде, с теми же полями паспорта и + сводки, что у серии `db` +- **AND** `make bench_compare` сравнивает её с меткой серии `db` или + `db4` по общим конфигурациям без отказа «разная методика» + +#### Scenario: Перемешанный порядок + +- **WHEN** серия запущена дважды с тем же профилем +- **THEN** порядок ячеек одинаков, в каждом круге каждая конфигурация + встречается ровно один раз, а порядок записан в метке + +#### Scenario: Продолжение прерванной серии + +- **WHEN** серия прервана на ячейке k, а затем запущена с `RESUME=1` на + том же commit +- **THEN** снимаются только ячейки, которых в метке нет, начиная с + прерванной, остатки стенда удалены без ручных команд, в конце метка + завершена + +#### Scenario: Продолжение на другом коде + +- **WHEN** `RESUME=1` запускается на другом commit или с + незакоммиченными изменениями +- **THEN** команда завершается с ненулевым кодом до запуска стенда и + называет причину diff --git a/student-tests/fault_hook.py b/student-tests/fault_hook.py index ef7114e2..9d14e766 100755 --- a/student-tests/fault_hook.py +++ b/student-tests/fault_hook.py @@ -50,7 +50,11 @@ COMPOSE_FILES = ( ) PROJECT_SUFFIX = "-failures" SERVICES = ("postgres", "valkey") -# та же проверка, что в healthcheck сервиса в docker-compose.yml +# та же проверка, что в healthcheck сервиса в docker-compose.yml. У +# PostgreSQL стенда отказов healthcheck переопределён на базу postgres +# (failures.compose.yml), а проба после start / unpause ходит в базу +# приложения и добавляет в её pg_stat_database одну сессию: тест «Соединения +# пула не переоткрываются» start в своём окне не вызывает PROBES = { "postgres": 'pg_isready -q -h 127.0.0.1 -U "$POSTGRES_USER" ' '-d "$POSTGRES_DB"',