docs: address scaling-improvement verify findings
Fix the two-step threshold (x1.118), CPU-per-request spread and PostgreSQL ranges in REPORT.md and design, record the LB side check (lb_chkdown, error_codes) in evidence, add the db4 series to the load-benchmark delta, refresh AGENTS.md, bench.md, PLAN.md and proposal, and log the swapouts_delta passport defect. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -80,7 +80,7 @@ paths:
|
||||
| `run.py` (профили `restore`, `restore_quick`), `k6/after_backup.js`, `k6/restore_check.js` | `make bench_restore`, `make bench_restore_quick` | тот же стенд без матрицы прогонов: backup под записью, восстановление в новое хранилище, сверка, RTO и потеря, кэш до и после `FLUSHALL` |
|
||||
| `run.py` (профили `failover`, `failover_quick`), `failover.py`, `k6/failover.js`, `k6/retry.js` | `make bench_failover`, `make bench_failover_quick` | две реплики с лимитами рабочего стенда, постоянная интенсивность записи с ключом и чтения, каждая реплика в каждом режиме (`stop`, `kill`, `pause`) с возвратом: посекундная шкала, время обнаружения и восстановления, сверка записей; результаты — `evidence/failover/<метка>/` |
|
||||
| `run.py` (профили `rollout`, `rollout_quick`), `rollout.py`, `k6/failover.js`, `k6/retry.js`, `scripts/rolling-update.sh` | `make bench_rollout`, `make bench_rollout_quick` | две реплики с лимитами рабочего стенда на образе прежнего commit, та же постоянная нагрузка, посреди неё — поочерёдная замена на образ текущего checkout: посекундная шкала с ответами старых и новых реплик, шаги по каждой реплике, контейнеры, образы и ревизия схемы до и после, сверка записей; результаты — `evidence/rollout/<метка>/` |
|
||||
| `run.py` (профили `scaling_*`), `scaling.py`, `sampler.sh`, `k6/mixed.js` | `make bench_scaling SERIES=a\|b\|pool\|ab\|db`, `make bench_scaling_quick`, `SERIES=db_quick` | серии трека 1: конфигурации реплик и лимитов, на каждую ячейку — свежий стенд, открытая модель, фиксированные уровни и поиск R* по SLO, посекундный сэмплер контейнеров, ВМ, LB и PostgreSQL; результаты — `evidence/bench/<метка>/` |
|
||||
| `run.py` (профили `scaling_*`), `scaling.py`, `sampler.sh`, `k6/mixed.js` | `make bench_scaling SERIES=a\|b\|pool\|ab\|db\|db4`, `make bench_scaling_quick`, `SERIES=db_quick` | серии трека 1: конфигурации реплик и лимитов, на каждую ячейку — свежий стенд, открытая модель, фиксированные уровни и поиск R* по SLO, посекундный сэмплер контейнеров, ВМ, LB и PostgreSQL; результаты — `evidence/bench/<метка>/` |
|
||||
| `plots.py` | `make bench_plots LABELS="…"` | графики SVG и сводка серий (R* от числа реплик, p95 от интенсивности, CPU по компонентам, точка насыщения) — `evidence/plots/<PLOTS>/` |
|
||||
| `compare.py` | `make bench_compare` | дельта двух меток стенда (ячейки матрицы или общие конфигурации серий), эффект или шум |
|
||||
| `ab.py` | `make bench_ab [SERIES=…]` | стенд «до» и «после» одного изменения подряд, в одной сессии хоста; с `SERIES` — серия трека 1 вместо матрицы |
|
||||
@@ -240,16 +240,19 @@ paths:
|
||||
и контроль 4 × 1 при 2 CPU (насыщение БД управляемым опытом; лимит
|
||||
PostgreSQL — пятый элемент конфигурации, имя `<k>x1-pg<CPU>`); `db4`
|
||||
— две ячейки серии `db` (4 × 1 при 0,5 и 2 CPU) для «до/после» change
|
||||
`scaling-improvement` (метки `scaling-db-aa`, `scaling-db-before` —
|
||||
пул 10 + 5, `scaling-db-nooverflow` — 10 + 0; метки `scaling-a`, `-b`,
|
||||
`-pool`, `-aa`, `-db` сняты на 10 + 5); `quick` и `db_quick` —
|
||||
`scaling-improvement`: окончательные метки попытки 2 —
|
||||
`scaling-db-aa2`, `scaling-db-before2` (пул 10 + 5) и
|
||||
`scaling-db-nooverflow2` (10 + 0); попытка 1 (`scaling-db-aa`,
|
||||
`-before`, `-nooverflow`) испорчена помехами хоста и оставлена как
|
||||
есть; метки `scaling-a`, `-b`, `-pool`, `-aa`, `-db` сняты на
|
||||
10 + 5); `quick` и `db_quick` —
|
||||
самопроверки. Общие поля — в
|
||||
`scaling_profile()` `run.py`, чтобы методика серий не расходилась.
|
||||
- **Бюджет:** PostgreSQL 2 / 1 ГиБ, HAProxy 1 / 256 МиБ, Valkey 0,5 /
|
||||
128 МиБ, k6 2 / 1 ГиБ, сэмплер 0,25 / 128 МиБ — 5,75 CPU без реплик.
|
||||
Сумма CPU конфигурации больше CPU ВМ — отказ до стенда (код 2); поэтому
|
||||
серия `b` — до 6 реплик (11,75 CPU), граница пула на дефолтах (k = 7)
|
||||
— управляемым опытом `pool`. Бюджет — `meta.budget`.
|
||||
серия `b` — до 6 реплик (11,75 CPU), граница пула при 10 + 5 того
|
||||
времени (k = 7) — управляемым опытом `pool`; с 10 + 0 — k = 10. Бюджет — `meta.budget`.
|
||||
- **Ячейка** — конфигурация × повтор, 3 повтора, каждая на свежем стенде
|
||||
(`down -v`, миграции, данные: читаемый чат 10 000, 10 чатов записи).
|
||||
Порядок — круги, перестановка с зерном `order_seed`, повтор одной
|
||||
|
||||
@@ -113,7 +113,9 @@ paths:
|
||||
- Как устроен `make failure_checks` (`student-tests/run_failures.py`):
|
||||
- тот же `docker-compose.yml` под проектом `<рабочий>-failures` с
|
||||
override `failures.compose.yml`: свои Postgres и Valkey со своим
|
||||
volume, их порты не публикуются;
|
||||
volume, их порты не публикуются, healthcheck PostgreSQL проверяет
|
||||
служебную базу `postgres` (иначе каждая проверка — сессия в базе
|
||||
приложения и шум счётчика `db-sessions`);
|
||||
- два API на свободных портах `127.0.0.1`: обычный (`BASE_URL`) и
|
||||
«тесный» (`FAULT_TIGHT_BASE_URL`: сроки сессии и ключа
|
||||
идемпотентности 2 с, пул 1, короткие таймауты);
|
||||
|
||||
@@ -134,7 +134,8 @@ change — в архиве. После замен реплики называю
|
||||
change, «Найдено в apply», п. 4). Дальше — verify и archive; change
|
||||
не в архиве.
|
||||
- `REPORT.md` заполнен для уровней «3», «4», серий трека 1 и
|
||||
улучшения (с отрицательным результатом по критерию).
|
||||
улучшения (засчитано с оговоркой; по букве критерия — не
|
||||
подтверждено).
|
||||
|
||||
Закрытый пункт убрать отсюда, закрытый переход — удалить раздел.
|
||||
|
||||
@@ -299,7 +300,7 @@ change — в архиве. После замен реплики называю
|
||||
| `make wipe_data` | `down -v` — удалить данные стенда (и кэш); только после ввода `yes` |
|
||||
| `make test_isolated [KEEP_TEST_DB=1]` | образ на временной базе `test_<db>` с Valkey стенда (ключи разделены именем базы): сборка, миграции, отдельный контейнер API на `TEST_APP_PORT`, `make test` + `make student_test EXPECT_REPLICAS=1` (тесты реплик пропускаются с причиной), уборка при любом исходе (`student-tests.md`) |
|
||||
| `make student_test [BASE_URL=...] [EXPECT_REPLICAS=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); `EXPECT_REPLICAS` (по умолчанию `API_REPLICAS`) — сколько реплик за `BASE_URL`, против одного процесса — 1; сервер недоступен — код 2 и одна строка с адресом |
|
||||
| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, ~45 с) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres и Valkey, обычный и «тесный» API (срок 2 с, пул 1), hook `student-tests/fault_hook.py`; стенд и его volume удаляются при любом исходе, рабочий не трогается (`student-tests.md`) |
|
||||
| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, ~60 с) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres и Valkey, обычный и «тесный» API (срок 2 с, пул 1), hook `student-tests/fault_hook.py`; стенд и его volume удаляются при любом исходе, рабочий не трогается (`student-tests.md`) |
|
||||
| `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k читаемого чата плюс 100 000 сообщений в 1 110 фоновых чатах разного размера (~35 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (HAProxy и одна реплика API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда; k6 ходит через LB); на каждый размер — свежий стенд, `VACUUM (ANALYZE)`, планы запроса истории (`auto_explain`) по уровням чатов с вариантами индекса и запроса, в конце — пробы стоимости записи по вариантам. Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) |
|
||||
| `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт |
|
||||
| `make bench_restore [RESTORE_LABEL=...]` | трек 2, восстановление (~20 мин, метка `restore` по умолчанию): тот же стенд и данные, без матрицы прогонов; на каждый размер — `pg_dump` во время записи через HTTP, активность после backup, `pg_restore -j` в новый контейнер Postgres на новом volume, сверка обеих баз построчно, переключение API, проверки через HTTP до и после `FLUSHALL`; время dump / restore / RTO и потерянные сообщения — в `summary.md` |
|
||||
@@ -329,7 +330,7 @@ change — в архиве. После замен реплики называю
|
||||
src/
|
||||
__main__.py # python -m src → main.main()
|
||||
main.py # FastAPI app: lifespan, middlewares, обработчики ошибок, uvicorn.run
|
||||
config/settings.py # Settings (pydantic-settings), экземпляр settings; [app] instance_id (пусто → hostname) и keep_alive_seconds, [database] idle_in_transaction_timeout_ms, [idempotency] ttl_seconds
|
||||
config/settings.py # Settings (pydantic-settings), экземпляр settings; [app] instance_id (пусто → hostname) и keep_alive_seconds, [database] pool_size 10 и max_overflow 0 (постоянный пул без переполнения), idle_in_transaction_timeout_ms, [idempotency] ttl_seconds
|
||||
api/
|
||||
routers/health.py # /health/live, /health/ready: вне версии, без идентификации
|
||||
routers/v1/<domain>.py # ручки под /api/v1, сборка в routers/v1/__init__.py; Idempotency-Key — параметр POST сообщения (message.py)
|
||||
@@ -371,8 +372,8 @@ student-tests/ # black-box тесты по HTTP (уровень 4)
|
||||
test_failures.py # проверки отказов (маркер fault): только make failure_checks
|
||||
run_isolated.py # make test_isolated: образ на временной базе test_<db> (stdlib)
|
||||
run_failures.py # make failure_checks: стенд <рабочий>-failures, два API, pytest -m fault, уборка (stdlib)
|
||||
fault_hook.py # hook стенда отказов: stop/start/pause/unpause, кэш, триггеры сбоя участников и сообщений, заполнение слотов max_connections (stdlib)
|
||||
failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, LB)
|
||||
fault_hook.py # hook стенда отказов: stop/start/pause/unpause, кэш, триггеры сбоя участников и сообщений, заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions (stdlib)
|
||||
failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, LB), healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения)
|
||||
bench/ # нагрузочный стенд на HAProxy + N реплик API + Postgres + Valkey: make bench / bench_quick / bench_restore / bench_failover / bench_rollout / bench_scaling
|
||||
run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover, профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json
|
||||
scaling.py # серии трека 1 без docker: лестница и автомат поиска R*, разбор итога k6 и строк сэмплера, агрегаты окна, вердикт SLO и брака генератора, признаки узкого места (THRESHOLDS), предельный CPU на запрос, сводка серии; --selftest
|
||||
@@ -408,7 +409,7 @@ evidence/failover/<метка>/ # результаты make bench_failover: п
|
||||
evidence/rollout/ # совместимость старого образа с новой схемой, make rolling_update и жизненный цикл стенда после замены, отказы скрипта (Ctrl+C, слоты, lock_timeout миграции)
|
||||
evidence/rollout/<метка>/ # результаты make bench_rollout: паспорт с контейнерами, образами и ревизией до и после, rollout.csv, replicas.csv, timeline.csv, summary.md, строки скрипта, журнал LB
|
||||
evidence/bench/<метка>/ # результаты make bench / bench_restore: паспорт, прогоны, наполнение, сводка (планы, стоимость записи, восстановление), планы explain-<размер>.txt, сырые итоги k6
|
||||
evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx
|
||||
evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL; db4 — «до/после» пула без переполнения: scaling-db-aa*, -before*, -nooverflow*, окончательные — с суффиксом 2): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx
|
||||
evidence/plots/scaling/ # make bench_plots по сериям a и b: графики SVG и summary.md (R*, эффективность, точка насыщения, цена запроса, память)
|
||||
evidence/plots/scaling-db/ # make bench_plots по серии db: R* по лимитам PostgreSQL и раздел «Насыщение PostgreSQL»
|
||||
evidence/compare/ # таблицы make bench_compare: <до>__<после>.md
|
||||
|
||||
@@ -85,3 +85,18 @@
|
||||
true` у `postgres` в `student-tests/failures.compose.yml` (tini
|
||||
реапит сирот сам), либо держать `psql` детьми долгоживущего `sh`
|
||||
(`wait` в конце `FILL_SH`, `CLEAR_FILL_SH` убивает группу процессов).
|
||||
|
||||
## Паспорт метки без `swapouts_delta`, когда счётчик выгрузок равен 0
|
||||
|
||||
- **Где:** `bench/run.py`, конец `main()` — условие `if
|
||||
state.get("swapouts") is not None and end_state.get("swapouts"):`.
|
||||
- **Что не так:** при `Swapouts` 0 в конце прогона (хост после
|
||||
перезагрузки) второе условие ложно, и `host_state.swapouts_delta` в
|
||||
`meta.json` не пишется, хотя `start` и `end` (0 и 0) записаны. Так у
|
||||
меток `scaling-db-aa2`, `scaling-db-before2`, `scaling-db-nooverflow2`.
|
||||
Предупреждение о выгрузке (`swap_warning`) и проверка в
|
||||
`bench/compare.py` работают верно: страдает только поле паспорта.
|
||||
- **Найдено:** verify change `scaling-improvement` (2026-10-11, S5).
|
||||
- **Предложение:** `end_state.get("swapouts") is not None`. Правка
|
||||
меняет код стенда `bench/`: делать её между сериями, а не посреди
|
||||
«до/после».
|
||||
|
||||
@@ -170,9 +170,10 @@ Swarm дал бы встроенный rolling update (`update_config`), но э
|
||||
- Лимиты CPU/RAM у каждого сервиса стенда: api, haproxy, postgres,
|
||||
valkey, migrate.
|
||||
- Соединения Postgres: `API_REPLICAS × (pool_size + max_overflow)` +
|
||||
migrate + запас ≤ `max_connections`. Сейчас пул 10 + 5 на реплику:
|
||||
при 2–4 репликах запас есть, при 8 — уже нет (120 > 100). Это одна из
|
||||
гипотез трека 1.
|
||||
migrate + запас ≤ `max_connections`. Сейчас пул 10 + 0 на реплику
|
||||
(change `scaling-improvement`; было 10 + 5): граница — 10 реплик
|
||||
(10 × 10 + 1 > 100), при 10 + 5 была 7. Граница пула показана
|
||||
управляемым опытом серии `pool` трека 1 (на 10 + 5).
|
||||
- Окружение по сервисам: пароль Valkey получает только `api`, `migrate`
|
||||
— только Postgres, LB — ни одного секрета (рубрика «4»: секреты общие
|
||||
только там, где нужно).
|
||||
@@ -294,7 +295,7 @@ Swarm дал бы встроенный rolling update (`update_config`), но э
|
||||
| 3 | `graceful-failover` | 4 | Цепочка таймаутов зафиксирована и обоснована. Замер времени обнаружения отказа при `stop` и `kill`. Стенд `bench/` переходит на HAProxy + N реплик, профиль `failover`: поочерёдная остановка каждой реплики под нагрузкой | посекундные RPS, ошибки и время восстановления по каждой реплике в `evidence/failover/`, таблица таймаутов в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-graceful-failover/`; замер `evidence/failover/baseline/` с `459f84c`; verify — решение 10 design: отвергнутый вариант пула LB переснят на закоммиченном коде, уборка триггера `hang-key` при прерывании, `make bench_compare` отказывает метке без LB; дренаж до SIGTERM и `make run_docker` без пересоздания реплик переданы в `rolling-update`, ниже) |
|
||||
| 4 | `rolling-update` | 4 | `scripts/rolling-update.sh`: замена реплик по одной на новый образ под нагрузкой. Миграции однократно и совместимы со старой версией | прогон под нагрузкой с ошибками по секундам в `evidence/rollout/`; старый образ работает на новой схеме. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-rolling-update/`; замер `evidence/rollout/baseline/` с `9dcea0b`, итоговый код `84161c0`; verify — решение 12 design: уборка при Ctrl+C внутри `up --scale`, предусловие о слотах LB с ручным состоянием, `lock_timeout` миграции 2 с вместо 5 с (при равном `statement_timeout` запросы в очереди за миграцией получали 503), ограничение отката; совместимость и отказы скрипта пересняты на `84161c0`) |
|
||||
| 5 | `scaling-bench` | 5 (трек 1) | Открытая модель нагрузки, серии A (фиксированный бюджет 1×4 / 2×2 / 4×1) и B (1…8 реплик), метрики HAProxy и Postgres, графики, точка насыщения | метки серий и A/A в `evidence/bench/`, точка насыщения и её причина в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-scaling-bench/`; метки `scaling-a`, `-b`, `-pool`, `-aa` на коде `712d245`, серия B — до 6 реплик (бюджет ВМ); verify: 53300 → 503 (`68edc66`), выводы H1 и k_sat переписаны по критериям и разрешению сетки, причина насыщения — хост, механизм не разделён; по решению пользователя (S2) — серия `scaling-db`: при PostgreSQL 0,5 CPU R* 630 → 1 101 → 931 для 1 / 2 / 4 реплик; A/A улучшения — заново на коде «до») |
|
||||
| 6 | `scaling-improvement` | 5 (трек 1) | Одно улучшение на найденном узком месте, «до/после» через `make bench_ab`, отделение эффекта от шума | `evidence/compare/` с эффектом больше шума A/A, вывод в `REPORT.md` |
|
||||
| 6 | `scaling-improvement` | 5 (трек 1) | Одно улучшение на найденном узком месте, «до/после» через `make bench_ab`, отделение эффекта от шума | `evidence/compare/` с эффектом больше шума A/A, вывод в `REPORT.md`. **Заархивирован 2026-10-11** (`openspec/changes/archive/2026-10-11-scaling-improvement/`; пул 10 + 0 вместо 10 + 5 (`9c3959d`), тест `test_pool_keeps_connections`; профиль `db4`; попытка 1 (`scaling-db-aa`, `-before`, `-nooverflow`) испорчена помехами хоста, попытка 2 (`scaling-db-aa2`, `-before2`, `-nooverflow2`, итоговый код `7a38c5d`): R* `4x1-pg0.5` 931 → 1 101, +18,3 %, «эффект», механизм 102 → 4 новых сессий; по букве критерия H4 проверка дрейфа нарушена на 0,4 п. п., засчитано с оговоркой решением пользователя — против A/A2 той же сессии дрейфа нет, +11,9 %; verify: порог × 1,118 в отчёте, дельта «Серии трека 1» (`db4`), побочная проверка LB в evidence) |
|
||||
| 7 | — (отчёт и PR) | 3–5 | Сводка `REPORT.md`, проверка из чистого clone, шаблон PR, уборка переходных разделов | PR `ЛР 3 — БВТ2301 — Сафронов — на 5` |
|
||||
|
||||
Код лабы 2 (`bench_restore`, проверки отказов хранилищ, кэш) должен
|
||||
@@ -597,7 +598,8 @@ design change, решение 1: сборка раньше миграций, м
|
||||
годится: свою A/A (`make bench_scaling SERIES=ab SCALING_LABEL=…` на
|
||||
коде «до») снимает этот change. Шум по `scaling-aa` — 5,4–5,7 %, одна
|
||||
ступень сетки поиска (≈ 5,7 %); эффект R* засчитывается со сдвигом не
|
||||
меньше двух ступеней (≥ 12 %) или с явной оговоркой (`bench.md`).
|
||||
меньше двух ступеней (× 1,118, +11,8 %; порог уточнён до замеров
|
||||
`scaling-improvement`) или с явной оговоркой (`bench.md`).
|
||||
|
||||
Кандидат по данным `scaling-bench` (verify S8): переполнение пула. На
|
||||
R* при k ≥ 2 PostgreSQL открывает 168–298 новых соединений за окно 20 с
|
||||
|
||||
@@ -460,7 +460,7 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`,
|
||||
| «5», трек 1: исходные данные и графики | `make bench_plots`; таблицы меток | R* от числа реплик, p95 от интенсивности (лог. шкала, линия SLO), CPU по компонентам на R*; строка на ступень, на ячейку и посекундные отсчёты | `evidence/plots/scaling/*.svg`, `evidence/bench/scaling-*/runs.csv`, `searches.csv`, `samples.csv` |
|
||||
| «5», трек 1: уровень шума для улучшения | `make bench_scaling SERIES=ab SCALING_LABEL=scaling-aa`; `make bench_compare BEFORE=scaling-b AFTER=scaling-aa`, `BEFORE=scaling-b AFTER=scaling-a` | шум между сессиями (B → A/A, тот же код `712d245`): 1 × 1 666 (666–704) → 704 (666–704), +5,7 % — одна ступень деления; 6 × 1 2 034 (1 923–2 034) → 2 034 (2 034–2 034), Δ в пределах одной ступени (< 5,7 %); разбросы пересекаются. Согласованность серий: 4 × 1 серии `a` и k = 4 серии `b` — 1 819 и 1 819. Для `scaling-improvement` `scaling-aa` как `AA` не годится: код после правки 53300 другой, A/A снимается заново | `evidence/compare/scaling-b__scaling-aa.md`, `evidence/compare/scaling-b__scaling-a.md` |
|
||||
| «5», трек 1: одно подтверждённое улучшение — пул без переполнения (change `scaling-improvement`) | H4 закоммичена до замеров (`0b0421a`, набор ячеек — `1bb8ea6`, попытка 2 — `a676a52`); изменение `9c3959d` (дефолт `max_overflow` 5 → 0) откачено; в одной сессии хоста: A/A `make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa2`, затем `make bench_ab BEFORE=scaling-db-before2 AFTER=scaling-db-nooverflow2 REAPPLY=5c07923 SERIES=db4`; `make bench_compare … AA=scaling-db-aa2 CHANGE=scaling-improvement`. Попытка 1 — те же команды с метками без `2`, откат `62fa575` | **попытка 2 (окончательная, тихий хост):** основная `4x1-pg0.5` R* 931 (931–984) → 1 101 (1 101–1 101), +18,3 %, «эффект», шум A/A 5,4 %; механизм: новых сессий на первой нарушившей 102 → 4, соединений 60 → 40, CPU PostgreSQL на запрос там 416 → 336 мкс; контроль `4x1-pg2` +5,7 % (в пределах шума). **Подтверждено с оговоркой**: по букве критерия проверка дрейфа (CPU на запрос при 500/с ±5 %) у основной ячейки −5,4 % из-за двух ячеек «до» (переполнения при 500/с нет ни в одной метке); против A/A2 той же сессии (`make bench_compare BEFORE=scaling-db-aa2 AFTER=scaling-db-nooverflow2 AA=scaling-db-before2 CHANGE=scaling-improvement`) дрейфа нет — 1 940 → 1 936 мкс, R* 984 → 1 101, +11,9 % (две ступени), «эффект»; засчитано решением автора после результатов. Попытка 1: +32 %, но шум A/A 20 % из-за помех macOS (iCloud, Zoom) — не прошла дрейф | `evidence/compare/scaling-db-before2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-before2.md`, `evidence/bench/scaling-db-{aa2,before2,nooverflow2}/`, попытка 1 — `evidence/compare/scaling-db-before__scaling-db-nooverflow.md` и метки без `2`, `evidence/tests/scaling-improvement-checks.md` |
|
||||
| Пул без переполнения: соединения не переоткрываются | `make failure_checks`: тест `test_pool_keeps_connections` (48 потоков × 5 запросов, пачки больше пула 10, счётчик `pg_stat_database.sessions` через hook `db-sessions`); рабочий `config.toml` с `max_overflow` 5 и 0 | 10 + 5 — красный: 18–24 новые сессии PostgreSQL за 720 запросов; 10 + 0 — 0, 17 проверок отказов прошли (4 прогона); регрессия на коде X: `make test`, `make student_test` (131 passed), `make test_isolated`, `make test-persistence`, `make test-failover` для обеих реплик — `PASS`; соединений приложения на рабочем стенде 17 ≤ 2 × 10 | `evidence/tests/scaling-improvement-checks.md` |
|
||||
| Пул без переполнения: соединения не переоткрываются | `make failure_checks`: тест `test_pool_keeps_connections` (48 потоков × 5 запросов, пачки больше пула 10, счётчик `pg_stat_database.sessions` через hook `db-sessions`); рабочий `config.toml` с `max_overflow` 5 и 0 | 10 + 5 — красный: 18–21 новая сессия PostgreSQL за 720 запросов; 10 + 0 — 0, 17 проверок отказов прошли (4 прогона); регрессия на коде X: `make test`, `make student_test` (131 passed), `make test_isolated`, `make test-persistence`, `make test-failover` для обеих реплик — `PASS`; соединений приложения на рабочем стенде 17 ≤ 2 × 10 | `evidence/tests/scaling-improvement-checks.md` |
|
||||
| Цена нового соединения PostgreSQL и пинга | микропроба в реплике рабочего стенда (`cd88b48`): проверка сессии и страница истории через repo, из пула с пингом, без пинга и с новым соединением на итерацию | новое соединение — 11,7–11,8 мс CPU реплики (SCRAM-SHA-256 asyncpg в event loop) и 2,7 мс CPU PostgreSQL против 0,6 и 0,15 мс из пула; пинг при выдаче — +0,13 мс реплики и +0,05 мс PostgreSQL на запрос | `evidence/storage/connection-cost.md` |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
@@ -695,7 +695,8 @@ swap занят 920 МиБ, но выгрузки за прогон не был
|
||||
- **H3. Граница пула** (серия `pool`). Пул приложения — 10 + 5 = 15 на
|
||||
реплику, пользователь приложения — суперпользователь (резерв
|
||||
`superuser_reserved_connections` его не держит), сэмплер занимает 1
|
||||
соединение. На дефолтах граница — k = 7, вне серии `b`; опыт — 4
|
||||
соединение. На дефолтах граница — k = 7 (пул 10 + 5 того времени; с
|
||||
10 + 0 change `scaling-improvement` — k = 10), вне серии `b`; опыт — 4
|
||||
реплики при `max_connections` 100 (61 ≤ 100) и 50 (61 > 50).
|
||||
- Предсказание: при 100 отказов «too many clients» нет, на R* и выше
|
||||
`pool_busy_share` > 0, `db_conn_replica_max` доходит до 15; при 50,
|
||||
@@ -711,8 +712,10 @@ swap занят 920 МиБ, но выгрузки за прогон не был
|
||||
|
||||
**H4. Пул без переполнения** (change `scaling-improvement`, design
|
||||
решение 5). Записана после серий `scaling-bench` и до замеров «до/после»
|
||||
этого change: коммит с H4 старше меток `scaling-db-aa`,
|
||||
`scaling-db-before`, `scaling-db-nooverflow`.
|
||||
этого change: коммит с H4 (`0b0421a`) старше меток попытки 1
|
||||
(`scaling-db-aa`, `scaling-db-before`, `scaling-db-nooverflow`), а план
|
||||
попытки 2 с тем же критерием (`a676a52`) — старше её меток
|
||||
(`scaling-db-aa2`, `scaling-db-before2`, `scaling-db-nooverflow2`).
|
||||
|
||||
- **Утверждение.** У насыщенного PostgreSQL рост реплик вредит из-за
|
||||
переполнения пула (10 + 5). Под нагрузкой реплики открывают
|
||||
@@ -763,8 +766,9 @@ swap занят 920 МиБ, но выгрузки за прогон не был
|
||||
(шаг сетки после двух делений 1,25^¼ ≈ 5,7 %; 931 → 1 041 — ровно две
|
||||
ступени).
|
||||
- **Подтверждено**, если выполнено всё:
|
||||
1. у `4x1-pg0.5` вывод `make bench_compare … AA=scaling-db-aa` —
|
||||
«эффект», и медиана «после» ≥ медиана «до» × 1,118;
|
||||
1. у `4x1-pg0.5` вывод `make bench_compare … AA=scaling-db-aa` (в
|
||||
попытке 2 — `AA=scaling-db-aa2`) — «эффект», и медиана «после» ≥
|
||||
медиана «до» × 1,118;
|
||||
2. механизм по таблице «PostgreSQL на R* и первой нарушившей
|
||||
ступени»: «после» новых сессий за окно ≤ 10 на обеих ступенях,
|
||||
соединений на R* ≤ 40; «до» на первой нарушившей — ≥ 40 новых
|
||||
@@ -966,8 +970,8 @@ keep-alive-сессия держит своё соединение к каждо
|
||||
хост** — общий CPU ноутбука для реплик, PostgreSQL, LB и генератора, а
|
||||
не БД, LB или пул; каким механизмом секунда CPU дешевеет, замер не
|
||||
разделяет. Границы пула и БД достижимы управляемыми опытами (серии
|
||||
`pool` и `db`, ниже): на дефолтах граница пула — k = 7, за пределом
|
||||
бюджета ВМ, а PostgreSQL 2 CPU занят на 1,1 ядра.
|
||||
`pool` и `db`, ниже): на дефолтах граница пула — k = 7 (пул 10 + 5
|
||||
того времени; с 10 + 0 — k = 10), за пределом бюджета ВМ, а PostgreSQL 2 CPU занят на 1,1 ядра.
|
||||
|
||||
Память нигде не была узким местом (раздел «Память» той же сводки,
|
||||
пики за серию): RSS процесса реплики — 106–135 МиБ при лимите 512 МиБ
|
||||
@@ -1061,7 +1065,8 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch
|
||||
насыщается: 1,1 ядра из 2 при 6 репликах.
|
||||
- **Пул** — показан управляемым опытом `scaling-pool`: при
|
||||
`max_connections` 50 отказы «too many clients» с 1 455/с и R* 1 539
|
||||
против 1 819; на дефолтах граница — k = 7, за бюджетом ВМ. За R* реплики
|
||||
против 1 819; на дефолтах граница — k = 7 (пул 10 + 5 того времени; с
|
||||
10 + 0 — k = 10), за бюджетом ВМ. За R* реплики
|
||||
ждут свободное соединение пула до 5 с (503).
|
||||
- **LB** — не насыщен ни в одной серии: HAProxy ≤ 0,30 ядра из 1,
|
||||
очередь 0, ошибок соединения нет.
|
||||
@@ -1154,8 +1159,8 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch
|
||||
b → aa) — одна ступень деления. Оценён по двум конфигурациям × 3
|
||||
повтора. Сдвиг на одну ступень при непересекающихся разбросах команда
|
||||
назовёт эффектом, но он в пределах разрешения: эффект R* засчитывается
|
||||
при сдвиге не меньше двух ступеней (≥ 12 %) или с оговоркой
|
||||
(`bench.md`). Для `scaling-improvement` `scaling-aa` как `AA` не
|
||||
при сдвиге не меньше двух ступеней (× 1,118, +11,8 %; порог уточнён
|
||||
до замеров change `scaling-improvement`) или с оговоркой (`bench.md`). Для `scaling-improvement` `scaling-aa` как `AA` не
|
||||
годится: правка 53300 (`68edc66`) изменила код приложения после неё,
|
||||
поэтому A/A снимается заново на коде «до» (design, «Найдено в
|
||||
verify»).
|
||||
@@ -1220,11 +1225,12 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch
|
||||
выдаче, рестарт PostgreSQL («БД вернулась»), «too many clients» (53300)
|
||||
— без изменений, контракт и HTTP-поведение не меняются. Соединений
|
||||
рабочего стенда — до 21 вместо 31. Свойство проверяет тест `fault`
|
||||
`test_pool_keeps_connections`: на 10 + 5 — 18–24 новые сессии за
|
||||
`test_pool_keeps_connections`: на 10 + 5 — 18–21 новая сессия за
|
||||
720 запросов пачками по 48, на 10 + 0 — 0.
|
||||
|
||||
**Предсказание** — H4 выше, закоммичена до замеров (`0b0421a`); набор
|
||||
ячеек сокращён до замеров решением пользователя (`1bb8ea6`).
|
||||
ячеек сокращён до замеров решением пользователя (`1bb8ea6`); план
|
||||
попытки 2 с тем же критерием — до её замеров (`a676a52`).
|
||||
|
||||
**Методика.**
|
||||
|
||||
@@ -1244,7 +1250,8 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch
|
||||
`make bench_ab` и раз в минуту во время прогонов: питание от сети,
|
||||
Zoom не запущен, средняя нагрузка за 5 мин < 8 (≤ 7,88), Spotlight
|
||||
< 15 % CPU (≤ 12,6 %), выгрузок 0.
|
||||
- Эффект — вывод `make bench_compare … AA=scaling-db-aa`: разбросы не
|
||||
- Эффект — вывод `make bench_compare … AA=scaling-db-aa` (попытка 1) /
|
||||
`AA=scaling-db-aa2` (попытка 2): разбросы не
|
||||
пересекаются и Δ больше шума A/A; плюс сдвиг не меньше двух ступеней
|
||||
сетки (× 1,118); плюс механизм по таблице PostgreSQL и отсутствие
|
||||
дрейфа (CPU реплик на запрос на 500/с ±5 %, шум A/A меньше двух
|
||||
@@ -1282,10 +1289,10 @@ PostgreSQL на R* и первой нарушившей ступени, «до
|
||||
3. Дрейф — есть: CPU реплик на запрос на 500/с в пределах ±5 % (−3,8 %
|
||||
и +2,0 %), но шум A/A — 20 %, больше двух ступеней. В метке «до» три
|
||||
ячейки из шести (r2 и r3 основной, r3 контроля) шли на более
|
||||
медленном хосте: CPU реплик на запрос уже на 250 и 500/с выше на
|
||||
8–40 %, чем в остальных ячейках, — R* 745, 745 и 1 301. В A/A и
|
||||
«после» таких ячеек нет (кроме «после» `4x1-pg0.5-r2`, +20 % на
|
||||
500/с). Сверка с журналом питания macOS: на окнах этих ячеек —
|
||||
медленном хосте: CPU реплик на запрос уже на 250 и 500/с выше
|
||||
медианы A/A той же конфигурации на 7–38 % (на 250/с — +10…+24 %, на
|
||||
500/с — +7…+38 %), — R* 745, 745 и 1 301. В A/A и «после» таких ячеек
|
||||
нет (кроме «после» `4x1-pg0.5-r2`, +20 % к медиане A/A на 500/с). Сверка с журналом питания macOS: на окнах этих ячеек —
|
||||
всплески синхронизации iCloud, смена аудиоустройства, запущенный
|
||||
Zoom, у одной — 37 % свободной памяти. Помехи были вне ВМ Docker,
|
||||
стенд их не видит.
|
||||
@@ -1373,8 +1380,10 @@ CHANGE=scaling-improvement`
|
||||
соединений и задержки event loop ~10 мс на каждое ушли.
|
||||
|
||||
**Что осталось узким местом.** Выше излома насыщенная база (0,5 CPU)
|
||||
выбирает квоту при любом пуле: CPU PostgreSQL на запрос ~340–530 мкс
|
||||
на нарушивших ступенях и «до», и «после». Изменение отодвигает момент,
|
||||
выбирает квоту при любом пуле: CPU PostgreSQL на запрос на первой
|
||||
нарушившей ступени `4x1-pg0.5` — 416 «до» и 336 «после» в попытке 2
|
||||
(646 и 420 в попытке 1), против 277–293 на R*
|
||||
(`evidence/compare/scaling-db-before2__scaling-db-nooverflow2.md`). Изменение отодвигает момент,
|
||||
когда база туда сваливается, но насыщенную базу дешевле не делает. На
|
||||
дефолтных лимитах рост реплик останавливает хост, и переоткрытие на R*
|
||||
там — около 2 % CPU (design change, решение 3): контроль `4x1-pg2`
|
||||
@@ -1387,7 +1396,16 @@ CHANGE=scaling-improvement`
|
||||
- Помехи macOS вне ВМ (iCloud, Zoom, Spotlight) стенд не видит. Они
|
||||
испортили попытку 1. В попытке 2 они ограничены условиями хоста, но
|
||||
не исключены: CPU реплик на запрос между ячейками одной метки
|
||||
расходится до 7,3 %.
|
||||
расходится до 7,3 % у основной ячейки и до 12,2 % у контроля
|
||||
(`scaling-db-before2`, `4x1-pg2`, 500/с: 1 898–2 130 мкс).
|
||||
- LB не исключал реплики ни на одной ступени: `lb_chkdown` 0 во всех
|
||||
239 ступенях шести меток, отказов «too many clients» 0. На R* и ниже
|
||||
`error_codes` пуст во всех метках; 503 (ожидание пула дольше 5 с) —
|
||||
только выше R* и в обеих версиях: на коде «до» (метки A/A и «до») —
|
||||
1–13 за окно, «после» — 23 и 8
|
||||
у `4x1-pg2-r3` на 2 274 и 2 034/с (R* ячейки 1 923). Заранее
|
||||
записанная побочная проверка (design, решение 2 и Risks) выполнена
|
||||
(`evidence/tests/scaling-improvement-checks.md`, раздел 11).
|
||||
- Детектор дрейфа ±5 % оказался того же порядка, что и этот разброс.
|
||||
- Один хост, генератор на нём же.
|
||||
|
||||
@@ -1411,7 +1429,8 @@ CHANGE=scaling-improvement`
|
||||
ядрами и свободным CPU насыщение, вероятно, наступило бы позже; это
|
||||
не проверялось.
|
||||
- Серия `b` — до 6 реплик: при 7 сумма лимитов (12,75 CPU) больше 12
|
||||
vCPU ВМ. Граница пула на дефолтах (k = 7) показана управляемым
|
||||
vCPU ВМ. Граница пула на дефолтах (k = 7 при пуле 10 + 5 того
|
||||
времени; с 10 + 0 — k = 10) показана управляемым
|
||||
опытом (`max_connections` 50 при 4 репликах), а не ростом реплик.
|
||||
- Насыщение БД показано управляемым опытом: лимит PostgreSQL 0,5 CPU
|
||||
вместо 2 (серия `db`). Эффект соединений у насыщенной базы (CPU на
|
||||
@@ -1586,7 +1605,8 @@ TODO: какие отказы выдерживаются и какие нет;
|
||||
проверка дрейфа (±5 % CPU на запрос при 500/с) дала −5,4 %.
|
||||
- Попытку 1 испортили помехи macOS: шум A/A 20 %.
|
||||
- Детектор ±5 % оказался того же порядка, что разброс CPU на запрос
|
||||
между ячейками одной метки на этом хосте (до 7,3 %).
|
||||
между ячейками одной метки на этом хосте (до 7,3 % у основной ячейки
|
||||
и до 12,2 % у контроля, `scaling-db-before2`, `4x1-pg2`, 500/с).
|
||||
- Сказать, сдвигает ли изменение R* на дефолтных лимитах, нельзя:
|
||||
там рост останавливает хост, а переоткрытие на R* — около 2 % CPU
|
||||
(design change, решение 3).
|
||||
@@ -1746,7 +1766,11 @@ k = 6, вместе с числом занятых ядер хоста. Доба
|
||||
PostgreSQL 0,5 CPU база насыщается около 950–1 000/с (троттлинг до
|
||||
100 %, `db_cpu`), и 4 реплики дают R* на 15 % меньше, чем 2 (931 против
|
||||
1 101): лишние реплики только добавляют соединения, и запрос в
|
||||
насыщенной базе дорожает с 279 до 441 мкс CPU. Серия `pool`: при
|
||||
насыщенной базе дорожает с 279 до 441 мкс CPU. Главная причина —
|
||||
переполнение пула 10 + 5: соединения сверх 10 переоткрываются. С пулом
|
||||
10 + 0 (change `scaling-improvement`) R*(4 × 1) = 1 101 = R*(2 × 1),
|
||||
новых сессий на первой нарушившей ступени 102 → 4 (раздел «Улучшение
|
||||
по найденному узкому месту: пул без переполнения»). Серия `pool`: при
|
||||
`max_connections` 50 — отказы и падение R* на 15 % (после правки 53300
|
||||
отказ — 503). LB не насыщался нигде: ≤ 0,30 ядра из 1.
|
||||
|
||||
|
||||
@@ -221,8 +221,9 @@ CPU реплик на запрос, мкс, на 250 / 500 запросов/с
|
||||
|
||||
В метке «до» три ячейки из шести (r2 и r3 основной, r3 контроля)
|
||||
шли на заметно более медленном хосте: CPU на запрос на тех же 250 и
|
||||
500/с выше на 8–40 %, ещё до насыщения базы. Именно у них R* 745 и
|
||||
1 301.
|
||||
500/с выше медианы A/A той же конфигурации на 7–38 % (на 250/с — к
|
||||
2 127 и 2 143, на 500/с — к 2 042), ещё до насыщения базы. Именно у них
|
||||
R* 745 и 1 301.
|
||||
|
||||
Сверка по журналу питания macOS (`pmset -g log`, основная сессия; здесь
|
||||
обобщённо, сырой журнал не кладётся — в нём имя устройства): на окнах
|
||||
@@ -380,6 +381,33 @@ $ make bench_compare BEFORE=scaling-db-aa2 AFTER=scaling-db-nooverflow2 AA=scali
|
||||
CPU на запрос при 500/с ±0,4 %, дрейфа нет; 1 101 / 984 = 1,119 ≥
|
||||
1,118 (две ступени), разбросы не пересекаются.
|
||||
|
||||
Разброс CPU реплик на запрос между ячейками одной метки попытки 2 (по
|
||||
таблице выше): у основной ячейки до 7,3 % (`scaling-db-before2`,
|
||||
500/с, 1 914–2 054), у контроля до 12,2 % (`scaling-db-before2`,
|
||||
`4x1-pg2`, 500/с, 1 898–2 130), у A/A2 `4x1-pg0.5` на 250/с — 8,0 %
|
||||
(2 007–2 168).
|
||||
|
||||
**Побочная проверка LB и ответов** (design, решение 2 и Risks, задача
|
||||
7.2: `/health/ready` ждёт в очереди пула; исключение реплики на R* и
|
||||
ниже — изменение не засчитывается). Поля `lb_chkdown`,
|
||||
`db_too_many_clients` и `error_codes` в `runs.csv` шести меток (строка
|
||||
на ступень), ступень сравнивается с R* своей ячейки из `searches.csv`:
|
||||
|
||||
| Метка | Ступеней | `lb_chkdown` | «too many clients» | `error_codes` на R* и ниже | `error_codes` выше R* |
|
||||
|---|---|---|---|---|---|
|
||||
| `scaling-db-aa` | 40 | 0 | 0 | — | `4x1-pg2-r1` 1 819/с `503:13`; `4x1-pg2-r2` 1 819/с `503:1` |
|
||||
| `scaling-db-before` | 41 | 0 | 0 | — | `4x1-pg0.5-r1` 1 455/с `503:1`; `4x1-pg2-r2` 1 819/с `503:1`; `4x1-pg2-r3` 1 455/с `503:1` |
|
||||
| `scaling-db-nooverflow` | 40 | 0 | 0 | — | — |
|
||||
| `scaling-db-aa2` | 39 | 0 | 0 | — | `4x1-pg0.5-r1` 1 455/с `503:1` |
|
||||
| `scaling-db-before2` | 39 | 0 | 0 | — | — |
|
||||
| `scaling-db-nooverflow2` | 40 | 0 | 0 | — | `4x1-pg2-r3` (R* 1 923) 2 274/с `503:23`, 2 034/с `503:8` |
|
||||
|
||||
LB не исключал реплики ни на одной из 239 ступеней, отказов «too many
|
||||
clients» нет. На R* и ниже ответов 5xx нет ни в одной метке; 503 (запрос
|
||||
ждал соединение пула дольше `pool_timeout` 5 с) — только выше R* и в
|
||||
обеих версиях кода. Условие design выполнено: изменение
|
||||
отказоустойчивость не ломает.
|
||||
|
||||
## 8. Итоговый код
|
||||
|
||||
```text
|
||||
@@ -407,3 +435,13 @@ CHAIN EXIT 0
|
||||
```
|
||||
|
||||
Метки `quick-*` — в `.gitignore`.
|
||||
|
||||
Итоговый код change — `7a38c5d` (возврат X после попытки 2), проверки
|
||||
выше сняты на `cd88b48`. Между ними код приложения и стенда не
|
||||
менялся, поэтому регрессия и цена соединения
|
||||
(`evidence/storage/connection-cost.md`) относятся и к итоговому коду:
|
||||
|
||||
```text
|
||||
$ git diff --stat cd88b48 HEAD -- src Dockerfile pyproject.toml uv.lock bench .dockerignore .python-version migrations docker-compose.yml infra config_example.toml
|
||||
(пусто; HEAD — cb984c1, проверка verify и fixes)
|
||||
```
|
||||
|
||||
@@ -239,7 +239,9 @@ uv.lock` пуст.
|
||||
> предсказания и пункт дрейфа по `2x1-pg0.5` из решения 5 сняты (H4 в
|
||||
> `REPORT.md` записана уже с сокращённым набором). «R*(4 × 1) ≥ R*(2 × 1)»
|
||||
> — только справка против `2x1-pg0.5` метки `scaling-db` (другая
|
||||
> сессия). Дальше в этом решении — исходный выбор.
|
||||
> сессия). Новый профиль требует дельты «Серии трека 1» в
|
||||
> `specs/load-benchmark/spec.md` (серия `db4`; добавлена по verify, W2).
|
||||
> Дальше в этом решении — исходный выбор.
|
||||
|
||||
Серия `db` тем же профилем `scaling_db`, что у метки `scaling-db`:
|
||||
- 1, 2 и 4 реплики по 1 CPU при PostgreSQL 0,5 CPU;
|
||||
@@ -672,7 +674,7 @@ bench_compare`. `PLAN.md` — при archive.
|
||||
сбрасывает статистику принудительно по таймеру `PGSTAT_IDLE_INTERVAL`
|
||||
(10 с).
|
||||
|
||||
Проверка: красный на 10 + 5 (18–24 новые сессии), зелёный на 10 + 0
|
||||
Проверка: красный на 10 + 5 (18–21 новая сессия), зелёный на 10 + 0
|
||||
три полных прогона подряд. Исправления — коммиты X2 (`623a973`) и X3
|
||||
(`80e64cd`), R откатывает X, X2 и X3 вместе (задачи 3.7, 4.1). Свойство
|
||||
и порог теста не ослаблены: окно по-прежнему требует 0 новых сессий.
|
||||
@@ -686,11 +688,12 @@ bench_compare`. `PLAN.md` — при archive.
|
||||
прошли заранее записанный пункт 3 критерия. Шум A/A был 20 %, а в
|
||||
ячейках CPU реплик на запрос при 500/с отклонялся больше чем на ±5 %.
|
||||
Причина — помехи вне ВМ Docker; основная сессия сверила это по
|
||||
журналу питания macOS:
|
||||
- «до» `4x1-pg0.5-r2`: CPU на запрос при 500/с +8 % к A/A, на окне —
|
||||
всплеск синхронизации iCloud и смена аудиоустройства;
|
||||
- «до» `4x1-pg0.5-r3`: +10 %, посреди ячейки запущен Zoom;
|
||||
- «до» `4x1-pg2-r3`: +40 %, свободной памяти 37 %;
|
||||
журналу питания macOS (CPU реплик на запрос при 500/с — к медиане
|
||||
A/A той же конфигурации, 2 042 мкс у обеих):
|
||||
- «до» `4x1-pg0.5-r2`: +7 %, на окне — всплеск синхронизации iCloud
|
||||
и смена аудиоустройства;
|
||||
- «до» `4x1-pg0.5-r3`: +9 %, посреди ячейки запущен Zoom;
|
||||
- «до» `4x1-pg2-r3`: +38 %, свободной памяти 37 %;
|
||||
- «после» `4x1-pg0.5-r2`: +20 %, работали Zoom и iCloud.
|
||||
|
||||
Против чистой базы того же кода (`scaling-db` 931 ×3, медиана A/A
|
||||
@@ -724,7 +727,8 @@ bench_compare`. `PLAN.md` — при archive.
|
||||
|
||||
По букве критерия H4 не подтверждена, порог не менялся. Детектор
|
||||
±5 % оказался того же порядка, что разброс CPU на запрос между
|
||||
ячейками одной метки (до 7,3 %). Это урок для следующих замеров, а не
|
||||
ячейками одной метки (до 7,3 % у основной ячейки и до 12,2 % у
|
||||
контроля: `scaling-db-before2`, `4x1-pg2`, 500/с). Это урок для следующих замеров, а не
|
||||
повод менять порог задним числом.
|
||||
4. **Решение пользователя, 2026-10-11, после результатов попытки 2:
|
||||
улучшение засчитывается с явной оговоркой.** Это анализ после
|
||||
|
||||
@@ -50,6 +50,11 @@
|
||||
`scaling-db-nooverflow`;
|
||||
- затем `make bench_compare … AA=scaling-db-aa`.
|
||||
|
||||
Попытку 1 испортили помехи хоста, и замер переснят тем же порядком с
|
||||
тем же критерием (попытка 2, окончательная): метки `scaling-db-aa2`,
|
||||
`scaling-db-before2`, `scaling-db-nooverflow2` (design, «Найдено в
|
||||
apply», п. 3 и 4).
|
||||
|
||||
Изменение засчитывается при сдвиге R* основной ячейки 4 × 1 при
|
||||
0,5 CPU не меньше чем на две ступени сетки и больше шума A/A. Ещё
|
||||
нужно, чтобы таблица PostgreSQL подтвердила механизм, а CPU на запрос
|
||||
@@ -86,7 +91,9 @@
|
||||
- «Сравнение „до/после“ в отчёте» — замер и на серии трека 1:
|
||||
- A/A того же кода в той же сессии;
|
||||
- эффект R* — не меньше двух ступеней сетки;
|
||||
- контрольные конфигурации.
|
||||
- контрольные конфигурации;
|
||||
- «Серии трека 1» — серия `db4` (добавлена в apply): две конфигурации
|
||||
серии `db` для «до/после».
|
||||
|
||||
## Impact
|
||||
|
||||
@@ -105,19 +112,24 @@
|
||||
`--change`);
|
||||
- `Makefile` (`CHANGE` у `bench_compare`).
|
||||
|
||||
Профили, `run.py`, k6 и лимиты не меняются. Серия `db` снимается тем
|
||||
же профилем `scaling_db`.
|
||||
k6 и лимиты не меняются. В `run.py` добавлен профиль `scaling_db4`
|
||||
(`SERIES=db4`, две конфигурации серии `db` с теми же полями; в apply,
|
||||
`1bb8ea6`), им сняты все метки change; дельта `load-benchmark`, «Серии
|
||||
трека 1».
|
||||
- **Граница пула** уходит с k = 7 на k = 10 (10 × 10 + 1 > 100). Метки
|
||||
`scaling-a`, `-b`, `-pool`, `-aa`, `-db` остаются результатом пула
|
||||
10 + 5.
|
||||
- **Evidence:**
|
||||
- метки `evidence/bench/scaling-db-aa/`, `scaling-db-before/`,
|
||||
`scaling-db-nooverflow/`;
|
||||
- `evidence/compare/scaling-db-before__scaling-db-nooverflow.md` и
|
||||
таблица A/A;
|
||||
`scaling-db-nooverflow/` (попытка 1) и `scaling-db-aa2/`,
|
||||
`scaling-db-before2/`, `scaling-db-nooverflow2/` (попытка 2);
|
||||
- `evidence/compare/scaling-db-before__scaling-db-nooverflow.md`,
|
||||
`scaling-db-before2__scaling-db-nooverflow2.md`, таблицы A/A и
|
||||
сравнение «после» с A/A2 (`scaling-db-aa2__scaling-db-nooverflow2.md`);
|
||||
- `evidence/storage/connection-cost.md` — цена соединения и пинга;
|
||||
- `evidence/tests/scaling-improvement-checks.md`.
|
||||
- **Документы:** `REPORT.md`, `AGENTS.md`, `PLAN.md`, правила
|
||||
`bench.md`, `infra.md`, `student-tests.md` (действие hook).
|
||||
- **Время:** около 2,5 ч замеров (A/A ~50 мин, `make bench_ab` ~100
|
||||
мин), всё — фоновыми командами.
|
||||
- **Время:** план — около 2,5 ч замеров (A/A ~50 мин, `make bench_ab`
|
||||
~100 мин), всё — фоновыми командами. Фактически, с профилем `db4`, —
|
||||
две попытки по ~1 ч 20 мин (A/A ~25 мин, `make bench_ab` 50–53 мин).
|
||||
|
||||
@@ -197,3 +197,115 @@ SHALL быть change, к которому относится сравнение
|
||||
выводом сравнения и сдвиг основной конфигурации в ступенях сетки
|
||||
- **AND** механизм изменения показан числами из таблиц команд, а не
|
||||
пересчётом вручную
|
||||
|
||||
### Requirement: Серии трека 1
|
||||
|
||||
Команда `make bench_scaling SERIES=<серия>` SHALL снимать серию трека 1
|
||||
«Цена масштабирования» под меткой `SCALING_LABEL` (по умолчанию
|
||||
`scaling-<серия>`) в `evidence/bench/<метка>/`. Серия — набор
|
||||
конфигураций стенда. Конфигурация задаёт число реплик приложения, лимит
|
||||
CPU и памяти реплики и предел соединений PostgreSQL. Серии:
|
||||
- `a` — фиксированный суммарный бюджет приложения 4 CPU / 2 ГиБ:
|
||||
1 реплика × 4 CPU / 2 ГиБ, 2 × 2 CPU / 1 ГиБ, 4 × 1 CPU / 512 МиБ;
|
||||
- `b` — рост ресурсов: 1, 2, 3, 4, 5 и 6 реплик по 1 CPU / 512 МиБ;
|
||||
- `pool` — граница пула: 4 реплики по 1 CPU / 512 МиБ при пределе
|
||||
соединений PostgreSQL 100 и 50;
|
||||
- `ab` — 1 и 6 реплик по 1 CPU / 512 МиБ, как в серии `b`: одна
|
||||
реплика и наибольшая конфигурация в бюджете ВМ, для замера
|
||||
«до/после» и уровня шума A/A;
|
||||
- `db` — насыщение PostgreSQL управляемым опытом: 1, 2 и 4 реплики по
|
||||
1 CPU / 512 МиБ при узком лимите CPU PostgreSQL (выбран калибровкой,
|
||||
записан в паспорт и имя конфигурации) и контроль — 4 реплики при
|
||||
прежних 2 CPU PostgreSQL. Лимит CPU PostgreSQL у этой серии — часть
|
||||
конфигурации;
|
||||
- `db4` — две конфигурации серии `db` для замера «до/после»: 4 реплики
|
||||
по 1 CPU / 512 МиБ при узком лимите CPU PostgreSQL и при 2 CPU, с теми
|
||||
же полями и лимитами, что у `db`. Имя серии и состав конфигураций к
|
||||
методике сравнения не относятся: метки `db4` сравнимы с метками `db`
|
||||
по общим конфигурациям;
|
||||
- короткие серии самопроверки — `make bench_scaling_quick` и `make
|
||||
bench_scaling SERIES=db_quick` с меткой `quick-…`, в git не идут.
|
||||
|
||||
Лимиты LB, Valkey и генератора, профиль нагрузки, ступени и SLO SHALL
|
||||
быть одинаковыми во всех сериях; лимит PostgreSQL — тоже, кроме
|
||||
конфигураций серий `db` и `db4`. В каждой конфигурации серий
|
||||
`a`, `b`, `pool`, `ab`, `db` и `db4` сумма лимитов CPU стенда и
|
||||
генератора MUST NOT превышать число CPU ВМ Docker: иначе команда
|
||||
завершается с ненулевым кодом до запуска стенда. Паспорт SHALL
|
||||
содержать по каждой конфигурации сумму лимитов CPU и памяти, а также CPU
|
||||
и память ВМ.
|
||||
|
||||
Ячейка серии — конфигурация в одном повторе. Каждая конфигурация SHALL
|
||||
сниматься 3 раза. Каждая ячейка SHALL начинаться со свежего стенда:
|
||||
новый volume, миграции, данные профиля. Порядок ячеек SHALL
|
||||
перемешиваться кругами: в каждом круге каждая конфигурация встречается
|
||||
один раз, порядок задан зерном методики и записан в метку до первой
|
||||
ячейки.
|
||||
|
||||
Результат ячейки SHALL сохраняться сразу после неё. Прерванную серию
|
||||
SHALL можно продолжить той же командой с `RESUME=1`. Продолжение
|
||||
работает только на том же commit без незакоммиченных изменений:
|
||||
- снимаются ячейки, которых в метке нет;
|
||||
- прерванная ячейка снимается заново с новым номером попытки; строки
|
||||
прежней попытки остаются в таблице, но в сводку не входят.
|
||||
|
||||
Стенд, оставшийся от прерванного прогона, серия SHALL удалять сама, без
|
||||
ручной уборки, если другой прогон стенда не идёт.
|
||||
|
||||
Во время серии команда SHALL печатать строку на каждую ступень: ячейку
|
||||
и её номер из общего числа, ступень, уровень, итог и оценку времени до
|
||||
конца серии. Файл состояния в каталоге метки SHALL показывать текущие
|
||||
ячейку и ступень.
|
||||
|
||||
#### Scenario: Серия с фиксированным бюджетом
|
||||
|
||||
- **WHEN** выполняется `make bench_scaling SERIES=a`
|
||||
- **THEN** в метке 9 ячеек (3 конфигурации × 3 повтора), каждая на
|
||||
свежем стенде, суммарный лимит реплик в каждой конфигурации — 4 CPU и
|
||||
2 ГиБ, код выхода 0
|
||||
|
||||
#### Scenario: Бюджет помещается в ВМ
|
||||
|
||||
- **WHEN** проверяющий открывает паспорт серии `a`, `b`, `pool`, `ab`,
|
||||
`db` или `db4`
|
||||
- **THEN** у каждой конфигурации сумма лимитов CPU стенда и генератора
|
||||
не больше числа CPU ВМ, а сумма лимитов памяти записана рядом с
|
||||
памятью ВМ
|
||||
|
||||
#### Scenario: Насыщение PostgreSQL
|
||||
|
||||
- **WHEN** выполняется `make bench_scaling SERIES=db`
|
||||
- **THEN** в метке все конфигурации серии × 3 повтора в перемешанном
|
||||
порядке на одном коде; у каждой конфигурации в паспорте — лимит CPU
|
||||
PostgreSQL, прочитанный у контейнера, а сводка показывает R*, CPU
|
||||
PostgreSQL на R* относительно лимита и его троттлинг
|
||||
|
||||
#### Scenario: Подмножество серии для «до/после»
|
||||
|
||||
- **WHEN** выполняется `make bench_scaling SERIES=db4`
|
||||
- **THEN** в метке 6 ячеек (2 конфигурации серии `db` × 3 повтора) в
|
||||
перемешанном порядке на одном коде, с теми же полями паспорта и
|
||||
сводки, что у серии `db`
|
||||
- **AND** `make bench_compare` сравнивает её с меткой серии `db` или
|
||||
`db4` по общим конфигурациям без отказа «разная методика»
|
||||
|
||||
#### Scenario: Перемешанный порядок
|
||||
|
||||
- **WHEN** серия запущена дважды с тем же профилем
|
||||
- **THEN** порядок ячеек одинаков, в каждом круге каждая конфигурация
|
||||
встречается ровно один раз, а порядок записан в метке
|
||||
|
||||
#### Scenario: Продолжение прерванной серии
|
||||
|
||||
- **WHEN** серия прервана на ячейке k, а затем запущена с `RESUME=1` на
|
||||
том же commit
|
||||
- **THEN** снимаются только ячейки, которых в метке нет, начиная с
|
||||
прерванной, остатки стенда удалены без ручных команд, в конце метка
|
||||
завершена
|
||||
|
||||
#### Scenario: Продолжение на другом коде
|
||||
|
||||
- **WHEN** `RESUME=1` запускается на другом commit или с
|
||||
незакоммиченными изменениями
|
||||
- **THEN** команда завершается с ненулевым кодом до запуска стенда и
|
||||
называет причину
|
||||
|
||||
@@ -50,7 +50,11 @@ COMPOSE_FILES = (
|
||||
)
|
||||
PROJECT_SUFFIX = "-failures"
|
||||
SERVICES = ("postgres", "valkey")
|
||||
# та же проверка, что в healthcheck сервиса в docker-compose.yml
|
||||
# та же проверка, что в healthcheck сервиса в docker-compose.yml. У
|
||||
# PostgreSQL стенда отказов healthcheck переопределён на базу postgres
|
||||
# (failures.compose.yml), а проба после start / unpause ходит в базу
|
||||
# приложения и добавляет в её pg_stat_database одну сессию: тест «Соединения
|
||||
# пула не переоткрываются» start в своём окне не вызывает
|
||||
PROBES = {
|
||||
"postgres": 'pg_isready -q -h 127.0.0.1 -U "$POSTGRES_USER" '
|
||||
'-d "$POSTGRES_DB"',
|
||||
|
||||
Reference in New Issue
Block a user