| `run.py` (профили `restore`, `restore_quick`), `k6/after_backup.js`, `k6/restore_check.js` | `make bench_restore`, `make bench_restore_quick` | тот же стенд без матрицы прогонов: backup под записью, восстановление в новое хранилище, сверка, RTO и потеря, кэш до и после `FLUSHALL` |
| `run.py` (профили `failover`, `failover_quick`), `failover.py`, `k6/failover.js`, `k6/retry.js` | `make bench_failover`, `make bench_failover_quick` | две реплики с лимитами рабочего стенда, постоянная интенсивность записи с ключом и чтения, каждая реплика в каждом режиме (`stop`, `kill`, `pause`) с возвратом: посекундная шкала, время обнаружения и восстановления, сверка записей; результаты — `evidence/failover/<метка>/` |
| `run.py` (профили `rollout`, `rollout_quick`), `rollout.py`, `k6/failover.js`, `k6/retry.js`, `scripts/rolling-update.sh` | `make bench_rollout`, `make bench_rollout_quick` | две реплики с лимитами рабочего стенда на образе прежнего commit, та же постоянная нагрузка, посреди неё — поочерёдная замена на образ текущего checkout: посекундная шкала с ответами старых и новых реплик, шаги по каждой реплике, контейнеры, образы и ревизия схемы до и после, сверка записей; результаты — `evidence/rollout/<метка>/` |
| `run.py` (профили `scaling_*`), `scaling.py`, `sampler.sh`, `k6/mixed.js` | `make bench_scaling SERIES=a\|b\|pool\|ab`, `make bench_scaling_quick` | серии трека 1: конфигурации реплик и лимитов, на каждую ячейку — свежий стенд, открытая модель, фиксированные уровни и поиск R* по SLO, посекундный сэмплер контейнеров, ВМ, LB и PostgreSQL; результаты — `evidence/bench/<метка>/` |
| `run.py` (профили `scaling_*`), `scaling.py`, `sampler.sh`, `k6/mixed.js` | `make bench_scaling SERIES=a\|b\|pool\|ab\|db`, `make bench_scaling_quick`, `SERIES=db_quick` | серии трека 1: конфигурации реплик и лимитов, на каждую ячейку — свежий стенд, открытая модель, фиксированные уровни и поиск R* по SLO, посекундный сэмплер контейнеров, ВМ, LB и PostgreSQL; результаты — `evidence/bench/<метка>/` |
| `plots.py` | `make bench_plots LABELS="…"` | графики SVG и сводка серий (R* от числа реплик, p95 от интенсивности, CPU по компонентам, точка насыщения) — `evidence/plots/<PLOTS>/` |
| `compare.py` | `make bench_compare` | дельта двух меток стенда (ячейки матрицы или общие конфигурации серий), эффект или шум |
| `ab.py` | `make bench_ab [SERIES=…]` | стенд «до» и «после» одного изменения подряд, в одной сессии хоста; с `SERIES` — серия трека 1 вместо матрицы |
@@ -236,7 +236,10 @@ paths:
- **Серии и конфигурации** (реплик × CPU / память, `max_connections`):
`a` — бюджет 4 CPU / 2 ГиБ: 1 × 4, 2 × 2, 4 × 1; `b` — 1…6 × 1 CPU /
512 МиБ; `pool` — 4 × 1 при 100 и 50; `ab` — 1 × 1 и 6 × 1 («до/после»
и A/A, метка `scaling-aa`); `quick` — самопроверка. Общие поля — в
и A/A, метка `scaling-aa`); `db` — 1, 2, 4 × 1 при PostgreSQL 0,5 CPU
и контроль 4 × 1 при 2 CPU (насыщение БД управляемым опытом; лимит
PostgreSQL — пятый элемент конфигурации, имя `<k>x1-pg<CPU>`);
`quick` и `db_quick` — самопроверки. Общие поля — в
`scaling_profile()` `run.py`, чтобы методика серий не расходилась.
@@ -297,7 +297,7 @@ change — в архиве. После замен реплики называю
| `make bench_failover_quick` | то же короче, режимы `stop` и `kill` (~2 мин), метка `quick-failover-<время>`, в git не идёт |
| `make bench_rollout [ROLLOUT_LABEL=...]` | уровень 4, поочерёдная замена под нагрузкой (~3 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` как у`bench_failover`, реплики на образе прежнего commit (`Profile.rollout_from`, `git archive`), та же нагрузка; посреди неё `scripts/rolling-update.sh` меняет их на образ текущего checkout. Посекундная шкала с ответами старых и новых реплик, шаги по репликам, контейнеры, образы и ревизия до и после, сверка записей — `evidence/rollout/<метка>/`. Перед запуском — проверка хоста (`bench.md`) |
| `make bench_rollout_quick` | то же с короткими окнами (~2 мин), метка `quick-rollout-<время>`, в git не идёт |
| `make bench_scaling SERIES=a\|b\|pool\|ab [SCALING_LABEL=...] [RESUME=1]` | уровень 5, трек 1: серия на стенде `mtusi-bench` (метка `scaling-<серия>` по умолчанию). `a` — бюджет 4 CPU: 1 × 4, 2 × 2, 4 × 1 (~50 мин); `b` — 1…6 реплик по 1 CPU (~100 мин); `pool` — 4 реплики при `max_connections` 100 и 50 (~35 мин); `ab` — 1 × 1 и 6 × 1 для «до/после» и A/A (~35 мин). Ячейка — конфигурация × повтор (3), свежий стенд; открытая модель 70/20/10, фиксированные 250 и 500/с и поиск R* по SLO; сэмплер контейнеров, ВМ, LB и PostgreSQL. `RESUME=1` — продолжить прерванную метку на том же commit. Перед запуском — проверка хоста, рабочий стенд — `make stop`; метку коммитить до следующей серии (`bench.md`) |
| `make bench_scaling SERIES=a\|b\|pool\|ab\|db [SCALING_LABEL=...] [RESUME=1]` | уровень 5, трек 1: серия на стенде `mtusi-bench` (метка `scaling-<серия>` по умолчанию). `a` — бюджет 4 CPU: 1 × 4, 2 × 2, 4 × 1 (~50 мин); `b` — 1…6 реплик по 1 CPU (~100 мин); `pool` — 4 реплики при `max_connections` 100 и 50 (~35 мин); `ab` — 1 × 1 и 6 × 1 для «до/после» и A/A (~35 мин); `db` — 1, 2, 4 реплики при PostgreSQL 0,5 CPU и контроль 4 × 1 при 2 CPU (~50 мин); `db_quick` — самопроверка серии `db` (~4 мин, метка `quick-*`). Ячейка — конфигурация × повтор (3), свежий стенд; открытая модель 70/20/10, фиксированные 250 и 500/с и поиск R* по SLO; сэмплер контейнеров, ВМ, LB и PostgreSQL. `RESUME=1` — продолжить прерванную метку на том же commit. Перед запуском — проверка хоста, рабочий стенд — `make stop`; метку коммитить до следующей серии (`bench.md`) |
| `make bench_scaling_quick` | самопроверка серий: 1 × 1 и 2 × 1 при `max_connections` 50, короткие окна (~4 мин), метка `quick-scaling-<время>`, в git не идёт |
| `make bench_plots LABELS="..." [PLOTS=scaling]` | графики SVG и сводка серий трека 1 из меток: R* от числа реплик, p95 от интенсивности, CPU по компонентам, эффективность и точка насыщения — `evidence/plots/<PLOTS>/` |
| `make bench_ab BEFORE=... AFTER=... REAPPLY=<commit> [SERIES=...]` | «до» и «после» одного изменения подряд (два прогона `bench`): `bench` для `BEFORE`, commit доказательств, `git revert` commit отката `REAPPLY`, `bench` для `AFTER`; с`SERIES` — серия трека 1 вместо матрицы (`make bench_scaling`). Нужно чистое рабочее дерево; сама делает два коммита |
@@ -397,8 +397,9 @@ evidence/failover/<метка>/ # результаты make bench_failover: п
evidence/rollout/ # совместимость старого образа с новой схемой, make rolling_update и жизненный цикл стенда после замены, отказы скрипта (Ctrl+C, слоты, lock_timeout миграции)
evidence/rollout/<метка>/ # результаты make bench_rollout: паспорт с контейнерами, образами и ревизией до и после, rollout.csv, replicas.csv, timeline.csv, summary.md, строки скрипта, журнал LB
evidence/bench/<метка>/ # результаты make bench / bench_restore: паспорт, прогоны, наполнение, сводка (планы, стоимость записи, восстановление), планы explain-<размер>.txt, сырые итоги k6
evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx
evidence/plots/scaling/ # make bench_plots по сериям a и b: графики SVG и summary.md (R*, эффективность, точка насыщения)
evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx
evidence/plots/scaling/ # make bench_plots по сериям a и b: графики SVG и summary.md (R*, эффективность, точка насыщения, цена запроса, память)
evidence/plots/scaling-db/ # make bench_plots по серии db: R* по лимитам PostgreSQL и раздел «Насыщение PostgreSQL»
evidence/compare/ # таблицы make bench_compare: <до>__<после>.md
KNOWN_ISSUES.md # найденные попутно дефекты, не исправленные без просьбы
@@ -453,6 +453,7 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`,
| «5», трек 1: серия с ростом ресурсов | `make bench_scaling SERIES=b`: 1…6 реплик по 1 CPU / 512 МиБ, PostgreSQL 2 CPU / 1 ГиБ, 3 повтора | R* 666 → 1 164 → 1 539 → 1 819 → 2 034 → 2 034; эффективность 1,00 → 0,51 | `evidence/bench/scaling-b/summary.md`, `evidence/plots/scaling/rstar-by-replicas.svg` |
| «5», трек 1: точка насыщения и почему рост реплик перестаёт помогать | `make bench_plots LABELS="scaling-a scaling-b"`; метрики ступени R*: CPU каждого контейнера и ВМ, PSI, PostgreSQL (`pg_stat_activity` по `wait_event`, commit, WAL), HAProxy | k_sat = 5 по правилу (R*(6) < 1,1 × R*(5)), но на границе разрешения сетки: в её пределах k_sat ∈ {4, 5}. Общий ресурс стенда не насыщен: PostgreSQL — 1,1 ядра из 2, ожидания WAL — 22 % активных (порог 30 %), блокировок нет; HAProxy — 0,25 ядра из 1, очередь 0; отказов пула нет, признак `pool` не сработал, но пул каждой реплики на R* заполнен до 15. Растёт цена запроса в CPU у всех компонентов вместе с занятыми ядрами ВМ (реплики ×1,91, PostgreSQL ×2,03, HAProxy ×2,24, k6 ×1,56 от k = 1 к 6; `host_cost` 2,12): предел задаёт хост, механизм удорожания этим замером не разделён | `evidence/plots/scaling/summary.md` (разделы «Точка насыщения», «Цена запроса и общие ресурсы на R*»), `evidence/bench/scaling-b/runs.csv` |
| «5», трек 1: граница пула | `make bench_scaling SERIES=pool`: 4 × 1 при `max_connections` 100 и 50 (пул 10 + 5 на реплику) | при 50 — «too many clients» в журнале PostgreSQL с 1 455/с, R* 1 539 (1 539–1 627) против 1 819 (1 720–1 819), разбросы не пересекаются; клиенту — **500** на измеренном коде `712d245` (серия снята до правки 53300); при 100 отказов нет, а за R* реплики отдают 503 после 5 с ожидания пула | `evidence/bench/scaling-pool/summary.md`, `raw/*-errors.log` |
| «5», трек 1: точка насыщения БД | `make bench_scaling SERIES=db`: 1, 2, 4 реплики по 1 CPU при PostgreSQL 0,5 CPU и контроль 4 × 1 при 2 CPU, 3 повтора, код `95539a1`, хост проверен; лимит — по калибровке `db_quick` (design) | R* 630 → 1 101 → **931**: от 2 к 4 репликам R* падает на 15 %; на 984/су 4 реплик PostgreSQL выбирает квоту (троттлинг 68 %, до 100 % выше), CPU на запрос 279 → 441 мкс, признаки `db_cpu` и `db_wal`; контроль при 2 CPU — 1 627. Рубрика: БД и пул — управляемыми опытами, LB не насыщен (≤ 0,30 ядра из 1), на дефолтах рост останавливает хост | `evidence/bench/scaling-db/summary.md`, `evidence/plots/scaling-db/` |
| Отказ PostgreSQL «too many clients» (53300) — 503, а не 500 | правка `68edc66` (`53300` в `UNAVAILABLE_SQLSTATES`); `make failure_checks`: hook `fill-connections` занимает все слоты `max_connections` и обрывает соединения API; проба тем же способом через LB на рабочем стенде | без правки — 500 `internal_error` (тест красный); с правкой — 503 `unavailable` в формате контракта с `X-Instance-Id` реплики за 3–4 мс, без `Retry-After` (в контракте он только у 429), в журнале API — `warning` «Database is unavailable»; после освобождения слотов — 200 без рестарта; 16 проверок отказов прошли | `evidence/storage/too-many-clients.md`, `evidence/tests/scaling-bench-checks.md` |
| «5», трек 1: исходные данные и графики | `make bench_plots`; таблицы меток | R* от числа реплик, p95 от интенсивности (лог. шкала, линия SLO), CPU по компонентам на R*; строка на ступень, на ячейку и посекундные отсчёты | `evidence/plots/scaling/*.svg`, `evidence/bench/scaling-*/runs.csv`, `searches.csv`, `samples.csv` |
| «5», трек 1: уровень шума для улучшения | `make bench_scaling SERIES=ab SCALING_LABEL=scaling-aa`; `make bench_compare BEFORE=scaling-b AFTER=scaling-aa`, `BEFORE=scaling-b AFTER=scaling-a` | шум между сессиями (B → A/A, тот же код `712d245`): 1 × 1 666 (666–704) → 704 (666–704), +5,7 % — одна ступень деления; 6 × 1 2 034 (1 923–2 034) → 2 034 (2 034–2 034), Δ в пределах одной ступени (< 5,7 %); разбросы пересекаются. Согласованность серий: 4 × 1 серии `a` и k = 4 серии `b` — 1 819 и 1 819. Для `scaling-improvement` `scaling-aa` как `AA` не годится: код после правки 53300 другой, A/A снимается заново | `evidence/compare/scaling-b__scaling-aa.md`, `evidence/compare/scaling-b__scaling-a.md` |
@@ -885,11 +886,12 @@ keep-alive-сессия держит своё соединение к каждо
— 6 × 0,93 / 2 906 мкс ≈ 1 920/с при измеренных 1 923–2 034. Прирост числа реплик
съедается ростом цены запроса, и после k = 5 R* стоит.
Итог: **на этом стенде точку насыщения задаёт хост** — общий CPU
ноутбука для реплик, PostgreSQL, LB и генератора, а не БД, LB или пул;
каким механизмом секунда CPU дешевеет, замер не разделяет. Граница пула
достижима, но только управляемым опытом (серия `pool`, ниже): на
дефолтах она при k = 7 — за пределом бюджета ВМ.
Итог: **на этом стенде с дефолтными лимитами точку насыщения задаёт
хост** — общий CPU ноутбука для реплик, PostgreSQL, LB и генератора, а
не БД, LB или пул; каким механизмом секунда CPU дешевеет, замер не
разделяет. Границы пула и БД достижимы управляемыми опытами (серии
`pool` и `db`, ниже): на дефолтах граница пула — k = 7, за пределом
бюджета ВМ, а PostgreSQL 2 CPU занят на 1,1 ядра.
Память нигде не была узким местом (раздел «Память» той же сводки,
пики за серию): RSS процесса реплики — 106–135 МиБ при лимите 512 МиБ
@@ -932,6 +934,64 @@ keep-alive-сессия держит своё соединение к каждо
перемерялась: правка меняет код ответа, а не число отказов, и R*(50)
определяется ошибками ≥ 1 % при любом коде.
**Насыщение PostgreSQL** (`scaling-db`, управляемый опыт после verify,
решение пользователя): на дефолтах PostgreSQL не насыщался, поэтому его
лимит CPU сужен до 0,5 при 1, 2 и 4 репликах по 1 CPU; контроль — 4 × 1
при прежних 2 CPU. 4 конфигурации × 3 повтора в одной метке, перемешанным
порядком, на коде `95539a1` (после правки 53300, поэтому с метками `b` и
`pool` не сравнивается: контроль снят заново). Лимит 0,5 выбран
калибровкой `db_quick` и записан в design до серии (`46e8f75`): при нём
БД упирается около 1 000–1 160/с — раньше потолка 4 реплик и около
потолка 2. Ожидание до серии: R*(4) ≈ R*(2). Хост проверен, выгрузок в
swap 0, брака генератора нет (`evidence/tests/scaling-bench-checks.md`,
раздел 10).
| Конфигурация | R*, запросов/с | Признаки на R* / на первой нарушившей | CPU PostgreSQL на R* (доля лимита) | Троттлинг PostgreSQL на первой нарушившей | CPU PostgreSQL на запрос: R* → первая нарушившая, мкс | Соединений |
- [x] 10.3 Быстрая самопроверка и калибровка: `make bench_scaling
SERIES=db_quick SCALING_LABEL=quick-scaling-db-…` — код 0, лимит 0,5
CPU подтверждён (design).
- [] 10.4 Проверка хоста по брифу, `make stop`, `nohup make
- [x] 10.4 Проверка хоста по брифу, `make stop`, `nohup make
bench_scaling SERIES=db` (~50 мин), `Swapouts` до и после. Проверка:
метка `scaling-db` `complete`, 12 ячеек без `generator_bound`, коммит
метки `docs: add scaling series db`.
- [] 10.5 Графики серии в метке; `REPORT.md` — точка насыщения БД
метки `docs: add scaling series db` (`48d10da`).
- [x] 10.5 Графики серии в метке и `make bench_plots LABELS="scaling-db"
PLOTS=scaling-db` (линия R* по лимитам PostgreSQL, раздел «Насыщение
PostgreSQL», код `9fbe2ea`); `REPORT.md` — точка насыщения БД
рядом с пулом и хостом, ответ рубрике; `evidence/tests/scaling-bench-checks.md`
— проверка хоста; коммит. Рабочий стенд снова поднят.
Reference in New Issue
Block a user
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.