docs: count the pool improvement for track 1 with a recorded caveat

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 21:11:19 +03:00
co-authored by Claude Opus 5.5
parent dee571c9cd
commit cb984c1d8d
4 changed files with 101 additions and 22 deletions
+5 -3
View File
@@ -128,9 +128,11 @@ change — в архиве. После замен реплики называю
`SERIES=db4`). Попытка 1 (`scaling-db-aa`, `-before`, `-nooverflow`)
испорчена помехами macOS. Попытка 2, окончательная
(`scaling-db-aa2`, `-before2`, `-nooverflow2`): R* +18,3 %, «эффект»,
шум 5,4 %, механизм подтверждён. Но по букве критерия H4 —
**не подтверждено**: проверка дрейфа у основной ячейки −5,4 % при
пороге ±5 %. Дальше — verify и archive; change не в архиве.
шум 5,4 %, механизм подтверждён. По букве критерия H4 проверка
дрейфа нарушена на 0,4 п. п. Пользователь засчитал улучшение с
оговоркой: против A/A2 той же сессии дрейфа нет, R* +11,9 % (design
change, «Найдено в apply», п. 4). Дальше — verify и archive; change
не в архиве.
- `REPORT.md` заполнен для уровней «3», «4», серий трека 1 и
улучшения (с отрицательным результатом по критерию).
+66 -19
View File
@@ -1,7 +1,7 @@
# Отчёт — лабораторная 3
- Автор, группа: Сафронов Роман Николаевич, БВТ2301
- Целевая оценка 5; выбранный трек 5: трек 1 «Цена масштабирования» (серии сняты, change `scaling-bench`; подтверждённое улучшение — change `scaling-improvement`, впереди)
- Целевая оценка 5; выбранный трек 5: трек 1 «Цена масштабирования» (серии сняты, change `scaling-bench`; одно подтверждённое улучшение — пул без переполнения, change `scaling-improvement`, засчитано с оговоркой: раздел «Улучшение по найденному узкому месту: пул без переполнения»)
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
@@ -459,7 +459,7 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`,
| Отказ PostgreSQL «too many clients» (53300) — 503, а не 500 | правка `68edc66` (`53300` в `UNAVAILABLE_SQLSTATES`); `make failure_checks`: hook `fill-connections` занимает все слоты `max_connections` и обрывает соединения API; проба тем же способом через LB на рабочем стенде | без правки — 500 `internal_error` (тест красный); с правкой — 503 `unavailable` в формате контракта с `X-Instance-Id` реплики за 3–4 мс, без `Retry-After` (в контракте он только у 429), в журнале API — `warning` «Database is unavailable»; после освобождения слотов — 200 без рестарта; 16 проверок отказов прошли | `evidence/storage/too-many-clients.md`, `evidence/tests/scaling-bench-checks.md` |
| «5», трек 1: исходные данные и графики | `make bench_plots`; таблицы меток | R* от числа реплик, p95 от интенсивности (лог. шкала, линия SLO), CPU по компонентам на R*; строка на ступень, на ячейку и посекундные отсчёты | `evidence/plots/scaling/*.svg`, `evidence/bench/scaling-*/runs.csv`, `searches.csv`, `samples.csv` |
| «5», трек 1: уровень шума для улучшения | `make bench_scaling SERIES=ab SCALING_LABEL=scaling-aa`; `make bench_compare BEFORE=scaling-b AFTER=scaling-aa`, `BEFORE=scaling-b AFTER=scaling-a` | шум между сессиями (B → A/A, тот же код `712d245`): 1 × 1 666 (666–704) → 704 (666–704), +5,7 % — одна ступень деления; 6 × 1 2 034 (1 923–2 034) → 2 034 (2 034–2 034), Δ в пределах одной ступени (< 5,7 %); разбросы пересекаются. Согласованность серий: 4 × 1 серии `a` и k = 4 серии `b` — 1 819 и 1 819. Для `scaling-improvement` `scaling-aa` как `AA` не годится: код после правки 53300 другой, A/A снимается заново | `evidence/compare/scaling-b__scaling-aa.md`, `evidence/compare/scaling-b__scaling-a.md` |
| «5», трек 1: одно подтверждённое улучшение — пул без переполнения (change `scaling-improvement`) | H4 закоммичена до замеров (`0b0421a`, набор ячеек — `1bb8ea6`, попытка 2 — `a676a52`); изменение `9c3959d` (дефолт `max_overflow` 5 → 0) откачено; в одной сессии хоста: A/A `make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa2`, затем `make bench_ab BEFORE=scaling-db-before2 AFTER=scaling-db-nooverflow2 REAPPLY=5c07923 SERIES=db4`; `make bench_compare … AA=scaling-db-aa2 CHANGE=scaling-improvement`. Попытка 1 — те же команды с метками без `2`, откат `62fa575` | **попытка 2 (окончательная, тихий хост):** основная `4x1-pg0.5` R* 931 (931–984) → 1 101 (1 101–1 101), +18,3 %, «эффект», шум A/A 5,4 %; механизм: новых сессий на первой нарушившей 102 → 4, соединений 60 → 40, CPU PostgreSQL на запрос там 416 → 336 мкс; контроль `4x1-pg2` +5,7 % (в пределах шума). **По букве критерия H4 не подтверждена**: проверка дрейфа (CPU на запрос при 500/с ±5 %) у основной ячейки −5,4 % (переполнения при 500/с нет ни в одной метке; медиана A/A2 1 940 и «после» 1 936 мкс). Попытка 1: +32 %, но шум A/A 20 % из-за помех macOS (iCloud, Zoom) — не прошла дрейф. Изменение оставлено | `evidence/compare/scaling-db-before2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-before2.md`, `evidence/bench/scaling-db-{aa2,before2,nooverflow2}/`, попытка 1 — `evidence/compare/scaling-db-before__scaling-db-nooverflow.md` и метки без `2`, `evidence/tests/scaling-improvement-checks.md` |
| «5», трек 1: одно подтверждённое улучшение — пул без переполнения (change `scaling-improvement`) | H4 закоммичена до замеров (`0b0421a`, набор ячеек — `1bb8ea6`, попытка 2 — `a676a52`); изменение `9c3959d` (дефолт `max_overflow` 5 → 0) откачено; в одной сессии хоста: A/A `make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa2`, затем `make bench_ab BEFORE=scaling-db-before2 AFTER=scaling-db-nooverflow2 REAPPLY=5c07923 SERIES=db4`; `make bench_compare … AA=scaling-db-aa2 CHANGE=scaling-improvement`. Попытка 1 — те же команды с метками без `2`, откат `62fa575` | **попытка 2 (окончательная, тихий хост):** основная `4x1-pg0.5` R* 931 (931–984) → 1 101 (1 101–1 101), +18,3 %, «эффект», шум A/A 5,4 %; механизм: новых сессий на первой нарушившей 102 → 4, соединений 60 → 40, CPU PostgreSQL на запрос там 416 → 336 мкс; контроль `4x1-pg2` +5,7 % (в пределах шума). **Подтверждено с оговоркой**: по букве критерия проверка дрейфа (CPU на запрос при 500/с ±5 %) у основной ячейки −5,4 % из-за двух ячеек «до» (переполнения при 500/с нет ни в одной метке); против A/A2 той же сессии (`make bench_compare BEFORE=scaling-db-aa2 AFTER=scaling-db-nooverflow2 AA=scaling-db-before2 CHANGE=scaling-improvement`) дрейфа нет — 1 940 → 1 936 мкс, R* 984 → 1 101, +11,9 % (две ступени), «эффект»; засчитано решением автора после результатов. Попытка 1: +32 %, но шум A/A 20 % из-за помех macOS (iCloud, Zoom) — не прошла дрейф | `evidence/compare/scaling-db-before2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-before2.md`, `evidence/bench/scaling-db-{aa2,before2,nooverflow2}/`, попытка 1 — `evidence/compare/scaling-db-before__scaling-db-nooverflow.md` и метки без `2`, `evidence/tests/scaling-improvement-checks.md` |
| Пул без переполнения: соединения не переоткрываются | `make failure_checks`: тест `test_pool_keeps_connections` (48 потоков × 5 запросов, пачки больше пула 10, счётчик `pg_stat_database.sessions` через hook `db-sessions`); рабочий `config.toml` с `max_overflow` 5 и 0 | 10 + 5 — красный: 18–24 новые сессии PostgreSQL за 720 запросов; 10 + 0 — 0, 17 проверок отказов прошли (4 прогона); регрессия на коде X: `make test`, `make student_test` (131 passed), `make test_isolated`, `make test-persistence`, `make test-failover` для обеих реплик — `PASS`; соединений приложения на рабочем стенде 17 ≤ 2 × 10 | `evidence/tests/scaling-improvement-checks.md` |
| Цена нового соединения PostgreSQL и пинга | микропроба в реплике рабочего стенда (`cd88b48`): проверка сессии и страница истории через repo, из пула с пингом, без пинга и с новым соединением на итерацию | новое соединение — 11,7–11,8 мс CPU реплики (SCRAM-SHA-256 asyncpg в event loop) и 2,7 мс CPU PostgreSQL против 0,6 и 0,15 мс из пула; пинг при выдаче — +0,13 мс реплики и +0,05 мс PostgreSQL на запрос | `evidence/storage/connection-cost.md` |
@@ -1068,6 +1068,16 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch
- **Хост** — на дефолтах именно он останавливает рост реплик (k_sat ∈
{4, 5}, `host_cost`), механизм не разделён.
**Одно подтверждённое улучшение** (рубрика «5», трек 1) — закрыто с
оговоркой.
- Изменение: пул без переполнения, change `scaling-improvement`.
- При насыщенном PostgreSQL R* 4 реплик вырос 931 → 1 101 (+18,3 %,
«эффект», шум A/A 5,4 %), переоткрытие соединений пропало.
- Оговорка: по букве заранее записанного критерия проверка дрейфа
нарушена на 0,4 п. п. Против A/A2 той же сессии дрейфа нет, сдвиг R*
+11,9 %, две ступени. Засчитано решением автора после результатов.
- Раздел «Улучшение по найденному узкому месту: пул без переполнения».
**Итог по гипотезам.**
- **H1 — по заранее записанным критериям не подтверждена целиком.**
@@ -1119,12 +1129,18 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch
`712d245`** (серия `pool` снята до правки), как и предсказывал разбор
кода; **после правки `68edc66` — 503 `unavailable`** (тест `make
failure_checks` и проба через LB, `evidence/storage/too-many-clients.md`).
- **H4 — по букве заранее записанного критерия не подтверждена**, хотя
механизм подтверждён. Окончательная попытка 2: R* основной ячейки
931 → 1 101 (+18,3 %), вывод команды — «эффект», шум A/A 5,4 %. Но
проверка дрейфа у основной ячейки дала −5,4 % при пороге ±5 %.
Попытка 1 не прошла из-за помех на хосте. Подробно — раздел «Улучшение
по найденному узкому месту: пул без переполнения» ниже.
- **H4 — подтверждена с оговоркой.**
- Окончательная попытка 2: R* основной ячейки 931 → 1 101 (+18,3 %),
вывод команды «эффект», шум A/A 5,4 %, механизм подтверждён.
- По букве критерия проверка дрейфа нарушена: −5,4 % при пороге
±5 %, из-за двух ячеек «до».
- Против A/A2 той же сессии дрейфа нет (1 940 и 1 936 мкс). Там R*
984 → 1 101, +11,9 %, две ступени, «эффект». Засчитано решением
автора после результатов.
- Попытка 1 не прошла из-за помех на хосте.
Подробно — раздел «Улучшение по найденному узкому месту: пул без
переполнения» ниже.
**Уровень шума и согласованность серий** (`make bench_compare`):
@@ -1149,14 +1165,23 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch
#### Улучшение по найденному узкому месту: пул без переполнения (change `scaling-improvement`)
**Итог.** Механизм подтверждён в обеих попытках. В окончательной
попытке 2, на тихом хосте, R* основной ячейки вырос 931 → 1 101
(+18,3 %, три ступени). Команда сравнения называет это «эффект»: шум
A/A — 5,4 %, разбросы не пересекаются. Но по букве заранее записанного
критерия H4 эффект **не подтверждён**: проверка дрейфа (CPU реплик на
запрос при 500/с, ±5 %) у основной ячейки дала −5,4 %, то есть
нарушена на 0,4 п. п. Попытка 1 не прошла ту же проверку из-за помех
на хосте (шум A/A 20 %). Ниже — как получилось.
**Итог: H4 подтверждена с оговоркой** (решение автора работы после
результатов; design change, «Найдено в apply», п. 4).
- Механизм подтверждён в обеих попытках.
- В окончательной попытке 2, на тихом хосте, R* основной ячейки вырос
931 → 1 101 (+18,3 %, три ступени). Команда называет это «эффект»:
шум A/A 5,4 %, разбросы не пересекаются.
- По букве заранее записанного критерия H4 не подтверждена: проверка
дрейфа (CPU реплик на запрос при 500/с, ±5 %) у основной ячейки дала
−5,4 % — на 0,4 п. п. больше порога, и только из-за двух ячеек «до».
- Оговорка: та же проверка против A/A2 той же сессии (тот же код «до»)
дрейфа не показывает — 1 940 против 1 936 мкс. Там R* 984 → 1 101,
+11,9 % (две ступени), «эффект».
- Попытка 1 не прошла проверку дрейфа из-за помех на хосте (шум A/A
20 %).
Ниже — как получилось.
**Как искали узкое место.**
@@ -1317,7 +1342,28 @@ CPU на запрос в этих ячейках в норме.
1 914 у r1.
То есть на этой ступени чуть медленнее был хост в «до», а не стало
дешевле «после». Контроль `4x1-pg2` сдвинулся на одну ступень (+5,7 %,
дешевле «после».
**Оговорка: «после» против A/A2 той же сессии** (анализ после
результатов, решение автора работы засчитать улучшение; исходный
критерий не меняется). Пункт 3 нужен, чтобы исключить эффект, который
создал дрейф хоста. A/A2 — тот же код «до» в той же сессии, без
отклонившихся ячеек. Команда: `make bench_compare BEFORE=scaling-db-aa2
AFTER=scaling-db-nooverflow2 AA=scaling-db-before2
CHANGE=scaling-improvement`
(`evidence/compare/scaling-db-aa2__scaling-db-nooverflow2.md`):
| Конфигурация | R* A/A2 | R* после | Δ R* | Вывод | CPU на запрос на 500/с, мкс |
|---|---|---|---|---|---|
| `4x1-pg0.5` | 984 (931–984) | 1 101 (1 101–1 101) | +11,9 % | эффект | 1 940 → 1 936 (−0,2 %) |
| `4x1-pg2` | 1 720 (1 627–1 720) | 1 720 (1 627–1 923) | +0,0 % | в пределах шума | 1 964 → 1 956 (−0,4 %) |
Шум («до» ↔ A/A2, тот же код) — 5,7 %. CPU на запрос — в пределах
±0,4 %: дрейфа нет. Сдвиг 1 101 / 984 = 1,119 ≥ × 1,118 (две ступени),
разбросы не пересекаются (984 < 1 101). Новых сессий на R* 93 → 3,
соединений 60 → 40. Эффект нельзя объяснить дрейфом хоста, поэтому
**H4 — подтверждена с оговоркой**: вердикт по букве критерия (пункт 3
нарушен на 0,4 п. п.) и эта проверка стоят рядом. Контроль `4x1-pg2` сдвинулся на одну ступень (+5,7 %,
в пределах шума), то есть меньше двух — как и предсказано.
«После» R*(4 × 1) 1 101 — столько же, сколько R*(2 × 1) в `scaling-db`
(1 101, другая сессия; справка, не критерий): рост с 2 до 4 реплик
@@ -1529,8 +1575,9 @@ TODO: какие отказы выдерживаются и какие нет;
ступени деления; уровень шума между сессиями — A/A `scaling-aa`
(5,4–5,7 %, одна ступень). Для улучшения A/A снимается заново: код
приложения после `scaling-aa` изменён правкой 53300.
- **Улучшение по найденному узкому месту — по букве критерия не
подтверждено** (change `scaling-improvement`, раздел «Улучшение по
- **Улучшение по найденному узкому месту засчитано с оговоркой:** по
букве критерия не подтверждено, засчитано решением автора после
результатов (change `scaling-improvement`, раздел «Улучшение по
найденному узкому месту: пул без переполнения»).
- Механизм подтверждён: переоткрытие соединений пропало, соединений
60 → 40.
@@ -726,3 +726,22 @@ bench_compare`. `PLAN.md` — при archive.
±5 % оказался того же порядка, что разброс CPU на запрос между
ячейками одной метки (до 7,3 %). Это урок для следующих замеров, а не
повод менять порог задним числом.
4. **Решение пользователя, 2026-10-11, после результатов попытки 2:
улучшение засчитывается с явной оговоркой.** Это анализ после
результатов, решение принял автор работы. Исходный критерий
(решение 5) не переписывается, вердикт по его букве — «не
подтверждено».
- По букве нарушен только пункт 3: −5,4 % при пороге ±5 %, на 0,4 п. п.
Нарушение дают только две ячейки метки «до»: `4x1-pg0.5-r2` и `-r3`,
2 046 и 2 054 мкс против 1 914 у r1.
- Пункт 3 нужен, чтобы исключить эффект, созданный дрейфом хоста.
- Сравнение «после» с A/A2 той же сессии: тот же код «до», CPU реплик
на запрос при 500/с 1 940 против 1 936 мкс — дрейфа нет. R* 984
(931–984) → 1 101 (1 101–1 101), +11,9 % ≥ × 1,118 (две ступени),
разбросы не пересекаются (984 < 1 101). Команда: `make bench_compare
BEFORE=scaling-db-aa2 AFTER=scaling-db-nooverflow2
AA=scaling-db-before2 CHANGE=scaling-improvement` — вывод «эффект»,
шум «до» ↔ A/A2 5,7 %.
- Поэтому эффект нельзя объяснить дрейфом хоста, и улучшение
засчитывается. В `REPORT.md` рядом стоят вердикт по букве критерия,
оговорка и это сравнение.
@@ -485,6 +485,17 @@ Monitor, не дольше 30 мин на вызов, по истечении
выполнен: CPU на запрос при 500/с у `4x1-pg0.5` −5,4 % при пороге
±5 %. Переполнения при 500/с нет ни в одной метке; отклонились две
ячейки «до». Порог не менялся.
**Решение пользователя после результатов (2026-10-11): засчитать с
оговоркой** (design, «Найдено в apply», п. 4). Сравнение «после» с
A/A2: `make bench_compare BEFORE=scaling-db-aa2
AFTER=scaling-db-nooverflow2 AA=scaling-db-before2
CHANGE=scaling-improvement` — CPU на запрос 1 940 → 1 936, R* 984 →
1 101, +11,9 %, «эффект». Файл
`evidence/compare/scaling-db-aa2__scaling-db-nooverflow2.md`.
- [x] 11.6 Решение пользователя: design п. 4, сравнение с A/A2 в
evidence, `REPORT.md` — вердикт «подтверждено с оговоркой», ответ
рубрике, «Переходное состояние» `AGENTS.md`; `make lint`, `make
check`, коммит.
- [x] 11.5 Evidence (попытка 2 в `scaling-improvement-checks.md`),
`REPORT.md` (попытка 1 и попытка 2), `AGENTS.md` «Переходное
состояние», Telegram «18/22 (повтор)».