diff --git a/AGENTS.md b/AGENTS.md index 4c170182..812d9bd4 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -128,9 +128,11 @@ change — в архиве. После замен реплики называю `SERIES=db4`). Попытка 1 (`scaling-db-aa`, `-before`, `-nooverflow`) испорчена помехами macOS. Попытка 2, окончательная (`scaling-db-aa2`, `-before2`, `-nooverflow2`): R* +18,3 %, «эффект», - шум 5,4 %, механизм подтверждён. Но по букве критерия H4 — - **не подтверждено**: проверка дрейфа у основной ячейки −5,4 % при - пороге ±5 %. Дальше — verify и archive; change не в архиве. + шум 5,4 %, механизм подтверждён. По букве критерия H4 проверка + дрейфа нарушена на 0,4 п. п. Пользователь засчитал улучшение с + оговоркой: против A/A2 той же сессии дрейфа нет, R* +11,9 % (design + change, «Найдено в apply», п. 4). Дальше — verify и archive; change + не в архиве. - `REPORT.md` заполнен для уровней «3», «4», серий трека 1 и улучшения (с отрицательным результатом по критерию). diff --git a/REPORT.md b/REPORT.md index 8d31def4..1bb0d8b5 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,7 +1,7 @@ # Отчёт — лабораторная 3 - Автор, группа: Сафронов Роман Николаевич, БВТ2301 -- Целевая оценка 5; выбранный трек 5: трек 1 «Цена масштабирования» (серии сняты, change `scaling-bench`; подтверждённое улучшение — change `scaling-improvement`, впереди) +- Целевая оценка 5; выбранный трек 5: трек 1 «Цена масштабирования» (серии сняты, change `scaling-bench`; одно подтверждённое улучшение — пул без переполнения, change `scaling-improvement`, засчитано с оговоркой: раздел «Улучшение по найденному узкому месту: пул без переполнения») - Commit/PR: TODO после публикации - Использованные источники, библиотеки и помощь ИИ: TODO @@ -459,7 +459,7 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`, | Отказ PostgreSQL «too many clients» (53300) — 503, а не 500 | правка `68edc66` (`53300` в `UNAVAILABLE_SQLSTATES`); `make failure_checks`: hook `fill-connections` занимает все слоты `max_connections` и обрывает соединения API; проба тем же способом через LB на рабочем стенде | без правки — 500 `internal_error` (тест красный); с правкой — 503 `unavailable` в формате контракта с `X-Instance-Id` реплики за 3–4 мс, без `Retry-After` (в контракте он только у 429), в журнале API — `warning` «Database is unavailable»; после освобождения слотов — 200 без рестарта; 16 проверок отказов прошли | `evidence/storage/too-many-clients.md`, `evidence/tests/scaling-bench-checks.md` | | «5», трек 1: исходные данные и графики | `make bench_plots`; таблицы меток | R* от числа реплик, p95 от интенсивности (лог. шкала, линия SLO), CPU по компонентам на R*; строка на ступень, на ячейку и посекундные отсчёты | `evidence/plots/scaling/*.svg`, `evidence/bench/scaling-*/runs.csv`, `searches.csv`, `samples.csv` | | «5», трек 1: уровень шума для улучшения | `make bench_scaling SERIES=ab SCALING_LABEL=scaling-aa`; `make bench_compare BEFORE=scaling-b AFTER=scaling-aa`, `BEFORE=scaling-b AFTER=scaling-a` | шум между сессиями (B → A/A, тот же код `712d245`): 1 × 1 666 (666–704) → 704 (666–704), +5,7 % — одна ступень деления; 6 × 1 2 034 (1 923–2 034) → 2 034 (2 034–2 034), Δ в пределах одной ступени (< 5,7 %); разбросы пересекаются. Согласованность серий: 4 × 1 серии `a` и k = 4 серии `b` — 1 819 и 1 819. Для `scaling-improvement` `scaling-aa` как `AA` не годится: код после правки 53300 другой, A/A снимается заново | `evidence/compare/scaling-b__scaling-aa.md`, `evidence/compare/scaling-b__scaling-a.md` | -| «5», трек 1: одно подтверждённое улучшение — пул без переполнения (change `scaling-improvement`) | H4 закоммичена до замеров (`0b0421a`, набор ячеек — `1bb8ea6`, попытка 2 — `a676a52`); изменение `9c3959d` (дефолт `max_overflow` 5 → 0) откачено; в одной сессии хоста: A/A `make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa2`, затем `make bench_ab BEFORE=scaling-db-before2 AFTER=scaling-db-nooverflow2 REAPPLY=5c07923 SERIES=db4`; `make bench_compare … AA=scaling-db-aa2 CHANGE=scaling-improvement`. Попытка 1 — те же команды с метками без `2`, откат `62fa575` | **попытка 2 (окончательная, тихий хост):** основная `4x1-pg0.5` R* 931 (931–984) → 1 101 (1 101–1 101), +18,3 %, «эффект», шум A/A 5,4 %; механизм: новых сессий на первой нарушившей 102 → 4, соединений 60 → 40, CPU PostgreSQL на запрос там 416 → 336 мкс; контроль `4x1-pg2` +5,7 % (в пределах шума). **По букве критерия H4 не подтверждена**: проверка дрейфа (CPU на запрос при 500/с ±5 %) у основной ячейки −5,4 % (переполнения при 500/с нет ни в одной метке; медиана A/A2 1 940 и «после» 1 936 мкс). Попытка 1: +32 %, но шум A/A 20 % из-за помех macOS (iCloud, Zoom) — не прошла дрейф. Изменение оставлено | `evidence/compare/scaling-db-before2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-before2.md`, `evidence/bench/scaling-db-{aa2,before2,nooverflow2}/`, попытка 1 — `evidence/compare/scaling-db-before__scaling-db-nooverflow.md` и метки без `2`, `evidence/tests/scaling-improvement-checks.md` | +| «5», трек 1: одно подтверждённое улучшение — пул без переполнения (change `scaling-improvement`) | H4 закоммичена до замеров (`0b0421a`, набор ячеек — `1bb8ea6`, попытка 2 — `a676a52`); изменение `9c3959d` (дефолт `max_overflow` 5 → 0) откачено; в одной сессии хоста: A/A `make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa2`, затем `make bench_ab BEFORE=scaling-db-before2 AFTER=scaling-db-nooverflow2 REAPPLY=5c07923 SERIES=db4`; `make bench_compare … AA=scaling-db-aa2 CHANGE=scaling-improvement`. Попытка 1 — те же команды с метками без `2`, откат `62fa575` | **попытка 2 (окончательная, тихий хост):** основная `4x1-pg0.5` R* 931 (931–984) → 1 101 (1 101–1 101), +18,3 %, «эффект», шум A/A 5,4 %; механизм: новых сессий на первой нарушившей 102 → 4, соединений 60 → 40, CPU PostgreSQL на запрос там 416 → 336 мкс; контроль `4x1-pg2` +5,7 % (в пределах шума). **Подтверждено с оговоркой**: по букве критерия проверка дрейфа (CPU на запрос при 500/с ±5 %) у основной ячейки −5,4 % из-за двух ячеек «до» (переполнения при 500/с нет ни в одной метке); против A/A2 той же сессии (`make bench_compare BEFORE=scaling-db-aa2 AFTER=scaling-db-nooverflow2 AA=scaling-db-before2 CHANGE=scaling-improvement`) дрейфа нет — 1 940 → 1 936 мкс, R* 984 → 1 101, +11,9 % (две ступени), «эффект»; засчитано решением автора после результатов. Попытка 1: +32 %, но шум A/A 20 % из-за помех macOS (iCloud, Zoom) — не прошла дрейф | `evidence/compare/scaling-db-before2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-before2.md`, `evidence/bench/scaling-db-{aa2,before2,nooverflow2}/`, попытка 1 — `evidence/compare/scaling-db-before__scaling-db-nooverflow.md` и метки без `2`, `evidence/tests/scaling-improvement-checks.md` | | Пул без переполнения: соединения не переоткрываются | `make failure_checks`: тест `test_pool_keeps_connections` (48 потоков × 5 запросов, пачки больше пула 10, счётчик `pg_stat_database.sessions` через hook `db-sessions`); рабочий `config.toml` с `max_overflow` 5 и 0 | 10 + 5 — красный: 18–24 новые сессии PostgreSQL за 720 запросов; 10 + 0 — 0, 17 проверок отказов прошли (4 прогона); регрессия на коде X: `make test`, `make student_test` (131 passed), `make test_isolated`, `make test-persistence`, `make test-failover` для обеих реплик — `PASS`; соединений приложения на рабочем стенде 17 ≤ 2 × 10 | `evidence/tests/scaling-improvement-checks.md` | | Цена нового соединения PostgreSQL и пинга | микропроба в реплике рабочего стенда (`cd88b48`): проверка сессии и страница истории через repo, из пула с пингом, без пинга и с новым соединением на итерацию | новое соединение — 11,7–11,8 мс CPU реплики (SCRAM-SHA-256 asyncpg в event loop) и 2,7 мс CPU PostgreSQL против 0,6 и 0,15 мс из пула; пинг при выдаче — +0,13 мс реплики и +0,05 мс PostgreSQL на запрос | `evidence/storage/connection-cost.md` | @@ -1068,6 +1068,16 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch - **Хост** — на дефолтах именно он останавливает рост реплик (k_sat ∈ {4, 5}, `host_cost`), механизм не разделён. +**Одно подтверждённое улучшение** (рубрика «5», трек 1) — закрыто с +оговоркой. +- Изменение: пул без переполнения, change `scaling-improvement`. +- При насыщенном PostgreSQL R* 4 реплик вырос 931 → 1 101 (+18,3 %, + «эффект», шум A/A 5,4 %), переоткрытие соединений пропало. +- Оговорка: по букве заранее записанного критерия проверка дрейфа + нарушена на 0,4 п. п. Против A/A2 той же сессии дрейфа нет, сдвиг R* + +11,9 %, две ступени. Засчитано решением автора после результатов. +- Раздел «Улучшение по найденному узкому месту: пул без переполнения». + **Итог по гипотезам.** - **H1 — по заранее записанным критериям не подтверждена целиком.** @@ -1119,12 +1129,18 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch `712d245`** (серия `pool` снята до правки), как и предсказывал разбор кода; **после правки `68edc66` — 503 `unavailable`** (тест `make failure_checks` и проба через LB, `evidence/storage/too-many-clients.md`). -- **H4 — по букве заранее записанного критерия не подтверждена**, хотя - механизм подтверждён. Окончательная попытка 2: R* основной ячейки - 931 → 1 101 (+18,3 %), вывод команды — «эффект», шум A/A 5,4 %. Но - проверка дрейфа у основной ячейки дала −5,4 % при пороге ±5 %. - Попытка 1 не прошла из-за помех на хосте. Подробно — раздел «Улучшение - по найденному узкому месту: пул без переполнения» ниже. +- **H4 — подтверждена с оговоркой.** + - Окончательная попытка 2: R* основной ячейки 931 → 1 101 (+18,3 %), + вывод команды «эффект», шум A/A 5,4 %, механизм подтверждён. + - По букве критерия проверка дрейфа нарушена: −5,4 % при пороге + ±5 %, из-за двух ячеек «до». + - Против A/A2 той же сессии дрейфа нет (1 940 и 1 936 мкс). Там R* + 984 → 1 101, +11,9 %, две ступени, «эффект». Засчитано решением + автора после результатов. + - Попытка 1 не прошла из-за помех на хосте. + + Подробно — раздел «Улучшение по найденному узкому месту: пул без + переполнения» ниже. **Уровень шума и согласованность серий** (`make bench_compare`): @@ -1149,14 +1165,23 @@ swap 0, брака генератора нет (`evidence/tests/scaling-bench-ch #### Улучшение по найденному узкому месту: пул без переполнения (change `scaling-improvement`) -**Итог.** Механизм подтверждён в обеих попытках. В окончательной -попытке 2, на тихом хосте, R* основной ячейки вырос 931 → 1 101 -(+18,3 %, три ступени). Команда сравнения называет это «эффект»: шум -A/A — 5,4 %, разбросы не пересекаются. Но по букве заранее записанного -критерия H4 эффект **не подтверждён**: проверка дрейфа (CPU реплик на -запрос при 500/с, ±5 %) у основной ячейки дала −5,4 %, то есть -нарушена на 0,4 п. п. Попытка 1 не прошла ту же проверку из-за помех -на хосте (шум A/A 20 %). Ниже — как получилось. +**Итог: H4 подтверждена с оговоркой** (решение автора работы после +результатов; design change, «Найдено в apply», п. 4). + +- Механизм подтверждён в обеих попытках. +- В окончательной попытке 2, на тихом хосте, R* основной ячейки вырос + 931 → 1 101 (+18,3 %, три ступени). Команда называет это «эффект»: + шум A/A 5,4 %, разбросы не пересекаются. +- По букве заранее записанного критерия H4 не подтверждена: проверка + дрейфа (CPU реплик на запрос при 500/с, ±5 %) у основной ячейки дала + −5,4 % — на 0,4 п. п. больше порога, и только из-за двух ячеек «до». +- Оговорка: та же проверка против A/A2 той же сессии (тот же код «до») + дрейфа не показывает — 1 940 против 1 936 мкс. Там R* 984 → 1 101, + +11,9 % (две ступени), «эффект». +- Попытка 1 не прошла проверку дрейфа из-за помех на хосте (шум A/A + 20 %). + +Ниже — как получилось. **Как искали узкое место.** @@ -1317,7 +1342,28 @@ CPU на запрос в этих ячейках в норме. 1 914 у r1. То есть на этой ступени чуть медленнее был хост в «до», а не стало -дешевле «после». Контроль `4x1-pg2` сдвинулся на одну ступень (+5,7 %, +дешевле «после». + +**Оговорка: «после» против A/A2 той же сессии** (анализ после +результатов, решение автора работы засчитать улучшение; исходный +критерий не меняется). Пункт 3 нужен, чтобы исключить эффект, который +создал дрейф хоста. A/A2 — тот же код «до» в той же сессии, без +отклонившихся ячеек. Команда: `make bench_compare BEFORE=scaling-db-aa2 +AFTER=scaling-db-nooverflow2 AA=scaling-db-before2 +CHANGE=scaling-improvement` +(`evidence/compare/scaling-db-aa2__scaling-db-nooverflow2.md`): + +| Конфигурация | R* A/A2 | R* после | Δ R* | Вывод | CPU на запрос на 500/с, мкс | +|---|---|---|---|---|---| +| `4x1-pg0.5` | 984 (931–984) | 1 101 (1 101–1 101) | +11,9 % | эффект | 1 940 → 1 936 (−0,2 %) | +| `4x1-pg2` | 1 720 (1 627–1 720) | 1 720 (1 627–1 923) | +0,0 % | в пределах шума | 1 964 → 1 956 (−0,4 %) | + +Шум («до» ↔ A/A2, тот же код) — 5,7 %. CPU на запрос — в пределах +±0,4 %: дрейфа нет. Сдвиг 1 101 / 984 = 1,119 ≥ × 1,118 (две ступени), +разбросы не пересекаются (984 < 1 101). Новых сессий на R* 93 → 3, +соединений 60 → 40. Эффект нельзя объяснить дрейфом хоста, поэтому +**H4 — подтверждена с оговоркой**: вердикт по букве критерия (пункт 3 +нарушен на 0,4 п. п.) и эта проверка стоят рядом. Контроль `4x1-pg2` сдвинулся на одну ступень (+5,7 %, в пределах шума), то есть меньше двух — как и предсказано. «После» R*(4 × 1) 1 101 — столько же, сколько R*(2 × 1) в `scaling-db` (1 101, другая сессия; справка, не критерий): рост с 2 до 4 реплик @@ -1529,8 +1575,9 @@ TODO: какие отказы выдерживаются и какие нет; ступени деления; уровень шума между сессиями — A/A `scaling-aa` (5,4–5,7 %, одна ступень). Для улучшения A/A снимается заново: код приложения после `scaling-aa` изменён правкой 53300. -- **Улучшение по найденному узкому месту — по букве критерия не - подтверждено** (change `scaling-improvement`, раздел «Улучшение по +- **Улучшение по найденному узкому месту засчитано с оговоркой:** по + букве критерия не подтверждено, засчитано решением автора после + результатов (change `scaling-improvement`, раздел «Улучшение по найденному узкому месту: пул без переполнения»). - Механизм подтверждён: переоткрытие соединений пропало, соединений 60 → 40. diff --git a/openspec/changes/scaling-improvement/design.md b/openspec/changes/scaling-improvement/design.md index a1978c8e..f80b69cc 100644 --- a/openspec/changes/scaling-improvement/design.md +++ b/openspec/changes/scaling-improvement/design.md @@ -726,3 +726,22 @@ bench_compare`. `PLAN.md` — при archive. ±5 % оказался того же порядка, что разброс CPU на запрос между ячейками одной метки (до 7,3 %). Это урок для следующих замеров, а не повод менять порог задним числом. +4. **Решение пользователя, 2026-10-11, после результатов попытки 2: + улучшение засчитывается с явной оговоркой.** Это анализ после + результатов, решение принял автор работы. Исходный критерий + (решение 5) не переписывается, вердикт по его букве — «не + подтверждено». + - По букве нарушен только пункт 3: −5,4 % при пороге ±5 %, на 0,4 п. п. + Нарушение дают только две ячейки метки «до»: `4x1-pg0.5-r2` и `-r3`, + 2 046 и 2 054 мкс против 1 914 у r1. + - Пункт 3 нужен, чтобы исключить эффект, созданный дрейфом хоста. + - Сравнение «после» с A/A2 той же сессии: тот же код «до», CPU реплик + на запрос при 500/с 1 940 против 1 936 мкс — дрейфа нет. R* 984 + (931–984) → 1 101 (1 101–1 101), +11,9 % ≥ × 1,118 (две ступени), + разбросы не пересекаются (984 < 1 101). Команда: `make bench_compare + BEFORE=scaling-db-aa2 AFTER=scaling-db-nooverflow2 + AA=scaling-db-before2 CHANGE=scaling-improvement` — вывод «эффект», + шум «до» ↔ A/A2 5,7 %. + - Поэтому эффект нельзя объяснить дрейфом хоста, и улучшение + засчитывается. В `REPORT.md` рядом стоят вердикт по букве критерия, + оговорка и это сравнение. diff --git a/openspec/changes/scaling-improvement/tasks.md b/openspec/changes/scaling-improvement/tasks.md index 8a481b6a..3098653f 100644 --- a/openspec/changes/scaling-improvement/tasks.md +++ b/openspec/changes/scaling-improvement/tasks.md @@ -485,6 +485,17 @@ Monitor, не дольше 30 мин на вызов, по истечении выполнен: CPU на запрос при 500/с у `4x1-pg0.5` −5,4 % при пороге ±5 %. Переполнения при 500/с нет ни в одной метке; отклонились две ячейки «до». Порог не менялся. + **Решение пользователя после результатов (2026-10-11): засчитать с + оговоркой** (design, «Найдено в apply», п. 4). Сравнение «после» с + A/A2: `make bench_compare BEFORE=scaling-db-aa2 + AFTER=scaling-db-nooverflow2 AA=scaling-db-before2 + CHANGE=scaling-improvement` — CPU на запрос 1 940 → 1 936, R* 984 → + 1 101, +11,9 %, «эффект». Файл + `evidence/compare/scaling-db-aa2__scaling-db-nooverflow2.md`. +- [x] 11.6 Решение пользователя: design п. 4, сравнение с A/A2 в + evidence, `REPORT.md` — вердикт «подтверждено с оговоркой», ответ + рубрике, «Переходное состояние» `AGENTS.md`; `make lint`, `make + check`, коммит. - [x] 11.5 Evidence (попытка 2 в `scaling-improvement-checks.md`), `REPORT.md` (попытка 1 и попытка 2), `AGENTS.md` «Переходное состояние», Telegram «18/22 (повтор)».