Close the 53300 known issue, restate H1 and saturation conclusions against the pre-registered criteria and grid resolution, name the unresolved host mechanism, attribute overload 503 to the pool timeout, and plan a fresh A/A for scaling-improvement. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
10 KiB
Proposal
Why
Уровень «5» лабы 3 — трек 1 «Цена масштабирования» (README.md, выбран
в PLAN.md). Нужно:
- при фиксированном суммарном CPU/RAM сравнить 1, 2 и 4 реплики API на одном профиле нагрузки;
- провести серию с ростом ресурсов;
- найти точку насыщения БД, LB или пула и показать, почему рост реплик перестаёт помогать;
- приложить исходные данные и графики.
Одно подтверждённое улучшение — следующий change, scaling-improvement.
Этот change готовит для него A/B и уровень шума.
Стенд bench/ уже поднимает HAProxy и N реплик (graceful-failover),
но для трека 1 его не хватает:
- Модель нагрузки закрытая. Матрица лаб 1–2 — фиксированное число клиентов. Такая модель скрывает насыщение (coordinated omission) и не даёт максимальной устойчивой интенсивности.
- Нет метрик насыщения. Не снимаются статистика LB, соединения и ожидания PostgreSQL, троттлинг CFS, загрузка ВМ. У генератора нет лимита, графиков нет.
- A/B только для матрицы.
make bench_abиmake bench_compareработают только с ней.
План упирается в хост: ВМ Docker — 12 vCPU и 7,75 GiB, процессор M3 Pro — 6 производительных и 6 энергоэффективных ядер. Серия B «как в плане» не помещается в ВМ: 8 реплик по 1 CPU, PostgreSQL 2, HAProxy 1, Valkey 0,5, k6 2 — всего 13,5 CPU. Правило «swap занят — перезагрузить» пользователь заменил 2026-10-10: помеха — выгрузка в swap во время прогона, а не занятый swap.
What Changes
-
Серии трека 1 в
bench/run.py— новые профили:scaling_a— фиксированный бюджет API 4 CPU / 2 ГиБ: 1 × 4, 2 × 2, 4 × 1;scaling_b— рост: 1…6 реплик по 1 CPU / 512 МиБ;scaling_pool— граница пула: 4 реплики приmax_connectionsPostgreSQL 100 и 50;scaling_ab— 1 и 6 реплик серии B для «до/после» и уровня шума A/A;scaling_quick— самопроверка.
Запуск:
make bench_scaling SERIES=… [SCALING_LABEL=…] [RESUME=1]иmake bench_scaling_quick. -
Ячейка серии — конфигурация × повтор, каждая на свежем стенде.
- 3 повтора, порядок блочно перемешан с зерном.
- Прерванную серию можно продолжить (
RESUME=1) без ручной уборки. - Блокировка не даёт двум прогонам стенда идти одновременно.
-
Ресурсы. Серия B ограничена 6 репликами: так сумма лимитов не превышает число vCPU ВМ (решение 1 design).
- PostgreSQL получает лимиты рабочего стенда — 2 CPU / 1 ГиБ, а не 3 ГБ из плана.
- Граница пула при 7+ репликах проверяется управляемым опытом в
серии
scaling_pool, а не переподпиской. - Бюджет каждой конфигурации и ядра хоста записываются в паспорт.
-
Открытая модель нагрузки.
- Новый сценарий k6
k6/mixed.js: 70 % — страница истории, 20 % — отправка с новымIdempotency-Key, 10 % —GET /users/me. - Ступени
ramping-arrival-rate: прогрев, затем окно замера. - Сначала фиксированные уровни 250 и 500 запросов/с, затем поиск максимальной устойчивой интенсивности R*. SLO: p95 ≤ 200 мс, ошибок вместе с пропущенными итерациями ≤ 1 %.
- Токены готовятся до замера.
- Новый сценарий k6
-
Генератор с лимитом 2 CPU / 1 ГиБ. По каждой ступени записываются его CPU, троттлинг,
dropped_iterationsиvus_max. Ступень, упёршаяся в генератор, — брак. -
Метрики. Сэмплер раз в секунду снимает:
- CPU, память и троттлинг (
cpu.stat) каждого контейнера стенда; - загрузку и PSI CPU ВМ;
- статистику HAProxy;
- PostgreSQL: соединения по репликам и
wait_event, commit/s, WAL, новые сессии.
Кроме того, отказы «too many clients» из журнала PostgreSQL и распределение ответов по
X-Instance-Id. Новые столбцыruns.csv— в конец. Новые файлы:searches.csv(R* ячеек),samples.csv(посекундные ряды). - CPU, память и троттлинг (
-
Графики SVG —
bench/plots.py, только stdlib:- R* от числа реплик (серии A и B);
- p95 от интенсивности;
- CPU по компонентам.
Цель —
make bench_plots. -
make bench_compareиmake bench_abдля серий:- сравнение по общим конфигурациям, с уровнем шума A/A (
AA); - «до/после» на серии (
SERIES=); - метки с разной методикой по-прежнему не сравниваются.
- сравнение по общим конфигурациям, с уровнем шума A/A (
-
Хост. Порог занятого swap заменён приростом
Swapoutsза прогон (паспорт, предупреждение). Число P- и E-ядер — в паспорте. -
Гипотезы H1–H3 записаны в design до прогонов (решение 9) и входят в коммит этого предложения.
-
Документы:
- правило
bench.md; AGENTS.md;REPORT.md— трек «5», строки доказательств, ограничения;KNOWN_ISSUES.md— если подтвердится 500 на «too many clients» (решение 9, H3).
- правило
-
Исправление 53300 после серий (этап fixes, verify C1, указание пользователя 2026-10-11). Серия
poolподтвердила: отказ PostgreSQL «too many clients» (SQLSTATE53300) давал 500.53300добавлен вUNAVAILABLE_SQLSTATES(src/infra/db/errors.py) — 503unavailable, как требуетdata-storage. Проверка — тестfaultс заполнениемmax_connectionsчерез hook стенда отказов. Код меняется только после всех серий: метки сняты на коде до правки.
Capabilities
New Capabilities
Нет.
Modified Capabilities
load-benchmark:- серии трека 1: конфигурации, ячейки, повторы, порядок, продолжение;
- смешанный профиль открытой модели;
- максимальная устойчивая интенсивность по SLO;
- метрики ступени: контейнеры с троттлингом, ВМ, LB, PostgreSQL,
X-Instance-Id; - достоверность генератора;
- графики;
- отчёт о цене масштабирования;
- сравнение меток и «до/после» для серий;
- состояние хоста: выгрузка в swap вместо занятого swap;
- лимиты по конфигурациям и лимит генератора в стенде.
data-storage(этап fixes): «Недоступность PostgreSQL» — отказ в подключении из-за пределаmax_connectionsдаёт 503, новый сценарий «Предел соединений PostgreSQL исчерпан».
Impact
- Стенд
bench/:run.py— профили и исполнитель серий, продолжение, блокировка, сэмплер, лимиты k6, состояние хоста;- новые файлы:
scaling.py(чистые функции разбора, поиска и сводки),plots.py,sampler.sh,k6/mixed.js; - правки:
k6/prepare.js(несколько чатов записи),compare.py,ab.py,bench.compose.yml(max_connectionsPostgreSQL).
- Сборка и окружение:
Makefile(целиbench_scaling,bench_scaling_quick,bench_plots,SERIESуbench_ab),.gitignore(файл блокировки). - Приложение — одна правка после всех серий (этап fixes):
src/infra/db/errors.py,53300вUNAVAILABLE_SQLSTATES; тестstudent-tests/test_failures.py::test_connection_limit_reachedи действияfill-connections/clear-connectionshookstudent-tests/fault_hook.py. Метки серий сняты на коде до правки (712d245), поэтому A/Ascaling-aaдляscaling-improvementбольше не годится (design, «Найдено в verify»). - Контракт и рабочий стенд не меняются.
- Зависимостей не прибавляется: образы k6 и PostgreSQL уже закреплены, сэмплер работает на образе PostgreSQL стенда.
- Evidence:
- метки
evidence/bench/scaling-a/,scaling-b/,scaling-pool/,scaling-aa/; - графики
evidence/plots/scaling/; - сравнения
evidence/compare/; - самопроверки
evidence/tests/scaling-bench-checks.md.
- метки
- Время: около 3,7 ч замеров (решение 5 design), каждая серия — отдельный фоновый запуск.