Files
mtusi2026lab3/openspec/changes/scaling-bench/proposal.md
T
ricoromaandClaude Opus 5.5 a3279374f7 docs: fix scaling-bench verify findings in report, design and rules
Close the 53300 known issue, restate H1 and saturation conclusions
against the pre-registered criteria and grid resolution, name the
unresolved host mechanism, attribute overload 503 to the pool timeout,
and plan a fresh A/A for scaling-improvement.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-11 07:36:33 +03:00

10 KiB
Raw Blame History

Proposal

Why

Уровень «5» лабы 3 — трек 1 «Цена масштабирования» (README.md, выбран в PLAN.md). Нужно:

  • при фиксированном суммарном CPU/RAM сравнить 1, 2 и 4 реплики API на одном профиле нагрузки;
  • провести серию с ростом ресурсов;
  • найти точку насыщения БД, LB или пула и показать, почему рост реплик перестаёт помогать;
  • приложить исходные данные и графики.

Одно подтверждённое улучшение — следующий change, scaling-improvement. Этот change готовит для него A/B и уровень шума.

Стенд bench/ уже поднимает HAProxy и N реплик (graceful-failover), но для трека 1 его не хватает:

  • Модель нагрузки закрытая. Матрица лаб 1–2 — фиксированное число клиентов. Такая модель скрывает насыщение (coordinated omission) и не даёт максимальной устойчивой интенсивности.
  • Нет метрик насыщения. Не снимаются статистика LB, соединения и ожидания PostgreSQL, троттлинг CFS, загрузка ВМ. У генератора нет лимита, графиков нет.
  • A/B только для матрицы. make bench_ab и make bench_compare работают только с ней.

План упирается в хост: ВМ Docker — 12 vCPU и 7,75 GiB, процессор M3 Pro — 6 производительных и 6 энергоэффективных ядер. Серия B «как в плане» не помещается в ВМ: 8 реплик по 1 CPU, PostgreSQL 2, HAProxy 1, Valkey 0,5, k6 2 — всего 13,5 CPU. Правило «swap занят — перезагрузить» пользователь заменил 2026-10-10: помеха — выгрузка в swap во время прогона, а не занятый swap.

What Changes

  • Серии трека 1 в bench/run.py — новые профили:

    • scaling_a — фиксированный бюджет API 4 CPU / 2 ГиБ: 1 × 4, 2 × 2, 4 × 1;
    • scaling_b — рост: 1…6 реплик по 1 CPU / 512 МиБ;
    • scaling_pool — граница пула: 4 реплики при max_connections PostgreSQL 100 и 50;
    • scaling_ab — 1 и 6 реплик серии B для «до/после» и уровня шума A/A;
    • scaling_quick — самопроверка.

    Запуск: make bench_scaling SERIES=… [SCALING_LABEL=…] [RESUME=1] и make bench_scaling_quick.

  • Ячейка серии — конфигурация × повтор, каждая на свежем стенде.

    • 3 повтора, порядок блочно перемешан с зерном.
    • Прерванную серию можно продолжить (RESUME=1) без ручной уборки.
    • Блокировка не даёт двум прогонам стенда идти одновременно.
  • Ресурсы. Серия B ограничена 6 репликами: так сумма лимитов не превышает число vCPU ВМ (решение 1 design).

    • PostgreSQL получает лимиты рабочего стенда — 2 CPU / 1 ГиБ, а не 3 ГБ из плана.
    • Граница пула при 7+ репликах проверяется управляемым опытом в серии scaling_pool, а не переподпиской.
    • Бюджет каждой конфигурации и ядра хоста записываются в паспорт.
  • Открытая модель нагрузки.

    • Новый сценарий k6 k6/mixed.js: 70 % — страница истории, 20 % — отправка с новым Idempotency-Key, 10 % — GET /users/me.
    • Ступени ramping-arrival-rate: прогрев, затем окно замера.
    • Сначала фиксированные уровни 250 и 500 запросов/с, затем поиск максимальной устойчивой интенсивности R*. SLO: p95 ≤ 200 мс, ошибок вместе с пропущенными итерациями ≤ 1 %.
    • Токены готовятся до замера.
  • Генератор с лимитом 2 CPU / 1 ГиБ. По каждой ступени записываются его CPU, троттлинг, dropped_iterations и vus_max. Ступень, упёршаяся в генератор, — брак.

  • Метрики. Сэмплер раз в секунду снимает:

    • CPU, память и троттлинг (cpu.stat) каждого контейнера стенда;
    • загрузку и PSI CPU ВМ;
    • статистику HAProxy;
    • PostgreSQL: соединения по репликам и wait_event, commit/s, WAL, новые сессии.

    Кроме того, отказы «too many clients» из журнала PostgreSQL и распределение ответов по X-Instance-Id. Новые столбцы runs.csv — в конец. Новые файлы: searches.csv (R* ячеек), samples.csv (посекундные ряды).

  • Графики SVG — bench/plots.py, только stdlib:

    • R* от числа реплик (серии A и B);
    • p95 от интенсивности;
    • CPU по компонентам.

    Цель — make bench_plots.

  • make bench_compare и make bench_ab для серий:

    • сравнение по общим конфигурациям, с уровнем шума A/A (AA);
    • «до/после» на серии (SERIES=);
    • метки с разной методикой по-прежнему не сравниваются.
  • Хост. Порог занятого swap заменён приростом Swapouts за прогон (паспорт, предупреждение). Число P- и E-ядер — в паспорте.

  • Гипотезы H1–H3 записаны в design до прогонов (решение 9) и входят в коммит этого предложения.

  • Документы:

    • правило bench.md;
    • AGENTS.md;
    • REPORT.md — трек «5», строки доказательств, ограничения;
    • KNOWN_ISSUES.md — если подтвердится 500 на «too many clients» (решение 9, H3).
  • Исправление 53300 после серий (этап fixes, verify C1, указание пользователя 2026-10-11). Серия pool подтвердила: отказ PostgreSQL «too many clients» (SQLSTATE 53300) давал 500. 53300 добавлен в UNAVAILABLE_SQLSTATES (src/infra/db/errors.py) — 503 unavailable, как требует data-storage. Проверка — тест fault с заполнением max_connections через hook стенда отказов. Код меняется только после всех серий: метки сняты на коде до правки.

Capabilities

New Capabilities

Нет.

Modified Capabilities

  • load-benchmark:
    • серии трека 1: конфигурации, ячейки, повторы, порядок, продолжение;
    • смешанный профиль открытой модели;
    • максимальная устойчивая интенсивность по SLO;
    • метрики ступени: контейнеры с троттлингом, ВМ, LB, PostgreSQL, X-Instance-Id;
    • достоверность генератора;
    • графики;
    • отчёт о цене масштабирования;
    • сравнение меток и «до/после» для серий;
    • состояние хоста: выгрузка в swap вместо занятого swap;
    • лимиты по конфигурациям и лимит генератора в стенде.
  • data-storage (этап fixes): «Недоступность PostgreSQL» — отказ в подключении из-за предела max_connections даёт 503, новый сценарий «Предел соединений PostgreSQL исчерпан».

Impact

  • Стенд bench/:
    • run.py — профили и исполнитель серий, продолжение, блокировка, сэмплер, лимиты k6, состояние хоста;
    • новые файлы: scaling.py (чистые функции разбора, поиска и сводки), plots.py, sampler.sh, k6/mixed.js;
    • правки: k6/prepare.js (несколько чатов записи), compare.py, ab.py, bench.compose.yml (max_connections PostgreSQL).
  • Сборка и окружение: Makefile (цели bench_scaling, bench_scaling_quick, bench_plots, SERIES у bench_ab), .gitignore (файл блокировки).
  • Приложение — одна правка после всех серий (этап fixes): src/infra/db/errors.py, 53300 в UNAVAILABLE_SQLSTATES; тест student-tests/test_failures.py::test_connection_limit_reached и действия fill-connections / clear-connections hook student-tests/fault_hook.py. Метки серий сняты на коде до правки (712d245), поэтому A/A scaling-aa для scaling-improvement больше не годится (design, «Найдено в verify»).
  • Контракт и рабочий стенд не меняются.
  • Зависимостей не прибавляется: образы k6 и PostgreSQL уже закреплены, сэмплер работает на образе PostgreSQL стенда.
  • Evidence:
    • метки evidence/bench/scaling-a/, scaling-b/, scaling-pool/, scaling-aa/;
    • графики evidence/plots/scaling/;
    • сравнения evidence/compare/;
    • самопроверки evidence/tests/scaling-bench-checks.md.
  • Время: около 3,7 ч замеров (решение 5 design), каждая серия — отдельный фоновый запуск.