Files
mtusi2026lab3/openspec/changes/scaling-improvement/proposal.md
T

8.1 KiB
Raw Blame History

Proposal

Why

Трек 1 рубрики «5» (README.md) требует, кроме серий, «одно подтверждённое улучшение». Серии change scaling-bench нашли два узких места:

  • на дефолтных лимитах рост реплик останавливает хост;
  • при насыщенном PostgreSQL (0,5 CPU, серия db) рост реплик вредит. R* 2 и 4 реплик — 1 101 и 931/с. На 984/с у 4 реплик соединений становится 60 вместо 41, новых сессий PostgreSQL за окно — 79–144 вместо 12–24, CPU PostgreSQL на запрос — 441 мкс вместо 279.

Пробы перед этим change (design, Context) называют механизм:

  • QueuePool SQLAlchemy закрывает при возврате соединения сверх pool_size, и под нагрузкой они открываются заново;
  • новое соединение стоит реплике ~11 мс CPU: asyncpg считает SCRAM циклом на Python в event loop. PostgreSQL оно стоит ~2,4 мс. Вся работа запроса чтения с БД через пул — 0,55 и 0,13 мс соответственно;
  • пул 10 + 0 вместо 10 + 5 в той же ячейке держал CPU PostgreSQL на запрос около 300 мкс до 1 164/с; R* пробы 931 → 1 164.

What Changes

  • Пул без переполнения. Дефолт [database] max_overflow 5 → 0, а pool_size остаётся 10. У реплики постоянный набор из 10 соединений:

    • соединение, возвращённое в пул, не закрывается;
    • сверх 10 новых не открывается;
    • лишний запрос ждёт в очереди пула, не дольше pool_timeout (5 с).

    То же значение — в config_example.toml. Рабочий config.toml правится руками (он не в git). Соединений стенда становится не больше API_REPLICAS × 10 + миграции: комментарий docker-compose.yml, расчёт в REPORT.md.

  • Проверка свойства. Тест fault «Соединения пула не переоткрываются»: пачки одновременных запросов больше пула, а PostgreSQL не видит новых соединений. Нужно новое действие hook db-sessions — счётчик pg_stat_database.sessions. Без правки тест красный.

  • Сравнение меток серий показывает механизм. make bench_compare у серий трека 1 добавляет таблицу «PostgreSQL на R* и первой нарушившей ступени»: CPU PostgreSQL на запрос, новые сессии за окно и соединения, «до → после». Имя change в шапке задаёт параметр CHANGE.

  • Замер «до/после» в одной сессии хоста (в apply сокращён решением пользователя до двух ячеек серии db: основная 4 × 1 при PostgreSQL 0,5 CPU и контроль 4 × 1 при 2 CPU, профиль scaling_db4, ~25 мин на метку; design, решение 3):

    • A/A scaling-db-aa на коде «до»;
    • затем make bench_ab SERIES=db4 — метки scaling-db-before и scaling-db-nooverflow;
    • затем make bench_compare … AA=scaling-db-aa.

    Изменение засчитывается при сдвиге R* основной ячейки 4 × 1 при 0,5 CPU не меньше чем на две ступени сетки и больше шума A/A. Ещё нужно, чтобы таблица PostgreSQL подтвердила механизм, а CPU на запрос на фиксированном уровне и контроль показали, что это не дрейф сессии.

  • Гипотеза H4 с предсказанием в числах — в REPORT.md до замеров.

  • Отчёт. В REPORT.md:

    • подраздел «Подтверждённое улучшение» трека 1 по требованию «Сравнение „до/после“ в отчёте»;
    • строки таблицы доказательств;
    • новая граница пула.

    Найденный и не применённый кандидат — пинг при выдаче соединения. Это 3 обмена и лишняя транзакция PostgreSQL на каждый запрос; в той же ячейке он даёт R* 931 → 1 164. Не применён: без пинга первый запрос после рестарта PostgreSQL получает ошибку («БД вернулась»).

Capabilities

New Capabilities

Нет.

Modified Capabilities

  • data-storage: «Ограниченный пул соединений и таймауты» — пул держит постоянный набор соединений, по умолчанию без переполнения. Новый сценарий «Соединения пула не переоткрываются».
  • service-configuration: «Подключение к PostgreSQL» — размер пула по умолчанию 10 и переполнение 0, те же значения в шаблоне, правило расчёта соединений стенда. Новый сценарий «Пул по умолчанию».
  • load-benchmark:
    • «Сравнение двух меток» — у серий трека 1 таблица PostgreSQL и соединений на R* и первой нарушившей ступени, имя change в шапке;
    • «Сравнение „до/после“ в отчёте» — замер и на серии трека 1:
      • A/A того же кода в той же сессии;
      • эффект R* — не меньше двух ступеней сетки;
      • контрольные конфигурации.

Impact

  • Приложение:

    • src/config/settings.py — дефолт max_overflow;
    • config_example.toml;
    • комментарий docker-compose.yml.

    engine.py, контракт и HTTP-поведение не меняются. На рабочем стенде соединений с PostgreSQL до 20 вместо 30 (2 реплики).

  • Тесты: student-tests/test_failures.py, student-tests/fault_hook.py (действие db-sessions). Сценарий data-storage синхронизируется в основной спек при apply: сверка покрытия читает основные спеки.

  • Стенд bench/:

    • scaling.py (config_stats), compare.py (таблица PostgreSQL, --change);
    • Makefile (CHANGE у bench_compare).

    Профили, run.py, k6 и лимиты не меняются. Серия db снимается тем же профилем scaling_db.

  • Граница пула уходит с k = 7 на k = 10 (10 × 10 + 1 > 100). Метки scaling-a, -b, -pool, -aa, -db остаются результатом пула 10 + 5.

  • Evidence:

    • метки evidence/bench/scaling-db-aa/, scaling-db-before/, scaling-db-nooverflow/;
    • evidence/compare/scaling-db-before__scaling-db-nooverflow.md и таблица A/A;
    • evidence/storage/connection-cost.md — цена соединения и пинга;
    • evidence/tests/scaling-improvement-checks.md.
  • Документы: REPORT.md, AGENTS.md, PLAN.md, правила bench.md, infra.md, student-tests.md (действие hook).

  • Время: около 2,5 ч замеров (A/A ~50 мин, make bench_ab ~100 мин), всё — фоновыми командами.