17 KiB
Уровень 5, трек 1: цена масштабирования
Гипотезы
- При фиксированном общем CPU/RAM увеличение числа API само по себе не увеличивает пропускную способность: уменьшается ресурс одного процесса, добавляются healthchecks и соединения к зависимостям.
- При росте ресурсов API эффект ограничивается общей БД. Если причина — CPU-квота PostgreSQL, то дальнейшее увеличение конкурентности повысит задержки, а увеличение CPU БД при неизменных API повысит throughput.
- Общий клиент Valkey с пулом соединений уменьшит количество новых соединений и накладные расходы по сравнению с созданием клиента на каждый запрос. Авторитетная проверка сессии в PostgreSQL остаётся одинаковой.
Среда и методика
macOS/arm64, Colima: Linux aarch64, Docker Engine 27.4.0, Compose 2.34.0, 4 vCPU, 8 308 158 464 байт RAM. Характеристики VM сохранены в evidence/research-environment.json. Установленные лимиты каждого контейнера и SHA образов находятся в каждом сыром JSON. Стенд lab2 продолжал существовать, но запросы к нему во время исследования не посылались. Это локальная VM, а не выделенный production-сервер.
Генератор scripts/benchmark.py работает в отдельном контейнере Compose-сети: load → HAProxy → API → PostgreSQL/Valkey. Он использует persistent HTTPConnection, по одному соединению на поток. Основная серия: 16 конкурентных клиентов, warmup 2 секунды, измерение 10 секунд, три повтора. Каждый POST отправляет одинаковую по структуре небольшую строку с уникальным ключом, проверяет HTTP 201, chat_id и точный текст ответа. Чат отдельный для каждого запуска, токены живут только в памяти. Неподтверждённые запросы здесь не повторяются; считаются HTTP-подтверждения, ошибки/timeout сохранены отдельно.
Запросы, начатые после warmup и до конца измерительного окна, дожидаются завершения. RPS = число подтверждений / фактическое время от начала окна до завершения последнего запроса, включая drain. Задержки каждого запроса, код и тип ошибки находятся в samples_ms_status_error. p50/p95/p99 относятся только к успешным запросам. Генератор closed-loop, поэтому имеет coordinated omission; это сравнение конкретных конфигураций, не измерение предельной open-loop мощности.
В серии fixed суммарный бюджет API всегда 1 CPU / 1024 MiB: 1×(1 CPU/1024 MiB), 2×(0.5 CPU/512 MiB), 4×(0.25 CPU/256 MiB). В серии growing каждая реплика получает 0.5 CPU / 256 MiB, общий бюджет растёт до 2 CPU / 1024 MiB. В обеих сериях PostgreSQL фиксирован на 0.25 CPU/512 MiB, LB на 0.25 CPU/64 MiB, Valkey на 0.25 CPU/128 MiB. Таким образом, fixed сохраняет и общий бюджет серверной части стенда.
Квота БД 0.25 CPU выбрана явно, чтобы получить повторяемое ограничение общей зависимости в небольшой VM. Это не утверждение, что реальный PostgreSQL всегда насыщается при таком RPS. Пул API max_size=5, min_size=1 на процесс; новый SQL/кэш-алгоритм одинаков в обеих сериях.
Порядок конфигураций случайно перемешивается в каждом повторе с seed=20261030+номер повтора. История растёт на протяжении эксперимента, volumes не очищаются: это ограничение контроля данных. POST не читает историю целиком, но размер индексов и состояние буферов могут влиять на результат. Снимки pg_stat_database и Valkey INFO до/после сохраняются, включая commits, tuple inserts, cache commands и новые соединения. Эти интервалы включают bootstrap и warmup, в отличие от основного RPS.
Docker stats собирается примерно раз в две секунды: CPU%, память/лимит, сетевой и блочный I/O. CPU%=100 соответствует одному занятому логическому CPU; при лимите БД 0.25 CPU насыщение означает около 25%, а не 100%. Для расчёта среднего CPU используются временные метки внутри измерительного окна. В первой серии из-за управляющего префикса CLI отсутствуют samples первого контейнера в каждом пакете; это не затрагивает RPS/latencies или приведённые значения DB/LB/client CPU. Сборщик исправлен для следующих серий. Полный набор per-container CPU первой серии не используется для вывода о насыщении API.
Во всех записанных нагрузочных сериях использовался прежний Docker-healthcheck на urllib. После исследования rolling-проверка выявила излишнюю стоимость холодного импорта urllib; обычный стенд теперь использует лёгкий socket HTTP-probe. Docker timeout обычного probe увеличен до 4 секунд, чтобы учитывать запуск вспомогательного процесса; собственный socket timeout и HTTP-проверка HAProxy остаются 1 секунда. Для точного воспроизведения условий исследовательский runner автоматически подключает compose.research.yaml со старым probe; эта конфигурация не применяется к обычному запуску и rolling update.
Серия saturation сохраняет четыре API по 0.5 CPU/256 MiB и БД 0.25 CPU, сравнивает concurrency 1/4/16/64. Затем при concurrency=16 меняется только CPU БД на 0.5 и 1. Это вмешательство проверяет предполагаемое ограничение. Отдельная серия cache сравнивает per_request/shared на двух API по 0.5 CPU/256 MiB с БД 1 CPU; меняется только способ владения клиентом Valkey.
Повтор эксперимента
./scripts/bootstrap.sh
./scripts/compose.sh up -d --build
export BASE_URL=http://localhost:8083 # либо свой опубликованный порт
python3 scripts/research_scaling.py --suite scaling --duration 10 --warmup 2 --repeats 3
python3 scripts/research_scaling.py --suite saturation --duration 10 --warmup 2 --repeats 3
python3 scripts/research_scaling.py --suite improvement --duration 10 --warmup 2 --repeats 3
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-research.txt
.venv/bin/python scripts/plot_scaling.py
python3 scripts/summarize_research.py
Сценарий меняет только текущий Compose-проект. Между конфигурациями он дожидается здоровых API и наблюдения ровно нужных hostname через LB. В finally восстанавливаются обычные две реплики, DB=1 CPU, API по 2 CPU/256 MiB, shared-клиент (если параметры .env не переопределены оператором). Volumes не удаляются. Точные параметры серий и список файлов записаны в manifest-*.json.
Сводные CSV/JSON и PNG/SVG строятся из исходных данных; графики показывают средние RPS и выборочное стандартное отклонение, а p95 — среднее p95 отдельных запусков, не объединённый percentile. Все исходные JSON сохранены в evidence/scaling/.
Результаты
Каждая строка — три повтора. Ошибки во всех 42 запусках отсутствовали. RPS±s — среднее и выборочное стандартное отклонение.
| Серия | Реплик | RPS ± s | min–max RPS | p50 / p95 / p99, мс | CPU БД, % одного CPU |
|---|---|---|---|---|---|
| fixed | 1 | 639.5 ± 8.2 | 631.5–648.0 | 21.8 / 36.5 / 64.2 | 24.94 |
| fixed | 2 | 470.2 ± 60.7 | 401.1–515.0 | 18.0 / 80.2 / 164.3 | 24.46 |
| fixed | 4 | 349.8 ± 49.6 | 318.1–407.1 | 8.4 / 177.2 / 311.4 | 19.43 |
| growing | 1 | 499.7 ± 15.4 | 482.2–511.1 | 22.2 / 83.5 / 99.4 | 19.89 |
| growing | 2 | 460.8 ± 60.4 | 399.4–520.2 | 18.7 / 91.0 / 184.3 | 24.28 |
| growing | 4 | 429.9 ± 75.4 | 343.1–478.9 | 10.3 / 117.1 / 268.3 | 25.23 |
При фиксированном бюджете 1→4 реплики снизили throughput, а p95 вырос. Это опровергает ожидание «реплик больше — всегда быстрее». Разделение бюджета между процессами, независимые пулы/healthchecks, синхронный I/O и планирование дробных CPU-квот могут менять эффективность. Вклад каждого фактора здесь отдельно не измерялся, поэтому конкретная причина всей деградации fixed не доказана. При росте бюджета переход 2→4 также не дал устойчивого выигрыша: БД работала около своей полной квоты.
Насыщение и вмешательство в ресурс БД
| Конфигурация: 4 API × 0.5 CPU | RPS ± s | p95, мс | CPU БД, % одного CPU | CPU LB / клиента, % |
|---|---|---|---|---|
| saturation-c1 | 335.5 ± 63.0 | 4.6 | 19.87 | 2.83 / 3.70 |
| saturation-c4 | 353.6 ± 117.5 | 73.1 | 24.25 | 3.21 / 5.00 |
| saturation-c16 | 448.3 ± 38.2 | 105.9 | 25.29 | 3.75 / 5.86 |
| saturation-c64 | 388.6 ± 72.1 | 425.2 | 25.40 | 3.70 / 5.92 |
| db-0.5 | 836.5 ± 33.9 | 62.3 | 44.41 | 6.77 / 10.39 |
| db-1 | 952.9 ± 81.2 | 59.4 | 51.53 | 7.60 / 12.26 |
При c=4 БД уже близка к квоте 25%; максимум среднего throughput среди исследованных c находится при c=16 (448.3 POST/с). Рост c до 64 не дал прироста, p95 вырос до 425.2 мс. Это эмпирическая область насыщения около 400–500 POST/с для данной конфигурации, не точная универсальная граница. При увеличении квоты только БД до 1 CPU средний throughput вырос в 2.13 раза, до 952.9 POST/с. Это подтверждает ограничение общей зависимости в исходном стенде.
LB и генератор существенно ниже своих CPU-лимитов 25% и 100% соответственно; их CPU не объясняет исходное плато. При DB=1 CPU сама БД уже не достигает квоты; ограничение сдвигается. Точное новое узкое место (Python/I/O/планировщик/пул) этим экспериментом не локализовано. Один процесс API выполняет синхронные операции БД в async-обработчике, поэтому добавление размера пула не гарантирует параллелизм. Не заявляется, что достигнута предельная мощность PostgreSQL или устранены все bottleneck.
Подтверждённое улучшение: переиспользование соединений Valkey
Объект Redis теперь создаётся один раз на Store/процесс и использует библиотечный connection pool; закрывается при shutdown. Для контрольного эксперимента CACHE_CLIENT_MODE=per_request воспроизводит прежнее создание клиента на каждую операцию. По умолчанию выбран shared. Проверка идентичности/expiry/revocation в PostgreSQL не меняется.
| Вариант | RPS ± s | min–max RPS | p95, мс | Новых соединений Valkey за весь запуск, среднее |
|---|---|---|---|---|
| cache-per_request | 445.0 ± 104.8 | 347.5–555.9 | 124.1 | 5422.667 |
| cache-shared | 584.0 ± 36.2 | 543.5–612.8 | 82.5 | 2.333 |
В этих трёх повторах средний throughput вырос на 31.3%, средний p95 снизился на 33.5%. Число новых соединений снизилось на 99.957%. Интервалы min–max throughput перекрываются, статистическая значимость не проверялась; гарантировать прирост 31% для иной нагрузки нельзя. Устойчиво подтверждено устранение почти всех повторных подключений.
Ограничения и практический вывод
Три коротких повтора по десять секунд, короткий прогрев, растущие данные и VM дают заметный разброс. Не контролировались page cache, фазы CFS-квот, частота CPU и фоновая активность ОС. Стандартное отклонение не является доверительным интервалом. Измеряется одна короткая POST-нагрузка с действующими сессиями, а не смесь логинов, чтения больших историй и файлов. Нет open-loop arrival rate, длинного soak-теста, статистического теста значимости или доказательства исчерпания RAM. Raw summaries содержат memory usage/limits, а не профили heap.
До увеличения числа API нужно измерять общую зависимость: в этом стенде DB CPU объясняет плато growing, а дробление фиксированного CPU не помогает. Подтверждены два практических эффекта: снятие искусственно тесной квоты БД увеличивает пропускную способность; общий пул Valkey устраняет churn соединений и улучшает средние показатели этого профиля. При этом в обычной конфигурации сохранены две API для отказоустойчивости процесса, а не выбрана единственная реплика ради лучшего числа в fixed-серии.


