Files
mtusi2026lab3/RESEARCH.md
T

14 KiB
Raw Blame History

Исследование: цена масштабирования

Черненко, БПИ2301. Лабораторная 3, трек 1. Реальные локальные измерения 6 ноября 2026 года.

Методика, запуск и ограничения: REPORT.md и RUNBOOK.md. Числа ниже автоматически рассчитаны из summary.json и aggregate.json, а не введены вручную.

Гипотеза и условия

Добавление API при неизменном общем ресурсе не обязано ускорять запись. Общая PostgreSQL ограничивает масштабирование; увеличение её CPU-квоты проверяется как отдельное улучшение при тех же API, LB и запросах.

Каждый прогон: 5 секунд прогрева, затем 20 секунд измерения. Три повтора. POST текстового сообщения, уникальный ключ, постоянные HTTP-соединения, без retry. Генератор: стандартный http.client, по одному независимому постоянному соединению на поток. Closed loop; bootstrap вне измерений; новый чат на прогон. Размер текста 18 ASCII code points. Перцентили только успешных запросов. RPS включает время завершения последних измеренных запросов.

Fixed: суммарно API 1 CPU / 512 MiB, делится на 1/2/4 процесса. Growing: каждой API 0.5 CPU / 256 MiB. В обеих сериях DB .25 CPU / 512 MiB, LB .5 CPU / 128 MiB, пул по 4 соединения на API. Суммарный серверный бюджет fixed: 1.75 CPU / 1152 MiB, плюс неизменный генератор 2 CPU / 512 MiB. Число возможных DB-соединений растёт с N. В improved меняется только DB CPU .25→1; API 4×.5 CPU / 256 MiB. Увеличение CPU БД — улучшение распределения ресурсов, а не оптимизация SQL при том же бюджете.

Исходные измерения и агрегирование

Завершённых прогонов в основной серии: 45. Для каждой строки показана медиана трёх run-level результатов; диапазон — min/max RPS. Ошибки суммируются по всем повторам, поэтому не скрываются медианой.

Серия API Конкуренция Медиана RPS [min; max] Ошибки / попытки p50 / p95 / p99, ms
Фиксированный бюджет API 1 32 185.612 [183.057; 187.304] 0 / 11186 167.174 / 303.441 / 381.198
Фиксированный бюджет API 2 32 178.450 [174.478; 182.729] 0 / 10795 181.555 / 417.384 / 575.323
Фиксированный бюджет API 4 32 163.003 [151.529; 166.355] 0 / 9759 99.993 / 607.215 / 765.039
Рост бюджета API 1 32 127.414 [67.077; 141.752] 0 / 6818 198.605 / 437.412 / 801.593
Рост бюджета API 2 32 161.903 [151.952; 166.275] 0 / 9663 191.754 / 483.648 / 586.832
Рост бюджета API 4 32 131.867 [119.326; 148.436] 0 / 8103 103.220 / 694.982 / 938.268
Увеличен CPU БД 4 32 424.763 [411.102; 448.167] 0 / 25807 39.266 / 225.987 / 389.843
Насыщение: DB .25 CPU 4 1 82.186 [72.044; 95.055] 0 / 4996 8.008 / 44.872 / 80.555
Насыщение: DB .25 CPU 4 4 137.237 [136.271; 148.751] 0 / 8469 8.887 / 88.132 / 101.906
Насыщение: DB .25 CPU 4 8 83.281 [60.811; 106.475] 0 / 5038 91.534 / 231.638 / 398.845
Насыщение: DB .25 CPU 4 32 133.953 [124.073; 136.205] 0 / 7974 105.644 / 706.255 / 895.292
Насыщение: DB .25 CPU 4 64 134.328 [133.180; 149.582] 0 / 8607 106.525 / 1598.436 / 1840.237
Насыщение: DB 1 CPU 4 8 331.764 [297.846; 360.414] 0 / 19869 10.681 / 85.277 / 102.387
Насыщение: DB 1 CPU 4 32 424.043 [423.861; 465.304] 0 / 26386 41.982 / 230.118 / 318.838
Насыщение: DB 1 CPU 4 64 379.589 [358.502; 456.887] 0 / 24150 94.938 / 498.431 / 690.623

Масштабирование API

Насыщение общей зависимости

Ресурсы

Docker stats CPU: 100% = один CPU. Сэмплы охватывают bootstrap, прогрев и измерение; среднее не взвешено по времени. API — значение одной реплики, не сумма всех API. RAM — максимальный наблюдавшийся Docker MemUsage одного контейнера. Это наблюдения, а не замена квот из inspect.

Серия / N / C CPU API mean/max, % CPU DB mean/max, % CPU LB mean/max, % RAM API/DB/LB max, MiB
Фиксированный бюджет API / 1 / 32 57.18 / 81.10 21.45 / 25.65 4.18 / 5.71 73.87 / 66.13 / 14.06
Фиксированный бюджет API / 2 / 32 33.11 / 49.66 22.42 / 27.17 4.56 / 6.11 72.82 / 87.54 / 14.78
Фиксированный бюджет API / 4 / 32 20.56 / 28.17 23.50 / 26.59 4.82 / 6.22 71.86 / 112.8 / 14.78
Рост бюджета API / 1 / 32 44.91 / 53.26 16.86 / 24.70 3.37 / 4.58 72.71 / 96.07 / 15.16
Рост бюджета API / 2 / 32 36.30 / 51.84 24.82 / 26.12 4.95 / 6.09 71.84 / 114.0 / 15.93
Рост бюджета API / 4 / 32 22.84 / 48.75 22.78 / 27.92 4.65 / 8.21 73.48 / 148.5 / 16.04
Увеличен CPU БД / 4 / 32 45.68 / 53.43 57.08 / 99.66 12.94 / 20.44 72.74 / 187.5 / 16.45
Насыщение: DB .25 CPU / 4 / 1 19.80 / 53.23 15.92 / 21.26 2.99 / 3.94 72.53 / 185.0 / 15.9
Насыщение: DB .25 CPU / 4 / 4 25.27 / 45.17 23.43 / 27.40 4.59 / 5.58 72.85 / 188.9 / 16.2
Насыщение: DB .25 CPU / 4 / 8 25.66 / 51.67 21.73 / 27.03 3.92 / 6.17 73.21 / 199.5 / 15.78
Насыщение: DB .25 CPU / 4 / 32 24.47 / 50.01 23.32 / 26.49 4.56 / 6.26 76.19 / 197.6 / 19.44
Насыщение: DB .25 CPU / 4 / 64 23.03 / 43.74 25.07 / 27.22 5.07 / 10.94 75.7 / 205.7 / 20.27
Насыщение: DB 1 CPU / 4 / 8 41.04 / 54.07 48.66 / 80.30 9.69 / 16.78 75.95 / 219.5 / 23.53
Насыщение: DB 1 CPU / 4 / 32 42.92 / 53.38 53.93 / 82.16 11.98 / 18.50 75.39 / 236.0 / 24.28
Насыщение: DB 1 CPU / 4 / 64 43.16 / 54.10 55.38 / 105.80 11.85 / 17.45 76.15 / 241.3 / 24.39

Проверка улучшения

При тех же четырёх API, конкуренции 32 и пуле 4 увеличение только CPU БД с .25 до 1 изменило медианный successful throughput с 131.867 до 424.763 RPS: 3.221× (+222.1%). p95 успешных запросов: 694.982 → 225.987 ms. Ошибки по трём повторам: 0 → 0.

Это контролируемое сравнение одного параметра. Его нельзя переносить на произвольное оборудование или считать доказательством линейной масштабируемости.

Обратная проверка гипотезы о CPU

После возврата DB к .25 CPU в отдельной серии C=32 наблюдалось 133.953 RPS, тогда как в серии DB 1 CPU — 424.763 RPS. Первоначальное увеличение CPU проверяется этим возвратом, а не только одной лучшей попыткой.

После возврата меньшей CPU-квоты throughput снова снизился. Вместе с контролем остальных ресурсов это поддерживает влияние общей БД на наблюдаемую ёмкость. Это вывод для данного профиля, не утверждение, что DB CPU — единственное ограничение при любых настройках.

Наблюдение за общей зависимостью

Настройка БД CPU time на вставленное сообщение, µs Throttled periods / все periods
0.25 CPU, 4 API 1993.873 812 / 898 (90.42%)
1 CPU, 4 API 1480.252 43 / 905 (4.75%)

Счётчики cgroup охватывают bootstrap/прогрев/измерение и служебные проверки; это диагностическое приближение, не чистая стоимость одной SQL-операции.

Насыщение: DB .25 CPU

Рабочее определение наблюдаемого насыщения: наименьшая проверенная конкуренция, достигшая 90% наибольшей медианы RPS в данной сетке. По этому критерию: C=4, медиана 137.237 RPS, максимум в сетке 137.237 RPS. Это оценка по дискретной сетке, а не точная физическая граница.

Насыщение: DB 1 CPU

Рабочее определение наблюдаемого насыщения: наименьшая проверенная конкуренция, достигшая 90% наибольшей медианы RPS в данной сетке. По этому критерию: C=32, медиана 424.043 RPS, максимум в сетке 424.043 RPS. Это оценка по дискретной сетке, а не точная физическая граница.

Данные, воспроизводимость и ограничения

Общий набор сообщений БД за серию вырос примерно с 110340 до 347025. Точные users/chats/messages/sessions до и после каждого прогона — в *.resources.json; данные прогрева остаются в БД. Начальная история каждого нового чата пустая. Порядок серий последовательный, без рандомизации; рост индексов и прогрев cache могут влиять на сравнение.

Серия возобновлялась после остановки Docker: 11 завершённых прогонов сохранены, недостающие выполнены с --resume. Перерыв между прогонами мог изменить состояние cache/температуру host; внутри измеренного прогона перезапуск Docker не выполнялся. Это дополнительное ограничение сравнения.

Raw *.jsonl хранит старт запроса, latency, status и alias. Credentials, Bearer и body не записываются. *.json содержит итог отдельного прогона, *.resources.json — реальные квоты, container ID, CPU/RAM и объём данных. sampling_error означает пропущенный telemetry sample при исчезновении одноразового/заменяемого контейнера; это не нулевое потребление ресурса.

CPU/RAM клиента также записаны в raw resources; клиент имеет лимит 2 CPU / 512 MiB и может стать ограничением. Closed loop имеет coordinated omission. Неизолированный host, короткие прогоны и три повтора не дают доверительного интервала для production SLA. Ошибки и timeouts не входят в успешные latency-перцентили; successful RPS — подтверждения HTTP, не точный счётчик COMMIT.

Увеличение реплик не устраняет единственные DB, LB, диск и Docker-host как SPOF. Исследование касается отказа API-процесса и локального масштабирования, а не отказоустойчивости к потере узла.

Почему предварительные опыты не смешаны с основными

В предварительной серии использовался общий async HTTPX-клиент. Проверка другим генератором на том же стенде показала 270.793 вместо 61.529 RPS. Поэтому прежние низкие значения не приняты за saturation point сервера: вся основная серия полностью повторена текущим независимым генератором. Это диагностический контроль, не универсальное утверждение о HTTPX. Предварительные 57 опытов, включая отрицательные настройки пула и LB, сохранены отдельно: архив и пояснения. Причины внутри библиотеки не профилировались. Их нельзя приписывать БД.

Перестроить числовое приложение и графики без повторной нагрузки:

docker compose run --rm -T tester python scripts/plot_results.py
python3 scripts/write_research.py