Files
mtusi2026lab3/docs/SCALING.md
T

9.7 KiB
Raw Blame History

Масштабирование API

Проверено: 2026-11-01T23:43:46Z. Трек 1, Lab3.

Гипотеза

Несколько API при одном суммарном бюджете CPU/RAM не обязаны быть быстрее одного. При увеличении суммарного бюджета предел задаётся общей БД, балансировщиком, пулами соединений или клиентом. Объединение последовательных SQL-команд уменьшает число обменов API с PostgreSQL.

Запуск

make up make research-grade5

Исходные результаты: evidence/scaling.json. Данные каждого HTTP-запроса: evidence/scaling-requests.csv.gz. Графики: evidence/scaling.png и evidence/scaling.svg.

Методика

Один Docker Desktop на macOS, 8 виртуальных CPU, 3.82 GiB RAM. Основные версии и ограничения контейнеров записаны в JSON.

Нагрузка: 50% чтений первой страницы из 50 сообщений, 50% отправок новых сообщений. Одна действующая сессия, отдельный чат каждого замера, 250 начальных сообщений. Регистрация, Argon2id и подготовка набора не входят в измерение. Клиент использует постоянные HTTP/1.1-соединения, без повторов запросов. Неподтверждённая запись могла попасть в БД, поэтому RPS означает успешные HTTP-ответы. Латентность всех попыток и успешных ответов записана отдельно. Полное время учитывает завершение начатых запросов и сбор наблюдений. Медиана доли ошибок может быть нулевой при сбое в одном из трёх прогонов, поэтому отдельно приведено суммарное число ошибок и диапазон RPS.

Серия fixed: всего 1 CPU и 768 MiB для API, делённые между 1/2/4 репликами. Серия growing: каждой API даётся 1 CPU и 384 MiB. БД: 0.5 CPU, 512 MiB; HAProxy: 0.5 CPU, 96 MiB; Redis: 0.25 CPU, 96 MiB. Пул Npgsql: 20 соединений на реплику, суммарно 20/40/80. Есть отдельная проверка увеличения CPU PostgreSQL до 1.

Перед конфигурацией прогрев 3 секунды, перед каждой concurrency ещё 2 секунды. Concurrency: 4/16/64. Каждая точка: 3 прогона по 8 секунд, приведены медианы. Порядок concurrency чередуется между конфигурациями; варианты batching чередуются.

CPU и throttling измерены по cgroup cpu.stat до/после прогона. Это окно включает накладные расходы сбора счётчиков. RAM отражает memory.current в конце окна, а не исторический пик. Для каждого прогона есть успешные RPS, ошибки, p50/p95/p99, распределение реплик и счётчики HAProxy/БД.

Результаты

Серия Реплики CPU API всего MiB API всего Клиенты RPS p95 ms Медиана доли ошибок Ошибок всего
fixed 1 1.0 768 4 227.971 69.017 0.0 0
fixed 1 1.0 768 16 275.06 103.552 0.0 0
fixed 1 1.0 768 64 302.941 307.507 0.0 0
fixed 2 1.0 768 4 232.474 68.443 0.0 0
fixed 2 1.0 768 16 267.997 106.101 0.0 0
fixed 2 1.0 768 64 275.592 456.591 0.0 0
fixed 4 1.0 768 4 124.453 102.574 0.0 0
fixed 4 1.0 768 16 227.163 221.725 0.0 0
fixed 4 1.0 768 64 234.342 577.561 0.0 0
growing 1 1 384 4 250.297 63.995 0.0 0
growing 1 1 384 16 292.921 102.186 0.0 0
growing 1 1 384 64 296.505 386.697 0.0 0
growing 2 2 768 4 260.993 65.864 0.0 0
growing 2 2 768 16 261.656 107.965 0.0 0
growing 2 2 768 64 269.672 410.645 0.0 0
growing 4 4 1536 4 245.033 51.051 0.0 0
growing 4 4 1536 16 236.934 111.575 0.0 0
growing 4 4 1536 64 182.5 894.66 0.0 21

Масштабирование

Проверенные изменения

SQL-команды не меняют транзакционную границу: блокировка, проверка ключа, запись сообщения и результата остаются согласованными. MESSAGE_BATCHING=false отправляет команды отдельно; true объединяет пары команд в один сетевой обмен. Конкурентная проверка обоих режимов входит в собственные тесты.

Вариант Медиана RPS Диапазон RPS p95 ms Ошибок всего
Отдельные SQL-команды 144.195 90.853 - 244.459 109.924 984
SQL batching 219.126 179.536 - 272.021 112.969 0

Изменение медианных RPS: +52.0%. Эти значения относятся только к этому профилю и конфигурации из JSON; это не универсальная оценка скорости.

Увеличение PostgreSQL с 0.5 до 1 CPU при четырёх API: изменение медианных RPS +81.5%. В JSON сохранены оба набора CPU/throttling и латентностей, поэтому причинное объяснение можно проверить по ресурсным ограничениям.

Анализ насыщения

У одной API в growing увеличение concurrency с 16 до 64 изменило медиану RPS с 292.921 до 296.505 (+1.2%), а p95 вырос с 102.186 до 386.697 ms. В этом профиле плато начинается около 300 успешных запросов/с.

На этой точке среднее потребление CPU по окну cgroup: API 0.321 из 1, PostgreSQL 0.448 из 0.5, HAProxy 0.073 из 0.5. База близка к своей квоте, тогда как у API и LB остаётся запас. Дополнительный эксперимент с 1 CPU PostgreSQL дал 395.521 против 217.905 RPS при прежних четырёх API. Это подтверждает существенное влияние общей БД в выбранной конфигурации.

Коды неуспешных попыток за всю серию: {'0': 61, '503': 968, '500': 16}; 0 означает отсутствие полного HTTP-ответа. Ошибки на перегрузке не исключались из исходных данных. Число SQL-соединений растёт вместе с репликами, поэтому здесь исследуется полный эффект конфигурации API, а не изолированное действие числа процессов.

Насыщение оценивается по кривым RPS и p95 при увеличении concurrency. Рост задержки без сопоставимого роста RPS означает накопление очереди. Распределение использованных CPU, throttling, очередей HAProxy и активных соединений PostgreSQL сохранено по каждому прогону. Высокая утилизация БД при свободном CPU API указывает на общий предел хранилища; загруженный API при свободной БД указывает на ограничение API.

Ограничения

Closed-loop генератор замедляет поступление запросов при росте задержки и имеет coordinated omission. Клиент работает на том же физическом компьютере. Не измерены производственные arrival rates, сетевые задержки между узлами и предел отдельного выделенного генератора. Приведённые числа не являются заявлением о максимальной производительности сервера.

Таблицы растут между прогонами, buffers прогреты; это влияет на сравнение. Один LB, PostgreSQL и один Docker-host остаются точками отказа. Redis является восстанавливаемым кэшем; сессии проверяются в PostgreSQL. Добавление API не обеспечивает отказоустойчивость узла или базы.

Источники