9.7 KiB
Масштабирование API
Проверено: 2026-11-01T23:43:46Z. Трек 1, Lab3.
Гипотеза
Несколько API при одном суммарном бюджете CPU/RAM не обязаны быть быстрее одного. При увеличении суммарного бюджета предел задаётся общей БД, балансировщиком, пулами соединений или клиентом. Объединение последовательных SQL-команд уменьшает число обменов API с PostgreSQL.
Запуск
make up make research-grade5
Исходные результаты: evidence/scaling.json. Данные каждого HTTP-запроса: evidence/scaling-requests.csv.gz. Графики: evidence/scaling.png и evidence/scaling.svg.
Методика
Один Docker Desktop на macOS, 8 виртуальных CPU, 3.82 GiB RAM. Основные версии и ограничения контейнеров записаны в JSON.
Нагрузка: 50% чтений первой страницы из 50 сообщений, 50% отправок новых сообщений. Одна действующая сессия, отдельный чат каждого замера, 250 начальных сообщений. Регистрация, Argon2id и подготовка набора не входят в измерение. Клиент использует постоянные HTTP/1.1-соединения, без повторов запросов. Неподтверждённая запись могла попасть в БД, поэтому RPS означает успешные HTTP-ответы. Латентность всех попыток и успешных ответов записана отдельно. Полное время учитывает завершение начатых запросов и сбор наблюдений. Медиана доли ошибок может быть нулевой при сбое в одном из трёх прогонов, поэтому отдельно приведено суммарное число ошибок и диапазон RPS.
Серия fixed: всего 1 CPU и 768 MiB для API, делённые между 1/2/4 репликами. Серия growing: каждой API даётся 1 CPU и 384 MiB. БД: 0.5 CPU, 512 MiB; HAProxy: 0.5 CPU, 96 MiB; Redis: 0.25 CPU, 96 MiB. Пул Npgsql: 20 соединений на реплику, суммарно 20/40/80. Есть отдельная проверка увеличения CPU PostgreSQL до 1.
Перед конфигурацией прогрев 3 секунды, перед каждой concurrency ещё 2 секунды. Concurrency: 4/16/64. Каждая точка: 3 прогона по 8 секунд, приведены медианы. Порядок concurrency чередуется между конфигурациями; варианты batching чередуются.
CPU и throttling измерены по cgroup cpu.stat до/после прогона. Это окно включает накладные расходы сбора счётчиков. RAM отражает memory.current в конце окна, а не исторический пик. Для каждого прогона есть успешные RPS, ошибки, p50/p95/p99, распределение реплик и счётчики HAProxy/БД.
Результаты
| Серия | Реплики | CPU API всего | MiB API всего | Клиенты | RPS | p95 ms | Медиана доли ошибок | Ошибок всего |
|---|---|---|---|---|---|---|---|---|
| fixed | 1 | 1.0 | 768 | 4 | 227.971 | 69.017 | 0.0 | 0 |
| fixed | 1 | 1.0 | 768 | 16 | 275.06 | 103.552 | 0.0 | 0 |
| fixed | 1 | 1.0 | 768 | 64 | 302.941 | 307.507 | 0.0 | 0 |
| fixed | 2 | 1.0 | 768 | 4 | 232.474 | 68.443 | 0.0 | 0 |
| fixed | 2 | 1.0 | 768 | 16 | 267.997 | 106.101 | 0.0 | 0 |
| fixed | 2 | 1.0 | 768 | 64 | 275.592 | 456.591 | 0.0 | 0 |
| fixed | 4 | 1.0 | 768 | 4 | 124.453 | 102.574 | 0.0 | 0 |
| fixed | 4 | 1.0 | 768 | 16 | 227.163 | 221.725 | 0.0 | 0 |
| fixed | 4 | 1.0 | 768 | 64 | 234.342 | 577.561 | 0.0 | 0 |
| growing | 1 | 1 | 384 | 4 | 250.297 | 63.995 | 0.0 | 0 |
| growing | 1 | 1 | 384 | 16 | 292.921 | 102.186 | 0.0 | 0 |
| growing | 1 | 1 | 384 | 64 | 296.505 | 386.697 | 0.0 | 0 |
| growing | 2 | 2 | 768 | 4 | 260.993 | 65.864 | 0.0 | 0 |
| growing | 2 | 2 | 768 | 16 | 261.656 | 107.965 | 0.0 | 0 |
| growing | 2 | 2 | 768 | 64 | 269.672 | 410.645 | 0.0 | 0 |
| growing | 4 | 4 | 1536 | 4 | 245.033 | 51.051 | 0.0 | 0 |
| growing | 4 | 4 | 1536 | 16 | 236.934 | 111.575 | 0.0 | 0 |
| growing | 4 | 4 | 1536 | 64 | 182.5 | 894.66 | 0.0 | 21 |
Проверенные изменения
SQL-команды не меняют транзакционную границу: блокировка, проверка ключа, запись сообщения и результата остаются согласованными. MESSAGE_BATCHING=false отправляет команды отдельно; true объединяет пары команд в один сетевой обмен. Конкурентная проверка обоих режимов входит в собственные тесты.
| Вариант | Медиана RPS | Диапазон RPS | p95 ms | Ошибок всего |
|---|---|---|---|---|
| Отдельные SQL-команды | 144.195 | 90.853 - 244.459 | 109.924 | 984 |
| SQL batching | 219.126 | 179.536 - 272.021 | 112.969 | 0 |
Изменение медианных RPS: +52.0%. Эти значения относятся только к этому профилю и конфигурации из JSON; это не универсальная оценка скорости.
Увеличение PostgreSQL с 0.5 до 1 CPU при четырёх API: изменение медианных RPS +81.5%. В JSON сохранены оба набора CPU/throttling и латентностей, поэтому причинное объяснение можно проверить по ресурсным ограничениям.
Анализ насыщения
У одной API в growing увеличение concurrency с 16 до 64 изменило медиану RPS с 292.921 до 296.505 (+1.2%), а p95 вырос с 102.186 до 386.697 ms. В этом профиле плато начинается около 300 успешных запросов/с.
На этой точке среднее потребление CPU по окну cgroup: API 0.321 из 1, PostgreSQL 0.448 из 0.5, HAProxy 0.073 из 0.5. База близка к своей квоте, тогда как у API и LB остаётся запас. Дополнительный эксперимент с 1 CPU PostgreSQL дал 395.521 против 217.905 RPS при прежних четырёх API. Это подтверждает существенное влияние общей БД в выбранной конфигурации.
Коды неуспешных попыток за всю серию: {'0': 61, '503': 968, '500': 16}; 0 означает отсутствие полного HTTP-ответа. Ошибки на перегрузке не исключались из исходных данных. Число SQL-соединений растёт вместе с репликами, поэтому здесь исследуется полный эффект конфигурации API, а не изолированное действие числа процессов.
Насыщение оценивается по кривым RPS и p95 при увеличении concurrency. Рост задержки без сопоставимого роста RPS означает накопление очереди. Распределение использованных CPU, throttling, очередей HAProxy и активных соединений PostgreSQL сохранено по каждому прогону. Высокая утилизация БД при свободном CPU API указывает на общий предел хранилища; загруженный API при свободной БД указывает на ограничение API.
Ограничения
Closed-loop генератор замедляет поступление запросов при росте задержки и имеет coordinated omission. Клиент работает на том же физическом компьютере. Не измерены производственные arrival rates, сетевые задержки между узлами и предел отдельного выделенного генератора. Приведённые числа не являются заявлением о максимальной производительности сервера.
Таблицы растут между прогонами, buffers прогреты; это влияет на сравнение. Один LB, PostgreSQL и один Docker-host остаются точками отказа. Redis является восстанавливаемым кэшем; сессии проверяются в PostgreSQL. Добавление API не обеспечивает отказоустойчивость узла или базы.
