forked from mtusi2026/mtusi2026lab3
78 lines
12 KiB
Markdown
78 lines
12 KiB
Markdown
# Цена масштабирования: измерения 29.10.2026
|
||
|
||
## Методика
|
||
|
||
Гипотеза: рост числа API при неизменном суммарном бюджете не гарантирует рост полезного RPS. Ограничениями могут стать CPU каждой реплики, пулы зависимостей, общий пул admission, сеть и доступность backend для Traefik.
|
||
|
||
Основная матрица: 1/2/4 API, фиксированный общий бюджет 1000m CPU / 512Mi RAM; затем растущий бюджет по 250m / 128Mi на API. Requests равны limits во время измерений. PostgreSQL, три Valkey и Traefik не масштабируются; HPA отключён. GOMEMLIMIT=80MiB, pool=8. Существующие PVC сохраняются.
|
||
|
||
Профиль k6 1.3.0: 16 синтетических пользователей с отдельными чатами, 32 VU, 5 секунд прогрева, 5 секунд дренирования, 30 секунд измерения. Итерация отправляет сообщение и читает историю; каждый десятый подтверждённый POST повторяется с тем же ключом. Подготовка может заново создать синтетического участника после временного отказа; эти операции исключены из измеряемых счётчиков. Частично подготовленные данные не используются в нагрузке.
|
||
|
||
Полезный RPS = confirmed_messages / 30, а не общий http_reqs, включающий setup и быстрые отказы. Доля ошибок = application_errors / measured_operations. p50/p95/p99 относятся ко всем попыткам записи; низкая задержка при большом числе быстрых 503 не считается улучшением. События, CPU/RAM и ожидания PostgreSQL сохранены отдельно.
|
||
|
||
## Контроль конфигурации
|
||
|
||
Перед первой сменой replicas HPA удаляется отдельным Helm-обновлением. После завершения возможной текущей reconciliation задаётся профиль. До Job проверяется соответствие spec.replicas ожидаемому значению. Deployment, Helm values и pod/node snapshot сохраняются. Анализатор исключает прежние прогоны с несовпадением числа реплик, отсутствующим измерением или нарушенной изоляцией смены конфигурации.
|
||
|
||
Основная матрица использует штатное распределение API по нодам; восстановленная точка growing1 закреплена на dev.asisti.tech. Ноды неоднородны, поэтому матрица описывает этот dev-стенд, а не чистый эффект числа процессов. Дополнительные A/B выполняются на одной ноде с неизменными зависимостями, образом и сценарием.
|
||
|
||
## Насыщение
|
||
|
||
В серии 64 VU зафиксировано заполнение всех 32 глобальных admission-слотов. Дополнительные запросы конкурируют за ограниченный общий бюджет, а не получают отдельную ёмкость при добавлении API. Readiness-события показывают также временное исключение backend; мгновенные 503 от LB способны увеличить общий http_reqs при падении полезной пропускной способности.
|
||
|
||
Это измеренное насыщение пула допуска запросов и доступности backend. Предел CPU PostgreSQL по редким выборкам не установлен: наблюдение свободного CPU не исключает ожидания сети, диска или соединений. Изменение общего параметра pool одновременно влияет на pgxpool и Valkey; отдельный вклад этих пулов не выделен.
|
||
|
||
## Проверенные альтернативы
|
||
|
||
- Pool 8 → 32: повторные замеры неоднородны, отдельный прирост RPS сопровождался большой долей ошибок. Устойчивое улучшение не подтверждено, штатный pool=8 сохранён.
|
||
- Readiness 2 с / 2 ошибки → 5 с / 1 ошибка: проверка зависимостей может последовательно занять до 4 секунд, но изменение probe не устранило реальные отказы/нестабильность. Устойчивое улучшение не подтверждено; штатные 2/2 сохранены.
|
||
- Ресурсный бюджет двух API: отдельный A/B/A/B при одинаковой ноде, pool=8 и 32 VU сравнивает по 250m/128Mi и по 500m/256Mi. Результаты приведены в итоговой таблице ниже.
|
||
|
||
## Результаты
|
||
|
||
| Профиль | API | CPU/RAM на API | Полезный RPS | Ошибки, % | p95 записи, мс |
|
||
| --- | ---: | --- | ---: | ---: | ---: |
|
||
| fixed1 | 1 | 1000m / 512Mi | 141.40 | 0.00 | 221.84 |
|
||
| fixed2 | 2 | 500m / 256Mi | 124.17 | 0.46 | 172.74 |
|
||
| fixed4 | 4 | 250m / 128Mi | 92.77 | 0.17 | 579.48 |
|
||
| growing1 | 1 | 250m / 128Mi | 37.77 | 61.95 | 400.90 |
|
||
| growing2 | 2 | 250m / 128Mi | 39.93 | 73.19 | 347.85 |
|
||
| growing4 | 4 | 250m / 128Mi | 77.30 | 0.00 | 800.67 |
|
||
| saturation8 | 1 | 1000m / 512Mi | 66.93 | 0.00 | 119.67 |
|
||
| saturation64 | 1 | 1000m / 512Mi | 108.20 | 41.27 | 371.87 |
|
||
| resource-low-a | 2 | 250m / 128Mi | 42.70 | 4.46 | 474.74 |
|
||
| resource-high-a | 2 | 500m / 256Mi | 109.00 | 72.94 | 165.90 |
|
||
| resource-low-b | 2 | 250m / 128Mi | 38.80 | 1.00 | 427.35 |
|
||
| resource-high-b | 2 | 500m / 256Mi | 170.30 | 0.00 | 150.96 |
|
||
|
||
Полные p50/p95/p99, CPU/RAM, ошибки и ссылки на исходные серии: [summary.csv](../evidence/research-20261029-final/summary.csv). Единый источник чисел — этот CSV.
|
||
|
||

|
||
|
||

|
||
|
||
При фиксированном бюджете увеличение числа процессов снизило полезный RPS с 141.40 до 92.77; дробление CPU не создало дополнительных ресурсов. При растущем бюджете RPS вырос с 37.77 до 77.30, но ошибки двух первых точек не позволяют считать это устойчивой линейной масштабируемостью.
|
||
|
||
**Подтверждённое улучшение пропускной способности:** при двух API удвоение ресурсов каждой реплики повысило полезный RPS с 42.70 до 109.00 (2.55 раза) и с 38.80 до 170.30 (4.39 раза). Средние двух повторов — 40.75 и 139.65 RPS (3.43 раза). Это рост подтверждённых записей, а не числа быстрых отказов. Однако первый high-прогон дал 72.94% ошибок; улучшение надёжности под нагрузкой не подтверждено. Низкий p95 этого прогона частично объясняется быстрыми 503. Поэтому повышенный бюджет — проверенный способ увеличить полезную пропускную способность на данном стенде, но не доказательство выполнения SLO. Штатные requests/limits после эксперимента восстановлены.
|
||
|
||
При 8 VU получено 66.93 RPS без ошибок, при 64 VU — 108.20 RPS и 41.27% ошибок. Нагрузка выросла восьмикратно, полезный RPS — только в 1.62 раза; наблюдение 32 занятых admission-слотов подтверждает ограничение общей ёмкости. Эти точки сняты в разное время; они не определяют точный порог насыщения.
|
||
|
||
## Исходные данные и воспроизведение
|
||
|
||
Основные принятые источники: evidence/research-20261029-final, evidence/research-20261029-pool, evidence/research-20261029-readiness, evidence/research-20261029-budget. summary.csv содержит источник каждой строки; excluded.json перечисляет автоматически исключённые точки. Исключённые прогоны и причины остаются в соответствующих README/логах.
|
||
|
||
```sh
|
||
EVIDENCE_DIR=evidence/new-matrix scripts/experiment.sh
|
||
EVIDENCE_DIR=evidence/new-budget BENCHMARK_NODE=dev.asisti.tech \
|
||
PROFILES='resource-low-a resource-high-a resource-low-b resource-high-b' scripts/experiment.sh
|
||
python3 scripts/plot-research.py evidence/new-matrix evidence/new-budget
|
||
```
|
||
|
||
Для графиков: Python 3 и matplotlib 3.10.8. Управление стендом выполняют shell, Helm и kubectl. scripts/sample-admission.sh наблюдает слоты без изменения данных. Нужны также jq, rg, Ruby 2.6+ для отчёта отказов. Helm 4 использует client-side apply во время исследований; force-replace не применяется. После каждого запуска восстанавливаются исходные values и HPA.
|
||
|
||
## Ограничения
|
||
|
||
Общий dev-кластер не изолирован от другой нагрузки; публичный путь включает сеть и Traefik. Есть измеренные сетевые/TLS-сбои и readiness-flapping. Короткие прогоны не дают статистической гарантии; повторный A/B служит проверкой направления эффекта, не доверительным интервалом. Новые чаты одинаково пусты в начале, но общий объём БД растёт; чужие/старые записи не удаляются.
|
||
|
||
CPU/RAM — выборки kubectl top примерно раз в 5 секунд за весь Job, включая setup и прогрев, а не точное профилирование измерительного окна. Анализатор исключает старые API и load-поды из других прогонов, когда есть pod snapshot. PostgreSQL active включает наблюдающий запрос. Эти выборки не заменяют CPU-throttling, I/O или pgxpool wait histograms. CPU CFS quota на dev.asisti.tech включена, период 100ms.
|