Files
mtusi2026lab3/docs/RESEARCH.md
T

78 lines
12 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Цена масштабирования: измерения 29.10.2026
## Методика
Гипотеза: рост числа API при неизменном суммарном бюджете не гарантирует рост полезного RPS. Ограничениями могут стать CPU каждой реплики, пулы зависимостей, общий пул admission, сеть и доступность backend для Traefik.
Основная матрица: 1/2/4 API, фиксированный общий бюджет 1000m CPU / 512Mi RAM; затем растущий бюджет по 250m / 128Mi на API. Requests равны limits во время измерений. PostgreSQL, три Valkey и Traefik не масштабируются; HPA отключён. GOMEMLIMIT=80MiB, pool=8. Существующие PVC сохраняются.
Профиль k6 1.3.0: 16 синтетических пользователей с отдельными чатами, 32 VU, 5 секунд прогрева, 5 секунд дренирования, 30 секунд измерения. Итерация отправляет сообщение и читает историю; каждый десятый подтверждённый POST повторяется с тем же ключом. Подготовка может заново создать синтетического участника после временного отказа; эти операции исключены из измеряемых счётчиков. Частично подготовленные данные не используются в нагрузке.
Полезный RPS = confirmed_messages / 30, а не общий http_reqs, включающий setup и быстрые отказы. Доля ошибок = application_errors / measured_operations. p50/p95/p99 относятся ко всем попыткам записи; низкая задержка при большом числе быстрых 503 не считается улучшением. События, CPU/RAM и ожидания PostgreSQL сохранены отдельно.
## Контроль конфигурации
Перед первой сменой replicas HPA удаляется отдельным Helm-обновлением. После завершения возможной текущей reconciliation задаётся профиль. До Job проверяется соответствие spec.replicas ожидаемому значению. Deployment, Helm values и pod/node snapshot сохраняются. Анализатор исключает прежние прогоны с несовпадением числа реплик, отсутствующим измерением или нарушенной изоляцией смены конфигурации.
Основная матрица использует штатное распределение API по нодам; восстановленная точка growing1 закреплена на dev.asisti.tech. Ноды неоднородны, поэтому матрица описывает этот dev-стенд, а не чистый эффект числа процессов. Дополнительные A/B выполняются на одной ноде с неизменными зависимостями, образом и сценарием.
## Насыщение
В серии 64 VU зафиксировано заполнение всех 32 глобальных admission-слотов. Дополнительные запросы конкурируют за ограниченный общий бюджет, а не получают отдельную ёмкость при добавлении API. Readiness-события показывают также временное исключение backend; мгновенные 503 от LB способны увеличить общий http_reqs при падении полезной пропускной способности.
Это измеренное насыщение пула допуска запросов и доступности backend. Предел CPU PostgreSQL по редким выборкам не установлен: наблюдение свободного CPU не исключает ожидания сети, диска или соединений. Изменение общего параметра pool одновременно влияет на pgxpool и Valkey; отдельный вклад этих пулов не выделен.
## Проверенные альтернативы
- Pool 8 → 32: повторные замеры неоднородны, отдельный прирост RPS сопровождался большой долей ошибок. Устойчивое улучшение не подтверждено, штатный pool=8 сохранён.
- Readiness 2 с / 2 ошибки → 5 с / 1 ошибка: проверка зависимостей может последовательно занять до 4 секунд, но изменение probe не устранило реальные отказы/нестабильность. Устойчивое улучшение не подтверждено; штатные 2/2 сохранены.
- Ресурсный бюджет двух API: отдельный A/B/A/B при одинаковой ноде, pool=8 и 32 VU сравнивает по 250m/128Mi и по 500m/256Mi. Результаты приведены в итоговой таблице ниже.
## Результаты
| Профиль | API | CPU/RAM на API | Полезный RPS | Ошибки, % | p95 записи, мс |
| --- | ---: | --- | ---: | ---: | ---: |
| fixed1 | 1 | 1000m / 512Mi | 141.40 | 0.00 | 221.84 |
| fixed2 | 2 | 500m / 256Mi | 124.17 | 0.46 | 172.74 |
| fixed4 | 4 | 250m / 128Mi | 92.77 | 0.17 | 579.48 |
| growing1 | 1 | 250m / 128Mi | 37.77 | 61.95 | 400.90 |
| growing2 | 2 | 250m / 128Mi | 39.93 | 73.19 | 347.85 |
| growing4 | 4 | 250m / 128Mi | 77.30 | 0.00 | 800.67 |
| saturation8 | 1 | 1000m / 512Mi | 66.93 | 0.00 | 119.67 |
| saturation64 | 1 | 1000m / 512Mi | 108.20 | 41.27 | 371.87 |
| resource-low-a | 2 | 250m / 128Mi | 42.70 | 4.46 | 474.74 |
| resource-high-a | 2 | 500m / 256Mi | 109.00 | 72.94 | 165.90 |
| resource-low-b | 2 | 250m / 128Mi | 38.80 | 1.00 | 427.35 |
| resource-high-b | 2 | 500m / 256Mi | 170.30 | 0.00 | 150.96 |
Полные p50/p95/p99, CPU/RAM, ошибки и ссылки на исходные серии: [summary.csv](../evidence/research-20261029-final/summary.csv). Единый источник чисел — этот CSV.
![Матрица масштабирования](../evidence/research-20261029-final/matrix.png)
![Все принятые эксперименты](../evidence/research-20261029-final/results.png)
При фиксированном бюджете увеличение числа процессов снизило полезный RPS с 141.40 до 92.77; дробление CPU не создало дополнительных ресурсов. При растущем бюджете RPS вырос с 37.77 до 77.30, но ошибки двух первых точек не позволяют считать это устойчивой линейной масштабируемостью.
**Подтверждённое улучшение пропускной способности:** при двух API удвоение ресурсов каждой реплики повысило полезный RPS с 42.70 до 109.00 (2.55 раза) и с 38.80 до 170.30 (4.39 раза). Средние двух повторов — 40.75 и 139.65 RPS (3.43 раза). Это рост подтверждённых записей, а не числа быстрых отказов. Однако первый high-прогон дал 72.94% ошибок; улучшение надёжности под нагрузкой не подтверждено. Низкий p95 этого прогона частично объясняется быстрыми 503. Поэтому повышенный бюджет — проверенный способ увеличить полезную пропускную способность на данном стенде, но не доказательство выполнения SLO. Штатные requests/limits после эксперимента восстановлены.
При 8 VU получено 66.93 RPS без ошибок, при 64 VU — 108.20 RPS и 41.27% ошибок. Нагрузка выросла восьмикратно, полезный RPS — только в 1.62 раза; наблюдение 32 занятых admission-слотов подтверждает ограничение общей ёмкости. Эти точки сняты в разное время; они не определяют точный порог насыщения.
## Исходные данные и воспроизведение
Основные принятые источники: evidence/research-20261029-final, evidence/research-20261029-pool, evidence/research-20261029-readiness, evidence/research-20261029-budget. summary.csv содержит источник каждой строки; excluded.json перечисляет автоматически исключённые точки. Исключённые прогоны и причины остаются в соответствующих README/логах.
```sh
EVIDENCE_DIR=evidence/new-matrix scripts/experiment.sh
EVIDENCE_DIR=evidence/new-budget BENCHMARK_NODE=dev.asisti.tech \
PROFILES='resource-low-a resource-high-a resource-low-b resource-high-b' scripts/experiment.sh
python3 scripts/plot-research.py evidence/new-matrix evidence/new-budget
```
Для графиков: Python 3 и matplotlib 3.10.8. Управление стендом выполняют shell, Helm и kubectl. scripts/sample-admission.sh наблюдает слоты без изменения данных. Нужны также jq, rg, Ruby 2.6+ для отчёта отказов. Helm 4 использует client-side apply во время исследований; force-replace не применяется. После каждого запуска восстанавливаются исходные values и HPA.
## Ограничения
Общий dev-кластер не изолирован от другой нагрузки; публичный путь включает сеть и Traefik. Есть измеренные сетевые/TLS-сбои и readiness-flapping. Короткие прогоны не дают статистической гарантии; повторный A/B служит проверкой направления эффекта, не доверительным интервалом. Новые чаты одинаково пусты в начале, но общий объём БД растёт; чужие/старые записи не удаляются.
CPU/RAM — выборки kubectl top примерно раз в 5 секунд за весь Job, включая setup и прогрев, а не точное профилирование измерительного окна. Анализатор исключает старые API и load-поды из других прогонов, когда есть pod snapshot. PostgreSQL active включает наблюдающий запрос. Эти выборки не заменяют CPU-throttling, I/O или pgxpool wait histograms. CPU CFS quota на dev.asisti.tech включена, период 100ms.