docs(report): lab3 track-1 saturation point before optimization and fix
This commit is contained in:
@@ -250,5 +250,192 @@ Prerequisites:
|
||||
дальше копать в сторону Docker Desktop networking или оптимизации
|
||||
Postgres.
|
||||
|
||||
## Эксперименты трека 1
|
||||
# Эксперименты трека 1
|
||||
|
||||
|
||||
Артефакты: evidence/track1/, scripts/track1-sweep.sh, scripts/track1-csv.py
|
||||
|
||||
## Гипотеза
|
||||
|
||||
При фиксированном суммарном CPU/RAM рост числа API-реплик не увеличивает
|
||||
пропускную способность после некоторой точки. Предполагалось, что
|
||||
saturation point находится в общей зависимости - пул соединений pgx
|
||||
(MaxConns=10 на реплику) либо БД (Postgres, max_connections=100).
|
||||
|
||||
## Методика
|
||||
|
||||
Нагрузочный генератор: k6, executor constant-arrival-rate. Скрипт
|
||||
student-tests/load-k6.js. Каждый VU логинится один раз в setup(), затем
|
||||
шлёт POST /messages с уникальным Idempotency-Key. Open-loop модель
|
||||
устраняет coordinated omission, в отличие от tests/load.py.
|
||||
|
||||
Каждый замер: 3 прогона, длительность 2 минуты, между прогонами
|
||||
пересоздание стека. В сводке - медиана по трём прогонам. Метрики
|
||||
собирались параллельно: k6 summary-export (latency p50/p95/p99, RPS,
|
||||
errors) + docker stats каждые 2 секунды (CPU/RAM по каждому контейнеру).
|
||||
|
||||
Все запуски на одной машине: Windows 10, Docker Desktop (WSL2),
|
||||
синтетические данные, никаких внешних сервисов.
|
||||
|
||||

|
||||
|
||||
На графике: слева сверху - пропускная способность vs число реплик
|
||||
(плато на 395 RPS при насыщении), справа сверху - p95 latency, слева
|
||||
снизу - max latency (видно деградацию x3.6 при 4 мелких репликах),
|
||||
справа снизу - попытки пробить потолок под RATE=800, baseline зелёным
|
||||
столбцом для контраста.
|
||||
|
||||
## Серия A. Фиксированный total CPU/RAM, RATE=50
|
||||
|
||||
Три конфигурации при одинаковом суммарном ресурсе 1.0 CPU / 512 MB:
|
||||
|
||||
| Реплик | CPU/реплика | RAM/реплика | RPS (медиана) | p95, ms | max, ms |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| 1 | 1.0 | 512M | 49.87 | 4.65 | 24 |
|
||||
| 2 | 0.5 | 256M | 49.69 | 4.74 | 106 |
|
||||
| 4 | 0.25 | 128M | 49.06 | 5.34 | 1366 |
|
||||
|
||||
Результат: при RATE=50 все конфигурации упираются в 49 RPS - это ровно
|
||||
запрошенная интенсивность. Нагрузка слишком низкая, saturation не
|
||||
достигается. Единственный информативный сигнал: у конфигурации
|
||||
4 x 0.25 CPU / 128M выбросы latency до 1.3 секунды против 24 ms у
|
||||
одной крупной реплики. Причина - Go-runtime упирается в memory limit
|
||||
128 MiB (в docker stats видно 127.9 / 128 MiB), GC паузы дают пики.
|
||||
|
||||
Вывод: RATE=50 не подходит для поиска saturation, нужна более высокая
|
||||
интенсивность.
|
||||
|
||||
## Серия A-high. Фиксированный total CPU/RAM, RATE=400
|
||||
|
||||
Те же три конфигурации, интенсивность 400 RPS.
|
||||
|
||||
| Реплик | CPU/реплика | RAM/реплика | RPS (медиана) | p95, ms | max, ms | Postgres CPU |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| 1 | 1.0 | 512M | 394 | 4.45 | 319 | 45-50% |
|
||||
| 2 | 0.5 | 256M | 397 | 5.00 | 440 | 45-50% |
|
||||
| 4 | 0.25 | 128M | 394 | 5.00 | 1153 | 45-50% |
|
||||
|
||||
Ключевой результат: RPS плато на 394-397 независимо от числа реплик.
|
||||
Переход от 1 к 2 к 4 репликам не даёт пропускной способности при
|
||||
фиксированном суммарном CPU. Это и есть искомый saturation point.
|
||||
|
||||
При этом ни один компонент не упирается в потолок CPU:
|
||||
|
||||
- API суммарно: 60-70 процентов от лимита
|
||||
- Postgres: 45-50 процентов от 1.0 CPU
|
||||
- nginx LB: около 10 процентов
|
||||
- Redis: меньше 1 процента
|
||||
|
||||
Все компоненты расслаблены, а RPS не растёт. Значит узкое место либо
|
||||
в чём-то не отражающемся в CPU (сетевой стек Docker, сериализация,
|
||||
клиент k6), либо в общем ресурсе, не покрытом метриками контейнеров.
|
||||
|
||||
## Серия probe. RATE=800, поиск узкого места
|
||||
|
||||
Три попытки поднять пропускную способность выше 400 RPS.
|
||||
|
||||
Попытка 1: RATE=800, k6 на хосте, 1 реплика x 1.0 CPU / 512M.
|
||||
|
||||
- RPS: 688
|
||||
- write_errors: 40.5 процентов
|
||||
- p95 latency: 13.87 с
|
||||
- max latency: 17.7 с
|
||||
|
||||
Система не выдерживает. Ошибки типа EOF и "server closed idle
|
||||
connection" - Go-сервер рвёт соединения, не дождавшись ответа от
|
||||
Postgres.
|
||||
|
||||
Попытка 2: гипотеза о pool exhaustion. Увеличены MaxConns 10 -> 50,
|
||||
MinConns 1 -> 5, Postgres max_connections поднят до 300. Тот же
|
||||
RATE=800, та же конфигурация.
|
||||
|
||||
- RPS: 706
|
||||
- write_errors: 38.4 процента
|
||||
- p95 latency: 12.06 с
|
||||
|
||||
Изменение в пределах шума. Гипотеза о пуле соединений pgx не
|
||||
подтвердилась - узкое место не в нём. Число активных соединений
|
||||
Postgres во время теста - не более 10, потолка не достигает.
|
||||
|
||||
Попытка 3: гипотеза о сети Windows -> Docker VM. k6 запущен внутри
|
||||
Docker-сети на хосте lb, минуя loopback.
|
||||
|
||||
- RPS: 615
|
||||
- write_errors: 28.3 процента
|
||||
- p95 latency: 9.06 с
|
||||
|
||||
Пропускная способность даже ниже, чем при k6 на хосте. Ошибки
|
||||
сохраняются. Гипотеза о сетевой прослойке как главном узком месте
|
||||
не подтвердилась - хотя снижение доли ошибок с 40 до 28 процентов
|
||||
показывает, что вклад сетевой прослойки есть.
|
||||
|
||||
## Saturation point и почему рост реплик не помогает
|
||||
|
||||
Saturation находится в диапазоне 395-400 RPS. При достижении этой
|
||||
точки дальнейший рост числа реплик при фиксированном суммарном
|
||||
ресурсе не даёт прироста. Рост ресурсов в 2 раза (до 800 RPS)
|
||||
приводит к деградации сервиса: доля ошибок 28-40 процентов.
|
||||
|
||||
Однозначной причины найти не удалось. Проверены и отвергнуты:
|
||||
|
||||
1. Пул соединений pgx - увеличение MaxConns в 5 раз не изменило RPS.
|
||||
2. Сетевая прослойка Windows -> Docker VM - вынос k6 в Docker-сеть
|
||||
снизил долю ошибок, но не поднял RPS.
|
||||
3. Упор в CPU отдельного компонента - ни API, ни Postgres, ни LB
|
||||
не приближаются к лимиту.
|
||||
|
||||
Остаются неисключённые гипотезы: поведение Docker Desktop networking
|
||||
при высокой интенсивности, накладные расходы nginx при проксировании,
|
||||
либо ограничения клиента k6 на одном физическом хосте. Проверить их
|
||||
в рамках одной машины не удаётся - нужен второй физический хост.
|
||||
|
||||
## Подтверждённое улучшение
|
||||
|
||||
Прямого улучшения пропускной способности получить не удалось. Однако
|
||||
в серии A-high подтверждено улучшение по хвостам latency: при
|
||||
фиксированном суммарном ресурсе 1.0 CPU / 512M переход от 4 мелких
|
||||
реплик (0.25 CPU / 128M) к 1 крупной (1.0 CPU / 512M) снижает
|
||||
максимальную latency с 1153 ms до 319 ms, то есть в 3.6 раза, при
|
||||
той же пропускной способности 394 RPS.
|
||||
|
||||
Механизм: при memory limit 128 MiB Go-runtime в репликах api-2 и api-3
|
||||
постоянно находится в состоянии memory pressure (127.9 / 128 MiB по
|
||||
docker stats). GC запускается часто, stop-the-world паузы дают
|
||||
длительные хвосты. При 512 MiB на реплику GC работает спокойно,
|
||||
хвосты остаются короткими.
|
||||
|
||||
Практический вывод: конфигурация "одна крупная реплика" лучше
|
||||
"многих мелких" для хвостов latency при одинаковом суммарном ресурсе.
|
||||
Это стоит учитывать при выборе размера реплик.
|
||||
|
||||
## Ограничения измерения
|
||||
|
||||
1. Одна физическая машина. k6 и весь стек работают на одном хосте,
|
||||
делят CPU/RAM/диск. Абсолютные значения RPS ниже, чем были бы
|
||||
на распределённой системе.
|
||||
2. Docker Desktop (WSL2) на Windows. Сетевой стек эмулируется через
|
||||
виртуальную машину, накладные расходы не отражаются в метриках
|
||||
контейнеров.
|
||||
3. k6 client-side limits. При VU до 3141 на Windows k6 сам становится
|
||||
источником нагрузки на CPU хоста.
|
||||
4. Три прогона на точку - минимум по README. Разброс между прогонами
|
||||
в пределах 2 процентов, медиана достаточно устойчива.
|
||||
5. Целевые метрики CPU/RAM из docker stats имеют округление до 0.01
|
||||
процента и период семплирования 2 секунды, короткие пики могут
|
||||
быть не пойманы.
|
||||
|
||||
## Промежуточный итог (до оптимизации)
|
||||
|
||||
На этом этапе saturation point найден (395-400 RPS), рост реплик при
|
||||
фиксированном total CPU/RAM не помогает, две гипотезы о причине
|
||||
(MaxConns pgx, сетевая прослойка WSL2) проверены и отвергнуты.
|
||||
Узкое место не идентифицировано. Прямого улучшения пропускной
|
||||
способности не получено.
|
||||
|
||||
Однако в серии A-high подтверждено улучшение по хвостам latency:
|
||||
1 крупная реплика вместо 4 мелких даёт max latency 319 ms против
|
||||
1153 ms (x3.6) при том же RPS. Причина - memory pressure в Go-runtime
|
||||
при limit 128 MiB.
|
||||
|
||||
Дальнейший шаг - поиск узкого места в самом LB (nginx), поскольку
|
||||
гипотезы о приложении и клиенте не подтвердились.
|
||||
Binary file not shown.
|
After Width: | Height: | Size: 184 KiB |
Reference in New Issue
Block a user