diff --git a/REPORT.md b/REPORT.md index d4db9c4..5517c98 100644 --- a/REPORT.md +++ b/REPORT.md @@ -250,5 +250,192 @@ Prerequisites: дальше копать в сторону Docker Desktop networking или оптимизации Postgres. -## Эксперименты трека 1 +# Эксперименты трека 1 + +Артефакты: evidence/track1/, scripts/track1-sweep.sh, scripts/track1-csv.py + +## Гипотеза + +При фиксированном суммарном CPU/RAM рост числа API-реплик не увеличивает +пропускную способность после некоторой точки. Предполагалось, что +saturation point находится в общей зависимости - пул соединений pgx +(MaxConns=10 на реплику) либо БД (Postgres, max_connections=100). + +## Методика + +Нагрузочный генератор: k6, executor constant-arrival-rate. Скрипт +student-tests/load-k6.js. Каждый VU логинится один раз в setup(), затем +шлёт POST /messages с уникальным Idempotency-Key. Open-loop модель +устраняет coordinated omission, в отличие от tests/load.py. + +Каждый замер: 3 прогона, длительность 2 минуты, между прогонами +пересоздание стека. В сводке - медиана по трём прогонам. Метрики +собирались параллельно: k6 summary-export (latency p50/p95/p99, RPS, +errors) + docker stats каждые 2 секунды (CPU/RAM по каждому контейнеру). + +Все запуски на одной машине: Windows 10, Docker Desktop (WSL2), +синтетические данные, никаких внешних сервисов. + +![Трек 1: цена масштабирования](evidence/track1/graphs.png) + +На графике: слева сверху - пропускная способность vs число реплик +(плато на 395 RPS при насыщении), справа сверху - p95 latency, слева +снизу - max latency (видно деградацию x3.6 при 4 мелких репликах), +справа снизу - попытки пробить потолок под RATE=800, baseline зелёным +столбцом для контраста. + +## Серия A. Фиксированный total CPU/RAM, RATE=50 + +Три конфигурации при одинаковом суммарном ресурсе 1.0 CPU / 512 MB: + +| Реплик | CPU/реплика | RAM/реплика | RPS (медиана) | p95, ms | max, ms | +| --- | --- | --- | --- | --- | --- | +| 1 | 1.0 | 512M | 49.87 | 4.65 | 24 | +| 2 | 0.5 | 256M | 49.69 | 4.74 | 106 | +| 4 | 0.25 | 128M | 49.06 | 5.34 | 1366 | + +Результат: при RATE=50 все конфигурации упираются в 49 RPS - это ровно +запрошенная интенсивность. Нагрузка слишком низкая, saturation не +достигается. Единственный информативный сигнал: у конфигурации +4 x 0.25 CPU / 128M выбросы latency до 1.3 секунды против 24 ms у +одной крупной реплики. Причина - Go-runtime упирается в memory limit +128 MiB (в docker stats видно 127.9 / 128 MiB), GC паузы дают пики. + +Вывод: RATE=50 не подходит для поиска saturation, нужна более высокая +интенсивность. + +## Серия A-high. Фиксированный total CPU/RAM, RATE=400 + +Те же три конфигурации, интенсивность 400 RPS. + +| Реплик | CPU/реплика | RAM/реплика | RPS (медиана) | p95, ms | max, ms | Postgres CPU | +| --- | --- | --- | --- | --- | --- | --- | +| 1 | 1.0 | 512M | 394 | 4.45 | 319 | 45-50% | +| 2 | 0.5 | 256M | 397 | 5.00 | 440 | 45-50% | +| 4 | 0.25 | 128M | 394 | 5.00 | 1153 | 45-50% | + +Ключевой результат: RPS плато на 394-397 независимо от числа реплик. +Переход от 1 к 2 к 4 репликам не даёт пропускной способности при +фиксированном суммарном CPU. Это и есть искомый saturation point. + +При этом ни один компонент не упирается в потолок CPU: + +- API суммарно: 60-70 процентов от лимита +- Postgres: 45-50 процентов от 1.0 CPU +- nginx LB: около 10 процентов +- Redis: меньше 1 процента + +Все компоненты расслаблены, а RPS не растёт. Значит узкое место либо +в чём-то не отражающемся в CPU (сетевой стек Docker, сериализация, +клиент k6), либо в общем ресурсе, не покрытом метриками контейнеров. + +## Серия probe. RATE=800, поиск узкого места + +Три попытки поднять пропускную способность выше 400 RPS. + +Попытка 1: RATE=800, k6 на хосте, 1 реплика x 1.0 CPU / 512M. + +- RPS: 688 +- write_errors: 40.5 процентов +- p95 latency: 13.87 с +- max latency: 17.7 с + +Система не выдерживает. Ошибки типа EOF и "server closed idle +connection" - Go-сервер рвёт соединения, не дождавшись ответа от +Postgres. + +Попытка 2: гипотеза о pool exhaustion. Увеличены MaxConns 10 -> 50, +MinConns 1 -> 5, Postgres max_connections поднят до 300. Тот же +RATE=800, та же конфигурация. + +- RPS: 706 +- write_errors: 38.4 процента +- p95 latency: 12.06 с + +Изменение в пределах шума. Гипотеза о пуле соединений pgx не +подтвердилась - узкое место не в нём. Число активных соединений +Postgres во время теста - не более 10, потолка не достигает. + +Попытка 3: гипотеза о сети Windows -> Docker VM. k6 запущен внутри +Docker-сети на хосте lb, минуя loopback. + +- RPS: 615 +- write_errors: 28.3 процента +- p95 latency: 9.06 с + +Пропускная способность даже ниже, чем при k6 на хосте. Ошибки +сохраняются. Гипотеза о сетевой прослойке как главном узком месте +не подтвердилась - хотя снижение доли ошибок с 40 до 28 процентов +показывает, что вклад сетевой прослойки есть. + +## Saturation point и почему рост реплик не помогает + +Saturation находится в диапазоне 395-400 RPS. При достижении этой +точки дальнейший рост числа реплик при фиксированном суммарном +ресурсе не даёт прироста. Рост ресурсов в 2 раза (до 800 RPS) +приводит к деградации сервиса: доля ошибок 28-40 процентов. + +Однозначной причины найти не удалось. Проверены и отвергнуты: + +1. Пул соединений pgx - увеличение MaxConns в 5 раз не изменило RPS. +2. Сетевая прослойка Windows -> Docker VM - вынос k6 в Docker-сеть + снизил долю ошибок, но не поднял RPS. +3. Упор в CPU отдельного компонента - ни API, ни Postgres, ни LB + не приближаются к лимиту. + +Остаются неисключённые гипотезы: поведение Docker Desktop networking +при высокой интенсивности, накладные расходы nginx при проксировании, +либо ограничения клиента k6 на одном физическом хосте. Проверить их +в рамках одной машины не удаётся - нужен второй физический хост. + +## Подтверждённое улучшение + +Прямого улучшения пропускной способности получить не удалось. Однако +в серии A-high подтверждено улучшение по хвостам latency: при +фиксированном суммарном ресурсе 1.0 CPU / 512M переход от 4 мелких +реплик (0.25 CPU / 128M) к 1 крупной (1.0 CPU / 512M) снижает +максимальную latency с 1153 ms до 319 ms, то есть в 3.6 раза, при +той же пропускной способности 394 RPS. + +Механизм: при memory limit 128 MiB Go-runtime в репликах api-2 и api-3 +постоянно находится в состоянии memory pressure (127.9 / 128 MiB по +docker stats). GC запускается часто, stop-the-world паузы дают +длительные хвосты. При 512 MiB на реплику GC работает спокойно, +хвосты остаются короткими. + +Практический вывод: конфигурация "одна крупная реплика" лучше +"многих мелких" для хвостов latency при одинаковом суммарном ресурсе. +Это стоит учитывать при выборе размера реплик. + +## Ограничения измерения + +1. Одна физическая машина. k6 и весь стек работают на одном хосте, + делят CPU/RAM/диск. Абсолютные значения RPS ниже, чем были бы + на распределённой системе. +2. Docker Desktop (WSL2) на Windows. Сетевой стек эмулируется через + виртуальную машину, накладные расходы не отражаются в метриках + контейнеров. +3. k6 client-side limits. При VU до 3141 на Windows k6 сам становится + источником нагрузки на CPU хоста. +4. Три прогона на точку - минимум по README. Разброс между прогонами + в пределах 2 процентов, медиана достаточно устойчива. +5. Целевые метрики CPU/RAM из docker stats имеют округление до 0.01 + процента и период семплирования 2 секунды, короткие пики могут + быть не пойманы. + +## Промежуточный итог (до оптимизации) + +На этом этапе saturation point найден (395-400 RPS), рост реплик при +фиксированном total CPU/RAM не помогает, две гипотезы о причине +(MaxConns pgx, сетевая прослойка WSL2) проверены и отвергнуты. +Узкое место не идентифицировано. Прямого улучшения пропускной +способности не получено. + +Однако в серии A-high подтверждено улучшение по хвостам latency: +1 крупная реплика вместо 4 мелких даёт max latency 319 ms против +1153 ms (x3.6) при том же RPS. Причина - memory pressure в Go-runtime +при limit 128 MiB. + +Дальнейший шаг - поиск узкого места в самом LB (nginx), поскольку +гипотезы о приложении и клиенте не подтвердились. \ No newline at end of file diff --git a/evidence/track1/graphs.png b/evidence/track1/graphs.png new file mode 100644 index 0000000..136f4f8 Binary files /dev/null and b/evidence/track1/graphs.png differ