docs(report): rewrite research
This commit is contained in:
@@ -212,317 +212,61 @@ Redis 7.4, nginx 1.27.4, Go 1.26.
|
||||
|
||||
## Трек 1. Цена масштабирования
|
||||
|
||||
Артефакты: evidence/track1/, scripts/track1-sweep.sh, scripts/track1-csv.py,
|
||||
scripts/make-track1-graphs.py, scripts/make-track1-improvement.py.
|
||||
|
||||
### Гипотеза и методика
|
||||
|
||||
Гипотеза: при фиксированном суммарном CPU/RAM рост числа API-реплик не
|
||||
увеличивает пропускную способность после некоторой точки. Предполагалось,
|
||||
что saturation point находится в общей зависимости - пул соединений pgx
|
||||
(MaxConns=10 на реплику) либо БД (Postgres, max_connections=100).
|
||||
|
||||
Нагрузочный генератор: k6, executor constant-arrival-rate. Скрипт
|
||||
student-tests/load-k6.js. Каждый VU логинится один раз в setup(), затем
|
||||
шлёт POST /messages с уникальным Idempotency-Key.
|
||||
|
||||
Каждый замер: 3 прогона, длительность 2 минуты, между прогонами
|
||||
пересоздание стека. В сводке - медиана по трём прогонам. Метрики
|
||||
собирались параллельно: k6 summary-export (latency p50/p95/p99, RPS,
|
||||
errors) плюс docker stats каждые 2 секунды (CPU/RAM по каждому контейнеру).
|
||||
|
||||
Все запуски на одной машине: Windows 10, Docker Desktop (WSL2),
|
||||
синтетические данные, никаких внешних сервисов.
|
||||
|
||||

|
||||
|
||||
На графике: слева сверху - пропускная способность vs число реплик
|
||||
(плато на 395 RPS при насыщении), справа сверху - p95 latency, слева
|
||||
снизу - max latency (видно деградацию x3.6 при 4 мелких репликах),
|
||||
справа снизу - попытки пробить потолок под RATE=800, baseline зелёным
|
||||
столбцом для контраста.
|
||||
|
||||
### Серия A. Фиксированный total CPU/RAM, RATE=50
|
||||
|
||||
Три конфигурации при одинаковом суммарном ресурсе 1.0 CPU / 512 MB:
|
||||
|
||||
| Реплик | CPU/реплика | RAM/реплика | RPS (медиана) | p95, ms | max, ms |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| 1 | 1.0 | 512M | 49.87 | 4.65 | 24 |
|
||||
| 2 | 0.5 | 256M | 49.69 | 4.74 | 106 |
|
||||
| 4 | 0.25 | 128M | 49.06 | 5.34 | 1366 |
|
||||
|
||||
Результат: при RATE=50 все конфигурации упираются в 49 RPS - это ровно
|
||||
запрошенная интенсивность. Нагрузка слишком низкая, saturation не
|
||||
достигается. Единственный информативный сигнал: у конфигурации
|
||||
4 x 0.25 CPU / 128M выбросы latency до 1.3 секунды против 24 ms
|
||||
у одной крупной реплики. Причина - Go-runtime упирается в memory limit
|
||||
128 MiB (в docker stats видно 127.9 / 128 MiB), GC-паузы дают пики.
|
||||
|
||||
Вывод: RATE=50 не подходит для поиска saturation, нужна более высокая
|
||||
интенсивность.
|
||||
|
||||
### Серия A-high. Фиксированный total CPU/RAM, RATE=400
|
||||
|
||||
Те же три конфигурации, интенсивность 400 RPS.
|
||||
|
||||
| Реплик | CPU/реплика | RAM/реплика | RPS (медиана) | p95, ms | max, ms | Postgres CPU |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| 1 | 1.0 | 512M | 394 | 4.45 | 319 | 45-50% |
|
||||
| 2 | 0.5 | 256M | 397 | 5.00 | 440 | 45-50% |
|
||||
| 4 | 0.25 | 128M | 394 | 5.00 | 1153 | 45-50% |
|
||||
|
||||
Ключевой результат: RPS плато на 394-397 независимо от числа реплик.
|
||||
Переход от 1 к 2 к 4 репликам не даёт пропускной способности при
|
||||
фиксированном суммарном CPU. Это и есть искомый saturation point.
|
||||
|
||||
При этом ни один компонент не упирается в потолок CPU:
|
||||
|
||||
- API суммарно: 60-70 процентов от лимита
|
||||
- Postgres: 45-50 процентов от 1.0 CPU
|
||||
- nginx LB: около 10 процентов
|
||||
- Redis: меньше 1 процента
|
||||
|
||||
Все компоненты расслаблены, а RPS не растёт. Значит, узкое место либо
|
||||
в чём-то не отражающемся в CPU (сетевой стек Docker, сериализация,
|
||||
клиент k6), либо в общем ресурсе, не покрытом метриками контейнеров.
|
||||
|
||||
### Серия probe. RATE=800, поиск узкого места
|
||||
|
||||
Три попытки поднять пропускную способность выше 400 RPS. Все три
|
||||
оказались неудачными, но каждая дала информацию для отсеивания гипотез.
|
||||
|
||||
Попытка 1: RATE=800, k6 на хосте, 1 реплика x 1.0 CPU / 512M.
|
||||
|
||||
- RPS: 688
|
||||
- write_errors: 40.5 процента
|
||||
- p95 latency: 13.87 с
|
||||
- max latency: 17.7 с
|
||||
|
||||
Система не выдерживает. Ошибки типа EOF и "server closed idle connection" -
|
||||
Go-сервер рвёт соединения, не дождавшись ответа от Postgres.
|
||||
|
||||
Попытка 2: гипотеза о pool exhaustion. Увеличены MaxConns 10 -> 50,
|
||||
MinConns 1 -> 5, Postgres max_connections поднят до 300. Тот же RATE=800,
|
||||
та же конфигурация.
|
||||
|
||||
- RPS: 706
|
||||
- write_errors: 38.4 процента
|
||||
- p95 latency: 12.06 с
|
||||
|
||||
Изменение в пределах шума. Гипотеза о пуле соединений pgx не подтвердилась -
|
||||
узкое место не в нём. Число активных соединений Postgres во время теста
|
||||
не более 10, потолка не достигает.
|
||||
|
||||
Попытка 3: гипотеза о сети Windows -> Docker VM. k6 запущен внутри
|
||||
Docker-сети на хосте lb, минуя loopback.
|
||||
|
||||
- RPS: 615
|
||||
- write_errors: 28.3 процента
|
||||
- p95 latency: 9.06 с
|
||||
|
||||
Пропускная способность даже ниже, чем при k6 на хосте. Ошибки сохраняются.
|
||||
Гипотеза о сетевой прослойке как главном узком месте не подтвердилась,
|
||||
хотя снижение доли ошибок с 40 до 28 процентов показывает, что вклад
|
||||
сетевой прослойки есть.
|
||||
|
||||
### Найденное узкое место: upstream keepalive в nginx
|
||||
|
||||
Три неудачных probe (MaxConns, сеть WSL2) отвергли гипотезы о приложении
|
||||
и клиенте. Оставался LB. Диагностика через docker stats показала, что
|
||||
nginx держит около 10 процентов CPU, но при RATE=800 доля ошибок вырастает
|
||||
до 40 процентов, а p95 latency до 14 секунд. Симптомы - обрывы соединений
|
||||
EOF и "server closed idle connection" на стороне клиента.
|
||||
|
||||
Проверена гипотеза: nginx без upstream keepalive открывает новое
|
||||
TCP-соединение к API-реплике на каждый запрос. При 800 RPS это 800
|
||||
handshake'ей в секунду плюс TIME_WAIT с обеих сторон. TCP-стек под такой
|
||||
нагрузкой не успевает, часть соединений рвётся до получения ответа,
|
||||
что и даёт EOF.
|
||||
|
||||

|
||||
|
||||
Слева - RPS, в центре - p95 latency (логарифмическая шкала), справа -
|
||||
доля ошибок. Три графика показывают состояние до и после включения
|
||||
keepalive в одном формате.
|
||||
|
||||
### Применённое улучшение
|
||||
|
||||
Добавлены три директивы в `upstream backend` в `infra/nginx.conf`:
|
||||
|
||||
keepalive 32; # пул из 32 idle-соединений на воркер
|
||||
keepalive_requests 1000; # запросов на одно соединение
|
||||
keepalive_timeout 60s; # idle-таймаут
|
||||
|
||||
и в `location /`:
|
||||
|
||||
proxy_http_version 1.1; # HTTP/1.1 обязателен для keepalive
|
||||
proxy_set_header Connection ""; # nginx сам управляет соединением
|
||||
|
||||
### Результаты после улучшения
|
||||
|
||||
Замеры на том же стенде, та же нагрузочная методика (k6
|
||||
constant-arrival-rate, 1 минута, 1 реплика 1.0 CPU / 512M).
|
||||
|
||||
| Метрика (RATE=800) | Без keepalive | С keepalive | Дельта |
|
||||
| --- | --- | --- | --- |
|
||||
| RPS | 688 | 711 | +3% |
|
||||
| write_errors | 40.5% | 0% | -40.5 pp |
|
||||
| p95 latency | 13.87 с | 4.69 с | x3 быстрее |
|
||||
| max latency | 17.7 с | 5.24 с | x3.4 быстрее |
|
||||
|
||||
При той же нагрузке 800 RPS система работает без ошибок. Потолок
|
||||
безошибочной работы сдвинулся с 395 RPS до 711 RPS. Это +80 процентов
|
||||
пропускной способности без единой строчки в коде приложения, только за
|
||||
счёт конфигурации LB.
|
||||
|
||||
Серия B (после улучшения): три прогона в evidence/track1/series-b/.
|
||||
|
||||
| RATE | RPS | write_errors | p95 | max |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| 400 | 397 | 0% | 17.6 ms | 931 ms |
|
||||
| 800 | 711 | 0% | 4.69 с | 5.24 с |
|
||||
| 1200 | 641 | 4.13% | 8.06 с | 8.36 с |
|
||||
|
||||
Потолок без ошибок сдвинулся с 395 до 711 RPS. Точка деградации
|
||||
(где появляются ошибки) - между 800 и 1200 RPS.
|
||||
|
||||
### Что доказано и границы улучшения
|
||||
|
||||
1. Узкое место было в LB, а не в WSL, не в pgx и не в клиенте k6.
|
||||
Три предыдущие попытки (MaxConns=50, k6 в Docker-сети, эксперимент
|
||||
с pool) не сдвинули потолок. Гипотеза о сетевой прослойке WSL2 как
|
||||
главной причине опровергается тем, что после правки nginx тот же
|
||||
RATE=800 через ту же WSL2 работает без ошибок.
|
||||
|
||||
2. Отсутствие upstream keepalive - незаметная по умолчанию, но
|
||||
критичная настройка при проксировании HTTP через LB. В дефолтном
|
||||
конфиге nginx использует HTTP/1.0 для upstream, что означает новый
|
||||
TCP handshake на каждый запрос. При низкой интенсивности это не
|
||||
видно, при высокой - TCP-стек не справляется.
|
||||
|
||||
3. Границы улучшения: при RATE=1200 система снова деградирует
|
||||
(4.13 процента ошибок, RPS падает до 641, k6 достигает лимита VU 4800
|
||||
и теряет 29636 итераций). Новая точка деградации пропорционально
|
||||
сдвинута вверх в 3 раза, но физический предел всё ещё есть.
|
||||
|
||||
### Второе улучшение: размер реплики и хвосты latency
|
||||
|
||||
При фиксированном суммарном ресурсе 1.0 CPU / 512M переход от 4 мелких
|
||||
реплик (0.25 CPU / 128M) к 1 крупной (1.0 CPU / 512M) снижает
|
||||
максимальную latency с 1153 ms до 319 ms, то есть в 3.6 раза, при той
|
||||
же пропускной способности 394 RPS.
|
||||
|
||||
Механизм: при memory limit 128 MiB Go-runtime в репликах api-2 и api-3
|
||||
постоянно находится в состоянии memory pressure (127.9 / 128 MiB по
|
||||
docker stats). GC запускается часто, stop-the-world паузы дают
|
||||
длительные хвосты. При 512 MiB на реплику GC работает спокойно,
|
||||
хвосты остаются короткими.
|
||||
|
||||
Практический вывод: конфигурация "одна крупная реплика" лучше "многих
|
||||
мелких" для хвостов latency при одинаковом суммарном ресурсе. Стоит
|
||||
учитывать при выборе размера реплик.
|
||||
|
||||
### Ограничения измерения трека 1
|
||||
|
||||
1. Одна физическая машина. k6 и весь стек работают на одном хосте,
|
||||
делят CPU/RAM/диск. Абсолютные значения RPS ниже, чем были бы на
|
||||
распределённой системе.
|
||||
2. Docker Desktop (WSL2) на Windows. Сетевой стек эмулируется через
|
||||
виртуальную машину, накладные расходы не отражаются в метриках
|
||||
контейнеров.
|
||||
3. k6 client-side limits. При VU до 3141 на Windows k6 сам становится
|
||||
источником нагрузки на CPU хоста.
|
||||
4. Три прогона на точку - минимум по README. Разброс между прогонами
|
||||
в пределах 2 процентов, медиана достаточно устойчива.
|
||||
5. Целевые метрики CPU/RAM из docker stats имеют округление до 0.01
|
||||
процента и период семплирования 2 секунды, короткие пики могут
|
||||
быть не пойманы.
|
||||
|
||||
### Итог по треку 1
|
||||
|
||||
Что требовал README: сравнить 1/2/4 реплики при фиксированном total
|
||||
CPU/RAM, провести серию с ростом ресурсов, найти saturation point,
|
||||
показать почему рост реплик перестаёт помогать, дать исходные данные,
|
||||
графики и одно подтверждённое улучшение.
|
||||
|
||||
Выполнено:
|
||||
|
||||
- Сравнение 1/2/4 реплик при фиксированном total ресурсе - серия A-high.
|
||||
- Серия с ростом нагрузки - probe RATE=800, RATE=1200.
|
||||
- Saturation point найден: 395 RPS в наивной конфигурации LB.
|
||||
- Показано, почему рост реплик перестаёт помогать: узкое место не в API
|
||||
и не в БД, а в LB.
|
||||
- Три гипотезы проверены, две отвергнуты (MaxConns pgx, сеть WSL2),
|
||||
одна подтверждена (upstream keepalive в nginx).
|
||||
- Одно подтверждённое улучшение: upstream keepalive в nginx, потолок
|
||||
поднят с 395 до 711 RPS (+80 процентов), доля ошибок снижена
|
||||
с 40.5 до 0 процентов.
|
||||
- Второе улучшение (бонус): 1 крупная реплика вместо 4 мелких снижает
|
||||
хвосты latency в 3.6 раза при том же RPS.
|
||||
- Исходные данные в evidence/track1/ (series-a, series-a-high, series-b,
|
||||
probe-800, k6-baseline).
|
||||
- Два графика: graphs.png (общий) и keepalive-improvement.png (эффект
|
||||
оптимизации LB).
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
Что выдерживает:
|
||||
|
||||
- Отказ одной API-реплики (любой из двух) при RATE до 400 RPS.
|
||||
- Graceful drain с сохранением in-flight запросов.
|
||||
- Rolling update без простоя.
|
||||
- Перезапуск всего стека с сохранением данных и сессий.
|
||||
- RATE=800 после включения upstream keepalive в nginx.
|
||||
|
||||
Что не выдерживает:
|
||||
|
||||
- Отказ узла. Всё работает на одном хосте, потеря хоста = потеря системы.
|
||||
Postgres и Redis без репликации, LB без резерва.
|
||||
- RATE=800 без upstream keepalive в nginx: 40.5 процента ошибок
|
||||
(до оптимизации).
|
||||
- RATE=1200 после оптимизации: 4.13 процента ошибок, деградация.
|
||||
|
||||
Не реализовано в этой работе:
|
||||
|
||||
- PgBouncer. Проверялась гипотеза о pool exhaustion в pgx, гипотеза
|
||||
не подтвердилась (см. трек 1), поэтому PgBouncer не добавлен.
|
||||
- Вторая реплика Postgres и failover БД. Не входит в обязательный
|
||||
минимум, отмечено как SPOF в ограничениях.
|
||||
- HTTPS. По контракту требуется только с ЛР7, здесь HTTP для локального
|
||||
стенда.
|
||||
- Полноценная распределённая нагрузка. k6 на одной машине со стеком
|
||||
измеряет не только стек, но и клиент.
|
||||
|
||||
Учебные упрощения:
|
||||
|
||||
- БД и хранилище сессий живут в одном экземпляре, оба на том же хосте,
|
||||
что и API. Для уровня 3 достаточно, для продакшена недостаточно.
|
||||
- Миграции выполняются одноразовым сервисом migrate, но без отдельных
|
||||
rollback-сценариев. Если миграция падает, стек не поднимается.
|
||||
|
||||
Подтверждённые улучшения (сводка):
|
||||
|
||||
- Graceful drain снизил долю обрывов in-flight запросов при остановке
|
||||
реплики. docker stop даёт серверу корректно завершиться с exit 0.
|
||||
- Изоляция миграций в отдельный процесс сняла гонку за goose lock при
|
||||
старте нескольких реплик одновременно.
|
||||
- X-Instance-Id позволяет на защите и в тестах однозначно сопоставить
|
||||
ответ конкретной реплике, без чтения логов.
|
||||
- Upstream keepalive в nginx: потолок с 395 до 711 RPS, ошибки с 40.5
|
||||
до 0 процентов при RATE=800.
|
||||
- 1 крупная реплика вместо 4 мелких: max latency x3.6 ниже при том же
|
||||
RPS.
|
||||
|
||||
Оставшиеся гипотезы (не проверены из-за ограничений стенда):
|
||||
|
||||
- Ограничения k6 на одном физическом хосте. При VU до 4800 k6 сам
|
||||
становится источником нагрузки на CPU хоста.
|
||||
- Накладные расходы nginx при проксировании. В метриках не выделяются:
|
||||
nginx держит около 10 процентов CPU на всём диапазоне.
|
||||
|
||||
Следующий шаг для полной картины: вынести нагрузочный генератор на
|
||||
отдельный физический хост, повторить probe RATE=1200. Если RPS начнёт
|
||||
расти - узкое место в клиентской части или сетевом стеке Windows.
|
||||
Если нет - в самом стеке, и дальше копать в сторону оптимизации Postgres
|
||||
(увеличение max_connections, PgBouncer, или репликация на чтение).
|
||||
### Постановка и ошибки первой версии
|
||||
|
||||
Задача трека по README: при фиксированном суммарном CPU/RAM сравнить
|
||||
1/2/4 API-реплики на одном профиле нагрузки, затем провести серию с
|
||||
ростом ресурсов, найти saturation point, показать, почему рост реплик
|
||||
перестаёт помогать, дать исходные данные, графики и одно подтверждённое
|
||||
улучшение.
|
||||
|
||||
Первая версия отчёта содержала три ошибки методики, отмеченные на ревью:
|
||||
|
||||
1. Вывод о потолке 395 RPS был сделан из нагрузки RATE=400. Это точка,
|
||||
где система справляется, а не упирается. Настоящее насыщение выше.
|
||||
2. Отсутствовала серия с ростом ресурсов при фиксированном числе
|
||||
реплик, хотя README требует её явно.
|
||||
3. Метрики не разделяли успешные запросы, попытки и потерянные
|
||||
итерации. Доля ошибок и потери k6 смешивались.
|
||||
|
||||
Отдельно: объяснение улучшения через «включение keepalive» расходилось
|
||||
с Git. Директива `keepalive 32` присутствовала в `infra/nginx.conf` с
|
||||
первого коммита (2211eaa), а коммит e769e08 добавил только
|
||||
`keepalive_requests`, `keepalive_timeout` и увеличил
|
||||
`worker_connections 512 -> 1024`. Значит, приписывать +80 % пропускной
|
||||
способности включению keepalive было неверно.
|
||||
|
||||
Настоящий раздел написан заново. Серии A, B, C переделаны с нуля,
|
||||
метрики разделены, выводы пересмотрены.
|
||||
|
||||
### Методика
|
||||
|
||||
Нагрузочный генератор: k6 v0.55, executor `constant-arrival-rate`
|
||||
(open-loop). Скрипт `student-tests/load-k6.js`. Каждый VU логинится
|
||||
один раз в `setup()`, затем шлёт POST /messages с уникальным
|
||||
`Idempotency-Key`. Open-loop устраняет coordinated omission, в отличие
|
||||
от `tests/load.py`.
|
||||
|
||||
Каждый замер - 2 или 3 прогона в зависимости от серии. Между прогонами
|
||||
стек не пересоздаётся, но между конфигурациями - да, чтобы избежать
|
||||
накопленного состояния. Медиана по прогонам в сводных таблицах.
|
||||
|
||||
Метрики разделены:
|
||||
|
||||
- **Успешные** (`write_total.rate`) - POST, завершившиеся 201.
|
||||
- **Попытки** (`http_reqs.rate`) - все отправленные POST.
|
||||
- **Потерянные** (`dropped_iterations.rate`) - k6 не смог даже
|
||||
отправить запрос из-за нехватки VU. Это клиентский предел, не
|
||||
серверная ошибка.
|
||||
- **Ошибки** (`write_errors.rate`) - POST, вернувшие не-201.
|
||||
- **p95 / max** (`write_latency_ms`) - хвосты latency успешных.
|
||||
|
||||
Среда: Windows 10, Docker Desktop (WSL2), одна физическая машина.
|
||||
На ней и стек, и k6. Postgres 16.4, Redis 7.4, nginx 1.27.4, Go 1.26.
|
||||
Аппаратные лимиты: api - 0.25-2.0 CPU / 128M-1G в зависимости от
|
||||
конфигурации, postgres - 1.0 CPU / 1G, redis - 0.5 CPU / 256M,
|
||||
lb - 0.5 CPU / 128M.
|
||||
|
||||
Данные: `evidence/new_ev/` (JSON summary k6 + CSV docker stats).
|
||||
Скрипты запуска серий и сборки CSV в репозитории не публикуются,
|
||||
это вспомогательные утилиты.
|
||||
|
||||
Reference in New Issue
Block a user