From 219acd5be8ba4e63d98e5e3b7f4eba1ceea25309 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=D0=93=D0=BE=D0=BB=D0=B8=D0=BA=D0=BE=D0=B2=20Maximillian?= =?UTF-8?q?=20=D0=90=D0=BD=D1=82=D0=BE=D0=BD?= Date: Sat, 10 Oct 2026 19:26:02 +0300 Subject: [PATCH] docs(report): rewrite research --- REPORT.md | 372 +++++++++--------------------------------------------- 1 file changed, 58 insertions(+), 314 deletions(-) diff --git a/REPORT.md b/REPORT.md index fe5efbb..fd11054 100644 --- a/REPORT.md +++ b/REPORT.md @@ -212,317 +212,61 @@ Redis 7.4, nginx 1.27.4, Go 1.26. ## Трек 1. Цена масштабирования -Артефакты: evidence/track1/, scripts/track1-sweep.sh, scripts/track1-csv.py, -scripts/make-track1-graphs.py, scripts/make-track1-improvement.py. - -### Гипотеза и методика - -Гипотеза: при фиксированном суммарном CPU/RAM рост числа API-реплик не -увеличивает пропускную способность после некоторой точки. Предполагалось, -что saturation point находится в общей зависимости - пул соединений pgx -(MaxConns=10 на реплику) либо БД (Postgres, max_connections=100). - -Нагрузочный генератор: k6, executor constant-arrival-rate. Скрипт -student-tests/load-k6.js. Каждый VU логинится один раз в setup(), затем -шлёт POST /messages с уникальным Idempotency-Key. - -Каждый замер: 3 прогона, длительность 2 минуты, между прогонами -пересоздание стека. В сводке - медиана по трём прогонам. Метрики -собирались параллельно: k6 summary-export (latency p50/p95/p99, RPS, -errors) плюс docker stats каждые 2 секунды (CPU/RAM по каждому контейнеру). - -Все запуски на одной машине: Windows 10, Docker Desktop (WSL2), -синтетические данные, никаких внешних сервисов. - -![Трек 1: цена масштабирования](evidence/track1/graphs.png) - -На графике: слева сверху - пропускная способность vs число реплик -(плато на 395 RPS при насыщении), справа сверху - p95 latency, слева -снизу - max latency (видно деградацию x3.6 при 4 мелких репликах), -справа снизу - попытки пробить потолок под RATE=800, baseline зелёным -столбцом для контраста. - -### Серия A. Фиксированный total CPU/RAM, RATE=50 - -Три конфигурации при одинаковом суммарном ресурсе 1.0 CPU / 512 MB: - -| Реплик | CPU/реплика | RAM/реплика | RPS (медиана) | p95, ms | max, ms | -| --- | --- | --- | --- | --- | --- | -| 1 | 1.0 | 512M | 49.87 | 4.65 | 24 | -| 2 | 0.5 | 256M | 49.69 | 4.74 | 106 | -| 4 | 0.25 | 128M | 49.06 | 5.34 | 1366 | - -Результат: при RATE=50 все конфигурации упираются в 49 RPS - это ровно -запрошенная интенсивность. Нагрузка слишком низкая, saturation не -достигается. Единственный информативный сигнал: у конфигурации -4 x 0.25 CPU / 128M выбросы latency до 1.3 секунды против 24 ms -у одной крупной реплики. Причина - Go-runtime упирается в memory limit -128 MiB (в docker stats видно 127.9 / 128 MiB), GC-паузы дают пики. - -Вывод: RATE=50 не подходит для поиска saturation, нужна более высокая -интенсивность. - -### Серия A-high. Фиксированный total CPU/RAM, RATE=400 - -Те же три конфигурации, интенсивность 400 RPS. - -| Реплик | CPU/реплика | RAM/реплика | RPS (медиана) | p95, ms | max, ms | Postgres CPU | -| --- | --- | --- | --- | --- | --- | --- | -| 1 | 1.0 | 512M | 394 | 4.45 | 319 | 45-50% | -| 2 | 0.5 | 256M | 397 | 5.00 | 440 | 45-50% | -| 4 | 0.25 | 128M | 394 | 5.00 | 1153 | 45-50% | - -Ключевой результат: RPS плато на 394-397 независимо от числа реплик. -Переход от 1 к 2 к 4 репликам не даёт пропускной способности при -фиксированном суммарном CPU. Это и есть искомый saturation point. - -При этом ни один компонент не упирается в потолок CPU: - -- API суммарно: 60-70 процентов от лимита -- Postgres: 45-50 процентов от 1.0 CPU -- nginx LB: около 10 процентов -- Redis: меньше 1 процента - -Все компоненты расслаблены, а RPS не растёт. Значит, узкое место либо -в чём-то не отражающемся в CPU (сетевой стек Docker, сериализация, -клиент k6), либо в общем ресурсе, не покрытом метриками контейнеров. - -### Серия probe. RATE=800, поиск узкого места - -Три попытки поднять пропускную способность выше 400 RPS. Все три -оказались неудачными, но каждая дала информацию для отсеивания гипотез. - -Попытка 1: RATE=800, k6 на хосте, 1 реплика x 1.0 CPU / 512M. - -- RPS: 688 -- write_errors: 40.5 процента -- p95 latency: 13.87 с -- max latency: 17.7 с - -Система не выдерживает. Ошибки типа EOF и "server closed idle connection" - -Go-сервер рвёт соединения, не дождавшись ответа от Postgres. - -Попытка 2: гипотеза о pool exhaustion. Увеличены MaxConns 10 -> 50, -MinConns 1 -> 5, Postgres max_connections поднят до 300. Тот же RATE=800, -та же конфигурация. - -- RPS: 706 -- write_errors: 38.4 процента -- p95 latency: 12.06 с - -Изменение в пределах шума. Гипотеза о пуле соединений pgx не подтвердилась - -узкое место не в нём. Число активных соединений Postgres во время теста -не более 10, потолка не достигает. - -Попытка 3: гипотеза о сети Windows -> Docker VM. k6 запущен внутри -Docker-сети на хосте lb, минуя loopback. - -- RPS: 615 -- write_errors: 28.3 процента -- p95 latency: 9.06 с - -Пропускная способность даже ниже, чем при k6 на хосте. Ошибки сохраняются. -Гипотеза о сетевой прослойке как главном узком месте не подтвердилась, -хотя снижение доли ошибок с 40 до 28 процентов показывает, что вклад -сетевой прослойки есть. - -### Найденное узкое место: upstream keepalive в nginx - -Три неудачных probe (MaxConns, сеть WSL2) отвергли гипотезы о приложении -и клиенте. Оставался LB. Диагностика через docker stats показала, что -nginx держит около 10 процентов CPU, но при RATE=800 доля ошибок вырастает -до 40 процентов, а p95 latency до 14 секунд. Симптомы - обрывы соединений -EOF и "server closed idle connection" на стороне клиента. - -Проверена гипотеза: nginx без upstream keepalive открывает новое -TCP-соединение к API-реплике на каждый запрос. При 800 RPS это 800 -handshake'ей в секунду плюс TIME_WAIT с обеих сторон. TCP-стек под такой -нагрузкой не успевает, часть соединений рвётся до получения ответа, -что и даёт EOF. - -![Трек 1: эффект upstream keepalive](evidence/track1/keepalive-improvement.png) - -Слева - RPS, в центре - p95 latency (логарифмическая шкала), справа - -доля ошибок. Три графика показывают состояние до и после включения -keepalive в одном формате. - -### Применённое улучшение - -Добавлены три директивы в `upstream backend` в `infra/nginx.conf`: - - keepalive 32; # пул из 32 idle-соединений на воркер - keepalive_requests 1000; # запросов на одно соединение - keepalive_timeout 60s; # idle-таймаут - -и в `location /`: - - proxy_http_version 1.1; # HTTP/1.1 обязателен для keepalive - proxy_set_header Connection ""; # nginx сам управляет соединением - -### Результаты после улучшения - -Замеры на том же стенде, та же нагрузочная методика (k6 -constant-arrival-rate, 1 минута, 1 реплика 1.0 CPU / 512M). - -| Метрика (RATE=800) | Без keepalive | С keepalive | Дельта | -| --- | --- | --- | --- | -| RPS | 688 | 711 | +3% | -| write_errors | 40.5% | 0% | -40.5 pp | -| p95 latency | 13.87 с | 4.69 с | x3 быстрее | -| max latency | 17.7 с | 5.24 с | x3.4 быстрее | - -При той же нагрузке 800 RPS система работает без ошибок. Потолок -безошибочной работы сдвинулся с 395 RPS до 711 RPS. Это +80 процентов -пропускной способности без единой строчки в коде приложения, только за -счёт конфигурации LB. - -Серия B (после улучшения): три прогона в evidence/track1/series-b/. - -| RATE | RPS | write_errors | p95 | max | -| --- | --- | --- | --- | --- | -| 400 | 397 | 0% | 17.6 ms | 931 ms | -| 800 | 711 | 0% | 4.69 с | 5.24 с | -| 1200 | 641 | 4.13% | 8.06 с | 8.36 с | - -Потолок без ошибок сдвинулся с 395 до 711 RPS. Точка деградации -(где появляются ошибки) - между 800 и 1200 RPS. - -### Что доказано и границы улучшения - -1. Узкое место было в LB, а не в WSL, не в pgx и не в клиенте k6. - Три предыдущие попытки (MaxConns=50, k6 в Docker-сети, эксперимент - с pool) не сдвинули потолок. Гипотеза о сетевой прослойке WSL2 как - главной причине опровергается тем, что после правки nginx тот же - RATE=800 через ту же WSL2 работает без ошибок. - -2. Отсутствие upstream keepalive - незаметная по умолчанию, но - критичная настройка при проксировании HTTP через LB. В дефолтном - конфиге nginx использует HTTP/1.0 для upstream, что означает новый - TCP handshake на каждый запрос. При низкой интенсивности это не - видно, при высокой - TCP-стек не справляется. - -3. Границы улучшения: при RATE=1200 система снова деградирует - (4.13 процента ошибок, RPS падает до 641, k6 достигает лимита VU 4800 - и теряет 29636 итераций). Новая точка деградации пропорционально - сдвинута вверх в 3 раза, но физический предел всё ещё есть. - -### Второе улучшение: размер реплики и хвосты latency - -При фиксированном суммарном ресурсе 1.0 CPU / 512M переход от 4 мелких -реплик (0.25 CPU / 128M) к 1 крупной (1.0 CPU / 512M) снижает -максимальную latency с 1153 ms до 319 ms, то есть в 3.6 раза, при той -же пропускной способности 394 RPS. - -Механизм: при memory limit 128 MiB Go-runtime в репликах api-2 и api-3 -постоянно находится в состоянии memory pressure (127.9 / 128 MiB по -docker stats). GC запускается часто, stop-the-world паузы дают -длительные хвосты. При 512 MiB на реплику GC работает спокойно, -хвосты остаются короткими. - -Практический вывод: конфигурация "одна крупная реплика" лучше "многих -мелких" для хвостов latency при одинаковом суммарном ресурсе. Стоит -учитывать при выборе размера реплик. - -### Ограничения измерения трека 1 - -1. Одна физическая машина. k6 и весь стек работают на одном хосте, - делят CPU/RAM/диск. Абсолютные значения RPS ниже, чем были бы на - распределённой системе. -2. Docker Desktop (WSL2) на Windows. Сетевой стек эмулируется через - виртуальную машину, накладные расходы не отражаются в метриках - контейнеров. -3. k6 client-side limits. При VU до 3141 на Windows k6 сам становится - источником нагрузки на CPU хоста. -4. Три прогона на точку - минимум по README. Разброс между прогонами - в пределах 2 процентов, медиана достаточно устойчива. -5. Целевые метрики CPU/RAM из docker stats имеют округление до 0.01 - процента и период семплирования 2 секунды, короткие пики могут - быть не пойманы. - -### Итог по треку 1 - -Что требовал README: сравнить 1/2/4 реплики при фиксированном total -CPU/RAM, провести серию с ростом ресурсов, найти saturation point, -показать почему рост реплик перестаёт помогать, дать исходные данные, -графики и одно подтверждённое улучшение. - -Выполнено: - -- Сравнение 1/2/4 реплик при фиксированном total ресурсе - серия A-high. -- Серия с ростом нагрузки - probe RATE=800, RATE=1200. -- Saturation point найден: 395 RPS в наивной конфигурации LB. -- Показано, почему рост реплик перестаёт помогать: узкое место не в API - и не в БД, а в LB. -- Три гипотезы проверены, две отвергнуты (MaxConns pgx, сеть WSL2), - одна подтверждена (upstream keepalive в nginx). -- Одно подтверждённое улучшение: upstream keepalive в nginx, потолок - поднят с 395 до 711 RPS (+80 процентов), доля ошибок снижена - с 40.5 до 0 процентов. -- Второе улучшение (бонус): 1 крупная реплика вместо 4 мелких снижает - хвосты latency в 3.6 раза при том же RPS. -- Исходные данные в evidence/track1/ (series-a, series-a-high, series-b, - probe-800, k6-baseline). -- Два графика: graphs.png (общий) и keepalive-improvement.png (эффект - оптимизации LB). - -## Ограничения и следующие шаги - -Что выдерживает: - -- Отказ одной API-реплики (любой из двух) при RATE до 400 RPS. -- Graceful drain с сохранением in-flight запросов. -- Rolling update без простоя. -- Перезапуск всего стека с сохранением данных и сессий. -- RATE=800 после включения upstream keepalive в nginx. - -Что не выдерживает: - -- Отказ узла. Всё работает на одном хосте, потеря хоста = потеря системы. - Postgres и Redis без репликации, LB без резерва. -- RATE=800 без upstream keepalive в nginx: 40.5 процента ошибок - (до оптимизации). -- RATE=1200 после оптимизации: 4.13 процента ошибок, деградация. - -Не реализовано в этой работе: - -- PgBouncer. Проверялась гипотеза о pool exhaustion в pgx, гипотеза - не подтвердилась (см. трек 1), поэтому PgBouncer не добавлен. -- Вторая реплика Postgres и failover БД. Не входит в обязательный - минимум, отмечено как SPOF в ограничениях. -- HTTPS. По контракту требуется только с ЛР7, здесь HTTP для локального - стенда. -- Полноценная распределённая нагрузка. k6 на одной машине со стеком - измеряет не только стек, но и клиент. - -Учебные упрощения: - -- БД и хранилище сессий живут в одном экземпляре, оба на том же хосте, - что и API. Для уровня 3 достаточно, для продакшена недостаточно. -- Миграции выполняются одноразовым сервисом migrate, но без отдельных - rollback-сценариев. Если миграция падает, стек не поднимается. - -Подтверждённые улучшения (сводка): - -- Graceful drain снизил долю обрывов in-flight запросов при остановке - реплики. docker stop даёт серверу корректно завершиться с exit 0. -- Изоляция миграций в отдельный процесс сняла гонку за goose lock при - старте нескольких реплик одновременно. -- X-Instance-Id позволяет на защите и в тестах однозначно сопоставить - ответ конкретной реплике, без чтения логов. -- Upstream keepalive в nginx: потолок с 395 до 711 RPS, ошибки с 40.5 - до 0 процентов при RATE=800. -- 1 крупная реплика вместо 4 мелких: max latency x3.6 ниже при том же - RPS. - -Оставшиеся гипотезы (не проверены из-за ограничений стенда): - -- Ограничения k6 на одном физическом хосте. При VU до 4800 k6 сам - становится источником нагрузки на CPU хоста. -- Накладные расходы nginx при проксировании. В метриках не выделяются: - nginx держит около 10 процентов CPU на всём диапазоне. - -Следующий шаг для полной картины: вынести нагрузочный генератор на -отдельный физический хост, повторить probe RATE=1200. Если RPS начнёт -расти - узкое место в клиентской части или сетевом стеке Windows. -Если нет - в самом стеке, и дальше копать в сторону оптимизации Postgres -(увеличение max_connections, PgBouncer, или репликация на чтение). \ No newline at end of file +### Постановка и ошибки первой версии + +Задача трека по README: при фиксированном суммарном CPU/RAM сравнить +1/2/4 API-реплики на одном профиле нагрузки, затем провести серию с +ростом ресурсов, найти saturation point, показать, почему рост реплик +перестаёт помогать, дать исходные данные, графики и одно подтверждённое +улучшение. + +Первая версия отчёта содержала три ошибки методики, отмеченные на ревью: + +1. Вывод о потолке 395 RPS был сделан из нагрузки RATE=400. Это точка, + где система справляется, а не упирается. Настоящее насыщение выше. +2. Отсутствовала серия с ростом ресурсов при фиксированном числе + реплик, хотя README требует её явно. +3. Метрики не разделяли успешные запросы, попытки и потерянные + итерации. Доля ошибок и потери k6 смешивались. + +Отдельно: объяснение улучшения через «включение keepalive» расходилось +с Git. Директива `keepalive 32` присутствовала в `infra/nginx.conf` с +первого коммита (2211eaa), а коммит e769e08 добавил только +`keepalive_requests`, `keepalive_timeout` и увеличил +`worker_connections 512 -> 1024`. Значит, приписывать +80 % пропускной +способности включению keepalive было неверно. + +Настоящий раздел написан заново. Серии A, B, C переделаны с нуля, +метрики разделены, выводы пересмотрены. + +### Методика + +Нагрузочный генератор: k6 v0.55, executor `constant-arrival-rate` +(open-loop). Скрипт `student-tests/load-k6.js`. Каждый VU логинится +один раз в `setup()`, затем шлёт POST /messages с уникальным +`Idempotency-Key`. Open-loop устраняет coordinated omission, в отличие +от `tests/load.py`. + +Каждый замер - 2 или 3 прогона в зависимости от серии. Между прогонами +стек не пересоздаётся, но между конфигурациями - да, чтобы избежать +накопленного состояния. Медиана по прогонам в сводных таблицах. + +Метрики разделены: + +- **Успешные** (`write_total.rate`) - POST, завершившиеся 201. +- **Попытки** (`http_reqs.rate`) - все отправленные POST. +- **Потерянные** (`dropped_iterations.rate`) - k6 не смог даже + отправить запрос из-за нехватки VU. Это клиентский предел, не + серверная ошибка. +- **Ошибки** (`write_errors.rate`) - POST, вернувшие не-201. +- **p95 / max** (`write_latency_ms`) - хвосты latency успешных. + +Среда: Windows 10, Docker Desktop (WSL2), одна физическая машина. +На ней и стек, и k6. Postgres 16.4, Redis 7.4, nginx 1.27.4, Go 1.26. +Аппаратные лимиты: api - 0.25-2.0 CPU / 128M-1G в зависимости от +конфигурации, postgres - 1.0 CPU / 1G, redis - 0.5 CPU / 256M, +lb - 0.5 CPU / 128M. + +Данные: `evidence/new_ev/` (JSON summary k6 + CSV docker stats). +Скрипты запуска серий и сборки CSV в репозитории не публикуются, +это вспомогательные утилиты.