docs(report): final lab-3 report with track-1 keepalive optimization
This commit is contained in:
@@ -1,13 +1,13 @@
|
||||
# Отчёт - лабораторная 3
|
||||
|
||||
- Автор, группа: Голиков, БВТ2303
|
||||
- Целевая оценка; выбранный трек 5: на 5, трек 1 "Цена масштабирования"
|
||||
- Commit/PR: de9930a02eee7446aeef3b5ba668f9547c969268
|
||||
- Целевая оценка: на 5, трек 1 "Цена масштабирования"
|
||||
- Commit/PR: e769e08
|
||||
- Использованные источники, библиотеки и помощь ИИ:
|
||||
- Скелет лабы 3 и лекционные материалы курса COURSE.md, contracts/openapi.json, contracts/README.md
|
||||
- Документация Docker Compose (services, deploy.resources), nginx upstream, k6 (constant-arrival-rate)
|
||||
- Собственная реализация лабы 2 (backend на Go 1.26, gin, pgx, goose, Redis)
|
||||
- ИИ использовался для составления структуры отчёта и вычитки формулировок; весь код и измерения выполнены самостоятельно
|
||||
- Скелет лабы 3 и материалы курса: COURSE.md, contracts/openapi.json, contracts/README.md
|
||||
- Документация Docker Compose (services, deploy.resources), nginx upstream, k6 constant-arrival-rate
|
||||
- Собственная реализация лабы 2: backend на Go 1.26, gin, pgx, goose, Redis
|
||||
- ИИ использовался для структуры отчёта и вычитки формулировок; весь код, конфигурация и измерения выполнены самостоятельно
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
@@ -22,24 +22,25 @@ Prerequisites:
|
||||
Шаги запуска:
|
||||
|
||||
1. Клонировать fork и перейти на ветку solution:
|
||||
|
||||
```
|
||||
git clone https://gitea.privcloud.tech/Maximillan_Mercer/mtusi2026lab3-fork.git mtusi2026lab3
|
||||
cd mtusi2026lab3
|
||||
git checkout solution/BVT2303-Golikov
|
||||
```
|
||||
|
||||
2. Создать локальные secrets. Значения генерируются оператором, в Git не попадают:
|
||||
|
||||
```
|
||||
mkdir -p secrets
|
||||
PW="$(openssl rand -hex 16)"
|
||||
printf "%s" "$PW" > secrets/postgres_password
|
||||
printf "%s" "postgres://messenger:$PW@postgres:5432/messenger?sslmode=disable" > secrets/database_url
|
||||
printf "%s" "redis://redis:6379/0" > secrets/cache_url
|
||||
chmod 600 secrets/*
|
||||
|
||||
```
|
||||
3. Создать .env из .env.example:
|
||||
|
||||
```
|
||||
cp .env.example .env
|
||||
|
||||
```
|
||||
Переменные и дефолты:
|
||||
|
||||
- API_REPLICAS=2 - число API-реплик
|
||||
@@ -52,40 +53,46 @@ Prerequisites:
|
||||
- SHUTDOWN_DRAIN_SECONDS=3
|
||||
|
||||
4. Собрать образ API и запустить стек:
|
||||
|
||||
```
|
||||
docker compose build api
|
||||
docker compose up -d
|
||||
|
||||
```
|
||||
5. Проверить, что миграции применились и API готов:
|
||||
|
||||
```
|
||||
docker compose logs migrate
|
||||
# ожидать: goose: no migrations to run. current version: 2 (или OK 0002_idempotency.sql при первом запуске)
|
||||
# ожидать: goose: no migrations to run. current version: 2
|
||||
# (при первом запуске: OK 0002_idempotency.sql)
|
||||
curl -sS http://localhost:8080/health/ready
|
||||
# ожидать: {"status":"ok"}
|
||||
|
||||
```
|
||||
6. Прогнать публичный smoke и проверки от scaffold:
|
||||
|
||||
```
|
||||
PYTHONUTF8=1 make check
|
||||
PYTHONUTF8=1 make test
|
||||
|
||||
```
|
||||
7. Проверки сохранности и отказа (требуют реализации scripts/restart.sh и scripts/stop-one.sh):
|
||||
|
||||
```
|
||||
PYTHONUTF8=1 make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
PYTHONUTF8=1 make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
|
||||
На Windows дополнительно созданы scripts/restart.cmd и scripts/stop-one.cmd, потому что tests/resilience.py запускает хук через subprocess.Popen, а этот вызов на Windows не умеет исполнять .sh-файлы (WinError 193). .cmd-обёртки вызывают ту же логику через docker compose. На Linux используется .sh-вариант.
|
||||
```
|
||||
Примечание для Windows. tests/resilience.py запускает хук через
|
||||
subprocess.Popen, который на Windows не умеет исполнять .sh-файлы
|
||||
(WinError 193). Локально созданы scripts/restart.cmd и scripts/stop-one.cmd,
|
||||
вызывающие ту же логику через docker compose. В репозиторий .cmd не
|
||||
коммитятся (в .gitignore), на Linux работают .sh-варианты.
|
||||
|
||||
Безопасная остановка:
|
||||
|
||||
docker compose stop
|
||||
# или полностью с сохранением данных:
|
||||
docker compose down
|
||||
docker compose stop # остановить контейнеры, volumes сохранить
|
||||
docker compose down # удалить контейнеры и сеть, volumes сохранить
|
||||
|
||||
Остановка с удалением учебных данных (необратимо, удалит volume postgres_data и redis_data):
|
||||
Остановка с удалением учебных данных (необратимо, удалит volumes
|
||||
postgres_data и redis_data):
|
||||
|
||||
docker compose down -v
|
||||
|
||||
Отдельно про .env и secrets: оба пути в .gitignore, в репозиторий не попадают. Значения паролей синтетические, для локального стенда.
|
||||
Отдельно про .env и secrets: оба пути в .gitignore, в репозиторий не
|
||||
попадают. Значения паролей синтетические, для локального стенда.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
@@ -94,43 +101,64 @@ Prerequisites:
|
||||
client (k6 или curl)
|
||||
|
|
||||
v
|
||||
nginx LB (:8080) единственная публичная точка
|
||||
nginx LB (:8080) единственная публичная точка
|
||||
|
|
||||
+-> api-1 :8080 реплика 1
|
||||
+-> api-2 :8080 реплика 2
|
||||
+-> api-1 :8080 реплика 1
|
||||
+-> api-2 :8080 реплика 2
|
||||
|
|
||||
+-> postgres :5432 общая БД (users, chats, messages, sessions, idempotency_keys)
|
||||
+-> redis :6379 общее хранилище сессий
|
||||
+-> postgres :5432 общая БД (users, chats, messages, sessions, idempotency_keys)
|
||||
+-> redis :6379 общее хранилище сессий
|
||||
|
||||
Источник истины - PostgreSQL. Сессии хранятся в Redis (SESSION_STORE=redis), потому что так задано в ЛР2 и потому что это единственный способ обойтись без sticky session на LB: любая реплика видит любую сессию.
|
||||
Источник истины - PostgreSQL. Сессии хранятся в Redis (SESSION_STORE=redis),
|
||||
потому что так задано в ЛР2 и потому что это единственный способ обойтись
|
||||
без sticky session на LB: любая реплика видит любую сессию.
|
||||
|
||||
Транзакционные границы. Идемпотентная отправка сообщения - одна транзакция в Postgres. INSERT в idempotency_keys и INSERT в messages выполняются вместе, либо оба откатываются. Сериализация параллельных запросов на одну и ту же пару (user_id, method, path, key) - через уникальный индекс на idempotency_keys и ON CONFLICT DO NOTHING. Это делает идемпотентность корректной как внутри одной реплики, так и между репликами.
|
||||
Транзакционные границы. Идемпотентная отправка сообщения - одна транзакция
|
||||
в Postgres. INSERT в idempotency_keys и INSERT в messages выполняются вместе,
|
||||
либо оба откатываются. Сериализация параллельных запросов на одну и ту же
|
||||
пару (user_id, method, path, key) - через уникальный индекс на idempotency_keys
|
||||
и ON CONFLICT DO NOTHING. Это делает идемпотентность корректной как внутри
|
||||
одной реплики, так и между репликами.
|
||||
|
||||
Что перенесено из ЛР2 без изменений:
|
||||
|
||||
- Схема БД: users, chats, chat_members, messages, sessions
|
||||
- Argon2id для паролей, opaque bearer token (SHA-256 от случайных 32 байт)
|
||||
- Argon2id для паролей, opaque bearer token (SHA-256 от 32 случайных байт)
|
||||
- Миграции goose
|
||||
- Публичный HTTP-контракт: /api/v1/users, /chats, /messages, /auth/sessions
|
||||
|
||||
Что изменено в этой работе:
|
||||
|
||||
1. Добавлено поле Idempotency-Key на POST /chats/{chat_id}/messages. Хранится в новой таблице idempotency_keys. TTL из IDEMPOTENCY_TTL_SECONDS, дефолт 24 часа.
|
||||
2. Добавлен заголовок X-Instance-Id во все ответы API. Значение - os.Hostname() (короткий ID контейнера в Docker), стабильно на протяжении жизни процесса.
|
||||
3. Миграции вынесены в отдельный процесс /server migrate. В compose это одноразовый сервис migrate с depends_on: service_completed_successfully. Реплики больше не запускают goose при старте.
|
||||
4. Graceful drain на SIGTERM. Atomic-флаг ready выключается до остановки HTTP-сервера, /health/ready возвращает 503 в окне SHUTDOWN_DRAIN_SECONDS. Затем srv.Shutdown ждёт завершения in-flight запросов.
|
||||
1. Добавлен обязательный Idempotency-Key на POST /chats/{chat_id}/messages.
|
||||
Хранится в новой таблице idempotency_keys. TTL из IDEMPOTENCY_TTL_SECONDS,
|
||||
дефолт 24 часа.
|
||||
2. Добавлен заголовок X-Instance-Id во все ответы API. Значение -
|
||||
os.Hostname() (короткий ID контейнера в Docker), стабильно в пределах
|
||||
жизни процесса.
|
||||
3. Миграции вынесены в отдельный процесс /server migrate. В compose это
|
||||
одноразовый сервис migrate с depends_on: service_completed_successfully.
|
||||
Реплики больше не запускают goose при старте.
|
||||
4. Graceful drain на SIGTERM. Atomic-флаг ready выключается до остановки
|
||||
HTTP-сервера, /health/ready возвращает 503 в окне SHUTDOWN_DRAIN_SECONDS.
|
||||
Затем srv.Shutdown ждёт завершения in-flight запросов.
|
||||
5. CPU/RAM лимиты на api, postgres, redis через deploy.resources.
|
||||
6. LB на nginx перед двумя репликами. Публичный порт только у LB, реплики доступны только через expose.
|
||||
6. LB на nginx перед двумя репликами. Публичный порт только у LB, реплики
|
||||
доступны только через expose.
|
||||
7. Включён upstream keepalive в nginx (см. трек 1, это подтверждённое
|
||||
улучшение пропускной способности).
|
||||
|
||||
Соответствие переменных .env.example реальной конфигурации:
|
||||
|
||||
- APP_HOST, APP_PORT - читаются в main.go, используются для ListenAndServe
|
||||
- DATABASE_URL_FILE - читается в config.Load через readSecret
|
||||
- SESSION_STORE - переключает сессии между postgres и redis
|
||||
- SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS - читаются в config.Load, идут в SessionService и MessageService
|
||||
- API_REPLICAS, API_CPUS, API_MEMORY - подставляются в deploy.replicas и deploy.resources в compose.yaml
|
||||
- SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS - читаются в config.Load,
|
||||
идут в SessionService и MessageService
|
||||
- API_REPLICAS, API_CPUS, API_MEMORY - подставляются в deploy.replicas
|
||||
и deploy.resources в compose.yaml
|
||||
- LB_PORT - публичный порт nginx на хосте
|
||||
- SHUTDOWN_DRAIN_SECONDS - читается в config.Load, используется в main.go перед srv.Shutdown
|
||||
- SHUTDOWN_DRAIN_SECONDS - читается в config.Load, используется в main.go
|
||||
перед srv.Shutdown
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
@@ -138,12 +166,12 @@ Prerequisites:
|
||||
|
||||
| Критерий | Команда | Наблюдаемый результат | Файл |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | PYTHONUTF8=1 make test | PASS: lab3 public API scenario | вывод на экран, лог не сохранён |
|
||||
| Публичный smoke | PYTHONUTF8=1 make test | PASS: lab3 public API scenario | вывод на экран |
|
||||
| >= 2 API-реплики за LB | docker compose ps | api-1 и api-2 Up (healthy), LB публикует :8080 | evidence/docker-stats-limits.txt |
|
||||
| Разные X-Instance-Id при одной сессии | for i in 1..10; curl -D- health/live | два чередующихся ID | evidence/test-failover.log (observed_instances_before: 2) |
|
||||
| Остановка одной реплики <= 10 с | make test-failover | first_recovery_seconds 2.466 | evidence/test-failover.log |
|
||||
| Поочерёдная остановка каждой | make test-failover дважды | второй прогон 2.487 с, останавливалась другая реплика | evidence/test-failover-second.log |
|
||||
| Идемпотентность POST | k6 rolling update: повтор с тем же ключом | write_errors 0.26 процента, дублей нет | evidence/k6-rolling.json |
|
||||
| Идемпотентность POST | PYTHONUTF8=1 make test (replay с тем же ключом) + make test-failover (uncertain retry) | тот же ответ, дублей нет | evidence/test-failover.log |
|
||||
| Persistence после restart | make test-persistence | PASS, прежний токен работает | evidence/test-persistence.log |
|
||||
|
||||
Уровень 4:
|
||||
@@ -152,18 +180,16 @@ Prerequisites:
|
||||
| --- | --- | --- | --- |
|
||||
| Health/readiness, timeouts, SIGTERM согласованы | docker stop <api-N> с замером wall-clock | 3.88 с, в логах 503 на /health/ready до остановки сервера | evidence/shutdown-drain.log |
|
||||
| CPU/RAM лимиты, нет container_name, API без ports | docker inspect, docker stats | NanoCPUs=500000000, MemLimit=268435456 | evidence/docker-stats-limits.txt |
|
||||
| Миграции однократно | docker compose logs migrate | Exited (0), схема применяется один раз | в логах при запуске, миграция 0002_idempotency.sql |
|
||||
| Миграции однократно | docker compose logs migrate | Exited (0), схема применяется один раз | evidence/migrate-log.txt |
|
||||
| Rolling update под нагрузкой | scripts/run-rolling-experiment.sh | RATE=50, 3 мин, write_errors 0.26 процента | evidence/k6-rolling.json, evidence/rolling-update.log |
|
||||
| Поочерёдная остановка каждой под нагрузкой | scripts/failover-under-load.sh 1, scripts/failover-under-load.sh 2 | прогон 1: 0 ошибок, 8.67 с; прогон 2: 1.38 процента, 8.65 с | evidence/failover-load-api-1-k6.json, evidence/failover-load-api-2-k6.json |
|
||||
| Поочерёдная остановка каждой под нагрузкой | scripts/failover-under-load.sh 1, scripts/failover-under-load.sh 2 | прогон 1: 0 ошибок, 8.67 с; прогон 2: 1.38 процента в окне переключения nginx, 8.65 с | evidence/failover-load-api-1-k6.json, evidence/failover-load-api-2-k6.json |
|
||||
|
||||
Трек 1: см. раздел ниже.
|
||||
|
||||
## Эксперименты и отказы
|
||||
## Отказоустойчивость: эксперименты и отказы
|
||||
|
||||
Общая среда: Windows 10, Docker Desktop (WSL2 backend), одна физическая
|
||||
машина, на которой работают и нагрузочный генератор, и весь стек. Все
|
||||
пользователи и сообщения синтетические, генерируются тестами и k6.
|
||||
Версии: Postgres 16.4, Redis 7.4, nginx 1.27.4, Go 1.26.
|
||||
пользователи и сообщения синтетические. Версии: Postgres 16.4,
|
||||
Redis 7.4, nginx 1.27.4, Go 1.26.
|
||||
|
||||
Профиль нагрузки на k6: constant-arrival-rate, executor open-loop.
|
||||
Устраняет coordinated omission по сравнению с tests/load.py. Подробности
|
||||
@@ -175,101 +201,35 @@ Prerequisites:
|
||||
| Остановка одной реплики при RATE=30 (make test-failover) | writes продолжаются через LB, без дублей | first_recovery_seconds 2.466, повтор с тем же ключом даёт то же сообщение | 2.5 с, потерь нет |
|
||||
| Перезапуск всего стека (scripts/restart.sh) | данные и сессия сохранены | PASS, прежний токен работает после down/up | в пределах бюджета теста, потерь нет |
|
||||
| Rolling update под RATE=50, 3 мин | замена обеих реплик без всплеска ошибок | write_errors 0.26 процента, p95 6.27 ms | без простоя |
|
||||
| Остановка api-3 под RATE=30 | RPS не проседает, восстановление за <= 10 с | 0 ошибок, 8.67 с wall-clock | без потерь |
|
||||
| Остановка api-4 под RATE=30 | RPS не проседает, восстановление за <= 10 с | 1.38 процента ошибок в окне переключения, 8.65 с | без потерь |
|
||||
| Остановка api-3 под RATE=30 | RPS не проседает, восстановление <= 10 с | 0 ошибок, 8.67 с wall-clock | без потерь |
|
||||
| Остановка api-4 под RATE=30 | RPS не проседает, восстановление <= 10 с | 1.38 процента ошибок в окне переключения, 8.65 с | без потерь |
|
||||
|
||||
Ошибки в окне переключения nginx (0.26 и 1.38 процента) объясняются
|
||||
тем, что docker stop отправляет SIGTERM, API начинает drain и держит
|
||||
соединение ещё 3 с, но LB в этот момент уже получил сброс со стороны
|
||||
закрывающегося процесса. Кратковременные ошибки допустимы по README
|
||||
уровня 3 (краткие ошибки во время обнаружения отказа измеряются и
|
||||
допустимы).
|
||||
Ошибки в окне переключения nginx (0.26 и 1.38 процента) объясняются тем,
|
||||
что docker stop отправляет SIGTERM, API начинает drain и держит соединение
|
||||
ещё 3 с, но LB в этот момент уже получил сброс со стороны закрывающегося
|
||||
процесса. Кратковременные ошибки допустимы по README уровня 3 (краткие
|
||||
ошибки во время обнаружения отказа измеряются и допустимы).
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
## Трек 1. Цена масштабирования
|
||||
|
||||
Что выдерживает:
|
||||
Артефакты: evidence/track1/, scripts/track1-sweep.sh, scripts/track1-csv.py,
|
||||
scripts/make-track1-graphs.py, scripts/make-track1-improvement.py.
|
||||
|
||||
- Отказ одной API-реплики (любой из двух) при RATE до 400 RPS.
|
||||
- Graceful drain с сохранением in-flight запросов.
|
||||
- Rolling update без простоя.
|
||||
- Перезапуск всего стека с сохранением данных и сессий.
|
||||
### Гипотеза и методика
|
||||
|
||||
Что не выдерживает:
|
||||
|
||||
- Отказ узла. Всё работает на одном хосте, потеря хоста = потеря системы.
|
||||
Postgres и Redis без репликации, LB без резерва.
|
||||
- RATE=800 без upstream keepalive в nginx: 40.5% ошибок. После
|
||||
включения keepalive эта точка работает без ошибок, деградация
|
||||
начинается около RATE=1200 (4.13% ошибок).
|
||||
|
||||
Не реализовано в этой работе:
|
||||
|
||||
- PgBouncer. Проверялась гипотеза о pool exhaustion в pgx, гипотеза не
|
||||
подтвердилась (см. трек 1), поэтому PgBouncer не добавлен.
|
||||
- Вторая реплика Postgres и failover БД. Не входит в обязательный
|
||||
минимум, отмечено как SPOF в ограничениях.
|
||||
- HTTPS. По контракту требуется только с ЛР7, здесь HTTP для локального
|
||||
стенда.
|
||||
- Полноценная распределённая нагрузка. k6 на одной машине со стеком
|
||||
измеряет не только стек, но и клиент. Это ограничение методики,
|
||||
зафиксировано в треке 1.
|
||||
|
||||
Учебные упрощения:
|
||||
|
||||
- БД и хранилище сессий живут в одном экземпляре, оба на том же хосте,
|
||||
что и API. Для уровня 3 достаточно, для продакшена недостаточно.
|
||||
- Migrations выполняются одноразовым сервисом migrate, но без
|
||||
отдельных rollback-сценариев. Если миграция падает, стек не
|
||||
поднимается.
|
||||
|
||||
Подтверждённые улучшения:
|
||||
|
||||
- Graceful drain снизил долю обрывов in-flight запросов при остановке
|
||||
реплики. Без drain (теоретически) остановка могла бы рвать активные
|
||||
POST-запросы, сейчас docker stop даёт серверу корректно завершиться
|
||||
с exit 0.
|
||||
- Изоляция миграций в отдельный процесс сняла гонку за goose lock при
|
||||
старте нескольких реплик одновременно.
|
||||
- X-Instance-Id позволяет на защите и в тестах однозначно сопоставить
|
||||
ответ конкретной реплике, без чтения логов.
|
||||
|
||||
Гипотезы, оставшиеся непроверенными:
|
||||
|
||||
- Накладные расходы nginx при проксировании. В пределах текущих
|
||||
метрик не выделяются: nginx держит около 10 процентов CPU на всём
|
||||
диапазоне.
|
||||
- Ограничения k6 на одном физическом хосте. При VU до 3141 k6 сам
|
||||
становится источником нагрузки на CPU хоста.
|
||||
|
||||
Следующий шаг для полной картины: вынести нагрузочный генератор на
|
||||
отдельный физический хост, повторить probe RATE=800. Если RPS начнёт
|
||||
расти - узкое место клиентское. Если нет - узкое место в стеке, и
|
||||
дальше копать в сторону Docker Desktop networking или оптимизации
|
||||
Postgres.
|
||||
|
||||
# Эксперименты трека 1
|
||||
|
||||
|
||||
Артефакты: evidence/track1/, scripts/track1-sweep.sh, scripts/track1-csv.py
|
||||
|
||||
## Гипотеза
|
||||
|
||||
При фиксированном суммарном CPU/RAM рост числа API-реплик не увеличивает
|
||||
пропускную способность после некоторой точки. Предполагалось, что
|
||||
saturation point находится в общей зависимости - пул соединений pgx
|
||||
Гипотеза: при фиксированном суммарном CPU/RAM рост числа API-реплик не
|
||||
увеличивает пропускную способность после некоторой точки. Предполагалось,
|
||||
что saturation point находится в общей зависимости - пул соединений pgx
|
||||
(MaxConns=10 на реплику) либо БД (Postgres, max_connections=100).
|
||||
|
||||
## Методика
|
||||
|
||||
Нагрузочный генератор: k6, executor constant-arrival-rate. Скрипт
|
||||
student-tests/load-k6.js. Каждый VU логинится один раз в setup(), затем
|
||||
шлёт POST /messages с уникальным Idempotency-Key. Open-loop модель
|
||||
устраняет coordinated omission, в отличие от tests/load.py.
|
||||
шлёт POST /messages с уникальным Idempotency-Key.
|
||||
|
||||
Каждый замер: 3 прогона, длительность 2 минуты, между прогонами
|
||||
пересоздание стека. В сводке - медиана по трём прогонам. Метрики
|
||||
собирались параллельно: k6 summary-export (latency p50/p95/p99, RPS,
|
||||
errors) + docker stats каждые 2 секунды (CPU/RAM по каждому контейнеру).
|
||||
errors) плюс docker stats каждые 2 секунды (CPU/RAM по каждому контейнеру).
|
||||
|
||||
Все запуски на одной машине: Windows 10, Docker Desktop (WSL2),
|
||||
синтетические данные, никаких внешних сервисов.
|
||||
@@ -282,7 +242,7 @@ errors) + docker stats каждые 2 секунды (CPU/RAM по каждом
|
||||
справа снизу - попытки пробить потолок под RATE=800, baseline зелёным
|
||||
столбцом для контраста.
|
||||
|
||||
## Серия A. Фиксированный total CPU/RAM, RATE=50
|
||||
### Серия A. Фиксированный total CPU/RAM, RATE=50
|
||||
|
||||
Три конфигурации при одинаковом суммарном ресурсе 1.0 CPU / 512 MB:
|
||||
|
||||
@@ -295,14 +255,14 @@ errors) + docker stats каждые 2 секунды (CPU/RAM по каждом
|
||||
Результат: при RATE=50 все конфигурации упираются в 49 RPS - это ровно
|
||||
запрошенная интенсивность. Нагрузка слишком низкая, saturation не
|
||||
достигается. Единственный информативный сигнал: у конфигурации
|
||||
4 x 0.25 CPU / 128M выбросы latency до 1.3 секунды против 24 ms у
|
||||
одной крупной реплики. Причина - Go-runtime упирается в memory limit
|
||||
128 MiB (в docker stats видно 127.9 / 128 MiB), GC паузы дают пики.
|
||||
4 x 0.25 CPU / 128M выбросы latency до 1.3 секунды против 24 ms
|
||||
у одной крупной реплики. Причина - Go-runtime упирается в memory limit
|
||||
128 MiB (в docker stats видно 127.9 / 128 MiB), GC-паузы дают пики.
|
||||
|
||||
Вывод: RATE=50 не подходит для поиска saturation, нужна более высокая
|
||||
интенсивность.
|
||||
|
||||
## Серия A-high. Фиксированный total CPU/RAM, RATE=400
|
||||
### Серия A-high. Фиксированный total CPU/RAM, RATE=400
|
||||
|
||||
Те же три конфигурации, интенсивность 400 RPS.
|
||||
|
||||
@@ -323,36 +283,36 @@ errors) + docker stats каждые 2 секунды (CPU/RAM по каждом
|
||||
- nginx LB: около 10 процентов
|
||||
- Redis: меньше 1 процента
|
||||
|
||||
Все компоненты расслаблены, а RPS не растёт. Значит узкое место либо
|
||||
Все компоненты расслаблены, а RPS не растёт. Значит, узкое место либо
|
||||
в чём-то не отражающемся в CPU (сетевой стек Docker, сериализация,
|
||||
клиент k6), либо в общем ресурсе, не покрытом метриками контейнеров.
|
||||
|
||||
## Серия probe. RATE=800, поиск узкого места
|
||||
### Серия probe. RATE=800, поиск узкого места
|
||||
|
||||
Три попытки поднять пропускную способность выше 400 RPS.
|
||||
Три попытки поднять пропускную способность выше 400 RPS. Все три
|
||||
оказались неудачными, но каждая дала информацию для отсеивания гипотез.
|
||||
|
||||
Попытка 1: RATE=800, k6 на хосте, 1 реплика x 1.0 CPU / 512M.
|
||||
|
||||
- RPS: 688
|
||||
- write_errors: 40.5 процентов
|
||||
- write_errors: 40.5 процента
|
||||
- p95 latency: 13.87 с
|
||||
- max latency: 17.7 с
|
||||
|
||||
Система не выдерживает. Ошибки типа EOF и "server closed idle
|
||||
connection" - Go-сервер рвёт соединения, не дождавшись ответа от
|
||||
Postgres.
|
||||
Система не выдерживает. Ошибки типа EOF и "server closed idle connection" -
|
||||
Go-сервер рвёт соединения, не дождавшись ответа от Postgres.
|
||||
|
||||
Попытка 2: гипотеза о pool exhaustion. Увеличены MaxConns 10 -> 50,
|
||||
MinConns 1 -> 5, Postgres max_connections поднят до 300. Тот же
|
||||
RATE=800, та же конфигурация.
|
||||
MinConns 1 -> 5, Postgres max_connections поднят до 300. Тот же RATE=800,
|
||||
та же конфигурация.
|
||||
|
||||
- RPS: 706
|
||||
- write_errors: 38.4 процента
|
||||
- p95 latency: 12.06 с
|
||||
|
||||
Изменение в пределах шума. Гипотеза о пуле соединений pgx не
|
||||
подтвердилась - узкое место не в нём. Число активных соединений
|
||||
Postgres во время теста - не более 10, потолка не достигает.
|
||||
Изменение в пределах шума. Гипотеза о пуле соединений pgx не подтвердилась -
|
||||
узкое место не в нём. Число активных соединений Postgres во время теста
|
||||
не более 10, потолка не достигает.
|
||||
|
||||
Попытка 3: гипотеза о сети Windows -> Docker VM. k6 запущен внутри
|
||||
Docker-сети на хосте lb, минуя loopback.
|
||||
@@ -361,115 +321,45 @@ Docker-сети на хосте lb, минуя loopback.
|
||||
- write_errors: 28.3 процента
|
||||
- p95 latency: 9.06 с
|
||||
|
||||
Пропускная способность даже ниже, чем при k6 на хосте. Ошибки
|
||||
сохраняются. Гипотеза о сетевой прослойке как главном узком месте
|
||||
не подтвердилась - хотя снижение доли ошибок с 40 до 28 процентов
|
||||
показывает, что вклад сетевой прослойки есть.
|
||||
Пропускная способность даже ниже, чем при k6 на хосте. Ошибки сохраняются.
|
||||
Гипотеза о сетевой прослойке как главном узком месте не подтвердилась,
|
||||
хотя снижение доли ошибок с 40 до 28 процентов показывает, что вклад
|
||||
сетевой прослойки есть.
|
||||
|
||||
## Saturation point и почему рост реплик не помогает
|
||||
|
||||
Saturation находится в диапазоне 395-400 RPS. При достижении этой
|
||||
точки дальнейший рост числа реплик при фиксированном суммарном
|
||||
ресурсе не даёт прироста. Рост ресурсов в 2 раза (до 800 RPS)
|
||||
приводит к деградации сервиса: доля ошибок 28-40 процентов.
|
||||
|
||||
Однозначной причины найти не удалось. Проверены и отвергнуты:
|
||||
|
||||
1. Пул соединений pgx - увеличение MaxConns в 5 раз не изменило RPS.
|
||||
2. Сетевая прослойка Windows -> Docker VM - вынос k6 в Docker-сеть
|
||||
снизил долю ошибок, но не поднял RPS.
|
||||
3. Упор в CPU отдельного компонента - ни API, ни Postgres, ни LB
|
||||
не приближаются к лимиту.
|
||||
|
||||
Остаются неисключённые гипотезы: поведение Docker Desktop networking
|
||||
при высокой интенсивности, накладные расходы nginx при проксировании,
|
||||
либо ограничения клиента k6 на одном физическом хосте. Проверить их
|
||||
в рамках одной машины не удаётся - нужен второй физический хост.
|
||||
|
||||
## Подтверждённое улучшение
|
||||
|
||||
Прямого улучшения пропускной способности получить не удалось. Однако
|
||||
в серии A-high подтверждено улучшение по хвостам latency: при
|
||||
фиксированном суммарном ресурсе 1.0 CPU / 512M переход от 4 мелких
|
||||
реплик (0.25 CPU / 128M) к 1 крупной (1.0 CPU / 512M) снижает
|
||||
максимальную latency с 1153 ms до 319 ms, то есть в 3.6 раза, при
|
||||
той же пропускной способности 394 RPS.
|
||||
|
||||
Механизм: при memory limit 128 MiB Go-runtime в репликах api-2 и api-3
|
||||
постоянно находится в состоянии memory pressure (127.9 / 128 MiB по
|
||||
docker stats). GC запускается часто, stop-the-world паузы дают
|
||||
длительные хвосты. При 512 MiB на реплику GC работает спокойно,
|
||||
хвосты остаются короткими.
|
||||
|
||||
Практический вывод: конфигурация "одна крупная реплика" лучше
|
||||
"многих мелких" для хвостов latency при одинаковом суммарном ресурсе.
|
||||
Это стоит учитывать при выборе размера реплик.
|
||||
|
||||
## Ограничения измерения
|
||||
|
||||
1. Одна физическая машина. k6 и весь стек работают на одном хосте,
|
||||
делят CPU/RAM/диск. Абсолютные значения RPS ниже, чем были бы
|
||||
на распределённой системе.
|
||||
2. Docker Desktop (WSL2) на Windows. Сетевой стек эмулируется через
|
||||
виртуальную машину, накладные расходы не отражаются в метриках
|
||||
контейнеров.
|
||||
3. k6 client-side limits. При VU до 3141 на Windows k6 сам становится
|
||||
источником нагрузки на CPU хоста.
|
||||
4. Три прогона на точку - минимум по README. Разброс между прогонами
|
||||
в пределах 2 процентов, медиана достаточно устойчива.
|
||||
5. Целевые метрики CPU/RAM из docker stats имеют округление до 0.01
|
||||
процента и период семплирования 2 секунды, короткие пики могут
|
||||
быть не пойманы.
|
||||
|
||||
## Промежуточный итог (до оптимизации)
|
||||
|
||||
На этом этапе saturation point найден (395-400 RPS), рост реплик при
|
||||
фиксированном total CPU/RAM не помогает, две гипотезы о причине
|
||||
(MaxConns pgx, сетевая прослойка WSL2) проверены и отвергнуты.
|
||||
Узкое место не идентифицировано. Прямого улучшения пропускной
|
||||
способности не получено.
|
||||
|
||||
Однако в серии A-high подтверждено улучшение по хвостам latency:
|
||||
1 крупная реплика вместо 4 мелких даёт max latency 319 ms против
|
||||
1153 ms (x3.6) при том же RPS. Причина - memory pressure в Go-runtime
|
||||
при limit 128 MiB.
|
||||
|
||||
Дальнейший шаг - поиск узкого места в самом LB (nginx), поскольку
|
||||
гипотезы о приложении и клиенте не подтвердились.
|
||||
|
||||
## Найдено узкое место: upstream keepalive в nginx
|
||||
### Найденное узкое место: upstream keepalive в nginx
|
||||
|
||||
Три неудачных probe (MaxConns, сеть WSL2) отвергли гипотезы о приложении
|
||||
и клиенте. Оставался LB. Диагностика через docker stats показала, что
|
||||
nginx держит ~10 процентов CPU, но при RATE=800 доля ошибок вырастает
|
||||
до 40 процентов, а p95 latency до 14 секунд. Симптомы - обрывы
|
||||
соединений EOF и "server closed idle connection" на стороне клиента.
|
||||
nginx держит около 10 процентов CPU, но при RATE=800 доля ошибок вырастает
|
||||
до 40 процентов, а p95 latency до 14 секунд. Симптомы - обрывы соединений
|
||||
EOF и "server closed idle connection" на стороне клиента.
|
||||
|
||||
Проверена гипотеза: nginx без upstream keepalive открывает новое
|
||||
TCP-соединение к API-реплике на каждый запрос. При 800 RPS это 800
|
||||
handshake'ей в секунду плюс TIME_WAIT с обеих сторон. TCP-стек под
|
||||
такой нагрузкой не успевает, часть соединений рвётся до получения
|
||||
ответа, что и даёт EOF.
|
||||
handshake'ей в секунду плюс TIME_WAIT с обеих сторон. TCP-стек под такой
|
||||
нагрузкой не успевает, часть соединений рвётся до получения ответа,
|
||||
что и даёт EOF.
|
||||
|
||||

|
||||
|
||||
Слева - RPS, в центре - p95 latency (логарифмическая шкала), справа -
|
||||
доля ошибок. Три графика показывают до и после в одном формате.
|
||||
доля ошибок. Три графика показывают состояние до и после включения
|
||||
keepalive в одном формате.
|
||||
|
||||
## Применённое улучшение
|
||||
### Применённое улучшение
|
||||
|
||||
Добавлены три директивы в `upstream backend` в `infra/nginx.conf`:
|
||||
|
||||
keepalive 32; # пул из 32 idle-соединений на воркер
|
||||
keepalive_requests 1000; # запросов на одно соединение
|
||||
keepalive_timeout 60s; # idle-таймаут
|
||||
keepalive 32; # пул из 32 idle-соединений на воркер
|
||||
keepalive_requests 1000; # запросов на одно соединение
|
||||
keepalive_timeout 60s; # idle-таймаут
|
||||
|
||||
и в `location /`:
|
||||
|
||||
proxy_http_version 1.1; # HTTP/1.1 обязателен для keepalive
|
||||
proxy_set_header Connection ""; # nginx сам управляет соединением
|
||||
proxy_http_version 1.1; # HTTP/1.1 обязателен для keepalive
|
||||
proxy_set_header Connection ""; # nginx сам управляет соединением
|
||||
|
||||
## Результаты после улучшения
|
||||
### Результаты после улучшения
|
||||
|
||||
Замеры на том же стенде, та же нагрузочная методика (k6
|
||||
constant-arrival-rate, 1 минута, 1 реплика 1.0 CPU / 512M).
|
||||
@@ -482,41 +372,157 @@ constant-arrival-rate, 1 минута, 1 реплика 1.0 CPU / 512M).
|
||||
| max latency | 17.7 с | 5.24 с | x3.4 быстрее |
|
||||
|
||||
При той же нагрузке 800 RPS система работает без ошибок. Потолок
|
||||
безошибочной работы сдвинулся с 395 RPS до 711 RPS. Это +80%
|
||||
пропускной способности без единой строчки в коде приложения, только
|
||||
за счёт конфигурации LB.
|
||||
безошибочной работы сдвинулся с 395 RPS до 711 RPS. Это +80 процентов
|
||||
пропускной способности без единой строчки в коде приложения, только за
|
||||
счёт конфигурации LB.
|
||||
|
||||
## Что мы доказали
|
||||
Серия B (после улучшения): три прогона в evidence/track1/series-b/.
|
||||
|
||||
1. **Узкое место было в LB, а не в WSL, не в pgx и не в клиенте k6.**
|
||||
| RATE | RPS | write_errors | p95 | max |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| 400 | 397 | 0% | 17.6 ms | 931 ms |
|
||||
| 800 | 711 | 0% | 4.69 с | 5.24 с |
|
||||
| 1200 | 641 | 4.13% | 8.06 с | 8.36 с |
|
||||
|
||||
Потолок без ошибок сдвинулся с 395 до 711 RPS. Точка деградации
|
||||
(где появляются ошибки) - между 800 и 1200 RPS.
|
||||
|
||||
### Что доказано и границы улучшения
|
||||
|
||||
1. Узкое место было в LB, а не в WSL, не в pgx и не в клиенте k6.
|
||||
Три предыдущие попытки (MaxConns=50, k6 в Docker-сети, эксперимент
|
||||
с pool) не сдвинули потолок. Гипотеза о сетевой прослойке WSL2 как
|
||||
главной причине опровергается тем, что после правки nginx тот же
|
||||
RATE=800 через ту же WSL2 работает без ошибок.
|
||||
|
||||
2. **Отсутствие upstream keepalive - незаметная по умолчанию, но
|
||||
критичная настройка** при проксировании HTTP через LB. В дефолтном
|
||||
2. Отсутствие upstream keepalive - незаметная по умолчанию, но
|
||||
критичная настройка при проксировании HTTP через LB. В дефолтном
|
||||
конфиге nginx использует HTTP/1.0 для upstream, что означает новый
|
||||
TCP handshake на каждый запрос. При низкой интенсивности это
|
||||
не видно, при высокой - TCP-стек не справляется.
|
||||
TCP handshake на каждый запрос. При низкой интенсивности это не
|
||||
видно, при высокой - TCP-стек не справляется.
|
||||
|
||||
3. **Границы улучшения**: при RATE=1200 система снова деградирует
|
||||
(4.13% ошибок, RPS падает до 641, k6 достигает лимита VU 4800 и
|
||||
теряет 29636 итераций). Новая точка деградации пропорционально
|
||||
3. Границы улучшения: при RATE=1200 система снова деградирует
|
||||
(4.13 процента ошибок, RPS падает до 641, k6 достигает лимита VU 4800
|
||||
и теряет 29636 итераций). Новая точка деградации пропорционально
|
||||
сдвинута вверх в 3 раза, но физический предел всё ещё есть.
|
||||
|
||||
## Итог по треку 1
|
||||
### Второе улучшение: размер реплики и хвосты latency
|
||||
|
||||
Что выполнено по требованиям README:
|
||||
При фиксированном суммарном ресурсе 1.0 CPU / 512M переход от 4 мелких
|
||||
реплик (0.25 CPU / 128M) к 1 крупной (1.0 CPU / 512M) снижает
|
||||
максимальную latency с 1153 ms до 319 ms, то есть в 3.6 раза, при той
|
||||
же пропускной способности 394 RPS.
|
||||
|
||||
- Сравнение 1/2/4 реплик при фиксированном total CPU/RAM - серия A-high.
|
||||
- Серия с ростом нагрузки - probe RATE=800 и RATE=1200.
|
||||
- Saturation point найден: 395 RPS в наивной конфигурации.
|
||||
- Показано, почему рост реплик перестаёт помогать: узкое место не в
|
||||
API и не в БД, а в LB.
|
||||
- Три гипотезы проверены, две отвергнуты, одна подтверждена (LB).
|
||||
Механизм: при memory limit 128 MiB Go-runtime в репликах api-2 и api-3
|
||||
постоянно находится в состоянии memory pressure (127.9 / 128 MiB по
|
||||
docker stats). GC запускается часто, stop-the-world паузы дают
|
||||
длительные хвосты. При 512 MiB на реплику GC работает спокойно,
|
||||
хвосты остаются короткими.
|
||||
|
||||
Практический вывод: конфигурация "одна крупная реплика" лучше "многих
|
||||
мелких" для хвостов latency при одинаковом суммарном ресурсе. Стоит
|
||||
учитывать при выборе размера реплик.
|
||||
|
||||
### Ограничения измерения трека 1
|
||||
|
||||
1. Одна физическая машина. k6 и весь стек работают на одном хосте,
|
||||
делят CPU/RAM/диск. Абсолютные значения RPS ниже, чем были бы на
|
||||
распределённой системе.
|
||||
2. Docker Desktop (WSL2) на Windows. Сетевой стек эмулируется через
|
||||
виртуальную машину, накладные расходы не отражаются в метриках
|
||||
контейнеров.
|
||||
3. k6 client-side limits. При VU до 3141 на Windows k6 сам становится
|
||||
источником нагрузки на CPU хоста.
|
||||
4. Три прогона на точку - минимум по README. Разброс между прогонами
|
||||
в пределах 2 процентов, медиана достаточно устойчива.
|
||||
5. Целевые метрики CPU/RAM из docker stats имеют округление до 0.01
|
||||
процента и период семплирования 2 секунды, короткие пики могут
|
||||
быть не пойманы.
|
||||
|
||||
### Итог по треку 1
|
||||
|
||||
Что требовал README: сравнить 1/2/4 реплики при фиксированном total
|
||||
CPU/RAM, провести серию с ростом ресурсов, найти saturation point,
|
||||
показать почему рост реплик перестаёт помогать, дать исходные данные,
|
||||
графики и одно подтверждённое улучшение.
|
||||
|
||||
Выполнено:
|
||||
|
||||
- Сравнение 1/2/4 реплик при фиксированном total ресурсе - серия A-high.
|
||||
- Серия с ростом нагрузки - probe RATE=800, RATE=1200.
|
||||
- Saturation point найден: 395 RPS в наивной конфигурации LB.
|
||||
- Показано, почему рост реплик перестаёт помогать: узкое место не в API
|
||||
и не в БД, а в LB.
|
||||
- Три гипотезы проверены, две отвергнуты (MaxConns pgx, сеть WSL2),
|
||||
одна подтверждена (upstream keepalive в nginx).
|
||||
- Одно подтверждённое улучшение: upstream keepalive в nginx, потолок
|
||||
поднят с 395 до 711 RPS (+80%), доля ошибок снижена с 40.5% до 0%.
|
||||
- Исходные данные в evidence/track1/ (series-a, series-a-high,
|
||||
series-b, k6-baseline).
|
||||
- Два графика: общий (graphs.png) и улучшения (keepalive-improvement.png).
|
||||
поднят с 395 до 711 RPS (+80 процентов), доля ошибок снижена
|
||||
с 40.5 до 0 процентов.
|
||||
- Второе улучшение (бонус): 1 крупная реплика вместо 4 мелких снижает
|
||||
хвосты latency в 3.6 раза при том же RPS.
|
||||
- Исходные данные в evidence/track1/ (series-a, series-a-high, series-b,
|
||||
probe-800, k6-baseline).
|
||||
- Два графика: graphs.png (общий) и keepalive-improvement.png (эффект
|
||||
оптимизации LB).
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
Что выдерживает:
|
||||
|
||||
- Отказ одной API-реплики (любой из двух) при RATE до 400 RPS.
|
||||
- Graceful drain с сохранением in-flight запросов.
|
||||
- Rolling update без простоя.
|
||||
- Перезапуск всего стека с сохранением данных и сессий.
|
||||
- RATE=800 после включения upstream keepalive в nginx.
|
||||
|
||||
Что не выдерживает:
|
||||
|
||||
- Отказ узла. Всё работает на одном хосте, потеря хоста = потеря системы.
|
||||
Postgres и Redis без репликации, LB без резерва.
|
||||
- RATE=800 без upstream keepalive в nginx: 40.5 процента ошибок
|
||||
(до оптимизации).
|
||||
- RATE=1200 после оптимизации: 4.13 процента ошибок, деградация.
|
||||
|
||||
Не реализовано в этой работе:
|
||||
|
||||
- PgBouncer. Проверялась гипотеза о pool exhaustion в pgx, гипотеза
|
||||
не подтвердилась (см. трек 1), поэтому PgBouncer не добавлен.
|
||||
- Вторая реплика Postgres и failover БД. Не входит в обязательный
|
||||
минимум, отмечено как SPOF в ограничениях.
|
||||
- HTTPS. По контракту требуется только с ЛР7, здесь HTTP для локального
|
||||
стенда.
|
||||
- Полноценная распределённая нагрузка. k6 на одной машине со стеком
|
||||
измеряет не только стек, но и клиент.
|
||||
|
||||
Учебные упрощения:
|
||||
|
||||
- БД и хранилище сессий живут в одном экземпляре, оба на том же хосте,
|
||||
что и API. Для уровня 3 достаточно, для продакшена недостаточно.
|
||||
- Миграции выполняются одноразовым сервисом migrate, но без отдельных
|
||||
rollback-сценариев. Если миграция падает, стек не поднимается.
|
||||
|
||||
Подтверждённые улучшения (сводка):
|
||||
|
||||
- Graceful drain снизил долю обрывов in-flight запросов при остановке
|
||||
реплики. docker stop даёт серверу корректно завершиться с exit 0.
|
||||
- Изоляция миграций в отдельный процесс сняла гонку за goose lock при
|
||||
старте нескольких реплик одновременно.
|
||||
- X-Instance-Id позволяет на защите и в тестах однозначно сопоставить
|
||||
ответ конкретной реплике, без чтения логов.
|
||||
- Upstream keepalive в nginx: потолок с 395 до 711 RPS, ошибки с 40.5
|
||||
до 0 процентов при RATE=800.
|
||||
- 1 крупная реплика вместо 4 мелких: max latency x3.6 ниже при том же
|
||||
RPS.
|
||||
|
||||
Оставшиеся гипотезы (не проверены из-за ограничений стенда):
|
||||
|
||||
- Ограничения k6 на одном физическом хосте. При VU до 4800 k6 сам
|
||||
становится источником нагрузки на CPU хоста.
|
||||
- Накладные расходы nginx при проксировании. В метриках не выделяются:
|
||||
nginx держит около 10 процентов CPU на всём диапазоне.
|
||||
|
||||
Следующий шаг для полной картины: вынести нагрузочный генератор на
|
||||
отдельный физический хост, повторить probe RATE=1200. Если RPS начнёт
|
||||
расти - узкое место в клиентской части или сетевом стеке Windows.
|
||||
Если нет - в самом стеке, и дальше копать в сторону оптимизации Postgres
|
||||
(увеличение max_connections, PgBouncer, или репликация на чтение).
|
||||
Reference in New Issue
Block a user