forked from mtusi2026/mtusi2026lab3
perf(bench): add scaling experiments and saturation diagnostics
Compare API and PostgreSQL CPU budgets and connection pool limits. Collect repeatable measurements and generate report aggregates and graphs.
This commit is contained in:
@@ -0,0 +1,108 @@
|
||||
# Диагностическая серия масштабирования
|
||||
|
||||
Из корня репозитория, при работающем Docker и собранном образе API:
|
||||
|
||||
```powershell
|
||||
python -X utf8 scripts/run-scaling-diagnostics.py --client container --output .artifacts/scaling/diagnostics-r100
|
||||
```
|
||||
|
||||
Значения по умолчанию: профили one/two/four, только 100 запланированных
|
||||
запросов/с, три повтора на профиль, 15 с прогрева и 60 с измерения, 80% чтений истории и 20%
|
||||
записей. Пул берётся из Compose: по умолчанию 15 на реплику для one/two,
|
||||
8 для four; фактические значения сохраняются в `manifest.json`.
|
||||
В каждом прогоне — новый чат и 30 исходных
|
||||
сообщений. Всего 9 прогонов: 11 минут 15 секунд прогрева и измерений плюс время запуска
|
||||
контейнеров и сбора данных (ориентировочно около 15 минут, не жёсткий тайм-аут). Меньшие нагрузки
|
||||
по умолчанию исключены; при необходимости их можно явно задать через `--rates`.
|
||||
|
||||
Нагрузка для профиля перестаёт повышаться, если минимум в двух из трёх повторов
|
||||
встречается один из признаков: больше 5% слотов пропущено из-за опоздания генератора,
|
||||
больше 5% пропущено из-за лимита одновременно выполняемых запросов, больше 1% ошибок
|
||||
среди отправленных запросов или p95 успешных ответов превышает 1000 мс. Это границы
|
||||
эксперимента, а не установленный SLA и не доказательство насыщения сервера.
|
||||
|
||||
Для полной матрицы всех запрошенных ступеней добавьте `--full-matrix`. Тогда
|
||||
превышения порогов записываются в `threshold_crossings` и не прерывают профиль.
|
||||
Точки с большими пропусками генератора не доказывают максимальную ёмкость API.
|
||||
Ошибки запуска, отсутствие результата или неполные диагностические данные всё
|
||||
ещё останавливают серию с восстановлением обычного профиля two.
|
||||
|
||||
Сбор инструментированного пула включается только через `test/compose.diagnostics.yaml`.
|
||||
Preload сохраняет callback/Promise-интерфейсы pg.Pool и раз в секунду пишет
|
||||
`/tmp/scaling-pool.jsonl` внутри API. Очередь и занятые соединения наблюдаются каждые
|
||||
100 мс; краткие очереди могут не попасть в выборку, поэтому дополнительно измеряется
|
||||
время каждого получения соединения. Оно включает создание новых соединений и
|
||||
задержки event loop, а не только ожидание очереди. Cчётчики приобретений накопительные,
|
||||
max-показатели относятся к интервалу записи.
|
||||
|
||||
PostgreSQL, Nginx и Redis наблюдаются через один постоянный docker exec на сервис
|
||||
с паузой 2 с между выборками. Наблюдатель версии 3 выполняет SQL через одно
|
||||
постоянное psql-соединение (`\watch 2`); результат находится в `postgres-sql.jsonl`.
|
||||
Сохраняются cgroup CPU/memory, ожидания активных
|
||||
запросов PostgreSQL, число простаивающих транзакций, состав upstream Nginx и события
|
||||
reload. Тексты SQL, токены, пароли и сообщения не записываются. Наблюдатели потребляют
|
||||
часть ресурсов тех же контейнеров; это одинаковая методика для всех профилей.
|
||||
|
||||
В каталоге прогона:
|
||||
|
||||
- `benchmark.json`: исходные HTTP-замеры и границы измеряемого окна в epoch ms;
|
||||
- `api-*.jsonl`: пул, event loop и cgroup API (включают также прогрев и предыдущие
|
||||
повторы того же профиля; summary выбирает только текущее измеряемое окно);
|
||||
- `postgres/nginx/redis.jsonl`: наблюдения остальных сервисов;
|
||||
- `postgres-sql.jsonl`: SQL-снимки постоянного psql-наблюдателя версии 3;
|
||||
- `*.stderr`, `nginx-events.log`: ошибки наблюдателей и события Nginx;
|
||||
- `summary.json`: показатели в измеряемом окне; скорости CPU рассчитаны из
|
||||
приращений счётчиков, память — максимум по выборкам;
|
||||
- `execution.json`: команда и временные границы прогона.
|
||||
|
||||
`manifest.json` в корне фиксирует настройки, причины остановки нагрузки, ID образов,
|
||||
хеши сборщиков, окружение Docker и лимиты контейнеров. После завершения или исключения runner восстанавливает профиль
|
||||
two без диагностического preload. При принудительном завершении процесса это можно
|
||||
сделать вручную:
|
||||
|
||||
```powershell
|
||||
docker compose -f compose.yaml -f configs/two.yaml up -d --no-build --no-deps --wait api
|
||||
```
|
||||
|
||||
Проверки сборщика:
|
||||
|
||||
```powershell
|
||||
node --test test/pool-diagnostics.mjs test/benchmark-scaling.mjs
|
||||
python -X utf8 test/diagnostic-summary.py
|
||||
```
|
||||
|
||||
Для отдельной проверки влияния Windows-клиента и публикации порта можно запустить
|
||||
тот же генератор в Linux-контейнере:
|
||||
|
||||
```powershell
|
||||
python -X utf8 scripts/run-scaling-diagnostics.py --client container --rates 100 --repetitions 3 --output .artifacts/scaling/diagnostics-linux-client-r100
|
||||
```
|
||||
|
||||
Клиент использует тот же собранный образ (только Node и benchmark-скрипт), не имеет
|
||||
лимита CPU/RAM и обращается к `http://nginx` по сети Compose. Это другой путь HTTP:
|
||||
без Windows port forwarding, но с конкуренцией за ресурсы той же Docker VM. Такой
|
||||
контроль помогает проверить влияние клиентского пути, но не заменяет внешний
|
||||
генератор на отдельной машине. Не запускайте его одновременно с основной серией.
|
||||
|
||||
После нагрузки можно оценить накладные расходы наблюдателя PostgreSQL на простое:
|
||||
|
||||
```powershell
|
||||
python -X utf8 scripts/calibrate-scaling-observer.py --output .artifacts/scaling/observer-calibration
|
||||
```
|
||||
|
||||
Выполняются три фазы по 30 с: без наблюдателя, с наблюдателем и снова без него.
|
||||
Это оценка собственных расходов сборщика, а не поправочный коэффициент к нагрузке.
|
||||
|
||||
После завершения серии соберите таблицу и графики. Matplotlib можно запустить
|
||||
через временное окружение uv, не меняя зависимости API:
|
||||
|
||||
```powershell
|
||||
python -X utf8 scripts/summarize-scaling-diagnostics.py .artifacts/scaling/diagnostics-pg1cpu-full-20261028
|
||||
uv run --no-project --with "matplotlib>=3.9,<4" python scripts/plot-scaling-diagnostics.py .artifacts/scaling/diagnostics-pg1cpu-full-20261028
|
||||
```
|
||||
|
||||
Графики `performance`, `resources`, `delivered-load` сохраняются в PNG и SVG.
|
||||
Линии показывают медианы повторов, затенение — диапазон min/max, а не доверительный
|
||||
интервал. Отдельный график задержек и ошибок по фактически отправленным RPS помогает
|
||||
учесть пропуски генератора. Превышение номинальной нагрузки не означает, что сервер
|
||||
фактически получил столько запросов.
|
||||
Executable
+70
@@ -0,0 +1,70 @@
|
||||
#!/bin/sh
|
||||
# One persistent docker exec per service; stdout contains only numeric diagnostics.
|
||||
set -eu
|
||||
role=$1
|
||||
stop=$2
|
||||
watch_pid=''
|
||||
cleanup() {
|
||||
if [ -n "$watch_pid" ]; then
|
||||
kill "$watch_pid" 2>/dev/null || true
|
||||
wait "$watch_pid" 2>/dev/null || true
|
||||
fi
|
||||
}
|
||||
trap cleanup EXIT
|
||||
trap 'exit 0' TERM INT
|
||||
printf '{"kind":"observer","version":3,"time_ms":%s000}\n' "$(date +%s)"
|
||||
if [ "$role" = postgres ]; then
|
||||
PGAPPNAME=scaling-observer psql -X -qAt -v ON_ERROR_STOP=1 -U "$POSTGRES_USER" -d "$POSTGRES_DB" > "${stop}.pg.jsonl" <<'SQL' &
|
||||
SELECT json_build_object(
|
||||
'kind', 'postgres', 'time_ms', (extract(epoch FROM clock_timestamp())*1000)::bigint,
|
||||
'activity', (SELECT coalesce(json_agg(a), '[]'::json) FROM (
|
||||
SELECT state, wait_event_type, wait_event, count(*) AS count,
|
||||
max(extract(epoch FROM clock_timestamp()-query_start)) FILTER (WHERE state = 'active') AS max_active_seconds
|
||||
FROM pg_stat_activity WHERE datname=current_database() AND backend_type='client backend'
|
||||
AND application_name <> 'scaling-observer'
|
||||
GROUP BY state,wait_event_type,wait_event
|
||||
) a),
|
||||
'db', (SELECT row_to_json(d) FROM (
|
||||
SELECT xact_commit,xact_rollback,blks_read,blks_hit,temp_files,temp_bytes,deadlocks,stats_reset
|
||||
FROM pg_stat_database WHERE datname=current_database()
|
||||
) d)
|
||||
)::jsonb
|
||||
\watch 2
|
||||
SQL
|
||||
watch_pid=$!
|
||||
fi
|
||||
while [ ! -f "$stop" ]; do
|
||||
stamp="$(date +%s)000"
|
||||
awk -v stamp="$stamp" '
|
||||
BEGIN {printf "{\"kind\":\"cgroup\",\"time_ms\":%s", stamp}
|
||||
FILENAME ~ /cpu.stat$/ {printf ",\"cpu_%s\":%s", $1, $2}
|
||||
FILENAME ~ /memory.events$/ {printf ",\"memory_%s\":%s", $1, $2}
|
||||
FILENAME ~ /memory.current$/ {printf ",\"memory_bytes\":%s", $1}
|
||||
END {print "}"}
|
||||
' /sys/fs/cgroup/cpu.stat /sys/fs/cgroup/memory.events /sys/fs/cgroup/memory.current
|
||||
if [ "$role" = postgres ]; then
|
||||
awk -v stamp="$stamp" '
|
||||
BEGIN {printf "{\"kind\":\"host\",\"time_ms\":%s", stamp}
|
||||
FILENAME ~ /pressure\// {
|
||||
name=FILENAME; sub(/^.*\//,"",name)
|
||||
for (i=2;i<=NF;i++) {
|
||||
split($i,value,"=")
|
||||
if (value[1] == "total") printf ",\"%s_%s_total_usec\":%s",name,$1,value[2]
|
||||
}
|
||||
}
|
||||
FILENAME ~ /meminfo$/ && ($1 == "MemAvailable:" || $1 == "SwapFree:" || $1 == "SwapTotal:") {
|
||||
name=$1; sub(/:$/,"",name); printf ",\"%s_kib\":%s",name,$2
|
||||
}
|
||||
END {print "}"}
|
||||
' /proc/pressure/cpu /proc/pressure/memory /proc/pressure/io /proc/meminfo
|
||||
fi
|
||||
if [ "$role" = nginx ]; then
|
||||
awk -v stamp="$stamp" '
|
||||
BEGIN {printf "{\"kind\":\"upstream\",\"time_ms\":%s,\"servers\":[", stamp; sep=""}
|
||||
/^server .*:8080 / {printf "%s\"%s\"", sep, $2; sep=","}
|
||||
END {print "]}"}
|
||||
' /etc/nginx/ready-upstreams.conf
|
||||
fi
|
||||
sleep 2
|
||||
done
|
||||
rm -f "$stop"
|
||||
@@ -0,0 +1,73 @@
|
||||
// Loaded only by test/compose.diagnostics.yaml. No HTTP endpoint or credentials.
|
||||
const { Pool } = require('pg');
|
||||
const fs = require('node:fs');
|
||||
const { performance, monitorEventLoopDelay } = require('node:perf_hooks');
|
||||
|
||||
const states = new Map();
|
||||
const originalConnect = Pool.prototype.connect;
|
||||
Pool.prototype.connect = function (...args) {
|
||||
let state = states.get(this);
|
||||
if (!state) {
|
||||
state = { acquisitions: 0, errors: 0, acquire_ms: 0, interval_max_ms: 0,
|
||||
interval_max_waiting: 0, interval_max_busy: 0 };
|
||||
states.set(this, state);
|
||||
}
|
||||
const started = performance.now();
|
||||
const finish = (error) => {
|
||||
const elapsed = performance.now() - started;
|
||||
state.acquisitions += 1;
|
||||
state.errors += Number(Boolean(error));
|
||||
state.acquire_ms += elapsed;
|
||||
state.interval_max_ms = Math.max(state.interval_max_ms, elapsed);
|
||||
};
|
||||
if (typeof args[0] === 'function') {
|
||||
const callback = args[0];
|
||||
args[0] = (error, client, release) => {
|
||||
finish(error);
|
||||
callback(error, client, release);
|
||||
};
|
||||
return originalConnect.apply(this, args);
|
||||
}
|
||||
return originalConnect.apply(this, args).then(
|
||||
(client) => { finish(null); return client; },
|
||||
(error) => { finish(error); throw error; },
|
||||
);
|
||||
};
|
||||
|
||||
const output = '/tmp/scaling-pool.jsonl';
|
||||
fs.writeFileSync(output, '');
|
||||
const delay = monitorEventLoopDelay({ resolution: 20 });
|
||||
delay.enable();
|
||||
function counters(path) {
|
||||
try {
|
||||
return Object.fromEntries(fs.readFileSync(path, 'utf8').trim().split('\n')
|
||||
.map((line) => { const [key, value] = line.split(/\s+/); return [key, Number(value)]; }));
|
||||
} catch { return null; }
|
||||
}
|
||||
let lastWrite = performance.now();
|
||||
const timer = setInterval(() => {
|
||||
for (const [pool, state] of states) {
|
||||
state.interval_max_waiting = Math.max(state.interval_max_waiting, pool.waitingCount);
|
||||
state.interval_max_busy = Math.max(state.interval_max_busy, pool.totalCount - pool.idleCount);
|
||||
}
|
||||
if (performance.now() - lastWrite < 1000) return;
|
||||
lastWrite = performance.now();
|
||||
const pools = [...states].map(([pool, state]) => ({
|
||||
...state, total: pool.totalCount, idle: pool.idleCount, waiting: pool.waitingCount,
|
||||
}));
|
||||
let memory = null;
|
||||
try { memory = Number(fs.readFileSync('/sys/fs/cgroup/memory.current', 'utf8')); } catch {}
|
||||
fs.appendFileSync(output, JSON.stringify({ time_ms: Date.now(), pid: process.pid,
|
||||
instance: process.env.INSTANCE_ID, pools, cpu: counters('/sys/fs/cgroup/cpu.stat'),
|
||||
memory_bytes: memory, memory_events: counters('/sys/fs/cgroup/memory.events'),
|
||||
rss_bytes: process.memoryUsage().rss, process_cpu: process.cpuUsage(),
|
||||
event_loop_delay_ms: { mean: delay.mean / 1e6, p99: delay.percentile(99) / 1e6 },
|
||||
}) + '\n');
|
||||
delay.reset();
|
||||
for (const state of states.values()) {
|
||||
state.interval_max_ms = 0;
|
||||
state.interval_max_waiting = 0;
|
||||
state.interval_max_busy = 0;
|
||||
}
|
||||
}, 100);
|
||||
timer.unref();
|
||||
@@ -0,0 +1,39 @@
|
||||
#!/usr/bin/env python3
|
||||
"""One read-only snapshot of SQL classes, never SQL text or parameters."""
|
||||
import argparse
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
|
||||
SQL = """
|
||||
SELECT jsonb_build_object('time_ms',(extract(epoch FROM clock_timestamp())*1000)::bigint,
|
||||
'activity', (SELECT coalesce(jsonb_agg(a),'[]'::jsonb) FROM (
|
||||
SELECT state,wait_event_type,wait_event,
|
||||
CASE
|
||||
WHEN query LIKE '%INSERT INTO "public"."chat_message_epochs"%' THEN 'message_and_epoch_write'
|
||||
WHEN query LIKE '%message_idempotency%' THEN 'idempotency'
|
||||
WHEN lower(ltrim(query)) LIKE 'commit%' THEN 'commit'
|
||||
WHEN query LIKE '%token_hash%' THEN 'authentication'
|
||||
WHEN query LIKE '%chat_message_epochs%' THEN 'epoch_read'
|
||||
WHEN query LIKE '%messages%' THEN 'message_read'
|
||||
ELSE 'other'
|
||||
END AS operation,
|
||||
count(*) AS count,
|
||||
max(extract(epoch FROM clock_timestamp()-query_start)) AS max_query_seconds,
|
||||
max(cardinality(pg_blocking_pids(pid))) AS max_blockers
|
||||
FROM pg_stat_activity
|
||||
WHERE datname=current_database() AND backend_type='client backend'
|
||||
AND application_name <> 'scaling-observer' AND state='active'
|
||||
GROUP BY state,wait_event_type,wait_event,operation
|
||||
) a));
|
||||
"""
|
||||
|
||||
parser = argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument("--output", type=Path, required=True)
|
||||
args = parser.parse_args()
|
||||
result = subprocess.run(["docker", "compose", "exec", "-T", "-e", "PGAPPNAME=scaling-observer",
|
||||
"postgres", "psql", "-X", "-qAt", "-U", "app", "-d", "chat", "-c", SQL],
|
||||
capture_output=True, text=True, encoding="utf-8", timeout=30, check=True)
|
||||
data = json.loads(result.stdout)
|
||||
args.output.write_text(json.dumps(data, indent=2) + "\n", encoding="utf-8")
|
||||
print(json.dumps(data))
|
||||
Reference in New Issue
Block a user