Add API integration checks, migration compatibility, rolling restart scenarios and a report verification collector.
118 lines
10 KiB
JavaScript
118 lines
10 KiB
JavaScript
import assert from 'node:assert/strict';
|
||
import { readFile, writeFile } from 'node:fs/promises';
|
||
|
||
const resultPrefix = process.argv[2] ?? 'cache-strategy';
|
||
assert.match(resultPrefix, /^[a-z0-9-]+$/);
|
||
|
||
const reports = await Promise.all(
|
||
['full', 'no-redis-no-epochs'].map(async (name) =>
|
||
JSON.parse(await readFile(`evidence/${resultPrefix}-${name}.json`, 'utf8')),
|
||
),
|
||
);
|
||
const provenance = JSON.parse(
|
||
await readFile(`evidence/${resultPrefix}-experiment.json`, 'utf8'),
|
||
);
|
||
assert.ok(reports.every((report) => report.completed));
|
||
assert.deepEqual(reports[0].methodology, reports[1].methodology);
|
||
assert.equal(provenance.exit_code, 0);
|
||
assert.ok(provenance.sources_unchanged);
|
||
assert.ok(reports[1].correctness.epochs_unchanged);
|
||
assert.ok(reports[1].correctness.no_redis_client);
|
||
const median = (values) =>
|
||
[...values].sort((a, b) => a - b)[Math.floor(values.length / 2)];
|
||
const labels = ['Redis и эпохи', 'Без Redis и эпох'];
|
||
const aggregates = [];
|
||
const settings = reports[0].methodology;
|
||
const lines = [
|
||
'# Полная стратегия кэша и вариант без Redis и эпох',
|
||
'',
|
||
`Запуски UTC: ${reports.map((report) => report.recorded_at).join(' → ')}.`,
|
||
'',
|
||
'Сначала выполнен свежий прогон текущего образа с Redis, PostgreSQL-эпохами и записью сообщения через CTE. Затем шесть модулей приложения заменены временными версиями без поддержания эпох: убраны изменения счётчиков и чтения эпох в проверках сессии/членства. Объединённые проверки сессии, публичного профиля и доступа к истории сохранены. Сообщение вставляется одним INSERT ... SELECT с проверкой членства, без обновления счётчиков. Второй API запущен без CACHE_URL: все кэши приложения отключены. Исходники рабочего проекта и запущенный backend не изменены.',
|
||
'',
|
||
`Параметры обоих прогонов совпадают: ${settings.repetitions} повтора, конкурентность ${settings.concurrency}, ${settings.seed_messages} сообщений, limit=50, прогрев ${settings.warmup_seconds} с и чтение ${settings.duration_seconds} с, ${settings.writes_per_repeat} записей в новый чат. RPS = общее число успешных запросов / общее время повторов. Средняя задержка взвешена по числу успешных запросов. p95 — среднее отдельных p95, не перцентиль объединённой выборки. SQL/HTTP исключает команды транзакций.`,
|
||
'',
|
||
'| Сценарий | Вариант | Средний RPS | Средняя задержка, мс | Среднее p95, мс | SQL/HTTP | Медиана RPS | Ошибки |',
|
||
'| --- | --- | ---: | ---: | ---: | ---: | ---: | ---: |',
|
||
];
|
||
for (const [workload, label] of [
|
||
['cold-history-burst', 'Холодная волна истории'],
|
||
['warm-history', 'Прогретая история'],
|
||
['history-cache-bypassed', 'Контроль без кэша истории'],
|
||
['writes-single-chat', 'Запись в один чат'],
|
||
]) {
|
||
if (
|
||
reports.every(
|
||
(report) =>
|
||
!report.samples.some((sample) => sample.workload === workload),
|
||
)
|
||
)
|
||
continue;
|
||
for (const [index, report] of reports.entries()) {
|
||
const samples = report.samples.filter(
|
||
(sample) => sample.workload === workload,
|
||
);
|
||
assert.equal(samples.length, settings.repetitions);
|
||
const sum = (select) =>
|
||
samples.reduce((total, sample) => total + select(sample), 0);
|
||
const successes = sum((sample) => sample.successes);
|
||
const errors = sum((sample) => sample.errors);
|
||
const aggregate = {
|
||
workload,
|
||
variant: labels[index],
|
||
successes,
|
||
errors,
|
||
mean_rps: successes / sum((sample) => sample.elapsed_seconds),
|
||
mean_latency_ms:
|
||
sum((sample) => sample.latency_ms.mean * sample.successes) / successes,
|
||
mean_p95_ms: sum((sample) => sample.latency_ms.p95) / samples.length,
|
||
sql_per_request:
|
||
sum((sample) => sample.sql_queries) / (successes + errors),
|
||
median_rps: median(samples.map((sample) => sample.successful_rps)),
|
||
repeat_rps: samples.map((sample) => sample.successful_rps),
|
||
};
|
||
aggregates.push(aggregate);
|
||
lines.push(
|
||
`| ${label} | ${labels[index]} | ${aggregate.mean_rps.toFixed(3)} | ${aggregate.mean_latency_ms.toFixed(3)} | ${aggregate.mean_p95_ms.toFixed(3)} | ${aggregate.sql_per_request.toFixed(3)} | ${aggregate.median_rps.toFixed(3)} | ${errors} |`,
|
||
);
|
||
}
|
||
}
|
||
lines.push(
|
||
'',
|
||
`Учтено успешных HTTP-запросов: ${reports.map((report, index) => `${labels[index]} — ${report.samples.reduce((sum, sample) => sum + sample.successes, 0)}`).join('; ')}.`,
|
||
'',
|
||
...['warm-history', 'writes-single-chat'].map((workload) => {
|
||
const pair = aggregates.filter(
|
||
(aggregate) => aggregate.workload === workload,
|
||
);
|
||
return `${workload}: отношение среднего RPS полной стратегии к варианту без стратегии — ${(pair[0].mean_rps / pair[1].mean_rps).toFixed(3)}. RPS по повторам: ${pair.map((aggregate) => `${aggregate.variant}: ${aggregate.repeat_rps.join(' / ')}`).join('; ')}.`;
|
||
}),
|
||
'',
|
||
settings.history_control === false
|
||
? 'Дополнительный контроль с частично отключённым кэшем в этом прогоне пропущен. Сравниваются только полная стратегия и отсутствие Redis/поддержания эпох.'
|
||
: 'В контрольном сценарии у первого API отключён только кэш истории; кэш профиля продолжает работать. У второго API отключены все кэши. Поэтому этот контроль не измеряет отдельно чистую стоимость эпох.',
|
||
'',
|
||
`Проверки полной стратегии: чтение после записи при отказе Redis, чтение другой репликой после восстановления со старыми ключами, восстановление с пустым кэшем, задержанная загрузка старой истории. Проверки варианта без стратегии: приложение не создало Redis-клиент, эпохи синтетических пользователей/чатов остались равны 0 после всех записей, ${settings.writes_per_repeat} сообщений записаны в каждом новом чате, история читается после записи без повторяющихся ID.`,
|
||
'',
|
||
`Оба прогона используют один базовый образ; изменённые модули временной версии скомпилированы TypeScript без полной пересборки контейнера и подключены отдельными bind mounts. Хеши исходников и JS сохранены в [метаданных эксперимента](${resultPrefix}-experiment.json). Колонки эпох остаются в схеме; это исключает миграцию и позволяет сохранить рабочую БД. SQL-проверки профиля и членства во втором варианте не используют эпохи. Временные файлы удалены, хеши рабочих исходников проверены.`,
|
||
'',
|
||
'Ограничения: прогоны последовательные, Docker-host разделяется с другими сервисами; большой разброс ограничивает выводы о скорости. CPU/RSS процесса включают API, HTTP-генератор и инструментацию; CPU PostgreSQL отдельно не измерен. Синтетические сессии обходят KDF. Холодная волна означает пустой кэш приложения, а не холодный PostgreSQL. Отдельные цены Redis и эпох этим сравнением не разделяются: меняется вся стратегия. Данные рабочей БД и volumes сохранены, удалены только фикстуры эксперимента.',
|
||
'',
|
||
'Повторение:',
|
||
'',
|
||
'```powershell',
|
||
`docker compose -f compose.yaml -f test/compose.benchmark.yaml run --rm --no-deps --pull never benchmark node test/cache-benchmark.mjs after /results/${resultPrefix}-full.json --concurrency ${settings.concurrency} --duration-seconds ${settings.duration_seconds} --warmup-seconds ${settings.warmup_seconds} --repetitions ${settings.repetitions} --seed-messages ${settings.seed_messages} --cold-burst ${settings.cold_burst_requests} --writes-per-repeat ${settings.writes_per_repeat}${settings.history_control === false ? ' --skip-history-control' : ''}`,
|
||
`$env:EXPERIMENT_PREFIX='${resultPrefix}'`,
|
||
`node test/no-epochs-experiment.cjs --concurrency ${settings.concurrency} --duration-seconds ${settings.duration_seconds} --warmup-seconds ${settings.warmup_seconds} --repetitions ${settings.repetitions} --seed-messages ${settings.seed_messages} --cold-burst ${settings.cold_burst_requests} --writes-per-repeat ${settings.writes_per_repeat}${settings.history_control === false ? ' --skip-history-control' : ''}`,
|
||
`node test/cache-strategy-summary.mjs ${resultPrefix}`,
|
||
'```',
|
||
'',
|
||
`Сырые результаты: [полная стратегия](${resultPrefix}-full.json), [без Redis и эпох](${resultPrefix}-no-redis-no-epochs.json).`,
|
||
);
|
||
await writeFile(`evidence/${resultPrefix}-summary.md`, lines.join('\n') + '\n');
|
||
await writeFile(
|
||
`evidence/${resultPrefix}-averages.json`,
|
||
JSON.stringify(aggregates, null, 2) + '\n',
|
||
);
|
||
console.log(lines.slice(0, 18).join('\n'));
|