Files
mtusi2026lab3/test/cache-strategy-summary.mjs
T
qrtx 5c8bcf0f80 test: cover persistence failover and graceful draining
Add API integration checks, migration compatibility, rolling restart scenarios and a report verification collector.
2026-10-29 11:47:46 +03:00

118 lines
10 KiB
JavaScript
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
import assert from 'node:assert/strict';
import { readFile, writeFile } from 'node:fs/promises';
const resultPrefix = process.argv[2] ?? 'cache-strategy';
assert.match(resultPrefix, /^[a-z0-9-]+$/);
const reports = await Promise.all(
['full', 'no-redis-no-epochs'].map(async (name) =>
JSON.parse(await readFile(`evidence/${resultPrefix}-${name}.json`, 'utf8')),
),
);
const provenance = JSON.parse(
await readFile(`evidence/${resultPrefix}-experiment.json`, 'utf8'),
);
assert.ok(reports.every((report) => report.completed));
assert.deepEqual(reports[0].methodology, reports[1].methodology);
assert.equal(provenance.exit_code, 0);
assert.ok(provenance.sources_unchanged);
assert.ok(reports[1].correctness.epochs_unchanged);
assert.ok(reports[1].correctness.no_redis_client);
const median = (values) =>
[...values].sort((a, b) => a - b)[Math.floor(values.length / 2)];
const labels = ['Redis и эпохи', 'Без Redis и эпох'];
const aggregates = [];
const settings = reports[0].methodology;
const lines = [
'# Полная стратегия кэша и вариант без Redis и эпох',
'',
`Запуски UTC: ${reports.map((report) => report.recorded_at).join(' → ')}.`,
'',
'Сначала выполнен свежий прогон текущего образа с Redis, PostgreSQL-эпохами и записью сообщения через CTE. Затем шесть модулей приложения заменены временными версиями без поддержания эпох: убраны изменения счётчиков и чтения эпох в проверках сессии/членства. Объединённые проверки сессии, публичного профиля и доступа к истории сохранены. Сообщение вставляется одним INSERT ... SELECT с проверкой членства, без обновления счётчиков. Второй API запущен без CACHE_URL: все кэши приложения отключены. Исходники рабочего проекта и запущенный backend не изменены.',
'',
`Параметры обоих прогонов совпадают: ${settings.repetitions} повтора, конкурентность ${settings.concurrency}, ${settings.seed_messages} сообщений, limit=50, прогрев ${settings.warmup_seconds} с и чтение ${settings.duration_seconds} с, ${settings.writes_per_repeat} записей в новый чат. RPS = общее число успешных запросов / общее время повторов. Средняя задержка взвешена по числу успешных запросов. p95 — среднее отдельных p95, не перцентиль объединённой выборки. SQL/HTTP исключает команды транзакций.`,
'',
'| Сценарий | Вариант | Средний RPS | Средняя задержка, мс | Среднее p95, мс | SQL/HTTP | Медиана RPS | Ошибки |',
'| --- | --- | ---: | ---: | ---: | ---: | ---: | ---: |',
];
for (const [workload, label] of [
['cold-history-burst', 'Холодная волна истории'],
['warm-history', 'Прогретая история'],
['history-cache-bypassed', 'Контроль без кэша истории'],
['writes-single-chat', 'Запись в один чат'],
]) {
if (
reports.every(
(report) =>
!report.samples.some((sample) => sample.workload === workload),
)
)
continue;
for (const [index, report] of reports.entries()) {
const samples = report.samples.filter(
(sample) => sample.workload === workload,
);
assert.equal(samples.length, settings.repetitions);
const sum = (select) =>
samples.reduce((total, sample) => total + select(sample), 0);
const successes = sum((sample) => sample.successes);
const errors = sum((sample) => sample.errors);
const aggregate = {
workload,
variant: labels[index],
successes,
errors,
mean_rps: successes / sum((sample) => sample.elapsed_seconds),
mean_latency_ms:
sum((sample) => sample.latency_ms.mean * sample.successes) / successes,
mean_p95_ms: sum((sample) => sample.latency_ms.p95) / samples.length,
sql_per_request:
sum((sample) => sample.sql_queries) / (successes + errors),
median_rps: median(samples.map((sample) => sample.successful_rps)),
repeat_rps: samples.map((sample) => sample.successful_rps),
};
aggregates.push(aggregate);
lines.push(
`| ${label} | ${labels[index]} | ${aggregate.mean_rps.toFixed(3)} | ${aggregate.mean_latency_ms.toFixed(3)} | ${aggregate.mean_p95_ms.toFixed(3)} | ${aggregate.sql_per_request.toFixed(3)} | ${aggregate.median_rps.toFixed(3)} | ${errors} |`,
);
}
}
lines.push(
'',
`Учтено успешных HTTP-запросов: ${reports.map((report, index) => `${labels[index]} — ${report.samples.reduce((sum, sample) => sum + sample.successes, 0)}`).join('; ')}.`,
'',
...['warm-history', 'writes-single-chat'].map((workload) => {
const pair = aggregates.filter(
(aggregate) => aggregate.workload === workload,
);
return `${workload}: отношение среднего RPS полной стратегии к варианту без стратегии — ${(pair[0].mean_rps / pair[1].mean_rps).toFixed(3)}. RPS по повторам: ${pair.map((aggregate) => `${aggregate.variant}: ${aggregate.repeat_rps.join(' / ')}`).join('; ')}.`;
}),
'',
settings.history_control === false
? 'Дополнительный контроль с частично отключённым кэшем в этом прогоне пропущен. Сравниваются только полная стратегия и отсутствие Redis/поддержания эпох.'
: 'В контрольном сценарии у первого API отключён только кэш истории; кэш профиля продолжает работать. У второго API отключены все кэши. Поэтому этот контроль не измеряет отдельно чистую стоимость эпох.',
'',
`Проверки полной стратегии: чтение после записи при отказе Redis, чтение другой репликой после восстановления со старыми ключами, восстановление с пустым кэшем, задержанная загрузка старой истории. Проверки варианта без стратегии: приложение не создало Redis-клиент, эпохи синтетических пользователей/чатов остались равны 0 после всех записей, ${settings.writes_per_repeat} сообщений записаны в каждом новом чате, история читается после записи без повторяющихся ID.`,
'',
`Оба прогона используют один базовый образ; изменённые модули временной версии скомпилированы TypeScript без полной пересборки контейнера и подключены отдельными bind mounts. Хеши исходников и JS сохранены в [метаданных эксперимента](${resultPrefix}-experiment.json). Колонки эпох остаются в схеме; это исключает миграцию и позволяет сохранить рабочую БД. SQL-проверки профиля и членства во втором варианте не используют эпохи. Временные файлы удалены, хеши рабочих исходников проверены.`,
'',
'Ограничения: прогоны последовательные, Docker-host разделяется с другими сервисами; большой разброс ограничивает выводы о скорости. CPU/RSS процесса включают API, HTTP-генератор и инструментацию; CPU PostgreSQL отдельно не измерен. Синтетические сессии обходят KDF. Холодная волна означает пустой кэш приложения, а не холодный PostgreSQL. Отдельные цены Redis и эпох этим сравнением не разделяются: меняется вся стратегия. Данные рабочей БД и volumes сохранены, удалены только фикстуры эксперимента.',
'',
'Повторение:',
'',
'```powershell',
`docker compose -f compose.yaml -f test/compose.benchmark.yaml run --rm --no-deps --pull never benchmark node test/cache-benchmark.mjs after /results/${resultPrefix}-full.json --concurrency ${settings.concurrency} --duration-seconds ${settings.duration_seconds} --warmup-seconds ${settings.warmup_seconds} --repetitions ${settings.repetitions} --seed-messages ${settings.seed_messages} --cold-burst ${settings.cold_burst_requests} --writes-per-repeat ${settings.writes_per_repeat}${settings.history_control === false ? ' --skip-history-control' : ''}`,
`$env:EXPERIMENT_PREFIX='${resultPrefix}'`,
`node test/no-epochs-experiment.cjs --concurrency ${settings.concurrency} --duration-seconds ${settings.duration_seconds} --warmup-seconds ${settings.warmup_seconds} --repetitions ${settings.repetitions} --seed-messages ${settings.seed_messages} --cold-burst ${settings.cold_burst_requests} --writes-per-repeat ${settings.writes_per_repeat}${settings.history_control === false ? ' --skip-history-control' : ''}`,
`node test/cache-strategy-summary.mjs ${resultPrefix}`,
'```',
'',
`Сырые результаты: [полная стратегия](${resultPrefix}-full.json), [без Redis и эпох](${resultPrefix}-no-redis-no-epochs.json).`,
);
await writeFile(`evidence/${resultPrefix}-summary.md`, lines.join('\n') + '\n');
await writeFile(
`evidence/${resultPrefix}-averages.json`,
JSON.stringify(aggregates, null, 2) + '\n',
);
console.log(lines.slice(0, 18).join('\n'));