forked from mtusi2026/mtusi2026lab3
test: cover persistence failover and graceful draining
Add API integration checks, migration compatibility, rolling restart scenarios and a report verification collector.
This commit is contained in:
@@ -0,0 +1,117 @@
|
||||
import assert from 'node:assert/strict';
|
||||
import { readFile, writeFile } from 'node:fs/promises';
|
||||
|
||||
const resultPrefix = process.argv[2] ?? 'cache-strategy';
|
||||
assert.match(resultPrefix, /^[a-z0-9-]+$/);
|
||||
|
||||
const reports = await Promise.all(
|
||||
['full', 'no-redis-no-epochs'].map(async (name) =>
|
||||
JSON.parse(await readFile(`evidence/${resultPrefix}-${name}.json`, 'utf8')),
|
||||
),
|
||||
);
|
||||
const provenance = JSON.parse(
|
||||
await readFile(`evidence/${resultPrefix}-experiment.json`, 'utf8'),
|
||||
);
|
||||
assert.ok(reports.every((report) => report.completed));
|
||||
assert.deepEqual(reports[0].methodology, reports[1].methodology);
|
||||
assert.equal(provenance.exit_code, 0);
|
||||
assert.ok(provenance.sources_unchanged);
|
||||
assert.ok(reports[1].correctness.epochs_unchanged);
|
||||
assert.ok(reports[1].correctness.no_redis_client);
|
||||
const median = (values) =>
|
||||
[...values].sort((a, b) => a - b)[Math.floor(values.length / 2)];
|
||||
const labels = ['Redis и эпохи', 'Без Redis и эпох'];
|
||||
const aggregates = [];
|
||||
const settings = reports[0].methodology;
|
||||
const lines = [
|
||||
'# Полная стратегия кэша и вариант без Redis и эпох',
|
||||
'',
|
||||
`Запуски UTC: ${reports.map((report) => report.recorded_at).join(' → ')}.`,
|
||||
'',
|
||||
'Сначала выполнен свежий прогон текущего образа с Redis, PostgreSQL-эпохами и записью сообщения через CTE. Затем шесть модулей приложения заменены временными версиями без поддержания эпох: убраны изменения счётчиков и чтения эпох в проверках сессии/членства. Объединённые проверки сессии, публичного профиля и доступа к истории сохранены. Сообщение вставляется одним INSERT ... SELECT с проверкой членства, без обновления счётчиков. Второй API запущен без CACHE_URL: все кэши приложения отключены. Исходники рабочего проекта и запущенный backend не изменены.',
|
||||
'',
|
||||
`Параметры обоих прогонов совпадают: ${settings.repetitions} повтора, конкурентность ${settings.concurrency}, ${settings.seed_messages} сообщений, limit=50, прогрев ${settings.warmup_seconds} с и чтение ${settings.duration_seconds} с, ${settings.writes_per_repeat} записей в новый чат. RPS = общее число успешных запросов / общее время повторов. Средняя задержка взвешена по числу успешных запросов. p95 — среднее отдельных p95, не перцентиль объединённой выборки. SQL/HTTP исключает команды транзакций.`,
|
||||
'',
|
||||
'| Сценарий | Вариант | Средний RPS | Средняя задержка, мс | Среднее p95, мс | SQL/HTTP | Медиана RPS | Ошибки |',
|
||||
'| --- | --- | ---: | ---: | ---: | ---: | ---: | ---: |',
|
||||
];
|
||||
for (const [workload, label] of [
|
||||
['cold-history-burst', 'Холодная волна истории'],
|
||||
['warm-history', 'Прогретая история'],
|
||||
['history-cache-bypassed', 'Контроль без кэша истории'],
|
||||
['writes-single-chat', 'Запись в один чат'],
|
||||
]) {
|
||||
if (
|
||||
reports.every(
|
||||
(report) =>
|
||||
!report.samples.some((sample) => sample.workload === workload),
|
||||
)
|
||||
)
|
||||
continue;
|
||||
for (const [index, report] of reports.entries()) {
|
||||
const samples = report.samples.filter(
|
||||
(sample) => sample.workload === workload,
|
||||
);
|
||||
assert.equal(samples.length, settings.repetitions);
|
||||
const sum = (select) =>
|
||||
samples.reduce((total, sample) => total + select(sample), 0);
|
||||
const successes = sum((sample) => sample.successes);
|
||||
const errors = sum((sample) => sample.errors);
|
||||
const aggregate = {
|
||||
workload,
|
||||
variant: labels[index],
|
||||
successes,
|
||||
errors,
|
||||
mean_rps: successes / sum((sample) => sample.elapsed_seconds),
|
||||
mean_latency_ms:
|
||||
sum((sample) => sample.latency_ms.mean * sample.successes) / successes,
|
||||
mean_p95_ms: sum((sample) => sample.latency_ms.p95) / samples.length,
|
||||
sql_per_request:
|
||||
sum((sample) => sample.sql_queries) / (successes + errors),
|
||||
median_rps: median(samples.map((sample) => sample.successful_rps)),
|
||||
repeat_rps: samples.map((sample) => sample.successful_rps),
|
||||
};
|
||||
aggregates.push(aggregate);
|
||||
lines.push(
|
||||
`| ${label} | ${labels[index]} | ${aggregate.mean_rps.toFixed(3)} | ${aggregate.mean_latency_ms.toFixed(3)} | ${aggregate.mean_p95_ms.toFixed(3)} | ${aggregate.sql_per_request.toFixed(3)} | ${aggregate.median_rps.toFixed(3)} | ${errors} |`,
|
||||
);
|
||||
}
|
||||
}
|
||||
lines.push(
|
||||
'',
|
||||
`Учтено успешных HTTP-запросов: ${reports.map((report, index) => `${labels[index]} — ${report.samples.reduce((sum, sample) => sum + sample.successes, 0)}`).join('; ')}.`,
|
||||
'',
|
||||
...['warm-history', 'writes-single-chat'].map((workload) => {
|
||||
const pair = aggregates.filter(
|
||||
(aggregate) => aggregate.workload === workload,
|
||||
);
|
||||
return `${workload}: отношение среднего RPS полной стратегии к варианту без стратегии — ${(pair[0].mean_rps / pair[1].mean_rps).toFixed(3)}. RPS по повторам: ${pair.map((aggregate) => `${aggregate.variant}: ${aggregate.repeat_rps.join(' / ')}`).join('; ')}.`;
|
||||
}),
|
||||
'',
|
||||
settings.history_control === false
|
||||
? 'Дополнительный контроль с частично отключённым кэшем в этом прогоне пропущен. Сравниваются только полная стратегия и отсутствие Redis/поддержания эпох.'
|
||||
: 'В контрольном сценарии у первого API отключён только кэш истории; кэш профиля продолжает работать. У второго API отключены все кэши. Поэтому этот контроль не измеряет отдельно чистую стоимость эпох.',
|
||||
'',
|
||||
`Проверки полной стратегии: чтение после записи при отказе Redis, чтение другой репликой после восстановления со старыми ключами, восстановление с пустым кэшем, задержанная загрузка старой истории. Проверки варианта без стратегии: приложение не создало Redis-клиент, эпохи синтетических пользователей/чатов остались равны 0 после всех записей, ${settings.writes_per_repeat} сообщений записаны в каждом новом чате, история читается после записи без повторяющихся ID.`,
|
||||
'',
|
||||
`Оба прогона используют один базовый образ; изменённые модули временной версии скомпилированы TypeScript без полной пересборки контейнера и подключены отдельными bind mounts. Хеши исходников и JS сохранены в [метаданных эксперимента](${resultPrefix}-experiment.json). Колонки эпох остаются в схеме; это исключает миграцию и позволяет сохранить рабочую БД. SQL-проверки профиля и членства во втором варианте не используют эпохи. Временные файлы удалены, хеши рабочих исходников проверены.`,
|
||||
'',
|
||||
'Ограничения: прогоны последовательные, Docker-host разделяется с другими сервисами; большой разброс ограничивает выводы о скорости. CPU/RSS процесса включают API, HTTP-генератор и инструментацию; CPU PostgreSQL отдельно не измерен. Синтетические сессии обходят KDF. Холодная волна означает пустой кэш приложения, а не холодный PostgreSQL. Отдельные цены Redis и эпох этим сравнением не разделяются: меняется вся стратегия. Данные рабочей БД и volumes сохранены, удалены только фикстуры эксперимента.',
|
||||
'',
|
||||
'Повторение:',
|
||||
'',
|
||||
'```powershell',
|
||||
`docker compose -f compose.yaml -f test/compose.benchmark.yaml run --rm --no-deps --pull never benchmark node test/cache-benchmark.mjs after /results/${resultPrefix}-full.json --concurrency ${settings.concurrency} --duration-seconds ${settings.duration_seconds} --warmup-seconds ${settings.warmup_seconds} --repetitions ${settings.repetitions} --seed-messages ${settings.seed_messages} --cold-burst ${settings.cold_burst_requests} --writes-per-repeat ${settings.writes_per_repeat}${settings.history_control === false ? ' --skip-history-control' : ''}`,
|
||||
`$env:EXPERIMENT_PREFIX='${resultPrefix}'`,
|
||||
`node test/no-epochs-experiment.cjs --concurrency ${settings.concurrency} --duration-seconds ${settings.duration_seconds} --warmup-seconds ${settings.warmup_seconds} --repetitions ${settings.repetitions} --seed-messages ${settings.seed_messages} --cold-burst ${settings.cold_burst_requests} --writes-per-repeat ${settings.writes_per_repeat}${settings.history_control === false ? ' --skip-history-control' : ''}`,
|
||||
`node test/cache-strategy-summary.mjs ${resultPrefix}`,
|
||||
'```',
|
||||
'',
|
||||
`Сырые результаты: [полная стратегия](${resultPrefix}-full.json), [без Redis и эпох](${resultPrefix}-no-redis-no-epochs.json).`,
|
||||
);
|
||||
await writeFile(`evidence/${resultPrefix}-summary.md`, lines.join('\n') + '\n');
|
||||
await writeFile(
|
||||
`evidence/${resultPrefix}-averages.json`,
|
||||
JSON.stringify(aggregates, null, 2) + '\n',
|
||||
);
|
||||
console.log(lines.slice(0, 18).join('\n'));
|
||||
Reference in New Issue
Block a user