Files
mtusi2026lab3-fork/test/redis-comparison-summary.mjs
qrtx 5c8bcf0f80 test: cover persistence failover and graceful draining
Add API integration checks, migration compatibility, rolling restart scenarios and a report verification collector.
2026-10-29 11:47:46 +03:00

86 lines
6.2 KiB
JavaScript

import assert from 'node:assert/strict';
import { readFile, writeFile } from 'node:fs/promises';
const report = JSON.parse(
await readFile('evidence/redis-comparison.json', 'utf8'),
);
assert.ok(report.completed);
assert.ok(Object.values(report.correctness.read_after_write).every(Boolean));
const lines = [
'# Redis и работа без кэша приложения',
'',
`Дата UTC: ${report.recorded_at}. Node.js ${report.node}.`,
'',
'Один прогон на одном образе: три повтора каждого режима с чередованием порядка. Второй экземпляр API запущен без CACHE_URL: отключены все кэши приложения, включая профиль пользователя. PostgreSQL-эпохи и запись одним CTE сохранены в обоих режимах. Контейнер Redis не останавливался; экземпляр без кэша не создаёт Redis-клиент.',
'',
'RPS = суммарное число успешных запросов / суммарное время трёх повторов. Средняя задержка взвешена по числу успешных запросов. p95 — среднее трёх отдельных p95, не перцентиль объединённой выборки. SQL/HTTP = суммарные SQL-вызовы / все HTTP-запросы; команды транзакций исключены.',
'',
'| Сценарий | Режим | Средний RPS | Средняя задержка, мс | Среднее p95, мс | SQL/HTTP | CPU, % ядра | Ошибки |',
'| --- | --- | ---: | ---: | ---: | ---: | ---: | ---: |',
];
const aggregates = [];
for (const [workload, label] of [
['cold-history-burst', 'Холодная волна истории'],
['warm-history', 'Прогретая история'],
['writes-single-chat', 'Запись в один чат'],
]) {
for (const mode of ['redis', 'no-redis']) {
const samples = report.samples.filter(
(sample) => sample.workload === `${workload}:${mode}`,
);
assert.equal(samples.length, 3);
const sum = (select) =>
samples.reduce((total, sample) => total + select(sample), 0);
const successes = sum((sample) => sample.successes);
const errors = sum((sample) => sample.errors);
const seconds = sum((sample) => sample.elapsed_seconds);
const aggregate = {
workload,
mode,
successes,
errors,
rps: successes / seconds,
mean_latency_ms:
sum((sample) => sample.latency_ms.mean * sample.successes) / successes,
mean_p95_ms: sum((sample) => sample.latency_ms.p95) / samples.length,
sql_per_request:
sum((sample) => sample.sql_queries) / (successes + errors),
cpu_percent_one_core:
sum(
(sample) =>
sample.process_cpu_percent_one_core * sample.elapsed_seconds,
) / seconds,
};
aggregates.push(aggregate);
lines.push(
`| ${label} | ${mode === 'redis' ? 'Redis' : 'Без Redis'} | ${aggregate.rps.toFixed(3)} | ${aggregate.mean_latency_ms.toFixed(3)} | ${aggregate.mean_p95_ms.toFixed(3)} | ${aggregate.sql_per_request.toFixed(3)} | ${aggregate.cpu_percent_one_core.toFixed(2)} | ${errors} |`,
);
}
}
lines.push(
'',
'В этом прогоне кэш полезен для прогретого чтения истории: выше пропускная способность, ниже средняя задержка и меньше SQL-вызовов. Для холодной волны и записи преимущество по времени не показано. Первый повтор с Redis значительно медленнее остальных; средние включают его, поэтому вывод о стабильной скорости записи ограничен. Это сравнение режимов кэша на текущей реализации, а не отдельное измерение цены PostgreSQL-эпох.',
'',
'Нагрузка: 10 000 сообщений, первая страница limit=50, конкурентность 16, 3 с прогрева и 10 с чтения на режим/повтор, холодная волна 32 запроса, 512 записей в новый чат на режим/повтор. Реальный HTTP по loopback; синтетические пользователи и сессии обходят хеширование паролей. Проверены 512 сообщений и эпоха 512 после каждого сценария записи, а также чтение истории после записи.',
'',
'Оба API и генератор HTTP работают в одном Node-процессе. CPU включает генератор, API и инструментацию; RSS общий и не показывает разницу памяти между режимами. PostgreSQL и Redis разделяют Docker-host с другими сервисами. Это короткая нагрузка, не предел производительности; холодные SQL-данные не имитируются. Уменьшение SQL/HTTP показывает снижение числа запросов, но не доказывает пропорциональное снижение CPU PostgreSQL. Цена самих эпох отдельно не измеряется.',
'',
'Команда повторения:',
'',
'```powershell',
'docker compose -f compose.yaml -f test/compose.benchmark.yaml run --rm --no-deps --pull never benchmark node test/cache-benchmark.mjs after /results/redis-comparison.json --compare-redis',
'node test/redis-comparison-summary.mjs',
'```',
'',
'Сырые результаты и хеши измеренных модулей: [redis-comparison.json](redis-comparison.json).',
);
await writeFile(
'evidence/redis-comparison-summary.md',
lines.join('\n') + '\n',
);
await writeFile(
'evidence/redis-comparison-averages.json',
JSON.stringify(aggregates, null, 2) + '\n',
);
console.log(lines.slice(0, 16).join('\n'));