forked from mtusi2026/mtusi2026lab3
test: cover persistence failover and graceful draining
Add API integration checks, migration compatibility, rolling restart scenarios and a report verification collector.
This commit is contained in:
@@ -0,0 +1,85 @@
|
||||
import assert from 'node:assert/strict';
|
||||
import { readFile, writeFile } from 'node:fs/promises';
|
||||
|
||||
const report = JSON.parse(
|
||||
await readFile('evidence/redis-comparison.json', 'utf8'),
|
||||
);
|
||||
assert.ok(report.completed);
|
||||
assert.ok(Object.values(report.correctness.read_after_write).every(Boolean));
|
||||
const lines = [
|
||||
'# Redis и работа без кэша приложения',
|
||||
'',
|
||||
`Дата UTC: ${report.recorded_at}. Node.js ${report.node}.`,
|
||||
'',
|
||||
'Один прогон на одном образе: три повтора каждого режима с чередованием порядка. Второй экземпляр API запущен без CACHE_URL: отключены все кэши приложения, включая профиль пользователя. PostgreSQL-эпохи и запись одним CTE сохранены в обоих режимах. Контейнер Redis не останавливался; экземпляр без кэша не создаёт Redis-клиент.',
|
||||
'',
|
||||
'RPS = суммарное число успешных запросов / суммарное время трёх повторов. Средняя задержка взвешена по числу успешных запросов. p95 — среднее трёх отдельных p95, не перцентиль объединённой выборки. SQL/HTTP = суммарные SQL-вызовы / все HTTP-запросы; команды транзакций исключены.',
|
||||
'',
|
||||
'| Сценарий | Режим | Средний RPS | Средняя задержка, мс | Среднее p95, мс | SQL/HTTP | CPU, % ядра | Ошибки |',
|
||||
'| --- | --- | ---: | ---: | ---: | ---: | ---: | ---: |',
|
||||
];
|
||||
const aggregates = [];
|
||||
for (const [workload, label] of [
|
||||
['cold-history-burst', 'Холодная волна истории'],
|
||||
['warm-history', 'Прогретая история'],
|
||||
['writes-single-chat', 'Запись в один чат'],
|
||||
]) {
|
||||
for (const mode of ['redis', 'no-redis']) {
|
||||
const samples = report.samples.filter(
|
||||
(sample) => sample.workload === `${workload}:${mode}`,
|
||||
);
|
||||
assert.equal(samples.length, 3);
|
||||
const sum = (select) =>
|
||||
samples.reduce((total, sample) => total + select(sample), 0);
|
||||
const successes = sum((sample) => sample.successes);
|
||||
const errors = sum((sample) => sample.errors);
|
||||
const seconds = sum((sample) => sample.elapsed_seconds);
|
||||
const aggregate = {
|
||||
workload,
|
||||
mode,
|
||||
successes,
|
||||
errors,
|
||||
rps: successes / seconds,
|
||||
mean_latency_ms:
|
||||
sum((sample) => sample.latency_ms.mean * sample.successes) / successes,
|
||||
mean_p95_ms: sum((sample) => sample.latency_ms.p95) / samples.length,
|
||||
sql_per_request:
|
||||
sum((sample) => sample.sql_queries) / (successes + errors),
|
||||
cpu_percent_one_core:
|
||||
sum(
|
||||
(sample) =>
|
||||
sample.process_cpu_percent_one_core * sample.elapsed_seconds,
|
||||
) / seconds,
|
||||
};
|
||||
aggregates.push(aggregate);
|
||||
lines.push(
|
||||
`| ${label} | ${mode === 'redis' ? 'Redis' : 'Без Redis'} | ${aggregate.rps.toFixed(3)} | ${aggregate.mean_latency_ms.toFixed(3)} | ${aggregate.mean_p95_ms.toFixed(3)} | ${aggregate.sql_per_request.toFixed(3)} | ${aggregate.cpu_percent_one_core.toFixed(2)} | ${errors} |`,
|
||||
);
|
||||
}
|
||||
}
|
||||
lines.push(
|
||||
'',
|
||||
'В этом прогоне кэш полезен для прогретого чтения истории: выше пропускная способность, ниже средняя задержка и меньше SQL-вызовов. Для холодной волны и записи преимущество по времени не показано. Первый повтор с Redis значительно медленнее остальных; средние включают его, поэтому вывод о стабильной скорости записи ограничен. Это сравнение режимов кэша на текущей реализации, а не отдельное измерение цены PostgreSQL-эпох.',
|
||||
'',
|
||||
'Нагрузка: 10 000 сообщений, первая страница limit=50, конкурентность 16, 3 с прогрева и 10 с чтения на режим/повтор, холодная волна 32 запроса, 512 записей в новый чат на режим/повтор. Реальный HTTP по loopback; синтетические пользователи и сессии обходят хеширование паролей. Проверены 512 сообщений и эпоха 512 после каждого сценария записи, а также чтение истории после записи.',
|
||||
'',
|
||||
'Оба API и генератор HTTP работают в одном Node-процессе. CPU включает генератор, API и инструментацию; RSS общий и не показывает разницу памяти между режимами. PostgreSQL и Redis разделяют Docker-host с другими сервисами. Это короткая нагрузка, не предел производительности; холодные SQL-данные не имитируются. Уменьшение SQL/HTTP показывает снижение числа запросов, но не доказывает пропорциональное снижение CPU PostgreSQL. Цена самих эпох отдельно не измеряется.',
|
||||
'',
|
||||
'Команда повторения:',
|
||||
'',
|
||||
'```powershell',
|
||||
'docker compose -f compose.yaml -f test/compose.benchmark.yaml run --rm --no-deps --pull never benchmark node test/cache-benchmark.mjs after /results/redis-comparison.json --compare-redis',
|
||||
'node test/redis-comparison-summary.mjs',
|
||||
'```',
|
||||
'',
|
||||
'Сырые результаты и хеши измеренных модулей: [redis-comparison.json](redis-comparison.json).',
|
||||
);
|
||||
await writeFile(
|
||||
'evidence/redis-comparison-summary.md',
|
||||
lines.join('\n') + '\n',
|
||||
);
|
||||
await writeFile(
|
||||
'evidence/redis-comparison-averages.json',
|
||||
JSON.stringify(aggregates, null, 2) + '\n',
|
||||
);
|
||||
console.log(lines.slice(0, 16).join('\n'));
|
||||
Reference in New Issue
Block a user