forked from mtusi2026/mtusi2026lab3
test: cover persistence failover and graceful draining
Add API integration checks, migration compatibility, rolling restart scenarios and a report verification collector.
This commit is contained in:
@@ -0,0 +1,91 @@
|
||||
import assert from 'node:assert/strict';
|
||||
import { readFile, writeFile } from 'node:fs/promises';
|
||||
|
||||
const reports = await Promise.all(
|
||||
['after', 'optimized'].map(async (name) =>
|
||||
JSON.parse(await readFile(`evidence/cache-epochs-${name}.json`, 'utf8')),
|
||||
),
|
||||
);
|
||||
assert.ok(reports.every((report) => report.completed));
|
||||
assert.deepEqual(reports[0].methodology, reports[1].methodology);
|
||||
const median = (values) =>
|
||||
[...values].sort((a, b) => a - b)[Math.floor(values.length / 2)];
|
||||
const labels = ['Отдельная транзакция', 'Один CTE'];
|
||||
const lines = [
|
||||
'# Оптимизация эпохи кэша в PostgreSQL',
|
||||
'',
|
||||
`Запуски UTC: ${reports.map((report) => report.recorded_at).join(' → ')}.`,
|
||||
'',
|
||||
'Сравнение сохранённого замера прежней реализации и нового замера после оптимизации. В обоих вариантах эпоха хранится в PostgreSQL; новый вариант объединяет проверку членства, UPDATE эпохи и INSERT сообщения одним запросом. При чтении истории убрано получение неиспользуемых метаданных чата.',
|
||||
'',
|
||||
'Медианы трёх повторов. Перцентили — медианы перцентилей повторов, без объединения выборок.',
|
||||
'',
|
||||
'| Сценарий | Вариант | RPS | p50, мс | p95, мс | p99, мс | SQL/HTTP | BEGIN/COMMIT на HTTP | CPU, % ядра | RSS, MiB | Ошибки |',
|
||||
'| --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: |',
|
||||
];
|
||||
for (const workload of new Set(
|
||||
reports[0].samples.map((sample) => sample.workload),
|
||||
)) {
|
||||
for (const [index, report] of reports.entries()) {
|
||||
const samples = report.samples.filter(
|
||||
(sample) => sample.workload === workload,
|
||||
);
|
||||
assert.equal(samples.length, 3);
|
||||
const get = (select) => median(samples.map(select)).toFixed(3);
|
||||
const controls = (sample) =>
|
||||
Object.entries(sample.sql_calls)
|
||||
.filter(([key]) => /^(BEGIN|COMMIT):/.test(key))
|
||||
.reduce((total, [, count]) => total + count, 0) /
|
||||
(sample.successes + sample.errors);
|
||||
lines.push(
|
||||
`| ${workload} | ${labels[index]} | ${get((sample) => sample.successful_rps)} | ${get((sample) => sample.latency_ms.p50)} | ${get((sample) => sample.latency_ms.p95)} | ${get((sample) => sample.latency_ms.p99)} | ${get((sample) => sample.sql_per_request)} | ${get(controls)} | ${get((sample) => sample.process_cpu_percent_one_core)} | ${get((sample) => sample.peak_process_rss_mib)} | ${samples.reduce((total, sample) => total + sample.errors, 0)} |`,
|
||||
);
|
||||
}
|
||||
}
|
||||
lines.push(
|
||||
'',
|
||||
'| Проверка | Отдельная транзакция | Один CTE |',
|
||||
'| --- | --- | --- |',
|
||||
);
|
||||
for (const [label, select] of [
|
||||
[
|
||||
'Чтение после записи при отказе Redis',
|
||||
(report) =>
|
||||
report.correctness.redis_reconnect.read_after_write_during_outage,
|
||||
],
|
||||
[
|
||||
'Чтение другой репликой после восстановления Redis',
|
||||
(report) =>
|
||||
report.correctness.redis_reconnect
|
||||
.read_after_write_after_reconnect_other_replica,
|
||||
],
|
||||
[
|
||||
'Старые ключи сохранились в Redis',
|
||||
(report) => report.correctness.redis_reconnect.old_keys_retained,
|
||||
],
|
||||
[
|
||||
'Восстановление с пустым кэшем',
|
||||
(report) => report.correctness.empty_cache_recovery,
|
||||
],
|
||||
[
|
||||
'Задержанная загрузка старой истории',
|
||||
(report) => report.correctness.delayed_old_fill,
|
||||
],
|
||||
]) {
|
||||
lines.push(
|
||||
`| ${label} | ${reports.map((report) => (select(report) ? 'PASS' : 'FAIL')).join(' | ')} |`,
|
||||
);
|
||||
}
|
||||
lines.push(
|
||||
'',
|
||||
'Методика: тот же `test/cache-benchmark.mjs`, 10 000 сообщений, limit=50, конкурентность 16, 3 с прогрева и 10 с чтения, 512 записей в новый чат, три повтора. Реальный HTTP по loopback в отдельных benchmark-контейнерах; общий PostgreSQL/Redis. Токены и пользователи создаются напрямую, хеширование паролей не измеряется. BEGIN/COMMIT исключены из SQL/HTTP; запрос WITH учитывается как один вызов pg.Client.query.',
|
||||
'',
|
||||
'CPU/RSS включают API, генератор HTTP и инструментацию. Docker-host разделяется с другими работающими сервисами. Старый и новый замеры сделаны в разное время; изменение фоновой нагрузки и состояния host ограничивает сравнение RPS/latency. Замеры не доказывают максимальную ёмкость или SLA. UPDATE общей строки эпохи по-прежнему сериализует записи одного чата.',
|
||||
'',
|
||||
'Сырые результаты: [до оптимизации](cache-epochs-after.json), [после оптимизации](cache-epochs-optimized.json). Хеши измеренных модулей сохранены в JSON. Исторические замеры до введения эпох остаются в `cache-epochs-summary.md`.',
|
||||
);
|
||||
await writeFile(
|
||||
'evidence/cache-epochs-optimization-summary.md',
|
||||
lines.join('\n') + '\n',
|
||||
);
|
||||
console.log(lines.join('\n'));
|
||||
Reference in New Issue
Block a user