Add API integration checks, migration compatibility, rolling restart scenarios and a report verification collector.
92 lines
5.5 KiB
JavaScript
92 lines
5.5 KiB
JavaScript
import assert from 'node:assert/strict';
|
|
import { readFile, writeFile } from 'node:fs/promises';
|
|
|
|
const reports = await Promise.all(
|
|
['after', 'optimized'].map(async (name) =>
|
|
JSON.parse(await readFile(`evidence/cache-epochs-${name}.json`, 'utf8')),
|
|
),
|
|
);
|
|
assert.ok(reports.every((report) => report.completed));
|
|
assert.deepEqual(reports[0].methodology, reports[1].methodology);
|
|
const median = (values) =>
|
|
[...values].sort((a, b) => a - b)[Math.floor(values.length / 2)];
|
|
const labels = ['Отдельная транзакция', 'Один CTE'];
|
|
const lines = [
|
|
'# Оптимизация эпохи кэша в PostgreSQL',
|
|
'',
|
|
`Запуски UTC: ${reports.map((report) => report.recorded_at).join(' → ')}.`,
|
|
'',
|
|
'Сравнение сохранённого замера прежней реализации и нового замера после оптимизации. В обоих вариантах эпоха хранится в PostgreSQL; новый вариант объединяет проверку членства, UPDATE эпохи и INSERT сообщения одним запросом. При чтении истории убрано получение неиспользуемых метаданных чата.',
|
|
'',
|
|
'Медианы трёх повторов. Перцентили — медианы перцентилей повторов, без объединения выборок.',
|
|
'',
|
|
'| Сценарий | Вариант | RPS | p50, мс | p95, мс | p99, мс | SQL/HTTP | BEGIN/COMMIT на HTTP | CPU, % ядра | RSS, MiB | Ошибки |',
|
|
'| --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: |',
|
|
];
|
|
for (const workload of new Set(
|
|
reports[0].samples.map((sample) => sample.workload),
|
|
)) {
|
|
for (const [index, report] of reports.entries()) {
|
|
const samples = report.samples.filter(
|
|
(sample) => sample.workload === workload,
|
|
);
|
|
assert.equal(samples.length, 3);
|
|
const get = (select) => median(samples.map(select)).toFixed(3);
|
|
const controls = (sample) =>
|
|
Object.entries(sample.sql_calls)
|
|
.filter(([key]) => /^(BEGIN|COMMIT):/.test(key))
|
|
.reduce((total, [, count]) => total + count, 0) /
|
|
(sample.successes + sample.errors);
|
|
lines.push(
|
|
`| ${workload} | ${labels[index]} | ${get((sample) => sample.successful_rps)} | ${get((sample) => sample.latency_ms.p50)} | ${get((sample) => sample.latency_ms.p95)} | ${get((sample) => sample.latency_ms.p99)} | ${get((sample) => sample.sql_per_request)} | ${get(controls)} | ${get((sample) => sample.process_cpu_percent_one_core)} | ${get((sample) => sample.peak_process_rss_mib)} | ${samples.reduce((total, sample) => total + sample.errors, 0)} |`,
|
|
);
|
|
}
|
|
}
|
|
lines.push(
|
|
'',
|
|
'| Проверка | Отдельная транзакция | Один CTE |',
|
|
'| --- | --- | --- |',
|
|
);
|
|
for (const [label, select] of [
|
|
[
|
|
'Чтение после записи при отказе Redis',
|
|
(report) =>
|
|
report.correctness.redis_reconnect.read_after_write_during_outage,
|
|
],
|
|
[
|
|
'Чтение другой репликой после восстановления Redis',
|
|
(report) =>
|
|
report.correctness.redis_reconnect
|
|
.read_after_write_after_reconnect_other_replica,
|
|
],
|
|
[
|
|
'Старые ключи сохранились в Redis',
|
|
(report) => report.correctness.redis_reconnect.old_keys_retained,
|
|
],
|
|
[
|
|
'Восстановление с пустым кэшем',
|
|
(report) => report.correctness.empty_cache_recovery,
|
|
],
|
|
[
|
|
'Задержанная загрузка старой истории',
|
|
(report) => report.correctness.delayed_old_fill,
|
|
],
|
|
]) {
|
|
lines.push(
|
|
`| ${label} | ${reports.map((report) => (select(report) ? 'PASS' : 'FAIL')).join(' | ')} |`,
|
|
);
|
|
}
|
|
lines.push(
|
|
'',
|
|
'Методика: тот же `test/cache-benchmark.mjs`, 10 000 сообщений, limit=50, конкурентность 16, 3 с прогрева и 10 с чтения, 512 записей в новый чат, три повтора. Реальный HTTP по loopback в отдельных benchmark-контейнерах; общий PostgreSQL/Redis. Токены и пользователи создаются напрямую, хеширование паролей не измеряется. BEGIN/COMMIT исключены из SQL/HTTP; запрос WITH учитывается как один вызов pg.Client.query.',
|
|
'',
|
|
'CPU/RSS включают API, генератор HTTP и инструментацию. Docker-host разделяется с другими работающими сервисами. Старый и новый замеры сделаны в разное время; изменение фоновой нагрузки и состояния host ограничивает сравнение RPS/latency. Замеры не доказывают максимальную ёмкость или SLA. UPDATE общей строки эпохи по-прежнему сериализует записи одного чата.',
|
|
'',
|
|
'Сырые результаты: [до оптимизации](cache-epochs-after.json), [после оптимизации](cache-epochs-optimized.json). Хеши измеренных модулей сохранены в JSON. Исторические замеры до введения эпох остаются в `cache-epochs-summary.md`.',
|
|
);
|
|
await writeFile(
|
|
'evidence/cache-epochs-optimization-summary.md',
|
|
lines.join('\n') + '\n',
|
|
);
|
|
console.log(lines.join('\n'));
|