Files
mtusi2026lab3/test/cache-metrics-summary.mjs
T
qrtx 5c8bcf0f80 test: cover persistence failover and graceful draining
Add API integration checks, migration compatibility, rolling restart scenarios and a report verification collector.
2026-10-29 11:47:46 +03:00

74 lines
7.5 KiB
JavaScript

import assert from 'node:assert/strict';
import { readFile, writeFile } from 'node:fs/promises';
const before = JSON.parse(
await readFile('evidence/cache-epochs-before.json', 'utf8'),
);
const after = JSON.parse(
await readFile('evidence/cache-epochs-after.json', 'utf8'),
);
assert.ok(before.completed && after.completed);
assert.deepEqual(before.methodology, after.methodology);
const median = (values) =>
values.sort((a, b) => a - b)[Math.floor(values.length / 2)];
const lines = [
'# Эпохи кэша — сравнение 2026-10-13',
'',
'Медианы трёх повторов. p50/p95/p99 — медианы перцентилей отдельных повторов, не перцентили объединённой выборки.',
'',
'| Сценарий | Вариант | RPS | p50, мс | p95, мс | p99, мс | SQL/HTTP | CPU процесса, % ядра | Пиковый RSS, MiB | Ошибки |',
'| --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: |',
];
for (const workload of [...new Set(before.samples.map((x) => x.workload))]) {
for (const report of [before, after]) {
const samples = report.samples.filter((x) => x.workload === workload);
assert.equal(samples.length, 3);
const get = (fn) => median(samples.map(fn)).toFixed(3);
lines.push(
`| ${workload} | ${report.stage} | ${get((x) => x.successful_rps)} | ${get((x) => x.latency_ms.p50)} | ${get((x) => x.latency_ms.p95)} | ${get((x) => x.latency_ms.p99)} | ${get((x) => x.sql_per_request)} | ${get((x) => x.process_cpu_percent_one_core)} | ${get((x) => x.peak_process_rss_mib)} | ${samples.reduce((sum, x) => sum + x.errors, 0)} |`,
);
}
}
lines.push('', '| Проверка | До | После |', '| --- | --- | --- |');
for (const [label, select] of [
[
'Чтение после успешной записи при недоступном Redis',
(x) => x.correctness.redis_reconnect.read_after_write_during_outage,
],
[
'Чтение другой репликой после восстановления Redis со старыми ключами',
(x) =>
x.correctness.redis_reconnect
.read_after_write_after_reconnect_other_replica,
],
[
'Старые ключи действительно сохранились',
(x) => x.correctness.redis_reconnect.old_keys_retained,
],
['Восстановление с пустым кэшем', (x) => x.correctness.empty_cache_recovery],
[
'Задержанная загрузка старой истории не отравляет следующий GET',
(x) => x.correctness.delayed_old_fill,
],
])
lines.push(
`| ${label} | ${select(before) ? 'PASS' : 'FAIL'} | ${select(after) ? 'PASS' : 'FAIL'} |`,
);
lines.push(
'',
'Методика: `test/cache-benchmark.mjs`, сырой результат: `cache-epochs-before.json` и `cache-epochs-after.json`. Конфигурация: `cache-epochs-environment.json`.',
'',
'Реальный HTTP по loopback, 10 000 синтетических сообщений, первая страница limit=50. На повтор: холодная волна 32 запросов; прогрев 3 с; чтение с конкурентностью 16 в течение 10 с; прогрев 3 с и такой же контроль с отключённым кэшем истории; 512 записей в новый чат с конкурентностью 16. Три повтора. SQL считается на уровне pg.Client.query; BEGIN/COMMIT/ROLLBACK/SET вынесены в raw sql_calls и исключены из SQL/HTTP. Пароли не измеряются: пользователь и сессия создаются напрямую, токен остаётся в памяти.',
'',
'CPU/RSS относятся к процессу эксперимента, включающему API, генератор HTTP и инструментацию. Docker Desktop: 4 CPU, около 2.80 GiB RAM, отдельные лимиты сервисов не заданы. Замеры closed-loop, короткие и последовательные before → after; разброс и прогрев ограничивают выводы о latency/RPS. Это не тест максимальной ёмкости или SLA. Первый холодный повтор также включает прогрев runtime.',
'',
'Первичные короткие замеры (1 с прогрева, 5 с чтений, 128 записей) сохранены отдельно в cache-epochs-before-short.json и cache-epochs-after-short.json. Из-за большого разброса сделано одно повторное сравнение с увеличенным прогревом и нагрузкой; основные результаты получены в отдельных контейнерах benchmark из соответствующих образов. PostgreSQL/Redis и остальные контейнеры разделяют ресурсы Docker-host. Другие проекты на этом host не останавливались. Формулировки provenance в основных JSON уточнены после перехода от docker exec к отдельному контейнеру; численные измерения не менялись.',
'',
'До изменений использован фактически запущенный образ (локальный тег lab2-cache-epochs:before), после — пересобранный проект. Старый образ ещё использовал OR для курсорной пагинации; измеряемая первая страница не содержит курсора, поэтому этот путь в нагрузочном сравнении не выполняется. Хеши измеренных модулей записаны в JSON.',
'',
'Эпоха истории читается JOIN-ом вместе с проверкой членства; эпоха списка чатов — JOIN-ом с проверкой сессии. Для отдельного запроса дополнительного чтения эпохи нет. Однако raw JOIN проверки членства не использует прежний batching findUnique в Prisma: под конкуренцией суммарный SQL/HTTP может вырасти. Запись добавляет UPDATE чата и транзакционные команды; обновления одного чата сериализуются. Старые ключи недоступны новым читателям и удаляются по TTL.',
'',
'Корректность зависит от основного PostgreSQL и обновления эпох во всех путях изменения данных. Прямые SQL-изменения в обход приложения требуют увеличения соответствующей эпохи. После восстановления PostgreSQL из старого backup следует сменить CACHE_PREFIX или очистить кэш, чтобы исключить повторное использование эпох. Сохранность Docker-host и высокая доступность PostgreSQL не исследовались. Cache stampede не устраняется этим изменением.',
);
await writeFile('evidence/cache-epochs-summary.md', lines.join('\n') + '\n');
console.log(lines.slice(0, 14).join('\n'));