forked from mtusi2026/mtusi2026lab2
74 lines
7.5 KiB
JavaScript
74 lines
7.5 KiB
JavaScript
import assert from 'node:assert/strict';
|
|
import { readFile, writeFile } from 'node:fs/promises';
|
|
const before = JSON.parse(
|
|
await readFile('evidence/cache-epochs-before.json', 'utf8'),
|
|
);
|
|
const after = JSON.parse(
|
|
await readFile('evidence/cache-epochs-after.json', 'utf8'),
|
|
);
|
|
assert.ok(before.completed && after.completed);
|
|
assert.deepEqual(before.methodology, after.methodology);
|
|
const median = (values) =>
|
|
values.sort((a, b) => a - b)[Math.floor(values.length / 2)];
|
|
const lines = [
|
|
'# Эпохи кэша — сравнение 2026-10-13',
|
|
'',
|
|
'Медианы трёх повторов. p50/p95/p99 — медианы перцентилей отдельных повторов, не перцентили объединённой выборки.',
|
|
'',
|
|
'| Сценарий | Вариант | RPS | p50, мс | p95, мс | p99, мс | SQL/HTTP | CPU процесса, % ядра | Пиковый RSS, MiB | Ошибки |',
|
|
'| --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: |',
|
|
];
|
|
for (const workload of [...new Set(before.samples.map((x) => x.workload))]) {
|
|
for (const report of [before, after]) {
|
|
const samples = report.samples.filter((x) => x.workload === workload);
|
|
assert.equal(samples.length, 3);
|
|
const get = (fn) => median(samples.map(fn)).toFixed(3);
|
|
lines.push(
|
|
`| ${workload} | ${report.stage} | ${get((x) => x.successful_rps)} | ${get((x) => x.latency_ms.p50)} | ${get((x) => x.latency_ms.p95)} | ${get((x) => x.latency_ms.p99)} | ${get((x) => x.sql_per_request)} | ${get((x) => x.process_cpu_percent_one_core)} | ${get((x) => x.peak_process_rss_mib)} | ${samples.reduce((sum, x) => sum + x.errors, 0)} |`,
|
|
);
|
|
}
|
|
}
|
|
lines.push('', '| Проверка | До | После |', '| --- | --- | --- |');
|
|
for (const [label, select] of [
|
|
[
|
|
'Чтение после успешной записи при недоступном Redis',
|
|
(x) => x.correctness.redis_reconnect.read_after_write_during_outage,
|
|
],
|
|
[
|
|
'Чтение другой репликой после восстановления Redis со старыми ключами',
|
|
(x) =>
|
|
x.correctness.redis_reconnect
|
|
.read_after_write_after_reconnect_other_replica,
|
|
],
|
|
[
|
|
'Старые ключи действительно сохранились',
|
|
(x) => x.correctness.redis_reconnect.old_keys_retained,
|
|
],
|
|
['Восстановление с пустым кэшем', (x) => x.correctness.empty_cache_recovery],
|
|
[
|
|
'Задержанная загрузка старой истории не отравляет следующий GET',
|
|
(x) => x.correctness.delayed_old_fill,
|
|
],
|
|
])
|
|
lines.push(
|
|
`| ${label} | ${select(before) ? 'PASS' : 'FAIL'} | ${select(after) ? 'PASS' : 'FAIL'} |`,
|
|
);
|
|
lines.push(
|
|
'',
|
|
'Методика: `test/cache-benchmark.mjs`, сырой результат: `cache-epochs-before.json` и `cache-epochs-after.json`. Конфигурация: `cache-epochs-environment.json`.',
|
|
'',
|
|
'Реальный HTTP по loopback, 10 000 синтетических сообщений, первая страница limit=50. На повтор: холодная волна 32 запросов; прогрев 3 с; чтение с конкурентностью 16 в течение 10 с; прогрев 3 с и такой же контроль с отключённым кэшем истории; 512 записей в новый чат с конкурентностью 16. Три повтора. SQL считается на уровне pg.Client.query; BEGIN/COMMIT/ROLLBACK/SET вынесены в raw sql_calls и исключены из SQL/HTTP. Пароли не измеряются: пользователь и сессия создаются напрямую, токен остаётся в памяти.',
|
|
'',
|
|
'CPU/RSS относятся к процессу эксперимента, включающему API, генератор HTTP и инструментацию. Docker Desktop: 4 CPU, около 2.80 GiB RAM, отдельные лимиты сервисов не заданы. Замеры closed-loop, короткие и последовательные before → after; разброс и прогрев ограничивают выводы о latency/RPS. Это не тест максимальной ёмкости или SLA. Первый холодный повтор также включает прогрев runtime.',
|
|
'',
|
|
'Первичные короткие замеры (1 с прогрева, 5 с чтений, 128 записей) сохранены отдельно в cache-epochs-before-short.json и cache-epochs-after-short.json. Из-за большого разброса сделано одно повторное сравнение с увеличенным прогревом и нагрузкой; основные результаты получены в отдельных контейнерах benchmark из соответствующих образов. PostgreSQL/Redis и остальные контейнеры разделяют ресурсы Docker-host. Другие проекты на этом host не останавливались. Формулировки provenance в основных JSON уточнены после перехода от docker exec к отдельному контейнеру; численные измерения не менялись.',
|
|
'',
|
|
'До изменений использован фактически запущенный образ (локальный тег lab2-cache-epochs:before), после — пересобранный проект. Старый образ ещё использовал OR для курсорной пагинации; измеряемая первая страница не содержит курсора, поэтому этот путь в нагрузочном сравнении не выполняется. Хеши измеренных модулей записаны в JSON.',
|
|
'',
|
|
'Эпоха истории читается JOIN-ом вместе с проверкой членства; эпоха списка чатов — JOIN-ом с проверкой сессии. Для отдельного запроса дополнительного чтения эпохи нет. Однако raw JOIN проверки членства не использует прежний batching findUnique в Prisma: под конкуренцией суммарный SQL/HTTP может вырасти. Запись добавляет UPDATE чата и транзакционные команды; обновления одного чата сериализуются. Старые ключи недоступны новым читателям и удаляются по TTL.',
|
|
'',
|
|
'Корректность зависит от основного PostgreSQL и обновления эпох во всех путях изменения данных. Прямые SQL-изменения в обход приложения требуют увеличения соответствующей эпохи. После восстановления PostgreSQL из старого backup следует сменить CACHE_PREFIX или очистить кэш, чтобы исключить повторное использование эпох. Сохранность Docker-host и высокая доступность PostgreSQL не исследовались. Cache stampede не устраняется этим изменением.',
|
|
);
|
|
await writeFile('evidence/cache-epochs-summary.md', lines.join('\n') + '\n');
|
|
console.log(lines.slice(0, 14).join('\n'));
|