Files
mtusi2026lab2-fork/test/epoch-variants-summary.mjs

73 lines
6.2 KiB
JavaScript

import assert from 'node:assert/strict';
import { readFile, writeFile } from 'node:fs/promises';
const report = JSON.parse(
await readFile('evidence/epoch-variants.json', 'utf8'),
);
assert.ok(report.completed);
const labels = {
baseline: 'Текущая схема',
'profile-join': 'Профиль из JOIN',
'access-join': 'Профиль + единая проверка доступа',
striped: 'Единая проверка + 16 счётчиков',
};
const aggregates = [];
const lines = [
'# Сравнение трёх оптимизаций эпох и текущей схемы',
'',
`Дата UTC: ${report.recorded_at}.`,
'',
'Все режимы используют Redis. Варианты последовательно добавляют оптимизации: профиль из запроса сессии; объединённую проверку сессии, членства и эпохи; 16 счётчиков истории, увеличиваемых независимо, с суммой как версией кэша. Порядок вариантов меняется между тремя повторами. Чтения: 100 000 сообщений, limit=50, конкурентность 32, прогрев 10 с, измерение 60 с. Запись: 4096 сообщений в отдельный новый чат на вариант/повтор. Только один workload активен одновременно.',
'',
'RPS рассчитан по общему числу успешных запросов и времени повторов. Средняя задержка взвешена по числу запросов. p95 — среднее p95 отдельных повторов, а не перцентиль объединённой выборки. SQL/HTTP исключает BEGIN/COMMIT/ROLLBACK/SET.',
'',
'| Сценарий | Вариант | Средний RPS | Средняя задержка, мс | Среднее p95, мс | SQL/HTTP | RPS по повторам | Ошибки |',
'| --- | --- | ---: | ---: | ---: | ---: | --- | ---: |',
];
for (const workload of ['warm-history', 'writes-single-chat']) {
for (const [name, label] of Object.entries(labels)) {
const samples = report.samples.filter(
(sample) => sample.variant === name && sample.workload === workload,
);
assert.equal(samples.length, 3);
const sum = (select) =>
samples.reduce((total, sample) => total + select(sample), 0);
const successes = sum((sample) => sample.successes);
const errors = sum((sample) => sample.errors);
const aggregate = {
variant: name,
workload,
successes,
errors,
rps: successes / sum((sample) => sample.elapsed_seconds),
mean_latency_ms:
sum((sample) => sample.mean_latency_ms * sample.successes) / successes,
mean_p95_ms: sum((sample) => sample.p95_ms) / samples.length,
sql_per_request:
sum((sample) => sample.sql_queries) / (successes + errors),
repeat_rps: samples.map((sample) => sample.rps),
};
aggregates.push(aggregate);
lines.push(
`| ${workload} | ${label} | ${aggregate.rps.toFixed(3)} | ${aggregate.mean_latency_ms.toFixed(3)} | ${aggregate.mean_p95_ms.toFixed(3)} | ${aggregate.sql_per_request.toFixed(3)} | ${aggregate.repeat_rps.map((value) => value.toFixed(1)).join(' / ')} | ${errors} |`,
);
assert.ok(Object.values(report.correctness[name]).every(Boolean));
}
}
lines.push(
'',
'Все варианты прошли проверки 401/404/400, доступа постороннего пользователя, чтения после записи при недоступном Redis и после восстановления со старыми ключами, отката счётчика при ошибке INSERT, задержанного заполнения старого кэша и работы с пустым кэшем. После каждого нагрузочного блока проверены число сообщений и значение эпохи 4096.',
'',
'Четыре API и HTTP-генератор работают в одном Node-процессе, каждый API имеет отдельный Redis-prefix и пул Prisma прежнего размера. Методы переключаются между скомпилированными снимками исходников перед каждым workload; скрипт сохраняет метаданные маршрутов. Idle-экземпляры присутствуют во всех режимах. CPU/RSS включает генератор и все экземпляры. Другие сервисы Docker-host продолжают работать. Сессии создаются напрямую, KDF не измеряется. Порядок меняется, но три повтора и фоновые нагрузки всё ещё ограничивают выводы об устойчивых коэффициентах ускорения.',
'',
'Распределённые счётчики находятся в отдельной временной схеме. Рабочая схема приложения не переключается на них. В нагрузочном чате 16 ненулевых счётчиков; стоимость их суммирования входит в запрос доступа. Первое чтение baseline выполнено до заполнения счётчиков временной схемы; данные истории неизменны, счётчики подготовлены до первого измерения striped. Это изменение подготовки фикстуры добавлено в скрипт для следующих запусков.',
'',
'Сырые результаты: [epoch-variants.json](epoch-variants.json). Хеши исходников вариантов: [epoch-variants-code.json](epoch-variants-code.json).',
);
await writeFile('evidence/epoch-variants-summary.md', lines.join('\n') + '\n');
await writeFile(
'evidence/epoch-variants-averages.json',
JSON.stringify(aggregates, null, 2) + '\n',
);
console.log(lines.slice(0, 19).join('\n'));