forked from mtusi2026/mtusi2026lab3
Add API integration checks, migration compatibility, rolling restart scenarios and a report verification collector.
73 lines
6.2 KiB
JavaScript
73 lines
6.2 KiB
JavaScript
import assert from 'node:assert/strict';
|
|
import { readFile, writeFile } from 'node:fs/promises';
|
|
|
|
const report = JSON.parse(
|
|
await readFile('evidence/epoch-variants.json', 'utf8'),
|
|
);
|
|
assert.ok(report.completed);
|
|
const labels = {
|
|
baseline: 'Текущая схема',
|
|
'profile-join': 'Профиль из JOIN',
|
|
'access-join': 'Профиль + единая проверка доступа',
|
|
striped: 'Единая проверка + 16 счётчиков',
|
|
};
|
|
const aggregates = [];
|
|
const lines = [
|
|
'# Сравнение трёх оптимизаций эпох и текущей схемы',
|
|
'',
|
|
`Дата UTC: ${report.recorded_at}.`,
|
|
'',
|
|
'Все режимы используют Redis. Варианты последовательно добавляют оптимизации: профиль из запроса сессии; объединённую проверку сессии, членства и эпохи; 16 счётчиков истории, увеличиваемых независимо, с суммой как версией кэша. Порядок вариантов меняется между тремя повторами. Чтения: 100 000 сообщений, limit=50, конкурентность 32, прогрев 10 с, измерение 60 с. Запись: 4096 сообщений в отдельный новый чат на вариант/повтор. Только один workload активен одновременно.',
|
|
'',
|
|
'RPS рассчитан по общему числу успешных запросов и времени повторов. Средняя задержка взвешена по числу запросов. p95 — среднее p95 отдельных повторов, а не перцентиль объединённой выборки. SQL/HTTP исключает BEGIN/COMMIT/ROLLBACK/SET.',
|
|
'',
|
|
'| Сценарий | Вариант | Средний RPS | Средняя задержка, мс | Среднее p95, мс | SQL/HTTP | RPS по повторам | Ошибки |',
|
|
'| --- | --- | ---: | ---: | ---: | ---: | --- | ---: |',
|
|
];
|
|
for (const workload of ['warm-history', 'writes-single-chat']) {
|
|
for (const [name, label] of Object.entries(labels)) {
|
|
const samples = report.samples.filter(
|
|
(sample) => sample.variant === name && sample.workload === workload,
|
|
);
|
|
assert.equal(samples.length, 3);
|
|
const sum = (select) =>
|
|
samples.reduce((total, sample) => total + select(sample), 0);
|
|
const successes = sum((sample) => sample.successes);
|
|
const errors = sum((sample) => sample.errors);
|
|
const aggregate = {
|
|
variant: name,
|
|
workload,
|
|
successes,
|
|
errors,
|
|
rps: successes / sum((sample) => sample.elapsed_seconds),
|
|
mean_latency_ms:
|
|
sum((sample) => sample.mean_latency_ms * sample.successes) / successes,
|
|
mean_p95_ms: sum((sample) => sample.p95_ms) / samples.length,
|
|
sql_per_request:
|
|
sum((sample) => sample.sql_queries) / (successes + errors),
|
|
repeat_rps: samples.map((sample) => sample.rps),
|
|
};
|
|
aggregates.push(aggregate);
|
|
lines.push(
|
|
`| ${workload} | ${label} | ${aggregate.rps.toFixed(3)} | ${aggregate.mean_latency_ms.toFixed(3)} | ${aggregate.mean_p95_ms.toFixed(3)} | ${aggregate.sql_per_request.toFixed(3)} | ${aggregate.repeat_rps.map((value) => value.toFixed(1)).join(' / ')} | ${errors} |`,
|
|
);
|
|
assert.ok(Object.values(report.correctness[name]).every(Boolean));
|
|
}
|
|
}
|
|
lines.push(
|
|
'',
|
|
'Все варианты прошли проверки 401/404/400, доступа постороннего пользователя, чтения после записи при недоступном Redis и после восстановления со старыми ключами, отката счётчика при ошибке INSERT, задержанного заполнения старого кэша и работы с пустым кэшем. После каждого нагрузочного блока проверены число сообщений и значение эпохи 4096.',
|
|
'',
|
|
'Четыре API и HTTP-генератор работают в одном Node-процессе, каждый API имеет отдельный Redis-prefix и пул Prisma прежнего размера. Методы переключаются между скомпилированными снимками исходников перед каждым workload; скрипт сохраняет метаданные маршрутов. Idle-экземпляры присутствуют во всех режимах. CPU/RSS включает генератор и все экземпляры. Другие сервисы Docker-host продолжают работать. Сессии создаются напрямую, KDF не измеряется. Порядок меняется, но три повтора и фоновые нагрузки всё ещё ограничивают выводы об устойчивых коэффициентах ускорения.',
|
|
'',
|
|
'Распределённые счётчики находятся в отдельной временной схеме. Рабочая схема приложения не переключается на них. В нагрузочном чате 16 ненулевых счётчиков; стоимость их суммирования входит в запрос доступа. Первое чтение baseline выполнено до заполнения счётчиков временной схемы; данные истории неизменны, счётчики подготовлены до первого измерения striped. Это изменение подготовки фикстуры добавлено в скрипт для следующих запусков.',
|
|
'',
|
|
'Сырые результаты: [epoch-variants.json](epoch-variants.json). Хеши исходников вариантов: [epoch-variants-code.json](epoch-variants-code.json).',
|
|
);
|
|
await writeFile('evidence/epoch-variants-summary.md', lines.join('\n') + '\n');
|
|
await writeFile(
|
|
'evidence/epoch-variants-averages.json',
|
|
JSON.stringify(aggregates, null, 2) + '\n',
|
|
);
|
|
console.log(lines.slice(0, 19).join('\n'));
|