import assert from 'node:assert/strict'; import { readFile, writeFile } from 'node:fs/promises'; const resultPrefix = process.argv[2] ?? 'cache-strategy'; assert.match(resultPrefix, /^[a-z0-9-]+$/); const reports = await Promise.all( ['full', 'no-redis-no-epochs'].map(async (name) => JSON.parse(await readFile(`evidence/${resultPrefix}-${name}.json`, 'utf8')), ), ); const provenance = JSON.parse( await readFile(`evidence/${resultPrefix}-experiment.json`, 'utf8'), ); assert.ok(reports.every((report) => report.completed)); assert.deepEqual(reports[0].methodology, reports[1].methodology); assert.equal(provenance.exit_code, 0); assert.ok(provenance.sources_unchanged); assert.ok(reports[1].correctness.epochs_unchanged); assert.ok(reports[1].correctness.no_redis_client); const median = (values) => [...values].sort((a, b) => a - b)[Math.floor(values.length / 2)]; const labels = ['Redis и эпохи', 'Без Redis и эпох']; const aggregates = []; const settings = reports[0].methodology; const lines = [ '# Полная стратегия кэша и вариант без Redis и эпох', '', `Запуски UTC: ${reports.map((report) => report.recorded_at).join(' → ')}.`, '', 'Сначала выполнен свежий прогон текущего образа с Redis, PostgreSQL-эпохами и записью сообщения через CTE. Затем шесть модулей приложения заменены временными версиями без поддержания эпох: убраны изменения счётчиков и чтения эпох в проверках сессии/членства. Объединённые проверки сессии, публичного профиля и доступа к истории сохранены. Сообщение вставляется одним INSERT ... SELECT с проверкой членства, без обновления счётчиков. Второй API запущен без CACHE_URL: все кэши приложения отключены. Исходники рабочего проекта и запущенный backend не изменены.', '', `Параметры обоих прогонов совпадают: ${settings.repetitions} повтора, конкурентность ${settings.concurrency}, ${settings.seed_messages} сообщений, limit=50, прогрев ${settings.warmup_seconds} с и чтение ${settings.duration_seconds} с, ${settings.writes_per_repeat} записей в новый чат. RPS = общее число успешных запросов / общее время повторов. Средняя задержка взвешена по числу успешных запросов. p95 — среднее отдельных p95, не перцентиль объединённой выборки. SQL/HTTP исключает команды транзакций.`, '', '| Сценарий | Вариант | Средний RPS | Средняя задержка, мс | Среднее p95, мс | SQL/HTTP | Медиана RPS | Ошибки |', '| --- | --- | ---: | ---: | ---: | ---: | ---: | ---: |', ]; for (const [workload, label] of [ ['cold-history-burst', 'Холодная волна истории'], ['warm-history', 'Прогретая история'], ['history-cache-bypassed', 'Контроль без кэша истории'], ['writes-single-chat', 'Запись в один чат'], ]) { if ( reports.every( (report) => !report.samples.some((sample) => sample.workload === workload), ) ) continue; for (const [index, report] of reports.entries()) { const samples = report.samples.filter( (sample) => sample.workload === workload, ); assert.equal(samples.length, settings.repetitions); const sum = (select) => samples.reduce((total, sample) => total + select(sample), 0); const successes = sum((sample) => sample.successes); const errors = sum((sample) => sample.errors); const aggregate = { workload, variant: labels[index], successes, errors, mean_rps: successes / sum((sample) => sample.elapsed_seconds), mean_latency_ms: sum((sample) => sample.latency_ms.mean * sample.successes) / successes, mean_p95_ms: sum((sample) => sample.latency_ms.p95) / samples.length, sql_per_request: sum((sample) => sample.sql_queries) / (successes + errors), median_rps: median(samples.map((sample) => sample.successful_rps)), repeat_rps: samples.map((sample) => sample.successful_rps), }; aggregates.push(aggregate); lines.push( `| ${label} | ${labels[index]} | ${aggregate.mean_rps.toFixed(3)} | ${aggregate.mean_latency_ms.toFixed(3)} | ${aggregate.mean_p95_ms.toFixed(3)} | ${aggregate.sql_per_request.toFixed(3)} | ${aggregate.median_rps.toFixed(3)} | ${errors} |`, ); } } lines.push( '', `Учтено успешных HTTP-запросов: ${reports.map((report, index) => `${labels[index]} — ${report.samples.reduce((sum, sample) => sum + sample.successes, 0)}`).join('; ')}.`, '', ...['warm-history', 'writes-single-chat'].map((workload) => { const pair = aggregates.filter( (aggregate) => aggregate.workload === workload, ); return `${workload}: отношение среднего RPS полной стратегии к варианту без стратегии — ${(pair[0].mean_rps / pair[1].mean_rps).toFixed(3)}. RPS по повторам: ${pair.map((aggregate) => `${aggregate.variant}: ${aggregate.repeat_rps.join(' / ')}`).join('; ')}.`; }), '', settings.history_control === false ? 'Дополнительный контроль с частично отключённым кэшем в этом прогоне пропущен. Сравниваются только полная стратегия и отсутствие Redis/поддержания эпох.' : 'В контрольном сценарии у первого API отключён только кэш истории; кэш профиля продолжает работать. У второго API отключены все кэши. Поэтому этот контроль не измеряет отдельно чистую стоимость эпох.', '', `Проверки полной стратегии: чтение после записи при отказе Redis, чтение другой репликой после восстановления со старыми ключами, восстановление с пустым кэшем, задержанная загрузка старой истории. Проверки варианта без стратегии: приложение не создало Redis-клиент, эпохи синтетических пользователей/чатов остались равны 0 после всех записей, ${settings.writes_per_repeat} сообщений записаны в каждом новом чате, история читается после записи без повторяющихся ID.`, '', `Оба прогона используют один базовый образ; изменённые модули временной версии скомпилированы TypeScript без полной пересборки контейнера и подключены отдельными bind mounts. Хеши исходников и JS сохранены в [метаданных эксперимента](${resultPrefix}-experiment.json). Колонки эпох остаются в схеме; это исключает миграцию и позволяет сохранить рабочую БД. SQL-проверки профиля и членства во втором варианте не используют эпохи. Временные файлы удалены, хеши рабочих исходников проверены.`, '', 'Ограничения: прогоны последовательные, Docker-host разделяется с другими сервисами; большой разброс ограничивает выводы о скорости. CPU/RSS процесса включают API, HTTP-генератор и инструментацию; CPU PostgreSQL отдельно не измерен. Синтетические сессии обходят KDF. Холодная волна означает пустой кэш приложения, а не холодный PostgreSQL. Отдельные цены Redis и эпох этим сравнением не разделяются: меняется вся стратегия. Данные рабочей БД и volumes сохранены, удалены только фикстуры эксперимента.', '', 'Повторение:', '', '```powershell', `docker compose -f compose.yaml -f test/compose.benchmark.yaml run --rm --no-deps --pull never benchmark node test/cache-benchmark.mjs after /results/${resultPrefix}-full.json --concurrency ${settings.concurrency} --duration-seconds ${settings.duration_seconds} --warmup-seconds ${settings.warmup_seconds} --repetitions ${settings.repetitions} --seed-messages ${settings.seed_messages} --cold-burst ${settings.cold_burst_requests} --writes-per-repeat ${settings.writes_per_repeat}${settings.history_control === false ? ' --skip-history-control' : ''}`, `$env:EXPERIMENT_PREFIX='${resultPrefix}'`, `node test/no-epochs-experiment.cjs --concurrency ${settings.concurrency} --duration-seconds ${settings.duration_seconds} --warmup-seconds ${settings.warmup_seconds} --repetitions ${settings.repetitions} --seed-messages ${settings.seed_messages} --cold-burst ${settings.cold_burst_requests} --writes-per-repeat ${settings.writes_per_repeat}${settings.history_control === false ? ' --skip-history-control' : ''}`, `node test/cache-strategy-summary.mjs ${resultPrefix}`, '```', '', `Сырые результаты: [полная стратегия](${resultPrefix}-full.json), [без Redis и эпох](${resultPrefix}-no-redis-no-epochs.json).`, ); await writeFile(`evidence/${resultPrefix}-summary.md`, lines.join('\n') + '\n'); await writeFile( `evidence/${resultPrefix}-averages.json`, JSON.stringify(aggregates, null, 2) + '\n', ); console.log(lines.slice(0, 18).join('\n'));