29 lines
2.3 KiB
TypeScript
29 lines
2.3 KiB
TypeScript
// Точки внедрения отказов для тестов (трек 2 и уровень 4). Выключены, пока FAILPOINTS не равно 1.
|
||
// Срабатывает только для вложения с именем файла failpoint-<точка>[-<N>s].png и ровно один раз на вложение
|
||
// (отметка в failpoint_hits), поэтому перезапущенный процесс доделывает работу, а не падает по кругу.
|
||
// failpoint-<точка>.png — немедленный выход с кодом 137: ни finally, ни ack, ни ROLLBACK — соединения с БД
|
||
// и брокером рвёт ядро, как при реальном падении. Не SIGKILL себе: node в контейнере —
|
||
// PID 1, а сигналы без обработчика, посланные init изнутри его namespace, ядро игнорирует;
|
||
// failpoint-<точка>-<N>s.png — пауза N секунд: процесс жив, но «завис» (проверка аренды и fencing).
|
||
// Точки: api_after_staging, api_after_commit, relay_after_publish, worker_after_claim, worker_after_side_effect,
|
||
// worker_after_commit.
|
||
import { setTimeout as sleep } from 'node:timers/promises';
|
||
import type { Pool } from 'pg';
|
||
import { log } from './otel.ts';
|
||
|
||
const enabled = process.env.FAILPOINTS === '1';
|
||
|
||
export async function failpoint(db: Pool, name: string, attachmentId: string, filename: string): Promise<void> {
|
||
const m = enabled ? /^failpoint-([a-z_]+)(?:-(\d+)s)?\.png$/.exec(filename) : null;
|
||
if (!m || m[1] !== name) return;
|
||
const hit = await db.query('INSERT INTO failpoint_hits (name, attachment_id) VALUES ($1, $2) ON CONFLICT DO NOTHING', [name, attachmentId]);
|
||
if (!hit.rowCount) return;
|
||
if (m[2]) {
|
||
log('warn', 'failpoint.pause', `failpoint ${name}: пауза ${m[2]} с`, { 'failpoint.name': name });
|
||
await sleep(Number(m[2]) * 1000);
|
||
return;
|
||
}
|
||
log('error', 'failpoint.kill', `failpoint ${name}: аварийное завершение процесса`, { 'failpoint.name': name });
|
||
process.exit(137); // как при падении: OTLP-буферы не сбрасываются, строка лога в stdout (pipe) пишется синхронно
|
||
}
|