Files
mtusi2026lab6/faults.py

52 lines
2.4 KiB
Python

"""Учебное внедрение сбоев для тестов отказов (только при FAULT_INJECTION=1).
Тест создаёт в общем volume /faults файлы <точка>.<n>, по одному на срабатывание:
docker compose exec -T worker sh -c 'touch /faults/worker_crash_after_put.1'
Процесс, дошедший до точки, атомарно удаляет один файл (os.remove успешен ровно у одного процесса)
и выполняет сбой. Так сбой случается заданное число раз и не зацикливает перезапуски.
Точки:
dispatcher_crash_before_publish — COMMIT задания уже был, publish ещё нет (окно COMMIT -> publish)
dispatcher_crash_after_confirm — брокер подтвердил публикацию, отметка в outbox ещё не записана
worker_crash_after_put — объекты записаны в S3, COMMIT результата ещё нет
worker_crash_after_commit — COMMIT результата был, ack ещё нет
worker_freeze — worker «завис»: не продлевает аренду и спит 3 x lease
worker_s3_error — временная ошибка S3 при записи результата
imaging_hang / imaging_invalid / imaging_oom — сбой внутри процесса обработки изображения
"""
import logging
import os
import sys
from pathlib import Path
import settings
log = logging.getLogger("messenger.faults")
def hit(point: str) -> bool:
if not settings.FAULT_INJECTION:
return False
directory = Path(settings.FAULTS_DIR)
try:
candidates = sorted(directory.glob(point + ".*"))
except OSError:
return False
for path in candidates:
try:
path.unlink()
except FileNotFoundError:
continue # этот файл забрал другой процесс
log.warning("FAULT INJECTION: %s", point)
return True
return False
def crash(point: str) -> None:
"""Аварийное завершение всего процесса без очистки (как SIGKILL/OOM): без ack, без закрытия соединений."""
if hit(point):
sys.stderr.flush()
os._exit(137)