forked from mtusi2026/mtusi2026lab5
52 lines
2.4 KiB
Python
52 lines
2.4 KiB
Python
"""Учебное внедрение сбоев для тестов отказов (только при FAULT_INJECTION=1).
|
|
|
|
Тест создаёт в общем volume /faults файлы <точка>.<n>, по одному на срабатывание:
|
|
|
|
docker compose exec -T worker sh -c 'touch /faults/worker_crash_after_put.1'
|
|
|
|
Процесс, дошедший до точки, атомарно удаляет один файл (os.remove успешен ровно у одного процесса)
|
|
и выполняет сбой. Так сбой случается заданное число раз и не зацикливает перезапуски.
|
|
|
|
Точки:
|
|
dispatcher_crash_before_publish — COMMIT задания уже был, publish ещё нет (окно COMMIT -> publish)
|
|
dispatcher_crash_after_confirm — брокер подтвердил публикацию, отметка в outbox ещё не записана
|
|
worker_crash_after_put — объекты записаны в S3, COMMIT результата ещё нет
|
|
worker_crash_after_commit — COMMIT результата был, ack ещё нет
|
|
worker_freeze — worker «завис»: не продлевает аренду и спит 3 x lease
|
|
worker_s3_error — временная ошибка S3 при записи результата
|
|
imaging_hang / imaging_invalid / imaging_oom — сбой внутри процесса обработки изображения
|
|
"""
|
|
import logging
|
|
import os
|
|
import sys
|
|
from pathlib import Path
|
|
|
|
import settings
|
|
|
|
log = logging.getLogger("messenger.faults")
|
|
|
|
|
|
def hit(point: str) -> bool:
|
|
if not settings.FAULT_INJECTION:
|
|
return False
|
|
directory = Path(settings.FAULTS_DIR)
|
|
try:
|
|
candidates = sorted(directory.glob(point + ".*"))
|
|
except OSError:
|
|
return False
|
|
for path in candidates:
|
|
try:
|
|
path.unlink()
|
|
except FileNotFoundError:
|
|
continue # этот файл забрал другой процесс
|
|
log.warning("FAULT INJECTION: %s", point)
|
|
return True
|
|
return False
|
|
|
|
|
|
def crash(point: str) -> None:
|
|
"""Аварийное завершение всего процесса без очистки (как SIGKILL/OOM): без ack, без закрытия соединений."""
|
|
if hit(point):
|
|
sys.stderr.flush()
|
|
os._exit(137)
|