forked from mtusi2026/mtusi2026lab7
лр7: Docker-прогон, evidence, исправления
This commit is contained in:
@@ -0,0 +1,51 @@
|
||||
"""Учебное внедрение сбоев для тестов отказов (только при FAULT_INJECTION=1).
|
||||
|
||||
Тест создаёт в общем volume /faults файлы <точка>.<n>, по одному на срабатывание:
|
||||
|
||||
docker compose exec -T worker sh -c 'touch /faults/worker_crash_after_put.1'
|
||||
|
||||
Процесс, дошедший до точки, атомарно удаляет один файл (os.remove успешен ровно у одного процесса)
|
||||
и выполняет сбой. Так сбой случается заданное число раз и не зацикливает перезапуски.
|
||||
|
||||
Точки:
|
||||
dispatcher_crash_before_publish — COMMIT задания уже был, publish ещё нет (окно COMMIT -> publish)
|
||||
dispatcher_crash_after_confirm — брокер подтвердил публикацию, отметка в outbox ещё не записана
|
||||
worker_crash_after_put — объекты записаны в S3, COMMIT результата ещё нет
|
||||
worker_crash_after_commit — COMMIT результата был, ack ещё нет
|
||||
worker_freeze — worker «завис»: не продлевает аренду и спит 3 x lease
|
||||
worker_s3_error — временная ошибка S3 при записи результата
|
||||
imaging_hang / imaging_invalid / imaging_oom — сбой внутри процесса обработки изображения
|
||||
"""
|
||||
import logging
|
||||
import os
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
import settings
|
||||
|
||||
log = logging.getLogger("messenger.faults")
|
||||
|
||||
|
||||
def hit(point: str) -> bool:
|
||||
if not settings.FAULT_INJECTION:
|
||||
return False
|
||||
directory = Path(settings.FAULTS_DIR)
|
||||
try:
|
||||
candidates = sorted(directory.glob(point + ".*"))
|
||||
except OSError:
|
||||
return False
|
||||
for path in candidates:
|
||||
try:
|
||||
path.unlink()
|
||||
except FileNotFoundError:
|
||||
continue # этот файл забрал другой процесс
|
||||
log.warning("FAULT INJECTION: %s", point)
|
||||
return True
|
||||
return False
|
||||
|
||||
|
||||
def crash(point: str) -> None:
|
||||
"""Аварийное завершение всего процесса без очистки (как SIGKILL/OOM): без ack, без закрытия соединений."""
|
||||
if hit(point):
|
||||
sys.stderr.flush()
|
||||
os._exit(137)
|
||||
Reference in New Issue
Block a user