"""Учебное внедрение сбоев для тестов отказов (только при FAULT_INJECTION=1). Тест создаёт в общем volume /faults файлы <точка>., по одному на срабатывание: docker compose exec -T worker sh -c 'touch /faults/worker_crash_after_put.1' Процесс, дошедший до точки, атомарно удаляет один файл (os.remove успешен ровно у одного процесса) и выполняет сбой. Так сбой случается заданное число раз и не зацикливает перезапуски. Точки: dispatcher_crash_before_publish — COMMIT задания уже был, publish ещё нет (окно COMMIT -> publish) dispatcher_crash_after_confirm — брокер подтвердил публикацию, отметка в outbox ещё не записана worker_crash_after_put — объекты записаны в S3, COMMIT результата ещё нет worker_crash_after_commit — COMMIT результата был, ack ещё нет worker_freeze — worker «завис»: не продлевает аренду и спит 3 x lease worker_s3_error — временная ошибка S3 при записи результата imaging_hang / imaging_invalid / imaging_oom — сбой внутри процесса обработки изображения """ import logging import os import sys from pathlib import Path import settings log = logging.getLogger("messenger.faults") def hit(point: str) -> bool: if not settings.FAULT_INJECTION: return False directory = Path(settings.FAULTS_DIR) try: candidates = sorted(directory.glob(point + ".*")) except OSError: return False for path in candidates: try: path.unlink() except FileNotFoundError: continue # этот файл забрал другой процесс log.warning("FAULT INJECTION: %s", point) return True return False def crash(point: str) -> None: """Аварийное завершение всего процесса без очистки (как SIGKILL/OOM): без ack, без закрытия соединений.""" if hit(point): sys.stderr.flush() os._exit(137)