#!/bin/sh # Замеры обнаружения отказа и graceful shutdown. Результат: evidence/failure-detection.txt # # Запуск из любого каталога при поднятом стенде с двумя репликами: # sh scripts/failure-detection-evidence.sh # Сами замеры выполняет scripts/failure-detection.py, здесь только запуск и сохранение вывода. # Реплики и Valkey на время замеров останавливаются, затем восстанавливаются. Файл перезаписывается. # -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. set -eu # Перейти в корень проекта: все пути ниже указаны относительно него. cd "$(dirname "$0")/.." # Общие функции: здесь нужна git_state (текущий коммит). . scripts/lb-lib.sh OUT=evidence/failure-detection.txt # Основная логика; весь её вывод попадает в файл результата (см. конец скрипта). run() { # Шапка доказательства: время и версия кода. echo "# Failure detection $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" # Настройки LB, при которых сняты замеры: период проверок, число неудач и таймауты. # Без них измеренное время обнаружения не с чем сравнить. grep -E 'default-server|timeout (connect|check|server|http-request|http-keep-alive)' infra/haproxy/haproxy.cfg | sed 's/^ *//' # Сценарии замеров: # stop — docker stop (SIGTERM) под трафиком: когда LB вывел реплику, есть ли ошибки; # kill — docker kill (SIGKILL) под трафиком: LB узнаёт об отказе по ошибкам соединения; # pause — docker pause: зависший процесс, обнаруживается только по таймауту проверки; # idle_kill — docker kill без трафика: обнаруживают только активные проверки; # graceful — порядок завершения по SIGTERM при открытых запросах: все ли они завершатся; # notready — неготовая реплика: LB выводит её, и трафик на неё не идёт; # deps — остановка Valkey: реплики становятся неготовыми и возвращаются после его запуска. python3 scripts/failure-detection.py stop kill pause idle_kill graceful notready deps } mkdir -p evidence status=0 # Вызов через || отключает set -e внутри run. Код запоминаем, чтобы вывести файл на экран # и при неудаче. Код run — это код python-скрипта, последней команды в функции. run > "$OUT" 2>&1 || status=$? cat "$OUT" exit "$status"