#!/bin/sh # Публичный тест отказа для каждой реплики по очереди, с восстановлением между прогонами. # Какую реплику остановить, выбирает тест, поэтому прогоны идут, пока не будет остановлена # каждая (не больше MAX_RUNS). Результат: evidence/failover.txt # # Запуск из любого каталога при поднятом стенде: sh scripts/failover-evidence.sh # Настройки через окружение: MAX_RUNS (лимит прогонов), BASE_URL (адрес балансировщика). # Код выхода: 0, если остановлена и восстановлена каждая реплика, иначе 1. # -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. set -eu # Перейти в корень проекта: все пути ниже указаны относительно него. cd "$(dirname "$0")/.." # Общие функции: compose, wait_lb_up (ждёт реплики в LB), git_state (текущий коммит). . scripts/lb-lib.sh # Файл с результатом; при каждом запуске перезаписывается. OUT=evidence/failover.txt # Лимит прогонов, чтобы цикл не шёл бесконечно, если тест не выберет какую-то реплику. MAX_RUNS=${MAX_RUNS:-8} # Порт берём из .env, если он там задан (при нескольких значениях последнее), иначе 8080. PORT=$(sed -n 's/^API_PUBLISH_PORT=//p' .env | tail -n 1) BASE_URL=${BASE_URL:-http://localhost:${PORT:-8080}} # Имена работающих API-контейнеров по одному в строке. Остановленные compose ps не показывает, # поэтому разница двух таких списков показывает, какая реплика остановлена. api_names() { compose ps --format '{{.Name}}' api | sort; } # Основная логика; весь её вывод попадает в файл результата (см. конец скрипта). run() { # Шапка доказательства: время и версия кода. echo "# Failover $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" # Исходный список реплик: с ним сравниваем после каждого отказа. all=$(api_names) total=$(echo "$all" | wc -l | tr -d ' ') echo "реплики: $(echo "$all" | tr '\n' ' ')" # Healthy контейнера мало: тест должен начаться, когда все реплики видит сам LB. wait_lb_up "$total" || return 1 # covered — реплики, которые уже останавливались; run_no — номер прогона. covered="" run_no=0 while [ "$run_no" -lt "$MAX_RUNS" ]; do run_no=$((run_no + 1)) echo "## прогон $run_no" # Тест останавливает реплику, ответившую на его первое сообщение. Число запросов до # него постоянно, и round-robin выбирал бы одну и ту же реплику, поэтому сдвигаем очередь. # Каждый прогон делает на один запрос больше предыдущего. i=0 while [ "$i" -lt "$run_no" ]; do curl -fsS -o /dev/null "$BASE_URL/health/live" i=$((i + 1)) done # Публичный тест: останавливает реплику через stop-one.sh и в это время отправляет # сообщения. Проверяет восстановление записи за 10 с, сохранность данных и отсутствие дублей. python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url "$BASE_URL" || return 1 # Какой контейнер пропал из работающих: это независимая проверка, а не слова теста. # grep -vxF оставляет строки из исходного списка, которых нет в текущем. stopped=$(echo "$all" | grep -vxF "$(api_names)" || true) [ -n "$stopped" ] || { echo "реплика не была остановлена"; return 1; } echo "остановлен контейнер: $stopped" # Состояние контейнера от Docker: статус, код выхода и время остановки. docker inspect -f ' {{.Name}} status={{.State.Status}} exit={{.State.ExitCode}} finished={{.State.FinishedAt}}' "$stopped" echo "работают: $(api_names | tr '\n' ' ')" # Отказ должен затронуть только API: зависимости продолжают работать. echo "БД, сессии, LB: $(compose ps --format '{{.Service}}={{.State}}' postgres valkey lb | tr '\n' ' ')" # Добавить реплику в covered, если её там ещё нет. echo "$covered" | grep -qxF "$stopped" || covered=$(printf '%s\n%s' "$covered" "$stopped") # Запустить остановленную реплику и дождаться, пока LB снова увидит все реплики. compose up -d --wait >/dev/null 2>&1 || { echo "восстановление не удалось"; return 1; } wait_lb_up "$total" || return 1 echo "восстановлено реплик: $total" # Какие реплики ещё не останавливались. Если таких нет, проверка пройдена. missing=$(echo "$all" | grep -vxF "$covered" || true) if [ -z "$missing" ]; then echo "PASS: остановлена и восстановлена каждая реплика, прогонов: $run_no" return 0 fi done # Лимит прогонов исчерпан, а часть реплик так и не была остановлена. echo "FAIL: за $MAX_RUNS прогонов не остановлены: $missing" return 1 } mkdir -p evidence status=0 # Вызов через || отключает set -e внутри run, поэтому в ней ошибки обрабатываются через # return 1. Код запоминаем, чтобы вывести файл на экран и при неудаче. run > "$OUT" 2>&1 || status=$? cat "$OUT" exit "$status"