forked from mtusi2026/mtusi2026lab3
96 lines
6.7 KiB
Bash
Executable File
96 lines
6.7 KiB
Bash
Executable File
#!/bin/sh
|
|
# Публичный тест отказа для каждой реплики по очереди, с восстановлением между прогонами.
|
|
# Какую реплику остановить, выбирает тест, поэтому прогоны идут, пока не будет остановлена
|
|
# каждая (не больше MAX_RUNS). Результат: evidence/failover.txt
|
|
#
|
|
# Запуск из любого каталога при поднятом стенде: sh scripts/failover-evidence.sh
|
|
# Настройки через окружение: MAX_RUNS (лимит прогонов), BASE_URL (адрес балансировщика).
|
|
# Код выхода: 0, если остановлена и восстановлена каждая реплика, иначе 1.
|
|
|
|
# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную.
|
|
set -eu
|
|
# Перейти в корень проекта: все пути ниже указаны относительно него.
|
|
cd "$(dirname "$0")/.."
|
|
# Общие функции: compose, wait_lb_up (ждёт реплики в LB), git_state (текущий коммит).
|
|
. scripts/lb-lib.sh
|
|
|
|
# Файл с результатом; при каждом запуске перезаписывается.
|
|
OUT=evidence/failover.txt
|
|
# Лимит прогонов, чтобы цикл не шёл бесконечно, если тест не выберет какую-то реплику.
|
|
MAX_RUNS=${MAX_RUNS:-8}
|
|
# Порт берём из .env, если он там задан (при нескольких значениях последнее), иначе 8080.
|
|
PORT=$(sed -n 's/^API_PUBLISH_PORT=//p' .env | tail -n 1)
|
|
BASE_URL=${BASE_URL:-http://localhost:${PORT:-8080}}
|
|
|
|
# Имена работающих API-контейнеров по одному в строке. Остановленные compose ps не показывает,
|
|
# поэтому разница двух таких списков показывает, какая реплика остановлена.
|
|
api_names() { compose ps --format '{{.Name}}' api | sort; }
|
|
|
|
# Основная логика; весь её вывод попадает в файл результата (см. конец скрипта).
|
|
run() {
|
|
# Шапка доказательства: время и версия кода.
|
|
echo "# Failover $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)"
|
|
# Исходный список реплик: с ним сравниваем после каждого отказа.
|
|
all=$(api_names)
|
|
total=$(echo "$all" | wc -l | tr -d ' ')
|
|
echo "реплики: $(echo "$all" | tr '\n' ' ')"
|
|
# Healthy контейнера мало: тест должен начаться, когда все реплики видит сам LB.
|
|
wait_lb_up "$total" || return 1
|
|
|
|
# covered — реплики, которые уже останавливались; run_no — номер прогона.
|
|
covered=""
|
|
run_no=0
|
|
while [ "$run_no" -lt "$MAX_RUNS" ]; do
|
|
run_no=$((run_no + 1))
|
|
echo "## прогон $run_no"
|
|
# Тест останавливает реплику, ответившую на его первое сообщение. Число запросов до
|
|
# него постоянно, и round-robin выбирал бы одну и ту же реплику, поэтому сдвигаем очередь.
|
|
# Каждый прогон делает на один запрос больше предыдущего.
|
|
i=0
|
|
while [ "$i" -lt "$run_no" ]; do
|
|
curl -fsS -o /dev/null "$BASE_URL/health/live"
|
|
i=$((i + 1))
|
|
done
|
|
# Публичный тест: останавливает реплику через stop-one.sh и в это время отправляет
|
|
# сообщения. Проверяет восстановление записи за 10 с, сохранность данных и отсутствие дублей.
|
|
python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url "$BASE_URL" || return 1
|
|
|
|
# Какой контейнер пропал из работающих: это независимая проверка, а не слова теста.
|
|
# grep -vxF оставляет строки из исходного списка, которых нет в текущем.
|
|
stopped=$(echo "$all" | grep -vxF "$(api_names)" || true)
|
|
[ -n "$stopped" ] || { echo "реплика не была остановлена"; return 1; }
|
|
echo "остановлен контейнер: $stopped"
|
|
# Состояние контейнера от Docker: статус, код выхода и время остановки.
|
|
docker inspect -f ' {{.Name}} status={{.State.Status}} exit={{.State.ExitCode}} finished={{.State.FinishedAt}}' "$stopped"
|
|
echo "работают: $(api_names | tr '\n' ' ')"
|
|
# Отказ должен затронуть только API: зависимости продолжают работать.
|
|
echo "БД, сессии, LB: $(compose ps --format '{{.Service}}={{.State}}' postgres valkey lb | tr '\n' ' ')"
|
|
|
|
# Добавить реплику в covered, если её там ещё нет.
|
|
echo "$covered" | grep -qxF "$stopped" || covered=$(printf '%s\n%s' "$covered" "$stopped")
|
|
|
|
# Запустить остановленную реплику и дождаться, пока LB снова увидит все реплики.
|
|
compose up -d --wait >/dev/null 2>&1 || { echo "восстановление не удалось"; return 1; }
|
|
wait_lb_up "$total" || return 1
|
|
echo "восстановлено реплик: $total"
|
|
|
|
# Какие реплики ещё не останавливались. Если таких нет, проверка пройдена.
|
|
missing=$(echo "$all" | grep -vxF "$covered" || true)
|
|
if [ -z "$missing" ]; then
|
|
echo "PASS: остановлена и восстановлена каждая реплика, прогонов: $run_no"
|
|
return 0
|
|
fi
|
|
done
|
|
# Лимит прогонов исчерпан, а часть реплик так и не была остановлена.
|
|
echo "FAIL: за $MAX_RUNS прогонов не остановлены: $missing"
|
|
return 1
|
|
}
|
|
|
|
mkdir -p evidence
|
|
status=0
|
|
# Вызов через || отключает set -e внутри run, поэтому в ней ошибки обрабатываются через
|
|
# return 1. Код запоминаем, чтобы вывести файл на экран и при неудаче.
|
|
run > "$OUT" 2>&1 || status=$?
|
|
cat "$OUT"
|
|
exit "$status"
|