#!/bin/sh # 4: под постоянной нагрузкой по очереди роняет каждую API-реплику, восстанавливая # предыдущую. Показывает RPS, ошибки и время восстановления, потери и дубли записей. # # Запуск из любого каталога: sh scripts/failover-load.sh stop (SIGTERM, штатное завершение) # sh scripts/failover-load.sh kill (SIGKILL, аварийное падение) # Настройка через окружение: CONCURRENCY (число клиентов, по умолчанию 16). # Результат: evidence/level4/failover-<режим>.txt и .json. Файлы перезаписываются. # Данные синтетические. Расписание рассчитано на 2 реплики: сводка считает фазы только для них. # -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. set -eu # Перейти в корень проекта: все пути ниже указаны относительно него. cd "$(dirname "$0")/.." # Общие функции: compose, ожидание LB и контейнера, запуск loadgen, отсчёт времени замера. . scripts/lb-lib.sh # Режим отказа: первый аргумент, по умолчанию stop. Он же подкоманда docker: docker stop или docker kill. MODE=${1:-stop} # Любое другое значение отклоняем: оно попало бы прямо в команду docker. case "$MODE" in stop | kill) ;; *) echo "usage: $0 stop|kill" >&2; exit 2 ;; esac CONCURRENCY=${CONCURRENCY:-16} DIR=evidence/level4 OUT=$DIR/failover-$MODE.txt # Основная логика; весь её вывод попадает в файл результата (см. конец скрипта). run() { # Шапка доказательства: режим, время и версия кода. echo "# Failover под нагрузкой, режим $MODE, $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" # Поднять стенд, если он не запущен. compose up -d --wait >/dev/null 2>&1 || return 1 # Запоминаем ID контейнеров: по ним же реплики запускаются обратно. ids=$(compose ps -q api) total=$(echo "$ids" | wc -l | tr -d ' ') # Healthy контейнера мало: нагрузка должна начаться, когда все реплики видит сам LB. wait_lb_up "$total" || return 1 echo "реплик: $total, профиль: concurrency=$CONCURRENCY, запись 20%, замер 60 с, прогрев 5 с" # Фактические лимиты реплик от Docker: без них RPS нельзя сравнивать. $ids без кавычек # намеренно: каждый ID должен стать отдельным аргументом. docker inspect -f '{{.Name}} cpus={{.HostConfig.NanoCpus}} memory={{.HostConfig.Memory}}' $ids # Запустить генератор в фоне и дождаться начала замера: от него отсчитывается время t. # /evidence — каталог внутри контейнера loadgen, он смонтирован из ./evidence проекта. start_loadgen -duration 60s -warmup 5s -concurrency "$CONCURRENCY" -label "failover-$MODE" \ -out "/evidence/level4/failover-$MODE.json" || return 1 # Секунда замера, на которой роняем очередную реплику. Расписание: отказ на 10 и 32 с, # запуск на 20 и 42 с. Эти же секунды заданы в failover-summary.py: менять только вместе. at=10 for id in $ids; do name=$(docker inspect -f '{{.Name}}' "$id") sleep_until "$at" echo "t=$(elapsed)s docker $MODE $name" # Отказ реплики. docker stop блокируется, пока реплика не завершит запросы и не выйдет, # поэтому в режиме stop время следующей строки — конец docker stop, а не момент вывода из LB. docker "$MODE" "$id" >/dev/null # Дождаться, пока LB оставит на одну реплику меньше. wait_lb_up "$((total - 1))" || return 1 echo "t=$(elapsed)s LB вывел реплику; работает реплик: $(lb_up_count)" # Реплика лежит до 10-й секунды от начала своего отказа, затем запускается. sleep_until "$((at + 10))" docker start "$id" >/dev/null echo "t=$(elapsed)s docker start $name" # Восстановление считается завершённым, когда реплику снова видит LB. wait_lb_up "$total" || return 1 echo "t=$(elapsed)s LB вернул реплику; работает реплик: $(lb_up_count)" # Следующий отказ — только после полного восстановления этой реплики: # в каждый момент отказывает не больше одной. wait_healthy "$id" || return 1 at=$((at + 22)) done echo "## результат loadgen" # Дождаться конца нагрузки и вывести итог. Генератор сам сверяет историю сообщений и # завершается с ошибкой, если нашёл потерянные записи или дубли. finish_loadgen || return 1 echo "## сводка по фазам" # RPS до отказа, при одной реплике и после возврата, время восстановления, ошибки. python3 scripts/failover-summary.py "$DIR/failover-$MODE.json" } mkdir -p "$DIR" status=0 # Вызов через || отключает set -e внутри run, поэтому в ней ошибки обрабатываются через # return 1. Код запоминаем, чтобы вывести файл на экран и при неудаче. run >"$OUT" 2>&1 || status=$? cat "$OUT" exit "$status"