forked from mtusi2026/mtusi2026lab3
91 lines
6.4 KiB
Bash
Executable File
91 lines
6.4 KiB
Bash
Executable File
#!/bin/sh
|
|
# 4: под постоянной нагрузкой по очереди роняет каждую API-реплику, восстанавливая
|
|
# предыдущую. Показывает RPS, ошибки и время восстановления, потери и дубли записей.
|
|
#
|
|
# Запуск из любого каталога: sh scripts/failover-load.sh stop (SIGTERM, штатное завершение)
|
|
# sh scripts/failover-load.sh kill (SIGKILL, аварийное падение)
|
|
# Настройка через окружение: CONCURRENCY (число клиентов, по умолчанию 16).
|
|
# Результат: evidence/level4/failover-<режим>.txt и .json. Файлы перезаписываются.
|
|
# Данные синтетические. Расписание рассчитано на 2 реплики: сводка считает фазы только для них.
|
|
|
|
# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную.
|
|
set -eu
|
|
# Перейти в корень проекта: все пути ниже указаны относительно него.
|
|
cd "$(dirname "$0")/.."
|
|
# Общие функции: compose, ожидание LB и контейнера, запуск loadgen, отсчёт времени замера.
|
|
. scripts/lb-lib.sh
|
|
|
|
# Режим отказа: первый аргумент, по умолчанию stop. Он же подкоманда docker: docker stop или docker kill.
|
|
MODE=${1:-stop}
|
|
# Любое другое значение отклоняем: оно попало бы прямо в команду docker.
|
|
case "$MODE" in
|
|
stop | kill) ;;
|
|
*) echo "usage: $0 stop|kill" >&2; exit 2 ;;
|
|
esac
|
|
CONCURRENCY=${CONCURRENCY:-16}
|
|
DIR=evidence/level4
|
|
OUT=$DIR/failover-$MODE.txt
|
|
|
|
# Основная логика; весь её вывод попадает в файл результата (см. конец скрипта).
|
|
run() {
|
|
# Шапка доказательства: режим, время и версия кода.
|
|
echo "# Failover под нагрузкой, режим $MODE, $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)"
|
|
# Поднять стенд, если он не запущен.
|
|
compose up -d --wait >/dev/null 2>&1 || return 1
|
|
# Запоминаем ID контейнеров: по ним же реплики запускаются обратно.
|
|
ids=$(compose ps -q api)
|
|
total=$(echo "$ids" | wc -l | tr -d ' ')
|
|
# Healthy контейнера мало: нагрузка должна начаться, когда все реплики видит сам LB.
|
|
wait_lb_up "$total" || return 1
|
|
echo "реплик: $total, профиль: concurrency=$CONCURRENCY, запись 20%, замер 60 с, прогрев 5 с"
|
|
# Фактические лимиты реплик от Docker: без них RPS нельзя сравнивать. $ids без кавычек
|
|
# намеренно: каждый ID должен стать отдельным аргументом.
|
|
docker inspect -f '{{.Name}} cpus={{.HostConfig.NanoCpus}} memory={{.HostConfig.Memory}}' $ids
|
|
|
|
# Запустить генератор в фоне и дождаться начала замера: от него отсчитывается время t.
|
|
# /evidence — каталог внутри контейнера loadgen, он смонтирован из ./evidence проекта.
|
|
start_loadgen -duration 60s -warmup 5s -concurrency "$CONCURRENCY" -label "failover-$MODE" \
|
|
-out "/evidence/level4/failover-$MODE.json" || return 1
|
|
|
|
# Секунда замера, на которой роняем очередную реплику. Расписание: отказ на 10 и 32 с,
|
|
# запуск на 20 и 42 с. Эти же секунды заданы в failover-summary.py: менять только вместе.
|
|
at=10
|
|
for id in $ids; do
|
|
name=$(docker inspect -f '{{.Name}}' "$id")
|
|
sleep_until "$at"
|
|
echo "t=$(elapsed)s docker $MODE $name"
|
|
# Отказ реплики. docker stop блокируется, пока реплика не завершит запросы и не выйдет,
|
|
# поэтому в режиме stop время следующей строки — конец docker stop, а не момент вывода из LB.
|
|
docker "$MODE" "$id" >/dev/null
|
|
# Дождаться, пока LB оставит на одну реплику меньше.
|
|
wait_lb_up "$((total - 1))" || return 1
|
|
echo "t=$(elapsed)s LB вывел реплику; работает реплик: $(lb_up_count)"
|
|
# Реплика лежит до 10-й секунды от начала своего отказа, затем запускается.
|
|
sleep_until "$((at + 10))"
|
|
docker start "$id" >/dev/null
|
|
echo "t=$(elapsed)s docker start $name"
|
|
# Восстановление считается завершённым, когда реплику снова видит LB.
|
|
wait_lb_up "$total" || return 1
|
|
echo "t=$(elapsed)s LB вернул реплику; работает реплик: $(lb_up_count)"
|
|
# Следующий отказ — только после полного восстановления этой реплики:
|
|
# в каждый момент отказывает не больше одной.
|
|
wait_healthy "$id" || return 1
|
|
at=$((at + 22))
|
|
done
|
|
echo "## результат loadgen"
|
|
# Дождаться конца нагрузки и вывести итог. Генератор сам сверяет историю сообщений и
|
|
# завершается с ошибкой, если нашёл потерянные записи или дубли.
|
|
finish_loadgen || return 1
|
|
echo "## сводка по фазам"
|
|
# RPS до отказа, при одной реплике и после возврата, время восстановления, ошибки.
|
|
python3 scripts/failover-summary.py "$DIR/failover-$MODE.json"
|
|
}
|
|
|
|
mkdir -p "$DIR"
|
|
status=0
|
|
# Вызов через || отключает set -e внутри run, поэтому в ней ошибки обрабатываются через
|
|
# return 1. Код запоминаем, чтобы вывести файл на экран и при неудаче.
|
|
run >"$OUT" 2>&1 || status=$?
|
|
cat "$OUT"
|
|
exit "$status"
|