forked from mtusi2026/mtusi2026lab3
work 3
This commit is contained in:
Executable
+90
@@ -0,0 +1,90 @@
|
||||
#!/bin/sh
|
||||
# 4: под постоянной нагрузкой по очереди роняет каждую API-реплику, восстанавливая
|
||||
# предыдущую. Показывает RPS, ошибки и время восстановления, потери и дубли записей.
|
||||
#
|
||||
# Запуск из любого каталога: sh scripts/failover-load.sh stop (SIGTERM, штатное завершение)
|
||||
# sh scripts/failover-load.sh kill (SIGKILL, аварийное падение)
|
||||
# Настройка через окружение: CONCURRENCY (число клиентов, по умолчанию 16).
|
||||
# Результат: evidence/level4/failover-<режим>.txt и .json. Файлы перезаписываются.
|
||||
# Данные синтетические. Расписание рассчитано на 2 реплики: сводка считает фазы только для них.
|
||||
|
||||
# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную.
|
||||
set -eu
|
||||
# Перейти в корень проекта: все пути ниже указаны относительно него.
|
||||
cd "$(dirname "$0")/.."
|
||||
# Общие функции: compose, ожидание LB и контейнера, запуск loadgen, отсчёт времени замера.
|
||||
. scripts/lb-lib.sh
|
||||
|
||||
# Режим отказа: первый аргумент, по умолчанию stop. Он же подкоманда docker: docker stop или docker kill.
|
||||
MODE=${1:-stop}
|
||||
# Любое другое значение отклоняем: оно попало бы прямо в команду docker.
|
||||
case "$MODE" in
|
||||
stop | kill) ;;
|
||||
*) echo "usage: $0 stop|kill" >&2; exit 2 ;;
|
||||
esac
|
||||
CONCURRENCY=${CONCURRENCY:-16}
|
||||
DIR=evidence/level4
|
||||
OUT=$DIR/failover-$MODE.txt
|
||||
|
||||
# Основная логика; весь её вывод попадает в файл результата (см. конец скрипта).
|
||||
run() {
|
||||
# Шапка доказательства: режим, время и версия кода.
|
||||
echo "# Failover под нагрузкой, режим $MODE, $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)"
|
||||
# Поднять стенд, если он не запущен.
|
||||
compose up -d --wait >/dev/null 2>&1 || return 1
|
||||
# Запоминаем ID контейнеров: по ним же реплики запускаются обратно.
|
||||
ids=$(compose ps -q api)
|
||||
total=$(echo "$ids" | wc -l | tr -d ' ')
|
||||
# Healthy контейнера мало: нагрузка должна начаться, когда все реплики видит сам LB.
|
||||
wait_lb_up "$total" || return 1
|
||||
echo "реплик: $total, профиль: concurrency=$CONCURRENCY, запись 20%, замер 60 с, прогрев 5 с"
|
||||
# Фактические лимиты реплик от Docker: без них RPS нельзя сравнивать. $ids без кавычек
|
||||
# намеренно: каждый ID должен стать отдельным аргументом.
|
||||
docker inspect -f '{{.Name}} cpus={{.HostConfig.NanoCpus}} memory={{.HostConfig.Memory}}' $ids
|
||||
|
||||
# Запустить генератор в фоне и дождаться начала замера: от него отсчитывается время t.
|
||||
# /evidence — каталог внутри контейнера loadgen, он смонтирован из ./evidence проекта.
|
||||
start_loadgen -duration 60s -warmup 5s -concurrency "$CONCURRENCY" -label "failover-$MODE" \
|
||||
-out "/evidence/level4/failover-$MODE.json" || return 1
|
||||
|
||||
# Секунда замера, на которой роняем очередную реплику. Расписание: отказ на 10 и 32 с,
|
||||
# запуск на 20 и 42 с. Эти же секунды заданы в failover-summary.py: менять только вместе.
|
||||
at=10
|
||||
for id in $ids; do
|
||||
name=$(docker inspect -f '{{.Name}}' "$id")
|
||||
sleep_until "$at"
|
||||
echo "t=$(elapsed)s docker $MODE $name"
|
||||
# Отказ реплики. docker stop блокируется, пока реплика не завершит запросы и не выйдет,
|
||||
# поэтому в режиме stop время следующей строки — конец docker stop, а не момент вывода из LB.
|
||||
docker "$MODE" "$id" >/dev/null
|
||||
# Дождаться, пока LB оставит на одну реплику меньше.
|
||||
wait_lb_up "$((total - 1))" || return 1
|
||||
echo "t=$(elapsed)s LB вывел реплику; работает реплик: $(lb_up_count)"
|
||||
# Реплика лежит до 10-й секунды от начала своего отказа, затем запускается.
|
||||
sleep_until "$((at + 10))"
|
||||
docker start "$id" >/dev/null
|
||||
echo "t=$(elapsed)s docker start $name"
|
||||
# Восстановление считается завершённым, когда реплику снова видит LB.
|
||||
wait_lb_up "$total" || return 1
|
||||
echo "t=$(elapsed)s LB вернул реплику; работает реплик: $(lb_up_count)"
|
||||
# Следующий отказ — только после полного восстановления этой реплики:
|
||||
# в каждый момент отказывает не больше одной.
|
||||
wait_healthy "$id" || return 1
|
||||
at=$((at + 22))
|
||||
done
|
||||
echo "## результат loadgen"
|
||||
# Дождаться конца нагрузки и вывести итог. Генератор сам сверяет историю сообщений и
|
||||
# завершается с ошибкой, если нашёл потерянные записи или дубли.
|
||||
finish_loadgen || return 1
|
||||
echo "## сводка по фазам"
|
||||
# RPS до отказа, при одной реплике и после возврата, время восстановления, ошибки.
|
||||
python3 scripts/failover-summary.py "$DIR/failover-$MODE.json"
|
||||
}
|
||||
|
||||
mkdir -p "$DIR"
|
||||
status=0
|
||||
# Вызов через || отключает set -e внутри run, поэтому в ней ошибки обрабатываются через
|
||||
# return 1. Код запоминаем, чтобы вывести файл на экран и при неудаче.
|
||||
run >"$OUT" 2>&1 || status=$?
|
||||
cat "$OUT"
|
||||
exit "$status"
|
||||
Reference in New Issue
Block a user