#!/bin/sh # Уровень 4: ПОСЛЕДОВАТЕЛЬНО останавливает КАЖДУЮ API-реплику под нагрузкой, # восстанавливая предыдущую перед следующей. Режимы: # stop — docker stop (SIGTERM -> graceful drain), штатная остановка/деплой; # kill — docker kill (SIGKILL), внезапное падение процесса без drain. # Результаты: evidence/failover--.json (+ .action.log). # Использование: scripts/failover-each.sh [stop|kill] ... (по умолчанию: stop kill) set -eu cd "$(dirname "$0")/.." MODES=${*:-stop kill} CONCURRENCY=${CONCURRENCY:-8} DURATION=${DURATION:-40} mkdir -p evidence wait_all_up() { # API-контейнеры healthy и HAProxy видит их все UP (rise 2 * inter 1s). ./scripts/start-all.sh >/dev/null n=$(docker compose ps -q api | wc -l | tr -d ' ') for _ in $(seq 1 60); do up=$(curl -s 'http://127.0.0.1:8404/stats;csv' | awk -F, '$1=="be_api" && $18=="UP"' | wc -l | tr -d ' ') [ "$up" -ge "$n" ] && return 0 sleep 1 done echo "HAProxy did not mark all $n api servers UP" >&2; return 1 } wait_all_up # Список фиксируется один раз: остановленная реплика пропала бы из `docker compose ps`. NAMES=$(docker compose ps --format '{{.Name}}' api | sort) for mode in $MODES; do for name in $NAMES; do wait_all_up cid=$(docker inspect -f '{{.Id}}' "$name"); short=$(echo "$cid" | cut -c1-12) case $mode in stop) action="docker stop -t 20 $cid" ;; kill) action="docker kill $cid" ;; *) echo "unknown mode $mode" >&2; exit 2 ;; esac echo "== $mode $name ($short) $(date -u +%FT%TZ)" out=evidence/failover-$mode-$name.json python3 student-tests/failover_bench.py --label "$mode $name" \ --concurrency "$CONCURRENCY" --duration "$DURATION" --action-at 10 \ --action "$action" --target-instance "$short" \ --action-log "${out%.json}.action.log" --output "$out" \ | python3 -c 'import json,sys; t=sys.stdin.read(); s=json.loads(t[:t.rindex("}")+1]); print(json.dumps({k:s[k] for k in ("baseline_ok_rps","post_action_ok_rps","capacity_ratio","errors_total","errors_by_kind","error_window_s","recovery_s","target_last_seen_s","lb_events","lost_confirmed","duplicate_texts","pass")},ensure_ascii=False)); sys.exit(0 if s["pass"] else 1)' echo "-- state after action:"; docker compose ps -a --format '{{.Name}} {{.Status}}' api done done wait_all_up echo "== restored: $(docker compose ps --format '{{.Name}} {{.Status}}' api | tr '\n' ';')"