fix(scripts): run rolling update and failover under k6 load
This commit is contained in:
@@ -2,57 +2,69 @@
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
# Останавливает одну реплику API под нагрузкой k6, ждёт восстановления,
|
||||
# сохраняет метрики. Использование:
|
||||
# Останавливает одну реплику API под нагрузкой k6.
|
||||
#
|
||||
# scripts/failover-under-load.sh <api-1|api-2> <output-prefix>
|
||||
# Имена контейнеров (api-1, api-3, api-5...) меняются после каждого rolling
|
||||
# update, поэтому принимаем не имя, а индекс: 1 = первая живая, 2 = вторая.
|
||||
#
|
||||
# Output:
|
||||
# <prefix>-k6.json — summary k6 (write_errors, latency, RPS)
|
||||
# <prefix>-timing.txt — wall-clock восстановления
|
||||
# <prefix>-events.log — docker events по целевой реплике
|
||||
# scripts/failover-under-load.sh <1|2> <output-prefix>
|
||||
|
||||
TARGET="${1:?target: api-1 or api-2}"
|
||||
PREFIX="${2:?output prefix: e.g. evidence/failover-load-api-1}"
|
||||
TARGET_INDEX="${1:?usage: $0 <1|2> <output-prefix>}"
|
||||
PREFIX="${2:?usage: $0 <1|2> <output-prefix>}"
|
||||
|
||||
case "$TARGET_INDEX" in
|
||||
1|2) ;;
|
||||
*) echo "target index must be 1 or 2" >&2; exit 2 ;;
|
||||
esac
|
||||
|
||||
# Находим нужную живую реплику по индексу.
|
||||
CONTAINER=$(docker compose ps --format '{{.Name}}' api | sort | sed -n "${TARGET_INDEX}p")
|
||||
[ -z "$CONTAINER" ] && { echo "нет реплики с индексом $TARGET_INDEX" >&2; exit 1; }
|
||||
|
||||
RATE="${RATE:-30}"
|
||||
DURATION="${DURATION:-60s}"
|
||||
CONTAINER="mtusi-messenger-lab3-$TARGET"
|
||||
|
||||
echo ">>> цель: $CONTAINER"
|
||||
echo ">>> k6: RATE=$RATE DURATION=$DURATION"
|
||||
|
||||
k6 run -e RATE="$RATE" -e DURATION="$DURATION" \
|
||||
--summary-export "${PREFIX}-k6.json" \
|
||||
student-tests/load-k6.js &
|
||||
K6_PID=$!
|
||||
|
||||
# Даём k6 прогреться и создать чат
|
||||
# k6 прогревается: setup-логин, создание чата, первые секунды нагрузки
|
||||
sleep 15
|
||||
|
||||
echo ">>> останавливаем $CONTAINER"
|
||||
START=$(date +%s.%N)
|
||||
docker events --filter "container=$CONTAINER" \
|
||||
CID=$(docker inspect --format '{{.Id}}' "$CONTAINER")
|
||||
echo ">>> останавливаем $CONTAINER ($CID)"
|
||||
|
||||
docker events --filter "container=$CID" \
|
||||
--format '{{.Time}} {{.Action}}' > "${PREFIX}-events.log" &
|
||||
EVENTS_PID=$!
|
||||
|
||||
START=$(date +%s.%N)
|
||||
docker stop "$CONTAINER" >/dev/null
|
||||
|
||||
# Ждём, пока LB перестанет отправлять туда трафик и вторая реплика
|
||||
# вытянет всё. k6 продолжает слать запросы всё это время.
|
||||
# Даём LB переключиться и второй реплике принять весь трафик.
|
||||
# k6 продолжает слать запросы всё это время.
|
||||
sleep 5
|
||||
|
||||
END=$(date +%s.%N)
|
||||
kill "$EVENTS_PID" 2>/dev/null || true
|
||||
wait "$EVENTS_PID" 2>/dev/null || true
|
||||
|
||||
{
|
||||
echo "# Failover under k6 load"
|
||||
echo "# target: $TARGET"
|
||||
echo "# target: $CONTAINER"
|
||||
echo "# rate: $RATE"
|
||||
echo "# duration: $DURATION"
|
||||
echo "# wall-clock stop-recover: $(python -c "print(round($END - $START, 2))") s"
|
||||
} > "${PREFIX}-timing.txt"
|
||||
|
||||
# Ждём k6 до конца — нагрузка продолжается на единственной оставшейся реплике
|
||||
wait "$K6_PID" || true
|
||||
|
||||
echo ">>> восстанавливаем $CONTAINER"
|
||||
echo ">>> восстанавливаем масштаб до 2"
|
||||
docker compose up -d --scale api=2 >/dev/null
|
||||
sleep 10
|
||||
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api
|
||||
|
||||
+33
-47
@@ -2,67 +2,53 @@
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
# Последовательно пересоздаёт реплики API, сохраняя хотя бы одну живую.
|
||||
# Последовательное пересоздание реплик API под нагрузкой.
|
||||
#
|
||||
# Тактика "поднять новую до снятия старой": временно scale up, дождаться
|
||||
# healthy, остановить одну старую, вернуть масштаб к 2. Это не 1-в-1 как
|
||||
# в Kubernetes rolling update, но без простоя: в любой момент времени
|
||||
# минимум 2 живых реплики обслуживают трафик.
|
||||
# Compose создаёт новое имя контейнера при --scale, поэтому нельзя ждать
|
||||
# конкретное имя. Вместо этого ждём количество healthy-реплик.
|
||||
#
|
||||
# Требования: nginx LB, /health/ready отвечает 200, healthcheck
|
||||
# interval=5s/start_period=10s.
|
||||
# Тактика: остановить одну реплику -> compose поднимает замену -> ждём
|
||||
# 2 healthy -> повторяем для второй. В окне между stop и up живая
|
||||
# ровно одна реплика; k6 продолжает слать трафик через LB.
|
||||
|
||||
COMPOSE="docker compose"
|
||||
TARGET_REPLICAS=2
|
||||
|
||||
healthy() {
|
||||
name="$1"
|
||||
[ "$(docker inspect --format '{{.State.Health.Status}}' "$name" 2>/dev/null || echo missing)" = "healthy" ]
|
||||
healthy_count() {
|
||||
docker compose ps --format '{{.Health}}' api 2>/dev/null | grep -c '^healthy$' || true
|
||||
}
|
||||
|
||||
wait_healthy() {
|
||||
name="$1"
|
||||
wait_healthy_count() {
|
||||
target="$1"
|
||||
i=0
|
||||
while ! healthy "$name"; do
|
||||
while [ "$(healthy_count)" -lt "$target" ]; do
|
||||
i=$((i + 1))
|
||||
[ "$i" -gt 40 ] && { echo "FAIL: $name не стал healthy за 40с" >&2; exit 1; }
|
||||
if [ "$i" -gt 40 ]; then
|
||||
echo "FAIL: не $target healthy за 40 секунд (сейчас $(healthy_count))" >&2
|
||||
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api
|
||||
return 1
|
||||
fi
|
||||
sleep 1
|
||||
done
|
||||
echo " $name healthy"
|
||||
}
|
||||
|
||||
recreate_one() {
|
||||
old="$1"
|
||||
echo ">>> пересоздаём $old"
|
||||
# Запускаем третью реплику заранее, чтобы не потерять capacity
|
||||
$COMPOSE up -d --scale api=$((TARGET_REPLICAS + 1)) --no-recreate >/dev/null
|
||||
sleep 3
|
||||
# Ждём, пока новая реплика прогреется
|
||||
for name in $(docker compose ps --format '{{.Name}}' api); do
|
||||
healthy "$name" || true
|
||||
done
|
||||
# Снимаем старую
|
||||
$COMPOSE stop "$old" >/dev/null
|
||||
$COMPOSE rm -f "$old" >/dev/null
|
||||
# Возвращаем целевой масштаб
|
||||
$COMPOSE up -d --scale api="$TARGET_REPLICAS" --no-recreate >/dev/null
|
||||
# Проверяем, что оба оставшихся живы
|
||||
for name in $(docker compose ps --format '{{.Name}}' api); do
|
||||
wait_healthy "$name"
|
||||
done
|
||||
return 0
|
||||
}
|
||||
|
||||
echo "=== rolling update начинается ==="
|
||||
# Запоминаем исходные имена
|
||||
ALL=$(docker compose ps --format '{{.Name}}' api | sort)
|
||||
echo "исходные реплики:"
|
||||
echo "$ALL"
|
||||
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api
|
||||
echo
|
||||
|
||||
for old in $ALL; do
|
||||
recreate_one "$old"
|
||||
for round in 1 2; do
|
||||
old=$(docker compose ps -q api | head -1)
|
||||
[ -z "$old" ] && { echo "нет запущенных реплик api" >&2; exit 1; }
|
||||
|
||||
name=$(docker inspect --format '{{.Name}}' "$old" | sed 's,^/,,')
|
||||
|
||||
echo ">>> раунд $round: останавливаем $name"
|
||||
docker stop "$old" >/dev/null
|
||||
docker rm "$old" >/dev/null
|
||||
|
||||
docker compose up -d --scale api=2 >/dev/null
|
||||
wait_healthy_count 2
|
||||
echo " восстановлено до 2 healthy"
|
||||
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api
|
||||
echo
|
||||
done
|
||||
|
||||
echo "=== rolling update завершён ==="
|
||||
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api
|
||||
echo "=== rolling update завершён ==="
|
||||
@@ -0,0 +1,23 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
RATE="${RATE:-50}"
|
||||
DURATION="${DURATION:-3m}"
|
||||
WARMUP="${WARMUP:-20}"
|
||||
|
||||
echo ">>> k6: RATE=$RATE DURATION=$DURATION (фон)"
|
||||
k6 run -e RATE="$RATE" -e DURATION="$DURATION" \
|
||||
--summary-export evidence/k6-rolling.json \
|
||||
student-tests/load-k6.js &
|
||||
K6_PID=$!
|
||||
|
||||
echo ">>> прогрев $WARMUP секунд, затем rolling update"
|
||||
sleep "$WARMUP"
|
||||
|
||||
./scripts/rolling-update.sh 2>&1 | tee evidence/rolling-update.log
|
||||
|
||||
echo ">>> ждём завершения k6 (PID $K6_PID)"
|
||||
wait "$K6_PID" || true
|
||||
|
||||
echo ">>> эксперимент завершён. summary: evidence/k6-rolling.json"
|
||||
Reference in New Issue
Block a user