fix(scripts): run rolling update and failover under k6 load

This commit is contained in:
Голиков Maximillian Антон
2026-10-07 20:52:44 +03:00
parent eb7662b137
commit fabbb6d600
3 changed files with 86 additions and 65 deletions
+30 -18
View File
@@ -2,57 +2,69 @@
set -eu
cd "$(dirname "$0")/.."
# Останавливает одну реплику API под нагрузкой k6, ждёт восстановления,
# сохраняет метрики. Использование:
# Останавливает одну реплику API под нагрузкой k6.
#
# scripts/failover-under-load.sh <api-1|api-2> <output-prefix>
# Имена контейнеров (api-1, api-3, api-5...) меняются после каждого rolling
# update, поэтому принимаем не имя, а индекс: 1 = первая живая, 2 = вторая.
#
# Output:
# <prefix>-k6.json — summary k6 (write_errors, latency, RPS)
# <prefix>-timing.txt — wall-clock восстановления
# <prefix>-events.log — docker events по целевой реплике
# scripts/failover-under-load.sh <1|2> <output-prefix>
TARGET="${1:?target: api-1 or api-2}"
PREFIX="${2:?output prefix: e.g. evidence/failover-load-api-1}"
TARGET_INDEX="${1:?usage: $0 <1|2> <output-prefix>}"
PREFIX="${2:?usage: $0 <1|2> <output-prefix>}"
case "$TARGET_INDEX" in
1|2) ;;
*) echo "target index must be 1 or 2" >&2; exit 2 ;;
esac
# Находим нужную живую реплику по индексу.
CONTAINER=$(docker compose ps --format '{{.Name}}' api | sort | sed -n "${TARGET_INDEX}p")
[ -z "$CONTAINER" ] && { echo "нет реплики с индексом $TARGET_INDEX" >&2; exit 1; }
RATE="${RATE:-30}"
DURATION="${DURATION:-60s}"
CONTAINER="mtusi-messenger-lab3-$TARGET"
echo ">>> цель: $CONTAINER"
echo ">>> k6: RATE=$RATE DURATION=$DURATION"
k6 run -e RATE="$RATE" -e DURATION="$DURATION" \
--summary-export "${PREFIX}-k6.json" \
student-tests/load-k6.js &
K6_PID=$!
# Даём k6 прогреться и создать чат
# k6 прогревается: setup-логин, создание чата, первые секунды нагрузки
sleep 15
echo ">>> останавливаем $CONTAINER"
START=$(date +%s.%N)
docker events --filter "container=$CONTAINER" \
CID=$(docker inspect --format '{{.Id}}' "$CONTAINER")
echo ">>> останавливаем $CONTAINER ($CID)"
docker events --filter "container=$CID" \
--format '{{.Time}} {{.Action}}' > "${PREFIX}-events.log" &
EVENTS_PID=$!
START=$(date +%s.%N)
docker stop "$CONTAINER" >/dev/null
# Ждём, пока LB перестанет отправлять туда трафик и вторая реплика
# вытянет всё. k6 продолжает слать запросы всё это время.
# Даём LB переключиться и второй реплике принять весь трафик.
# k6 продолжает слать запросы всё это время.
sleep 5
END=$(date +%s.%N)
kill "$EVENTS_PID" 2>/dev/null || true
wait "$EVENTS_PID" 2>/dev/null || true
{
echo "# Failover under k6 load"
echo "# target: $TARGET"
echo "# target: $CONTAINER"
echo "# rate: $RATE"
echo "# duration: $DURATION"
echo "# wall-clock stop-recover: $(python -c "print(round($END - $START, 2))") s"
} > "${PREFIX}-timing.txt"
# Ждём k6 до конца — нагрузка продолжается на единственной оставшейся реплике
wait "$K6_PID" || true
echo ">>> восстанавливаем $CONTAINER"
echo ">>> восстанавливаем масштаб до 2"
docker compose up -d --scale api=2 >/dev/null
sleep 10
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api
+33 -47
View File
@@ -2,67 +2,53 @@
set -eu
cd "$(dirname "$0")/.."
# Последовательно пересоздаёт реплики API, сохраняя хотя бы одну живую.
# Последовательное пересоздание реплик API под нагрузкой.
#
# Тактика "поднять новую до снятия старой": временно scale up, дождаться
# healthy, остановить одну старую, вернуть масштаб к 2. Это не 1-в-1 как
# в Kubernetes rolling update, но без простоя: в любой момент времени
# минимум 2 живых реплики обслуживают трафик.
# Compose создаёт новое имя контейнера при --scale, поэтому нельзя ждать
# конкретное имя. Вместо этого ждём количество healthy-реплик.
#
# Требования: nginx LB, /health/ready отвечает 200, healthcheck
# interval=5s/start_period=10s.
# Тактика: остановить одну реплику -> compose поднимает замену -> ждём
# 2 healthy -> повторяем для второй. В окне между stop и up живая
# ровно одна реплика; k6 продолжает слать трафик через LB.
COMPOSE="docker compose"
TARGET_REPLICAS=2
healthy() {
name="$1"
[ "$(docker inspect --format '{{.State.Health.Status}}' "$name" 2>/dev/null || echo missing)" = "healthy" ]
healthy_count() {
docker compose ps --format '{{.Health}}' api 2>/dev/null | grep -c '^healthy$' || true
}
wait_healthy() {
name="$1"
wait_healthy_count() {
target="$1"
i=0
while ! healthy "$name"; do
while [ "$(healthy_count)" -lt "$target" ]; do
i=$((i + 1))
[ "$i" -gt 40 ] && { echo "FAIL: $name не стал healthy за 40с" >&2; exit 1; }
if [ "$i" -gt 40 ]; then
echo "FAIL: не $target healthy за 40 секунд (сейчас $(healthy_count))" >&2
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api
return 1
fi
sleep 1
done
echo " $name healthy"
}
recreate_one() {
old="$1"
echo ">>> пересоздаём $old"
# Запускаем третью реплику заранее, чтобы не потерять capacity
$COMPOSE up -d --scale api=$((TARGET_REPLICAS + 1)) --no-recreate >/dev/null
sleep 3
# Ждём, пока новая реплика прогреется
for name in $(docker compose ps --format '{{.Name}}' api); do
healthy "$name" || true
done
# Снимаем старую
$COMPOSE stop "$old" >/dev/null
$COMPOSE rm -f "$old" >/dev/null
# Возвращаем целевой масштаб
$COMPOSE up -d --scale api="$TARGET_REPLICAS" --no-recreate >/dev/null
# Проверяем, что оба оставшихся живы
for name in $(docker compose ps --format '{{.Name}}' api); do
wait_healthy "$name"
done
return 0
}
echo "=== rolling update начинается ==="
# Запоминаем исходные имена
ALL=$(docker compose ps --format '{{.Name}}' api | sort)
echo "исходные реплики:"
echo "$ALL"
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api
echo
for old in $ALL; do
recreate_one "$old"
for round in 1 2; do
old=$(docker compose ps -q api | head -1)
[ -z "$old" ] && { echo "нет запущенных реплик api" >&2; exit 1; }
name=$(docker inspect --format '{{.Name}}' "$old" | sed 's,^/,,')
echo ">>> раунд $round: останавливаем $name"
docker stop "$old" >/dev/null
docker rm "$old" >/dev/null
docker compose up -d --scale api=2 >/dev/null
wait_healthy_count 2
echo " восстановлено до 2 healthy"
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api
echo
done
echo "=== rolling update завершён ==="
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api
echo "=== rolling update завершён ==="
+23
View File
@@ -0,0 +1,23 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
RATE="${RATE:-50}"
DURATION="${DURATION:-3m}"
WARMUP="${WARMUP:-20}"
echo ">>> k6: RATE=$RATE DURATION=$DURATION (фон)"
k6 run -e RATE="$RATE" -e DURATION="$DURATION" \
--summary-export evidence/k6-rolling.json \
student-tests/load-k6.js &
K6_PID=$!
echo ">>> прогрев $WARMUP секунд, затем rolling update"
sleep "$WARMUP"
./scripts/rolling-update.sh 2>&1 | tee evidence/rolling-update.log
echo ">>> ждём завершения k6 (PID $K6_PID)"
wait "$K6_PID" || true
echo ">>> эксперимент завершён. summary: evidence/k6-rolling.json"