diff --git a/scripts/failover-under-load.sh b/scripts/failover-under-load.sh index fe6c20d8..d73433dc 100644 --- a/scripts/failover-under-load.sh +++ b/scripts/failover-under-load.sh @@ -2,57 +2,69 @@ set -eu cd "$(dirname "$0")/.." -# Останавливает одну реплику API под нагрузкой k6, ждёт восстановления, -# сохраняет метрики. Использование: +# Останавливает одну реплику API под нагрузкой k6. # -# scripts/failover-under-load.sh +# Имена контейнеров (api-1, api-3, api-5...) меняются после каждого rolling +# update, поэтому принимаем не имя, а индекс: 1 = первая живая, 2 = вторая. # -# Output: -# -k6.json — summary k6 (write_errors, latency, RPS) -# -timing.txt — wall-clock восстановления -# -events.log — docker events по целевой реплике +# scripts/failover-under-load.sh <1|2> -TARGET="${1:?target: api-1 or api-2}" -PREFIX="${2:?output prefix: e.g. evidence/failover-load-api-1}" +TARGET_INDEX="${1:?usage: $0 <1|2> }" +PREFIX="${2:?usage: $0 <1|2> }" + +case "$TARGET_INDEX" in + 1|2) ;; + *) echo "target index must be 1 or 2" >&2; exit 2 ;; +esac + +# Находим нужную живую реплику по индексу. +CONTAINER=$(docker compose ps --format '{{.Name}}' api | sort | sed -n "${TARGET_INDEX}p") +[ -z "$CONTAINER" ] && { echo "нет реплики с индексом $TARGET_INDEX" >&2; exit 1; } RATE="${RATE:-30}" DURATION="${DURATION:-60s}" -CONTAINER="mtusi-messenger-lab3-$TARGET" +echo ">>> цель: $CONTAINER" echo ">>> k6: RATE=$RATE DURATION=$DURATION" + k6 run -e RATE="$RATE" -e DURATION="$DURATION" \ --summary-export "${PREFIX}-k6.json" \ student-tests/load-k6.js & K6_PID=$! -# Даём k6 прогреться и создать чат +# k6 прогревается: setup-логин, создание чата, первые секунды нагрузки sleep 15 -echo ">>> останавливаем $CONTAINER" -START=$(date +%s.%N) -docker events --filter "container=$CONTAINER" \ +CID=$(docker inspect --format '{{.Id}}' "$CONTAINER") +echo ">>> останавливаем $CONTAINER ($CID)" + +docker events --filter "container=$CID" \ --format '{{.Time}} {{.Action}}' > "${PREFIX}-events.log" & EVENTS_PID=$! + +START=$(date +%s.%N) docker stop "$CONTAINER" >/dev/null -# Ждём, пока LB перестанет отправлять туда трафик и вторая реплика -# вытянет всё. k6 продолжает слать запросы всё это время. +# Даём LB переключиться и второй реплике принять весь трафик. +# k6 продолжает слать запросы всё это время. sleep 5 END=$(date +%s.%N) kill "$EVENTS_PID" 2>/dev/null || true +wait "$EVENTS_PID" 2>/dev/null || true { echo "# Failover under k6 load" - echo "# target: $TARGET" + echo "# target: $CONTAINER" echo "# rate: $RATE" echo "# duration: $DURATION" echo "# wall-clock stop-recover: $(python -c "print(round($END - $START, 2))") s" } > "${PREFIX}-timing.txt" +# Ждём k6 до конца — нагрузка продолжается на единственной оставшейся реплике wait "$K6_PID" || true -echo ">>> восстанавливаем $CONTAINER" +echo ">>> восстанавливаем масштаб до 2" docker compose up -d --scale api=2 >/dev/null sleep 10 docker compose ps --format 'table {{.Name}}\t{{.Status}}' api diff --git a/scripts/rolling-update.sh b/scripts/rolling-update.sh index 21db5c5f..ff91c868 100644 --- a/scripts/rolling-update.sh +++ b/scripts/rolling-update.sh @@ -2,67 +2,53 @@ set -eu cd "$(dirname "$0")/.." -# Последовательно пересоздаёт реплики API, сохраняя хотя бы одну живую. +# Последовательное пересоздание реплик API под нагрузкой. # -# Тактика "поднять новую до снятия старой": временно scale up, дождаться -# healthy, остановить одну старую, вернуть масштаб к 2. Это не 1-в-1 как -# в Kubernetes rolling update, но без простоя: в любой момент времени -# минимум 2 живых реплики обслуживают трафик. +# Compose создаёт новое имя контейнера при --scale, поэтому нельзя ждать +# конкретное имя. Вместо этого ждём количество healthy-реплик. # -# Требования: nginx LB, /health/ready отвечает 200, healthcheck -# interval=5s/start_period=10s. +# Тактика: остановить одну реплику -> compose поднимает замену -> ждём +# 2 healthy -> повторяем для второй. В окне между stop и up живая +# ровно одна реплика; k6 продолжает слать трафик через LB. -COMPOSE="docker compose" -TARGET_REPLICAS=2 - -healthy() { - name="$1" - [ "$(docker inspect --format '{{.State.Health.Status}}' "$name" 2>/dev/null || echo missing)" = "healthy" ] +healthy_count() { + docker compose ps --format '{{.Health}}' api 2>/dev/null | grep -c '^healthy$' || true } -wait_healthy() { - name="$1" +wait_healthy_count() { + target="$1" i=0 - while ! healthy "$name"; do + while [ "$(healthy_count)" -lt "$target" ]; do i=$((i + 1)) - [ "$i" -gt 40 ] && { echo "FAIL: $name не стал healthy за 40с" >&2; exit 1; } + if [ "$i" -gt 40 ]; then + echo "FAIL: не $target healthy за 40 секунд (сейчас $(healthy_count))" >&2 + docker compose ps --format 'table {{.Name}}\t{{.Status}}' api + return 1 + fi sleep 1 done - echo " $name healthy" -} - -recreate_one() { - old="$1" - echo ">>> пересоздаём $old" - # Запускаем третью реплику заранее, чтобы не потерять capacity - $COMPOSE up -d --scale api=$((TARGET_REPLICAS + 1)) --no-recreate >/dev/null - sleep 3 - # Ждём, пока новая реплика прогреется - for name in $(docker compose ps --format '{{.Name}}' api); do - healthy "$name" || true - done - # Снимаем старую - $COMPOSE stop "$old" >/dev/null - $COMPOSE rm -f "$old" >/dev/null - # Возвращаем целевой масштаб - $COMPOSE up -d --scale api="$TARGET_REPLICAS" --no-recreate >/dev/null - # Проверяем, что оба оставшихся живы - for name in $(docker compose ps --format '{{.Name}}' api); do - wait_healthy "$name" - done + return 0 } echo "=== rolling update начинается ===" -# Запоминаем исходные имена -ALL=$(docker compose ps --format '{{.Name}}' api | sort) -echo "исходные реплики:" -echo "$ALL" +docker compose ps --format 'table {{.Name}}\t{{.Status}}' api echo -for old in $ALL; do - recreate_one "$old" +for round in 1 2; do + old=$(docker compose ps -q api | head -1) + [ -z "$old" ] && { echo "нет запущенных реплик api" >&2; exit 1; } + + name=$(docker inspect --format '{{.Name}}' "$old" | sed 's,^/,,') + + echo ">>> раунд $round: останавливаем $name" + docker stop "$old" >/dev/null + docker rm "$old" >/dev/null + + docker compose up -d --scale api=2 >/dev/null + wait_healthy_count 2 + echo " восстановлено до 2 healthy" + docker compose ps --format 'table {{.Name}}\t{{.Status}}' api echo done -echo "=== rolling update завершён ===" -docker compose ps --format 'table {{.Name}}\t{{.Status}}' api \ No newline at end of file +echo "=== rolling update завершён ===" \ No newline at end of file diff --git a/scripts/run-rolling-experiment.sh b/scripts/run-rolling-experiment.sh new file mode 100644 index 00000000..ac9b3c1d --- /dev/null +++ b/scripts/run-rolling-experiment.sh @@ -0,0 +1,23 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." + +RATE="${RATE:-50}" +DURATION="${DURATION:-3m}" +WARMUP="${WARMUP:-20}" + +echo ">>> k6: RATE=$RATE DURATION=$DURATION (фон)" +k6 run -e RATE="$RATE" -e DURATION="$DURATION" \ + --summary-export evidence/k6-rolling.json \ + student-tests/load-k6.js & +K6_PID=$! + +echo ">>> прогрев $WARMUP секунд, затем rolling update" +sleep "$WARMUP" + +./scripts/rolling-update.sh 2>&1 | tee evidence/rolling-update.log + +echo ">>> ждём завершения k6 (PID $K6_PID)" +wait "$K6_PID" || true + +echo ">>> эксперимент завершён. summary: evidence/k6-rolling.json" \ No newline at end of file