feat(scripts): rolling update and failover under k6 load

This commit is contained in:
Голиков Maximillian Антон
2026-10-07 18:11:44 +03:00
parent 320d797554
commit eb7662b137
3 changed files with 182 additions and 0 deletions
+51
View File
@@ -0,0 +1,51 @@
#!/usr/bin/env python3
"""Собирает метрики из k6 summary-export в плоский CSV.
Использование:
python3 scripts/collect-metrics.py evidence/*-k6.json > evidence/summary.csv
"""
import json
import sys
from pathlib import Path
FIELDS = [
("http_reqs", "rate"),
("http_req_failed", "rate"),
("write_errors", "rate"),
("write_total", "count"),
("write_latency_ms", "avg"),
("write_latency_ms", "p(90)"),
("write_latency_ms", "p(95)"),
("write_latency_ms", "max"),
("http_req_duration", "p(95)"),
("http_req_duration", "p(99)"),
]
def main() -> int:
if len(sys.argv) < 2:
print("usage: collect-metrics.py <k6-summary.json> ...", file=sys.stderr)
return 2
print("run,metric,value")
for path in sys.argv[1:]:
name = Path(path).stem
try:
data = json.loads(Path(path).read_text(encoding="utf-8"))
except (OSError, json.JSONDecodeError) as exc:
print(f"# skip {path}: {exc}", file=sys.stderr)
continue
metrics = data.get("metrics", {})
for metric, key in FIELDS:
entry = metrics.get(metric)
if not entry:
continue
values = entry.get("values", entry)
value = values.get(key)
if value is None:
continue
print(f"{name},{metric}.{key},{value}")
return 0
if __name__ == "__main__":
raise SystemExit(main())
+63
View File
@@ -0,0 +1,63 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
# Останавливает одну реплику API под нагрузкой k6, ждёт восстановления,
# сохраняет метрики. Использование:
#
# scripts/failover-under-load.sh <api-1|api-2> <output-prefix>
#
# Output:
# <prefix>-k6.json — summary k6 (write_errors, latency, RPS)
# <prefix>-timing.txt — wall-clock восстановления
# <prefix>-events.log — docker events по целевой реплике
TARGET="${1:?target: api-1 or api-2}"
PREFIX="${2:?output prefix: e.g. evidence/failover-load-api-1}"
RATE="${RATE:-30}"
DURATION="${DURATION:-60s}"
CONTAINER="mtusi-messenger-lab3-$TARGET"
echo ">>> k6: RATE=$RATE DURATION=$DURATION"
k6 run -e RATE="$RATE" -e DURATION="$DURATION" \
--summary-export "${PREFIX}-k6.json" \
student-tests/load-k6.js &
K6_PID=$!
# Даём k6 прогреться и создать чат
sleep 15
echo ">>> останавливаем $CONTAINER"
START=$(date +%s.%N)
docker events --filter "container=$CONTAINER" \
--format '{{.Time}} {{.Action}}' > "${PREFIX}-events.log" &
EVENTS_PID=$!
docker stop "$CONTAINER" >/dev/null
# Ждём, пока LB перестанет отправлять туда трафик и вторая реплика
# вытянет всё. k6 продолжает слать запросы всё это время.
sleep 5
END=$(date +%s.%N)
kill "$EVENTS_PID" 2>/dev/null || true
{
echo "# Failover under k6 load"
echo "# target: $TARGET"
echo "# rate: $RATE"
echo "# duration: $DURATION"
echo "# wall-clock stop-recover: $(python -c "print(round($END - $START, 2))") s"
} > "${PREFIX}-timing.txt"
wait "$K6_PID" || true
echo ">>> восстанавливаем $CONTAINER"
docker compose up -d --scale api=2 >/dev/null
sleep 10
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api
echo ">>> готово:"
echo " ${PREFIX}-k6.json"
echo " ${PREFIX}-timing.txt"
echo " ${PREFIX}-events.log"
+68
View File
@@ -0,0 +1,68 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
# Последовательно пересоздаёт реплики API, сохраняя хотя бы одну живую.
#
# Тактика "поднять новую до снятия старой": временно scale up, дождаться
# healthy, остановить одну старую, вернуть масштаб к 2. Это не 1-в-1 как
# в Kubernetes rolling update, но без простоя: в любой момент времени
# минимум 2 живых реплики обслуживают трафик.
#
# Требования: nginx LB, /health/ready отвечает 200, healthcheck
# interval=5s/start_period=10s.
COMPOSE="docker compose"
TARGET_REPLICAS=2
healthy() {
name="$1"
[ "$(docker inspect --format '{{.State.Health.Status}}' "$name" 2>/dev/null || echo missing)" = "healthy" ]
}
wait_healthy() {
name="$1"
i=0
while ! healthy "$name"; do
i=$((i + 1))
[ "$i" -gt 40 ] && { echo "FAIL: $name не стал healthy за 40с" >&2; exit 1; }
sleep 1
done
echo " $name healthy"
}
recreate_one() {
old="$1"
echo ">>> пересоздаём $old"
# Запускаем третью реплику заранее, чтобы не потерять capacity
$COMPOSE up -d --scale api=$((TARGET_REPLICAS + 1)) --no-recreate >/dev/null
sleep 3
# Ждём, пока новая реплика прогреется
for name in $(docker compose ps --format '{{.Name}}' api); do
healthy "$name" || true
done
# Снимаем старую
$COMPOSE stop "$old" >/dev/null
$COMPOSE rm -f "$old" >/dev/null
# Возвращаем целевой масштаб
$COMPOSE up -d --scale api="$TARGET_REPLICAS" --no-recreate >/dev/null
# Проверяем, что оба оставшихся живы
for name in $(docker compose ps --format '{{.Name}}' api); do
wait_healthy "$name"
done
}
echo "=== rolling update начинается ==="
# Запоминаем исходные имена
ALL=$(docker compose ps --format '{{.Name}}' api | sort)
echo "исходные реплики:"
echo "$ALL"
echo
for old in $ALL; do
recreate_one "$old"
echo
done
echo "=== rolling update завершён ==="
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api