feat(scripts): rolling update and failover under k6 load
This commit is contained in:
@@ -0,0 +1,51 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Собирает метрики из k6 summary-export в плоский CSV.
|
||||
|
||||
Использование:
|
||||
python3 scripts/collect-metrics.py evidence/*-k6.json > evidence/summary.csv
|
||||
"""
|
||||
import json
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
FIELDS = [
|
||||
("http_reqs", "rate"),
|
||||
("http_req_failed", "rate"),
|
||||
("write_errors", "rate"),
|
||||
("write_total", "count"),
|
||||
("write_latency_ms", "avg"),
|
||||
("write_latency_ms", "p(90)"),
|
||||
("write_latency_ms", "p(95)"),
|
||||
("write_latency_ms", "max"),
|
||||
("http_req_duration", "p(95)"),
|
||||
("http_req_duration", "p(99)"),
|
||||
]
|
||||
|
||||
|
||||
def main() -> int:
|
||||
if len(sys.argv) < 2:
|
||||
print("usage: collect-metrics.py <k6-summary.json> ...", file=sys.stderr)
|
||||
return 2
|
||||
print("run,metric,value")
|
||||
for path in sys.argv[1:]:
|
||||
name = Path(path).stem
|
||||
try:
|
||||
data = json.loads(Path(path).read_text(encoding="utf-8"))
|
||||
except (OSError, json.JSONDecodeError) as exc:
|
||||
print(f"# skip {path}: {exc}", file=sys.stderr)
|
||||
continue
|
||||
metrics = data.get("metrics", {})
|
||||
for metric, key in FIELDS:
|
||||
entry = metrics.get(metric)
|
||||
if not entry:
|
||||
continue
|
||||
values = entry.get("values", entry)
|
||||
value = values.get(key)
|
||||
if value is None:
|
||||
continue
|
||||
print(f"{name},{metric}.{key},{value}")
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
raise SystemExit(main())
|
||||
@@ -0,0 +1,63 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
# Останавливает одну реплику API под нагрузкой k6, ждёт восстановления,
|
||||
# сохраняет метрики. Использование:
|
||||
#
|
||||
# scripts/failover-under-load.sh <api-1|api-2> <output-prefix>
|
||||
#
|
||||
# Output:
|
||||
# <prefix>-k6.json — summary k6 (write_errors, latency, RPS)
|
||||
# <prefix>-timing.txt — wall-clock восстановления
|
||||
# <prefix>-events.log — docker events по целевой реплике
|
||||
|
||||
TARGET="${1:?target: api-1 or api-2}"
|
||||
PREFIX="${2:?output prefix: e.g. evidence/failover-load-api-1}"
|
||||
|
||||
RATE="${RATE:-30}"
|
||||
DURATION="${DURATION:-60s}"
|
||||
CONTAINER="mtusi-messenger-lab3-$TARGET"
|
||||
|
||||
echo ">>> k6: RATE=$RATE DURATION=$DURATION"
|
||||
k6 run -e RATE="$RATE" -e DURATION="$DURATION" \
|
||||
--summary-export "${PREFIX}-k6.json" \
|
||||
student-tests/load-k6.js &
|
||||
K6_PID=$!
|
||||
|
||||
# Даём k6 прогреться и создать чат
|
||||
sleep 15
|
||||
|
||||
echo ">>> останавливаем $CONTAINER"
|
||||
START=$(date +%s.%N)
|
||||
docker events --filter "container=$CONTAINER" \
|
||||
--format '{{.Time}} {{.Action}}' > "${PREFIX}-events.log" &
|
||||
EVENTS_PID=$!
|
||||
docker stop "$CONTAINER" >/dev/null
|
||||
|
||||
# Ждём, пока LB перестанет отправлять туда трафик и вторая реплика
|
||||
# вытянет всё. k6 продолжает слать запросы всё это время.
|
||||
sleep 5
|
||||
|
||||
END=$(date +%s.%N)
|
||||
kill "$EVENTS_PID" 2>/dev/null || true
|
||||
|
||||
{
|
||||
echo "# Failover under k6 load"
|
||||
echo "# target: $TARGET"
|
||||
echo "# rate: $RATE"
|
||||
echo "# duration: $DURATION"
|
||||
echo "# wall-clock stop-recover: $(python -c "print(round($END - $START, 2))") s"
|
||||
} > "${PREFIX}-timing.txt"
|
||||
|
||||
wait "$K6_PID" || true
|
||||
|
||||
echo ">>> восстанавливаем $CONTAINER"
|
||||
docker compose up -d --scale api=2 >/dev/null
|
||||
sleep 10
|
||||
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api
|
||||
|
||||
echo ">>> готово:"
|
||||
echo " ${PREFIX}-k6.json"
|
||||
echo " ${PREFIX}-timing.txt"
|
||||
echo " ${PREFIX}-events.log"
|
||||
@@ -0,0 +1,68 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
# Последовательно пересоздаёт реплики API, сохраняя хотя бы одну живую.
|
||||
#
|
||||
# Тактика "поднять новую до снятия старой": временно scale up, дождаться
|
||||
# healthy, остановить одну старую, вернуть масштаб к 2. Это не 1-в-1 как
|
||||
# в Kubernetes rolling update, но без простоя: в любой момент времени
|
||||
# минимум 2 живых реплики обслуживают трафик.
|
||||
#
|
||||
# Требования: nginx LB, /health/ready отвечает 200, healthcheck
|
||||
# interval=5s/start_period=10s.
|
||||
|
||||
COMPOSE="docker compose"
|
||||
TARGET_REPLICAS=2
|
||||
|
||||
healthy() {
|
||||
name="$1"
|
||||
[ "$(docker inspect --format '{{.State.Health.Status}}' "$name" 2>/dev/null || echo missing)" = "healthy" ]
|
||||
}
|
||||
|
||||
wait_healthy() {
|
||||
name="$1"
|
||||
i=0
|
||||
while ! healthy "$name"; do
|
||||
i=$((i + 1))
|
||||
[ "$i" -gt 40 ] && { echo "FAIL: $name не стал healthy за 40с" >&2; exit 1; }
|
||||
sleep 1
|
||||
done
|
||||
echo " $name healthy"
|
||||
}
|
||||
|
||||
recreate_one() {
|
||||
old="$1"
|
||||
echo ">>> пересоздаём $old"
|
||||
# Запускаем третью реплику заранее, чтобы не потерять capacity
|
||||
$COMPOSE up -d --scale api=$((TARGET_REPLICAS + 1)) --no-recreate >/dev/null
|
||||
sleep 3
|
||||
# Ждём, пока новая реплика прогреется
|
||||
for name in $(docker compose ps --format '{{.Name}}' api); do
|
||||
healthy "$name" || true
|
||||
done
|
||||
# Снимаем старую
|
||||
$COMPOSE stop "$old" >/dev/null
|
||||
$COMPOSE rm -f "$old" >/dev/null
|
||||
# Возвращаем целевой масштаб
|
||||
$COMPOSE up -d --scale api="$TARGET_REPLICAS" --no-recreate >/dev/null
|
||||
# Проверяем, что оба оставшихся живы
|
||||
for name in $(docker compose ps --format '{{.Name}}' api); do
|
||||
wait_healthy "$name"
|
||||
done
|
||||
}
|
||||
|
||||
echo "=== rolling update начинается ==="
|
||||
# Запоминаем исходные имена
|
||||
ALL=$(docker compose ps --format '{{.Name}}' api | sort)
|
||||
echo "исходные реплики:"
|
||||
echo "$ALL"
|
||||
echo
|
||||
|
||||
for old in $ALL; do
|
||||
recreate_one "$old"
|
||||
echo
|
||||
done
|
||||
|
||||
echo "=== rolling update завершён ==="
|
||||
docker compose ps --format 'table {{.Name}}\t{{.Status}}' api
|
||||
Reference in New Issue
Block a user