diff --git a/scripts/collect-metrics.py b/scripts/collect-metrics.py new file mode 100644 index 00000000..60642168 --- /dev/null +++ b/scripts/collect-metrics.py @@ -0,0 +1,51 @@ +#!/usr/bin/env python3 +"""Собирает метрики из k6 summary-export в плоский CSV. + +Использование: + python3 scripts/collect-metrics.py evidence/*-k6.json > evidence/summary.csv +""" +import json +import sys +from pathlib import Path + +FIELDS = [ + ("http_reqs", "rate"), + ("http_req_failed", "rate"), + ("write_errors", "rate"), + ("write_total", "count"), + ("write_latency_ms", "avg"), + ("write_latency_ms", "p(90)"), + ("write_latency_ms", "p(95)"), + ("write_latency_ms", "max"), + ("http_req_duration", "p(95)"), + ("http_req_duration", "p(99)"), +] + + +def main() -> int: + if len(sys.argv) < 2: + print("usage: collect-metrics.py ...", file=sys.stderr) + return 2 + print("run,metric,value") + for path in sys.argv[1:]: + name = Path(path).stem + try: + data = json.loads(Path(path).read_text(encoding="utf-8")) + except (OSError, json.JSONDecodeError) as exc: + print(f"# skip {path}: {exc}", file=sys.stderr) + continue + metrics = data.get("metrics", {}) + for metric, key in FIELDS: + entry = metrics.get(metric) + if not entry: + continue + values = entry.get("values", entry) + value = values.get(key) + if value is None: + continue + print(f"{name},{metric}.{key},{value}") + return 0 + + +if __name__ == "__main__": + raise SystemExit(main()) \ No newline at end of file diff --git a/scripts/failover-under-load.sh b/scripts/failover-under-load.sh new file mode 100644 index 00000000..fe6c20d8 --- /dev/null +++ b/scripts/failover-under-load.sh @@ -0,0 +1,63 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." + +# Останавливает одну реплику API под нагрузкой k6, ждёт восстановления, +# сохраняет метрики. Использование: +# +# scripts/failover-under-load.sh +# +# Output: +# -k6.json — summary k6 (write_errors, latency, RPS) +# -timing.txt — wall-clock восстановления +# -events.log — docker events по целевой реплике + +TARGET="${1:?target: api-1 or api-2}" +PREFIX="${2:?output prefix: e.g. evidence/failover-load-api-1}" + +RATE="${RATE:-30}" +DURATION="${DURATION:-60s}" +CONTAINER="mtusi-messenger-lab3-$TARGET" + +echo ">>> k6: RATE=$RATE DURATION=$DURATION" +k6 run -e RATE="$RATE" -e DURATION="$DURATION" \ + --summary-export "${PREFIX}-k6.json" \ + student-tests/load-k6.js & +K6_PID=$! + +# Даём k6 прогреться и создать чат +sleep 15 + +echo ">>> останавливаем $CONTAINER" +START=$(date +%s.%N) +docker events --filter "container=$CONTAINER" \ + --format '{{.Time}} {{.Action}}' > "${PREFIX}-events.log" & +EVENTS_PID=$! +docker stop "$CONTAINER" >/dev/null + +# Ждём, пока LB перестанет отправлять туда трафик и вторая реплика +# вытянет всё. k6 продолжает слать запросы всё это время. +sleep 5 + +END=$(date +%s.%N) +kill "$EVENTS_PID" 2>/dev/null || true + +{ + echo "# Failover under k6 load" + echo "# target: $TARGET" + echo "# rate: $RATE" + echo "# duration: $DURATION" + echo "# wall-clock stop-recover: $(python -c "print(round($END - $START, 2))") s" +} > "${PREFIX}-timing.txt" + +wait "$K6_PID" || true + +echo ">>> восстанавливаем $CONTAINER" +docker compose up -d --scale api=2 >/dev/null +sleep 10 +docker compose ps --format 'table {{.Name}}\t{{.Status}}' api + +echo ">>> готово:" +echo " ${PREFIX}-k6.json" +echo " ${PREFIX}-timing.txt" +echo " ${PREFIX}-events.log" \ No newline at end of file diff --git a/scripts/rolling-update.sh b/scripts/rolling-update.sh new file mode 100644 index 00000000..21db5c5f --- /dev/null +++ b/scripts/rolling-update.sh @@ -0,0 +1,68 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." + +# Последовательно пересоздаёт реплики API, сохраняя хотя бы одну живую. +# +# Тактика "поднять новую до снятия старой": временно scale up, дождаться +# healthy, остановить одну старую, вернуть масштаб к 2. Это не 1-в-1 как +# в Kubernetes rolling update, но без простоя: в любой момент времени +# минимум 2 живых реплики обслуживают трафик. +# +# Требования: nginx LB, /health/ready отвечает 200, healthcheck +# interval=5s/start_period=10s. + +COMPOSE="docker compose" +TARGET_REPLICAS=2 + +healthy() { + name="$1" + [ "$(docker inspect --format '{{.State.Health.Status}}' "$name" 2>/dev/null || echo missing)" = "healthy" ] +} + +wait_healthy() { + name="$1" + i=0 + while ! healthy "$name"; do + i=$((i + 1)) + [ "$i" -gt 40 ] && { echo "FAIL: $name не стал healthy за 40с" >&2; exit 1; } + sleep 1 + done + echo " $name healthy" +} + +recreate_one() { + old="$1" + echo ">>> пересоздаём $old" + # Запускаем третью реплику заранее, чтобы не потерять capacity + $COMPOSE up -d --scale api=$((TARGET_REPLICAS + 1)) --no-recreate >/dev/null + sleep 3 + # Ждём, пока новая реплика прогреется + for name in $(docker compose ps --format '{{.Name}}' api); do + healthy "$name" || true + done + # Снимаем старую + $COMPOSE stop "$old" >/dev/null + $COMPOSE rm -f "$old" >/dev/null + # Возвращаем целевой масштаб + $COMPOSE up -d --scale api="$TARGET_REPLICAS" --no-recreate >/dev/null + # Проверяем, что оба оставшихся живы + for name in $(docker compose ps --format '{{.Name}}' api); do + wait_healthy "$name" + done +} + +echo "=== rolling update начинается ===" +# Запоминаем исходные имена +ALL=$(docker compose ps --format '{{.Name}}' api | sort) +echo "исходные реплики:" +echo "$ALL" +echo + +for old in $ALL; do + recreate_one "$old" + echo +done + +echo "=== rolling update завершён ===" +docker compose ps --format 'table {{.Name}}\t{{.Status}}' api \ No newline at end of file