Files
2026-11-06 17:30:30 +03:00

232 lines
9.4 KiB
Bash
Executable File
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/sh
# Rolling update of the API replicas under load (lab3, level 4).
#
# Замена идёт «наплывом» и строго по одной реплике: сначала рядом поднимается
# контейнер новой ревизии с тем же сетевым alias, затем снимается ОДИН старый.
# Каждый шаг гейтится состоянием балансировщика: новый слот должен стать UP
# (активная проверка /health/ready), снятый — перестать быть UP. Гейт по
# статистике LB, а не по наблюдению X-Instance-Id в ответах, потому что HAProxy
# переиспользует keepalive-соединения к уже работающим репликам и свежая реплика
# может какое-то время не получать трафик, оставаясь при этом готовой.
#
# В конце стенд возвращается под управление compose: поднимаются штатные реплики
# из новой ревизии, затем по одной снимаются временные контейнеры наплыва.
#
# scripts/rolling_update.sh # профиль лимитов берётся из .env/compose.yaml
# DURATION=60 CONCURRENCY=8 scripts/rolling_update.sh
set -eu
ROOT_DIR=$(CDPATH= cd -- "$(dirname -- "$0")/.." && pwd)
cd "$ROOT_DIR"
COMPOSE_BIN=${COMPOSE_BIN:-docker compose}
PYTHON=${PYTHON:-python3}
DURATION=${DURATION:-60}
CONCURRENCY=${CONCURRENCY:-8}
BASE_URL=${BASE_URL:-http://localhost:8080}
OUT=${OUT:-evidence/rolling-update}
IMAGE=${IMAGE:-mtusi-messenger:lab4}
PROJECT=${COMPOSE_PROJECT_NAME:-mtusi-messenger-lab4}
NET=${PROJECT}_default
STATS=${STATS:-http://127.0.0.1:8404/stats;csv}
PREFIX=lb-rollout
NO_PROXY_ENV="env -u HTTP_PROXY -u HTTPS_PROXY -u ALL_PROXY -u http_proxy -u https_proxy -u all_proxy"
NO_PROXY_ENV="$NO_PROXY_ENV NO_PROXY=localhost,127.0.0.1,::1 no_proxy=localhost,127.0.0.1,::1"
mkdir -p "$OUT"
rm -f "$OUT/load.json" "$OUT/load.txt"
compose() {
# shellcheck disable=SC2086
$COMPOSE_BIN --env-file .env -f compose.yaml "$@"
}
api_containers() {
docker ps -q \
--filter "label=com.docker.compose.project=$PROJECT" \
--filter 'label=com.docker.compose.service=api'
}
rollout_containers() {
docker ps -q --filter "name=^$PREFIX"
}
restarts() {
for container in $(api_containers) $(rollout_containers); do
printf '%s=%s ' "$(docker inspect --format '{{.Name}}' "$container" | sed 's|^/||')" \
"$(docker inspect --format '{{.RestartCount}}' "$container")"
done
}
stats_rows() {
curl -s --noproxy '*' "$STATS"
}
# В CSV-выгрузке HAProxy колонка addr приходит пустой, поэтому привязка слота к
# конкретному контейнеру идёт по двум наблюдаемым фактам: контейнер отвечает на
# /health/ready, а число UP-слотов соответствует ожидаемому.
container_ready() {
docker exec "$1" wget -qO- -T 3 http://127.0.0.1:8080/health/ready 2>/dev/null | grep -q '"status":"ok"'
}
wait_container_ready() {
name=$1
attempt=0
while [ "$attempt" -lt 45 ]; do
container_ready "$name" && return 0
attempt=$((attempt + 1))
sleep 1
done
return 1
}
up_slots() {
stats_rows | awk -F, '
NR == 1 { for (i = 1; i <= NF; i++) if ($i == "status") s = i; next }
$1 ~ /^api/ && $s == "UP" { count++ } END { print count + 0 }'
}
wait_up_slots() {
want=$1
attempt=0
while [ "$attempt" -lt 45 ]; do
[ "$(up_slots)" -ge "$want" ] && return 0
attempt=$((attempt + 1))
sleep 1
done
return 1
}
lb_5xx() {
stats_rows | awk -F, '
NR == 1 { for (i = 1; i <= NF; i++) if ($i == "hrsp_5xx") column = i; next }
$1 == "http_front" && $2 == "FRONTEND" && column { print $column; exit }'
}
{
echo "# Rolling update under load (surge, one replica at a time)"
echo "# generated: $(date -u +%Y-%m-%dT%H:%M:%SZ)"
echo "# load: tolerant loader, duration=${DURATION}s concurrency=${CONCURRENCY}"
echo "# проверки готовности LB: httpchk /health/ready, inter 2s fall 2 rise 2, timeout check 1s"
echo
# Сборка пишет много строк; в артефакт они не нужны.
compose build api >/dev/null 2>&1 || compose build api
before_containers=$(api_containers)
replicas=$(printf '%s\n' "$before_containers" | wc -l | tr -d ' ')
[ "$replicas" -ge 2 ] || { echo "нужно не менее двух API-реплик" >&2; exit 1; }
old_image=$(docker inspect --format '{{.Image}}' "$(printf '%s\n' "$before_containers" | head -1)")
new_image=$(docker image inspect --format '{{.Id}}' "$IMAGE")
echo "реплик до обновления: ${replicas}"
echo "образ старых реплик: ${old_image}"
echo "образ новой ревизии: ${new_image}"
echo "ревизия меняется: $([ "$old_image" = "$new_image" ] && echo 'нет (образ не изменился)' || echo 'да')"
echo "слотов UP до: $(up_slots); restarts до: $(restarts)"
echo
envfile=$(mktemp)
trap 'rm -f "$envfile"; docker rm -f $(rollout_containers) >/dev/null 2>&1 || true' EXIT INT TERM
docker inspect --format '{{range .Config.Env}}{{println .}}{{end}}' \
"$(printf '%s\n' "$before_containers" | head -1)" > "$envfile"
# Перед измерением убеждаемся, что все ожидаемые реплики видит сам LB: после
# экспериментов с отказом хранилищ слоты могут быть в переходном состоянии.
if ! wait_up_slots "$replicas"; then
echo "перед обновлением LB видит меньше ${replicas} реплик" >&2
exit 1
fi
five_before=$(lb_5xx)
# shellcheck disable=SC2086
$NO_PROXY_ENV $PYTHON student-tests/rolling_update_load.py --base-url "$BASE_URL" \
--duration "$DURATION" --concurrency "$CONCURRENCY" \
--output "$OUT/load.json" > "$OUT/load.txt" 2>&1 &
load_pid=$!
step=0
for container in $before_containers; do
step=$((step + 1))
name="$PREFIX-$step"
old_instance=$(docker inspect --format '{{.Config.Hostname}}' "$container")
started=$(date -u +%Y-%m-%dT%H:%M:%SZ)
# 1. поднять реплику новой ревизии рядом со старыми; дождаться, что она
# сама готова и что LB видит на один слот больше
docker run -d --name "$name" --network "$NET" --network-alias api-replica \
--env-file "$envfile" "$IMAGE" >/dev/null
new_instance=$(docker inspect --format '{{.Config.Hostname}}' "$name")
new_container_image=$(docker inspect --format '{{.Image}}' "$name")
if ! wait_container_ready "$name"; then
echo " step ${step}: реплика ${name} не стала готова" >&2
echo " diagnostics: status=$(docker inspect --format '{{.State.Status}}' "$name" 2>&1); stats: $(stats_rows | awk -F, '$1 ~ /^api/ { printf "%s=%s ", $2, $18 }')" >&2
docker logs --tail 20 "$name" >&2 2>&1 || true
exit 1
fi
if ! wait_up_slots "$((replicas + step))"; then
echo " step ${step}: UP-слотов меньше ожидаемого ($(up_slots) вместо $((replicas + step)))" >&2
exit 1
fi
# 2. снять одну старую реплику и дождаться, что UP-слотов снова ровно
# столько, сколько реплик должно остаться
docker rm -f "$container" >/dev/null
if ! wait_up_slots "$((replicas + step - 1))"; then
echo " step ${step}: после снятия UP-слотов больше ожидаемого" >&2
exit 1
fi
printf ' step %s: %s обслуживает (образ %s, instance %s), старый контейнер %s (%s) снят; UP-слотов %s; 5xx накоплено %s; старт шага %s\n' \
"$step" "$name" "${new_container_image#sha256:}" "$new_instance" \
"${container:0:12}" "$old_instance" "$(up_slots)" "$(lb_5xx)" "$started"
done
wait "$load_pid" || true
five_after=$(lb_5xx)
echo
echo "load summary (tolerant generator):"
cat "$OUT/load.txt"
echo
echo "5xx от LB за время обновления (hrsp_5xx frontend): $((${five_after:-0} - ${five_before:-0}))"
echo "restarts после: $(restarts)"
# 3. вернуть стенд под управление compose и убрать временные контейнеры
echo
echo "возврат стенда под управление compose:"
compose up -d --no-deps api
wait_up_slots "$replicas" || true
remaining=$(printf '%s\n' $(rollout_containers) | wc -l | tr -d ' ')
for container in $(rollout_containers); do
docker rm -f "$container" >/dev/null
remaining=$((remaining - 1))
if ! wait_up_slots "$((replicas + remaining))"; then
echo " после снятия ${container} UP-слотов больше ожидаемого" >&2
exit 1
fi
done
echo "снято временных контейнеров наплыва: проверено"
echo "UP-слотов после: $(up_slots); restarts в конце: $(restarts)"
echo "API containers после обновления:"
docker ps --format '{{.Names}} {{.Status}}' \
--filter "label=com.docker.compose.project=$PROJECT" \
--filter 'label=com.docker.compose.service=api'
} > "$OUT/rolling-update.txt" 2>&1
cat "$OUT/rolling-update.txt"
printf 'rolling_update.sh: evidence in %s\n' "$OUT"