forked from mtusi2026/mtusi2026lab5
232 lines
9.4 KiB
Bash
Executable File
232 lines
9.4 KiB
Bash
Executable File
#!/bin/sh
|
||
# Rolling update of the API replicas under load (lab3, level 4).
|
||
#
|
||
# Замена идёт «наплывом» и строго по одной реплике: сначала рядом поднимается
|
||
# контейнер новой ревизии с тем же сетевым alias, затем снимается ОДИН старый.
|
||
# Каждый шаг гейтится состоянием балансировщика: новый слот должен стать UP
|
||
# (активная проверка /health/ready), снятый — перестать быть UP. Гейт по
|
||
# статистике LB, а не по наблюдению X-Instance-Id в ответах, потому что HAProxy
|
||
# переиспользует keepalive-соединения к уже работающим репликам и свежая реплика
|
||
# может какое-то время не получать трафик, оставаясь при этом готовой.
|
||
#
|
||
# В конце стенд возвращается под управление compose: поднимаются штатные реплики
|
||
# из новой ревизии, затем по одной снимаются временные контейнеры наплыва.
|
||
#
|
||
# scripts/rolling_update.sh # профиль лимитов берётся из .env/compose.yaml
|
||
# DURATION=60 CONCURRENCY=8 scripts/rolling_update.sh
|
||
set -eu
|
||
|
||
ROOT_DIR=$(CDPATH= cd -- "$(dirname -- "$0")/.." && pwd)
|
||
cd "$ROOT_DIR"
|
||
|
||
COMPOSE_BIN=${COMPOSE_BIN:-docker compose}
|
||
PYTHON=${PYTHON:-python3}
|
||
DURATION=${DURATION:-60}
|
||
CONCURRENCY=${CONCURRENCY:-8}
|
||
BASE_URL=${BASE_URL:-http://localhost:8080}
|
||
OUT=${OUT:-evidence/rolling-update}
|
||
IMAGE=${IMAGE:-mtusi-messenger:lab4}
|
||
PROJECT=${COMPOSE_PROJECT_NAME:-mtusi-messenger-lab4}
|
||
NET=${PROJECT}_default
|
||
STATS=${STATS:-http://127.0.0.1:8404/stats;csv}
|
||
PREFIX=lb-rollout
|
||
|
||
NO_PROXY_ENV="env -u HTTP_PROXY -u HTTPS_PROXY -u ALL_PROXY -u http_proxy -u https_proxy -u all_proxy"
|
||
NO_PROXY_ENV="$NO_PROXY_ENV NO_PROXY=localhost,127.0.0.1,::1 no_proxy=localhost,127.0.0.1,::1"
|
||
|
||
mkdir -p "$OUT"
|
||
rm -f "$OUT/load.json" "$OUT/load.txt"
|
||
|
||
compose() {
|
||
# shellcheck disable=SC2086
|
||
$COMPOSE_BIN --env-file .env -f compose.yaml "$@"
|
||
}
|
||
|
||
api_containers() {
|
||
docker ps -q \
|
||
--filter "label=com.docker.compose.project=$PROJECT" \
|
||
--filter 'label=com.docker.compose.service=api'
|
||
}
|
||
|
||
rollout_containers() {
|
||
docker ps -q --filter "name=^$PREFIX"
|
||
}
|
||
|
||
restarts() {
|
||
for container in $(api_containers) $(rollout_containers); do
|
||
printf '%s=%s ' "$(docker inspect --format '{{.Name}}' "$container" | sed 's|^/||')" \
|
||
"$(docker inspect --format '{{.RestartCount}}' "$container")"
|
||
done
|
||
}
|
||
|
||
stats_rows() {
|
||
curl -s --noproxy '*' "$STATS"
|
||
}
|
||
|
||
# В CSV-выгрузке HAProxy колонка addr приходит пустой, поэтому привязка слота к
|
||
# конкретному контейнеру идёт по двум наблюдаемым фактам: контейнер отвечает на
|
||
# /health/ready, а число UP-слотов соответствует ожидаемому.
|
||
container_ready() {
|
||
docker exec "$1" wget -qO- -T 3 http://127.0.0.1:8080/health/ready 2>/dev/null | grep -q '"status":"ok"'
|
||
}
|
||
|
||
wait_container_ready() {
|
||
name=$1
|
||
attempt=0
|
||
|
||
while [ "$attempt" -lt 45 ]; do
|
||
container_ready "$name" && return 0
|
||
attempt=$((attempt + 1))
|
||
sleep 1
|
||
done
|
||
|
||
return 1
|
||
}
|
||
|
||
up_slots() {
|
||
stats_rows | awk -F, '
|
||
NR == 1 { for (i = 1; i <= NF; i++) if ($i == "status") s = i; next }
|
||
$1 ~ /^api/ && $s == "UP" { count++ } END { print count + 0 }'
|
||
}
|
||
|
||
wait_up_slots() {
|
||
want=$1
|
||
attempt=0
|
||
|
||
while [ "$attempt" -lt 45 ]; do
|
||
[ "$(up_slots)" -ge "$want" ] && return 0
|
||
attempt=$((attempt + 1))
|
||
sleep 1
|
||
done
|
||
|
||
return 1
|
||
}
|
||
|
||
lb_5xx() {
|
||
stats_rows | awk -F, '
|
||
NR == 1 { for (i = 1; i <= NF; i++) if ($i == "hrsp_5xx") column = i; next }
|
||
$1 == "http_front" && $2 == "FRONTEND" && column { print $column; exit }'
|
||
}
|
||
|
||
{
|
||
echo "# Rolling update under load (surge, one replica at a time)"
|
||
echo "# generated: $(date -u +%Y-%m-%dT%H:%M:%SZ)"
|
||
echo "# load: tolerant loader, duration=${DURATION}s concurrency=${CONCURRENCY}"
|
||
echo "# проверки готовности LB: httpchk /health/ready, inter 2s fall 2 rise 2, timeout check 1s"
|
||
echo
|
||
|
||
# Сборка пишет много строк; в артефакт они не нужны.
|
||
compose build api >/dev/null 2>&1 || compose build api
|
||
|
||
before_containers=$(api_containers)
|
||
replicas=$(printf '%s\n' "$before_containers" | wc -l | tr -d ' ')
|
||
[ "$replicas" -ge 2 ] || { echo "нужно не менее двух API-реплик" >&2; exit 1; }
|
||
|
||
old_image=$(docker inspect --format '{{.Image}}' "$(printf '%s\n' "$before_containers" | head -1)")
|
||
new_image=$(docker image inspect --format '{{.Id}}' "$IMAGE")
|
||
echo "реплик до обновления: ${replicas}"
|
||
echo "образ старых реплик: ${old_image}"
|
||
echo "образ новой ревизии: ${new_image}"
|
||
echo "ревизия меняется: $([ "$old_image" = "$new_image" ] && echo 'нет (образ не изменился)' || echo 'да')"
|
||
echo "слотов UP до: $(up_slots); restarts до: $(restarts)"
|
||
echo
|
||
|
||
envfile=$(mktemp)
|
||
trap 'rm -f "$envfile"; docker rm -f $(rollout_containers) >/dev/null 2>&1 || true' EXIT INT TERM
|
||
docker inspect --format '{{range .Config.Env}}{{println .}}{{end}}' \
|
||
"$(printf '%s\n' "$before_containers" | head -1)" > "$envfile"
|
||
|
||
# Перед измерением убеждаемся, что все ожидаемые реплики видит сам LB: после
|
||
# экспериментов с отказом хранилищ слоты могут быть в переходном состоянии.
|
||
if ! wait_up_slots "$replicas"; then
|
||
echo "перед обновлением LB видит меньше ${replicas} реплик" >&2
|
||
exit 1
|
||
fi
|
||
|
||
five_before=$(lb_5xx)
|
||
# shellcheck disable=SC2086
|
||
$NO_PROXY_ENV $PYTHON student-tests/rolling_update_load.py --base-url "$BASE_URL" \
|
||
--duration "$DURATION" --concurrency "$CONCURRENCY" \
|
||
--output "$OUT/load.json" > "$OUT/load.txt" 2>&1 &
|
||
load_pid=$!
|
||
|
||
step=0
|
||
for container in $before_containers; do
|
||
step=$((step + 1))
|
||
name="$PREFIX-$step"
|
||
old_instance=$(docker inspect --format '{{.Config.Hostname}}' "$container")
|
||
started=$(date -u +%Y-%m-%dT%H:%M:%SZ)
|
||
|
||
# 1. поднять реплику новой ревизии рядом со старыми; дождаться, что она
|
||
# сама готова и что LB видит на один слот больше
|
||
docker run -d --name "$name" --network "$NET" --network-alias api-replica \
|
||
--env-file "$envfile" "$IMAGE" >/dev/null
|
||
new_instance=$(docker inspect --format '{{.Config.Hostname}}' "$name")
|
||
new_container_image=$(docker inspect --format '{{.Image}}' "$name")
|
||
|
||
if ! wait_container_ready "$name"; then
|
||
echo " step ${step}: реплика ${name} не стала готова" >&2
|
||
echo " diagnostics: status=$(docker inspect --format '{{.State.Status}}' "$name" 2>&1); stats: $(stats_rows | awk -F, '$1 ~ /^api/ { printf "%s=%s ", $2, $18 }')" >&2
|
||
docker logs --tail 20 "$name" >&2 2>&1 || true
|
||
|
||
exit 1
|
||
fi
|
||
|
||
if ! wait_up_slots "$((replicas + step))"; then
|
||
echo " step ${step}: UP-слотов меньше ожидаемого ($(up_slots) вместо $((replicas + step)))" >&2
|
||
exit 1
|
||
fi
|
||
|
||
# 2. снять одну старую реплику и дождаться, что UP-слотов снова ровно
|
||
# столько, сколько реплик должно остаться
|
||
docker rm -f "$container" >/dev/null
|
||
|
||
if ! wait_up_slots "$((replicas + step - 1))"; then
|
||
echo " step ${step}: после снятия UP-слотов больше ожидаемого" >&2
|
||
exit 1
|
||
fi
|
||
|
||
printf ' step %s: %s обслуживает (образ %s, instance %s), старый контейнер %s (%s) снят; UP-слотов %s; 5xx накоплено %s; старт шага %s\n' \
|
||
"$step" "$name" "${new_container_image#sha256:}" "$new_instance" \
|
||
"${container:0:12}" "$old_instance" "$(up_slots)" "$(lb_5xx)" "$started"
|
||
done
|
||
|
||
wait "$load_pid" || true
|
||
|
||
five_after=$(lb_5xx)
|
||
echo
|
||
echo "load summary (tolerant generator):"
|
||
cat "$OUT/load.txt"
|
||
echo
|
||
echo "5xx от LB за время обновления (hrsp_5xx frontend): $((${five_after:-0} - ${five_before:-0}))"
|
||
echo "restarts после: $(restarts)"
|
||
|
||
# 3. вернуть стенд под управление compose и убрать временные контейнеры
|
||
echo
|
||
echo "возврат стенда под управление compose:"
|
||
compose up -d --no-deps api
|
||
wait_up_slots "$replicas" || true
|
||
|
||
remaining=$(printf '%s\n' $(rollout_containers) | wc -l | tr -d ' ')
|
||
for container in $(rollout_containers); do
|
||
docker rm -f "$container" >/dev/null
|
||
remaining=$((remaining - 1))
|
||
|
||
if ! wait_up_slots "$((replicas + remaining))"; then
|
||
echo " после снятия ${container} UP-слотов больше ожидаемого" >&2
|
||
exit 1
|
||
fi
|
||
done
|
||
|
||
echo "снято временных контейнеров наплыва: проверено"
|
||
|
||
echo "UP-слотов после: $(up_slots); restarts в конце: $(restarts)"
|
||
echo "API containers после обновления:"
|
||
docker ps --format '{{.Names}} {{.Status}}' \
|
||
--filter "label=com.docker.compose.project=$PROJECT" \
|
||
--filter 'label=com.docker.compose.service=api'
|
||
} > "$OUT/rolling-update.txt" 2>&1
|
||
|
||
cat "$OUT/rolling-update.txt"
|
||
printf 'rolling_update.sh: evidence in %s\n' "$OUT"
|