#!/bin/sh # Rolling update of the API replicas under load (lab3, level 4). # # Замена идёт «наплывом» и строго по одной реплике: сначала рядом поднимается # контейнер новой ревизии с тем же сетевым alias, затем снимается ОДИН старый. # Каждый шаг гейтится состоянием балансировщика: новый слот должен стать UP # (активная проверка /health/ready), снятый — перестать быть UP. Гейт по # статистике LB, а не по наблюдению X-Instance-Id в ответах, потому что HAProxy # переиспользует keepalive-соединения к уже работающим репликам и свежая реплика # может какое-то время не получать трафик, оставаясь при этом готовой. # # В конце стенд возвращается под управление compose: поднимаются штатные реплики # из новой ревизии, затем по одной снимаются временные контейнеры наплыва. # # scripts/rolling_update.sh # профиль лимитов берётся из .env/compose.yaml # DURATION=60 CONCURRENCY=8 scripts/rolling_update.sh set -eu ROOT_DIR=$(CDPATH= cd -- "$(dirname -- "$0")/.." && pwd) cd "$ROOT_DIR" COMPOSE_BIN=${COMPOSE_BIN:-docker compose} PYTHON=${PYTHON:-python3} DURATION=${DURATION:-60} CONCURRENCY=${CONCURRENCY:-8} BASE_URL=${BASE_URL:-http://localhost:8080} OUT=${OUT:-evidence/rolling-update} IMAGE=${IMAGE:-mtusi-messenger:lab3} PROJECT=${COMPOSE_PROJECT_NAME:-mtusi-messenger-lab3} NET=${PROJECT}_default STATS=${STATS:-http://127.0.0.1:8404/stats;csv} PREFIX=lb-rollout NO_PROXY_ENV="env -u HTTP_PROXY -u HTTPS_PROXY -u ALL_PROXY -u http_proxy -u https_proxy -u all_proxy" NO_PROXY_ENV="$NO_PROXY_ENV NO_PROXY=localhost,127.0.0.1,::1 no_proxy=localhost,127.0.0.1,::1" mkdir -p "$OUT" rm -f "$OUT/load.json" "$OUT/load.txt" compose() { # shellcheck disable=SC2086 $COMPOSE_BIN --env-file .env -f compose.yaml "$@" } api_containers() { docker ps -q \ --filter "label=com.docker.compose.project=$PROJECT" \ --filter 'label=com.docker.compose.service=api' } rollout_containers() { docker ps -q --filter "name=^$PREFIX" } restarts() { for container in $(api_containers) $(rollout_containers); do printf '%s=%s ' "$(docker inspect --format '{{.Name}}' "$container" | sed 's|^/||')" \ "$(docker inspect --format '{{.RestartCount}}' "$container")" done } stats_rows() { curl -s --noproxy '*' "$STATS" } # В CSV-выгрузке HAProxy колонка addr приходит пустой, поэтому привязка слота к # конкретному контейнеру идёт по двум наблюдаемым фактам: контейнер отвечает на # /health/ready, а число UP-слотов соответствует ожидаемому. container_ready() { docker exec "$1" wget -qO- -T 3 http://127.0.0.1:8080/health/ready 2>/dev/null | grep -q '"status":"ok"' } wait_container_ready() { name=$1 attempt=0 while [ "$attempt" -lt 45 ]; do container_ready "$name" && return 0 attempt=$((attempt + 1)) sleep 1 done return 1 } up_slots() { stats_rows | awk -F, ' NR == 1 { for (i = 1; i <= NF; i++) if ($i == "status") s = i; next } $1 ~ /^api/ && $s == "UP" { count++ } END { print count + 0 }' } wait_up_slots() { want=$1 attempt=0 while [ "$attempt" -lt 45 ]; do [ "$(up_slots)" -ge "$want" ] && return 0 attempt=$((attempt + 1)) sleep 1 done return 1 } lb_5xx() { stats_rows | awk -F, ' NR == 1 { for (i = 1; i <= NF; i++) if ($i == "hrsp_5xx") column = i; next } $1 == "http_front" && $2 == "FRONTEND" && column { print $column; exit }' } { echo "# Rolling update under load (surge, one replica at a time)" echo "# generated: $(date -u +%Y-%m-%dT%H:%M:%SZ)" echo "# load: tolerant loader, duration=${DURATION}s concurrency=${CONCURRENCY}" echo "# проверки готовности LB: httpchk /health/ready, inter 2s fall 2 rise 2, timeout check 1s" echo # Сборка пишет много строк; в артефакт они не нужны. compose build api >/dev/null 2>&1 || compose build api before_containers=$(api_containers) replicas=$(printf '%s\n' "$before_containers" | wc -l | tr -d ' ') [ "$replicas" -ge 2 ] || { echo "нужно не менее двух API-реплик" >&2; exit 1; } old_image=$(docker inspect --format '{{.Image}}' "$(printf '%s\n' "$before_containers" | head -1)") new_image=$(docker image inspect --format '{{.Id}}' "$IMAGE") echo "реплик до обновления: ${replicas}" echo "образ старых реплик: ${old_image}" echo "образ новой ревизии: ${new_image}" echo "ревизия меняется: $([ "$old_image" = "$new_image" ] && echo 'нет (образ не изменился)' || echo 'да')" echo "слотов UP до: $(up_slots); restarts до: $(restarts)" echo envfile=$(mktemp) trap 'rm -f "$envfile"; docker rm -f $(rollout_containers) >/dev/null 2>&1 || true' EXIT INT TERM docker inspect --format '{{range .Config.Env}}{{println .}}{{end}}' \ "$(printf '%s\n' "$before_containers" | head -1)" > "$envfile" # Перед измерением убеждаемся, что все ожидаемые реплики видит сам LB: после # экспериментов с отказом хранилищ слоты могут быть в переходном состоянии. if ! wait_up_slots "$replicas"; then echo "перед обновлением LB видит меньше ${replicas} реплик" >&2 exit 1 fi five_before=$(lb_5xx) # shellcheck disable=SC2086 $NO_PROXY_ENV $PYTHON student-tests/rolling_update_load.py --base-url "$BASE_URL" \ --duration "$DURATION" --concurrency "$CONCURRENCY" \ --output "$OUT/load.json" > "$OUT/load.txt" 2>&1 & load_pid=$! step=0 for container in $before_containers; do step=$((step + 1)) name="$PREFIX-$step" old_instance=$(docker inspect --format '{{.Config.Hostname}}' "$container") started=$(date -u +%Y-%m-%dT%H:%M:%SZ) # 1. поднять реплику новой ревизии рядом со старыми; дождаться, что она # сама готова и что LB видит на один слот больше docker run -d --name "$name" --network "$NET" --network-alias api-replica \ --env-file "$envfile" "$IMAGE" >/dev/null new_instance=$(docker inspect --format '{{.Config.Hostname}}' "$name") new_container_image=$(docker inspect --format '{{.Image}}' "$name") if ! wait_container_ready "$name"; then echo " step ${step}: реплика ${name} не стала готова" >&2 echo " diagnostics: status=$(docker inspect --format '{{.State.Status}}' "$name" 2>&1); stats: $(stats_rows | awk -F, '$1 ~ /^api/ { printf "%s=%s ", $2, $18 }')" >&2 docker logs --tail 20 "$name" >&2 2>&1 || true exit 1 fi if ! wait_up_slots "$((replicas + step))"; then echo " step ${step}: UP-слотов меньше ожидаемого ($(up_slots) вместо $((replicas + step)))" >&2 exit 1 fi # 2. снять одну старую реплику и дождаться, что UP-слотов снова ровно # столько, сколько реплик должно остаться docker rm -f "$container" >/dev/null if ! wait_up_slots "$((replicas + step - 1))"; then echo " step ${step}: после снятия UP-слотов больше ожидаемого" >&2 exit 1 fi printf ' step %s: %s обслуживает (образ %s, instance %s), старый контейнер %s (%s) снят; UP-слотов %s; 5xx накоплено %s; старт шага %s\n' \ "$step" "$name" "${new_container_image#sha256:}" "$new_instance" \ "${container:0:12}" "$old_instance" "$(up_slots)" "$(lb_5xx)" "$started" done wait "$load_pid" || true five_after=$(lb_5xx) echo echo "load summary (tolerant generator):" cat "$OUT/load.txt" echo echo "5xx от LB за время обновления (hrsp_5xx frontend): $((${five_after:-0} - ${five_before:-0}))" echo "restarts после: $(restarts)" # 3. вернуть стенд под управление compose и убрать временные контейнеры echo echo "возврат стенда под управление compose:" compose up -d --no-deps api wait_up_slots "$replicas" || true remaining=$(printf '%s\n' $(rollout_containers) | wc -l | tr -d ' ') for container in $(rollout_containers); do docker rm -f "$container" >/dev/null remaining=$((remaining - 1)) if ! wait_up_slots "$((replicas + remaining))"; then echo " после снятия ${container} UP-слотов больше ожидаемого" >&2 exit 1 fi done echo "снято временных контейнеров наплыва: проверено" echo "UP-слотов после: $(up_slots); restarts в конце: $(restarts)" echo "API containers после обновления:" docker ps --format '{{.Names}} {{.Status}}' \ --filter "label=com.docker.compose.project=$PROJECT" \ --filter 'label=com.docker.compose.service=api' } > "$OUT/rolling-update.txt" 2>&1 cat "$OUT/rolling-update.txt" printf 'rolling_update.sh: evidence in %s\n' "$OUT"