From 2cbb5698811fbd7a3d27be9dca494c2d5863f9bd Mon Sep 17 00:00:00 2001 From: vasyukova Date: Sat, 10 Oct 2026 12:04:32 +0300 Subject: [PATCH] =?UTF-8?q?=D0=98=D1=81=D0=BF=D1=80=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BA=D0=BE=D0=B4=20=D0=BF=D0=BE=20=D0=B7=D0=B0?= =?UTF-8?q?=D0=BC=D0=B5=D1=87=D0=B0=D0=BD=D0=B8=D1=8E=20=D0=BF=D1=80=D0=BE?= =?UTF-8?q?=20rolling=20update?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 16 ++++++++++++- scripts/rolling-update.sh | 47 +++++++++++++++++++++++++++++++++++++++ 2 files changed, 62 insertions(+), 1 deletion(-) create mode 100644 scripts/rolling-update.sh diff --git a/REPORT.md b/REPORT.md index 69f174e8..cc4e42fa 100644 --- a/REPORT.md +++ b/REPORT.md @@ -56,6 +56,12 @@ $env:PYTHONUTF8="1" | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | `python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url http://localhost:8080` | +Проверка rolling update: +``` +chmod +x scripts/rolling-update.sh +./scripts/rolling-update.sh +``` + ### Остановка и удаление учебных данных ``` @@ -142,6 +148,14 @@ mtuci2026lab3/ **Graceful shutdown.** SIGTERM: `main._handle_sigterm` выставляет `server.should_exit=True`; uvicorn закрывает слушающий сокет, текущие запросы дожидаются завершения. +**Rolling update.** `docker compose up -d --force-recreate api` останавливает +обе реплики одновременно: LB на секунды остаётся без бэкендов, и под +нагрузкой это даёт ~10% ошибок. Штатный способ — `scripts/rolling-update.sh`: +он собирает образ один раз, затем по очереди останавливает, удаляет и +поднимает по одной реплике, дожидаясь `GET /health/ready == 200` перед +следующим шагом. Проверка: параллельно с обновлением идёт `tests/load.py`, +ошибки переходного периода замеряются, но LB всё время имеет живого бэкенда. + **Ресурсные лимиты.** В `compose.yaml` у `api` — `deploy.resources.limits.cpus: "1.0"`, `memory: 512M`. Соответствие `.env.example` реальной конфигурации (без изменений с lab2): @@ -174,7 +188,7 @@ mtuci2026lab3/ | Последовательная остановка каждой реплики; RPS/ошибки/время восстановления | `python tests/resilience.py --mode failover …` для разных реплик (пользователь запускает дважды, восстанавливая предыдущую) | `successful_writes: 7`, `failed_attempts: 0`, `first_recovery_seconds: 5.189` | | Общая идемпотентность проверена параллельными запросами | `test_idempotency_across_replicas` | `201 instances: {два разных alias}`, ровно 1 сообщение в истории | | CPU/RAM-лимиты, API не публикуют порты наружу, нет container_name у масштабируемого сервиса | `compose.yaml` | `deploy.resources.limits` у api; `api` без `ports`; без `container_name` | -| Rolling update или эквивалентная поочерёдная замена под нагрузкой | `docker compose --env-file .env up -d --force-recreate api` (при поднятом LB) | LB продолжает обслуживать на живой реплике; новых пользователей не требуется | +| Rolling update или эквивалентная поочерёдная замена под нагрузкой | `scripts/rolling-update.sh` при поднятом LB и запущенном `python tests/load.py --duration 30 --concurrency 4` | Обновление идёт по одной реплике; замер: `X` ошибок из `Y` запросов (`Z%`); LB всегда имеет живого бэкенда | ### Выводы тестов diff --git a/scripts/rolling-update.sh b/scripts/rolling-update.sh new file mode 100644 index 00000000..b5c4658e --- /dev/null +++ b/scripts/rolling-update.sh @@ -0,0 +1,47 @@ +#!/bin/sh +# Поочерёдное обновление API-реплик под нагрузкой. +# Останавливаем и пересоздаём по одной реплике, дожидаясь /health/ready +# перед следующей — LB всегда имеет живого бэкенда. +set -eu + +BASE_URL="${BASE_URL:-http://localhost:8080}" +ENV_FILE="${ENV_FILE:-.env}" +API_SERVICE="api" +REPLICAS=2 +READY_TIMEOUT=60 + +wait_ready() { + i=0 + while [ "$i" -lt "$READY_TIMEOUT" ]; do + if curl -fsS "$BASE_URL/health/ready" >/dev/null 2>&1; then + return 0 + fi + i=$((i + 1)) + sleep 1 + done + echo "health/ready не поднялся за ${READY_TIMEOUT}s" >&2 + return 1 +} + +# Собираем новый образ один раз, до остановки реплик. +docker compose --env-file "$ENV_FILE" build "$API_SERVICE" + +i=1 +while [ "$i" -le "$REPLICAS" ]; do + echo "event=rolling_update step=$i/$REPLICAS" + + # Находим одну живую реплику и останавливаем её. + cid=$(docker ps --filter "label=com.docker.compose.service=$API_SERVICE" -q | head -n1) + if [ -n "$cid" ]; then + docker stop -t 10 "$cid" >/dev/null + docker rm "$cid" >/dev/null + fi + + # Поднимаем обратно до нужного количества (новый образ уже собран). + docker compose --env-file "$ENV_FILE" up -d --no-deps --scale "$API_SERVICE=$REPLICAS" "$API_SERVICE" >/dev/null + + wait_ready + i=$((i + 1)) +done + +echo "event=rolling_update_done" \ No newline at end of file