# Отказы и сбои `scripts/rolling-update.sh` | | | |---|---| | Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» | | Change | `rolling-update`, задача 6.2 (design, решения 1, 2, 5, 7) | | Дата | 2026-10-10, 21:56–22:01 UTC | | Commit | `d2148ac`; повтор случая 5 — `de654a1` (миграция в контейнере сервиса `migrate`) | | Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; блокировка миграции — временная база `ru_lock` в Postgres стенда (удалена после проверки) и проект `mtusi-bench`, поднятый вручную на образе `c50b721` (удалён) | | Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM | Коды скрипта: 2 — неверный ввод или стенд не готов, ничего не менялось; 1 — сбой; 130 — прерван Ctrl+C. `make` при любой ошибке рецепта печатает `Error <код скрипта>` и сам выходит с кодом 2. ## 1. Стенд не готов: остановленная реплика ```sh TARGET_INSTANCE_ID=f8d83d5a98e8 scripts/stop-one.sh make rolling_update ``` ``` stop-one: stopped api container f8d83d5a98e8 (mode stop) 21:56:48 rolling-update: error: stopped api replicas exist: run make replicas first make: *** [rolling_update] Error 2 mtusi-lab3-api-7 f8d83d5a98e8 Exited (0) Less than a second ago mtusi-lab3-api-8 a9decf1ea3fa Up 2 minutes (healthy) ``` Отказ до сборки, контейнеры не изменились. Без этой проверки `up --scale api=3 --no-recreate` запустил бы остановленную старую реплику вместо новой. Затем `make replicas` вернул ту же реплику. ## 2. Стенд не готов: число реплик не совпадает ```sh API_REPLICAS=3 scripts/rolling-update.sh ``` ``` 21:56:53 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first exit=2 ``` ## 3. Новая реплика не стала готовой за срок `ROLLOUT_READY_TIMEOUT=1`: реплика стартует ~2–3 с и за 1 с в LB не попадёт. ``` 21:57:00 rolling-update: start: 2 replicas f8d83d5a98e8 a9decf1ea3fa, image mtusi-messenger:lab3 from working tree 21:57:01 rolling-update: build done in 1s 21:57:03 rolling-update: migrate done in 2s 21:57:03 rolling-update: replica 1/2: started new 362dcc7aa129 21:57:04 rolling-update: error: replica 1/2: new replica 362dcc7aa129 not UP in LB within 1s (container starting, LB no slot) 21:57:04 rolling-update: replica 1/2: removing new replica 362dcc7aa129 that is not ready 21:57:05 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish make: *** [rolling_update] Error 1 ``` После сбоя работают прежние две реплики, обе `UP`. Слоты — только с адресами реплик или в обслуживании по DNS. Ручного состояния нет: `admin_state` 0 у занятых слотов и 32 (только DNS) у свободных. ``` api-1 172.30.0.5:8080 UP L7OK api-2 172.30.0.4:8080 UP L7OK show servers state api: api-1 admin=0, api-2 admin=0, api-3 admin=32, api-4 admin=32 ``` Неготовая реплика удаляется `docker rm -f`, а не `docker stop`. В первой версии скрипта `docker stop` такой реплики ждал все 10 с: процесс с PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn (`KNOWN_ISSUES.md`). За эти 10 с реплика успевала стать `UP` и получать запросы. Теперь слот, если DNS уже отдал его, сначала уходит в `maint`, и удаление занимает ~1 с. ## 4. Ctrl+C во время дренажа под нагрузкой `tests/load.py` (4 клиента, 30 с) через LB. Скрипт запущен в своей группе процессов, SIGINT отправлен всей группе, как Ctrl+C в терминале, сразу после строки `drain old`. Обвязка — разовый `interrupt.py` вне репозитория. ``` 21:57:36 rolling-update: replica 1/2: new d1cbfea53232 addr 172.30.0.7 slot api-3 UP in 3s 21:57:36 rolling-update: replica 1/2: drain old f8d83d5a98e8 addr 172.30.0.5 slot api-1 --- SIGINT to the process group (Ctrl+C) after «drain old» 21:57:36 rolling-update: replica 1/2: new replica is UP, finishing removal of old f8d83d5a98e8 21:57:36 rolling-update: replica 1/2: maint slot api-1, stopping old f8d83d5a98e8 21:57:37 rolling-update: replica 1/2: removed old f8d83d5a98e8 (stop 1s) 21:57:38 rolling-update: replica 1/2: slot api-1 ready 21:57:38 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish --- exit 130, 1.7s after SIGINT ``` - Нагрузка — 19 696 успешных, **0 неуспешных**. - После прерывания работают две реплики, обе `UP`: новая `d1cbfea53232` и ещё не заменённая `a9decf1ea3fa`. - Ручного состояния у слотов нет: `api-2`, `api-3` — `admin=0`, свободные — `admin=32`. - Повторный `make rolling_update` довёл замену: `start: 2 replicas a9decf1ea3fa d1cbfea53232` → `done: 2 replicas 4180517b395f 5985a2b69f72 UP in 9s`, код 0. ## 5. Миграция не получила блокировку Временная база `ru_lock` на ревизии `7652184b7016`. Открытая транзакция (`BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)`) держит `ACCESS SHARE` на `messages` 20 с. Через 1 с запускается миграция `e656d6bbe1a4`: ей нужен `ACCESS EXCLUSIVE` для `ADD COLUMN`, и первой строкой ревизии стоит `SET LOCAL lock_timeout = '5s'`. Через образ миграций (`docker compose run --rm --no-deps -T -e DATABASE__NAME=ru_lock migrate`, так скрипт запускал миграцию на `d2148ac`): ``` 21:59:07 migrate started 21:59:14 migrate exit=1 asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout revision: 7652184b7016 # схема не изменилась 21:59:26 long transaction finished Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id # повтор после транзакции revision: e656d6bbe1a4 ``` Миграция упала с кодом 1 (7 с вместе со стартом контейнера, из них 5 с ожидания блокировки). Схема не изменилась. Повтор после конца транзакции прошёл. Тот же отказ внутри замены. Проект `mtusi-bench` поднят вручную: реплики на образе `c50b721`, ревизия `7652184b7016`. Транзакция держит `messages` 25 с, через 1 с запускается `scripts/rolling-update.sh` с окружением проекта стенда: ``` 22:00:36 rolling-update: start: 2 replicas 795269251e28 d92929c3401b, image mtusi-messenger:bench from working tree 22:00:36 rolling-update: build done in 0s LockNotAvailableError: canceling statement due to lock timeout 22:00:43 rolling-update: error: migrations failed: no replica was replaced script exit=1 mtusi-bench-api-1 795269251e28 Up 21 seconds mtusi-bench-api-2 d92929c3401b Up 21 seconds revision: 7652184b7016 ``` Новые реплики не запускались, прежние работают, схема прежняя. Стенд затем удалён (`down -v`). Повтор на `de654a1`, где миграция идёт в контейнере сервиса `migrate` (`up --force-recreate --exit-code-from migrate`, `evidence/rollout/compatibility.md`, шаг G). Свежий проект `mtusi-bench` на образе `c50b721`, транзакция держит `messages` 20 с: ``` 22:04:12 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, image mtusi-messenger:bench from working tree 22:04:13 rolling-update: build done in 1s LockNotAvailableError: canceling statement due to lock timeout migrate-1 exited with code 1 22:04:19 rolling-update: error: migrations failed: no replica was replaced script exit=1 mtusi-bench-api-1 55ef308b2802 Up 23 seconds mtusi-bench-api-2 ca80e2afbf83 Up 23 seconds mtusi-bench-migrate-1 073cdd7b31ae Exited (1) revision: 7652184b7016 ``` Повтор того же скрипта после конца транзакции: ``` 22:04:31 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, … Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id 22:04:33 rolling-update: migrate done in 1s … 22:04:42 rolling-update: done: 2 replicas f6f8ec71e40d 62fdacc22466 UP in 11s script exit=0 mtusi-bench-migrate-1 73e318fd50c6 Exited (0) revision: e656d6bbe1a4 ``` Стенд затем удалён (`down -v`). Чем это лучше ожидания без срока, показывает тот же опыт с alembic с хоста (те же файлы ревизий, `DATABASE__NAME=ru_lock`). Чтение `SELECT count(*) FROM messages`, начатое через 1 с после миграции, ждало **4,33 с**: оно стоит в очереди блокировок за миграцией и прошло, когда миграция сдалась (`real 5,44` у миграции, ошибка та же). Без `lock_timeout` это чтение, как и любая запись реплик в `messages`, ждало бы до конца чужой 20-секундной транзакции. ## 6. Канал управления LB недоступен из сети ```sh docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/dev/tcp/haproxy/8404 …' docker compose exec -T api bash -c 'exec 3<>/dev/tcp/haproxy/9999' docker port mtusi-lab3-haproxy-1 ``` ``` haproxy:9999 refused haproxy:8404 connected bash: line 1: /dev/tcp/haproxy/9999: Connection refused # из реплики api 8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API ``` Изнутри контейнера LB (`docker compose exec haproxy`) runtime API отвечает: `show info` → `Name: HAProxy`, `Version: 3.4.6-56332c5`. Порт 9999 слушает только `127.0.0.1` контейнера LB.