Files
mtusi2026lab3/evidence/rollout/script-failures.md
T

11 KiB
Raw Blame History

Отказы и сбои scripts/rolling-update.sh

Спеки load-balancing «Поочерёдная замена реплик» — «Стенд не готов к замене»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; db-migrations «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала»
Change rolling-update, задача 6.2 (design, решения 1, 2, 5, 7)
Дата 2026-10-10, 21:56–22:01 UTC
Commit d2148ac; повтор случая 5 — de654a1 (миграция в контейнере сервиса migrate)
Стенд make run_docker (mtusi-lab3, api × 2 за HAProxy) после evidence/rollout/compatibility.md; блокировка миграции — временная база ru_lock в Postgres стенда (удалена после проверки) и проект mtusi-bench, поднятый вручную на образе c50b721 (удалён)
Хост Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM

Коды скрипта: 2 — неверный ввод или стенд не готов, ничего не менялось; 1 — сбой; 130 — прерван Ctrl+C. make при любой ошибке рецепта печатает Error <код скрипта> и сам выходит с кодом 2.

1. Стенд не готов: остановленная реплика

TARGET_INSTANCE_ID=f8d83d5a98e8 scripts/stop-one.sh
make rolling_update
stop-one: stopped api container f8d83d5a98e8 (mode stop)
21:56:48 rolling-update: error: stopped api replicas exist: run make replicas first
make: *** [rolling_update] Error 2
mtusi-lab3-api-7 f8d83d5a98e8 Exited (0) Less than a second ago
mtusi-lab3-api-8 a9decf1ea3fa Up 2 minutes (healthy)

Отказ до сборки, контейнеры не изменились. Без этой проверки up --scale api=3 --no-recreate запустил бы остановленную старую реплику вместо новой. Затем make replicas вернул ту же реплику.

2. Стенд не готов: число реплик не совпадает

API_REPLICAS=3 scripts/rolling-update.sh
21:56:53 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first
exit=2

3. Новая реплика не стала готовой за срок

ROLLOUT_READY_TIMEOUT=1: реплика стартует ~2–3 с и за 1 с в LB не попадёт.

21:57:00 rolling-update: start: 2 replicas f8d83d5a98e8 a9decf1ea3fa, image mtusi-messenger:lab3 from working tree
21:57:01 rolling-update: build done in 1s
21:57:03 rolling-update: migrate done in 2s
21:57:03 rolling-update: replica 1/2: started new 362dcc7aa129
21:57:04 rolling-update: error: replica 1/2: new replica 362dcc7aa129 not UP in LB within 1s (container starting, LB no slot)
21:57:04 rolling-update: replica 1/2: removing new replica 362dcc7aa129 that is not ready
21:57:05 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
make: *** [rolling_update] Error 1

После сбоя работают прежние две реплики, обе UP. Слоты — только с адресами реплик или в обслуживании по DNS. Ручного состояния нет: admin_state 0 у занятых слотов и 32 (только DNS) у свободных.

api-1          172.30.0.5:8080  UP      L7OK
api-2          172.30.0.4:8080  UP      L7OK
show servers state api: api-1 admin=0, api-2 admin=0, api-3 admin=32, api-4 admin=32

Неготовая реплика удаляется docker rm -f, а не docker stop. В первой версии скрипта docker stop такой реплики ждал все 10 с: процесс с PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn (KNOWN_ISSUES.md). За эти 10 с реплика успевала стать UP и получать запросы. Теперь слот, если DNS уже отдал его, сначала уходит в maint, и удаление занимает ~1 с.

4. Ctrl+C во время дренажа под нагрузкой

tests/load.py (4 клиента, 30 с) через LB. Скрипт запущен в своей группе процессов, SIGINT отправлен всей группе, как Ctrl+C в терминале, сразу после строки drain old. Обвязка — разовый interrupt.py вне репозитория.

21:57:36 rolling-update: replica 1/2: new d1cbfea53232 addr 172.30.0.7 slot api-3 UP in 3s
21:57:36 rolling-update: replica 1/2: drain old f8d83d5a98e8 addr 172.30.0.5 slot api-1
--- SIGINT to the process group (Ctrl+C) after «drain old»
21:57:36 rolling-update: replica 1/2: new replica is UP, finishing removal of old f8d83d5a98e8
21:57:36 rolling-update: replica 1/2: maint slot api-1, stopping old f8d83d5a98e8
21:57:37 rolling-update: replica 1/2: removed old f8d83d5a98e8 (stop 1s)
21:57:38 rolling-update: replica 1/2: slot api-1 ready
21:57:38 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
--- exit 130, 1.7s after SIGINT
  • Нагрузка — 19 696 успешных, 0 неуспешных.
  • После прерывания работают две реплики, обе UP: новая d1cbfea53232 и ещё не заменённая a9decf1ea3fa.
  • Ручного состояния у слотов нет: api-2, api-3 — admin=0, свободные — admin=32.
  • Повторный make rolling_update довёл замену: start: 2 replicas a9decf1ea3fa d1cbfea53232 → done: 2 replicas 4180517b395f 5985a2b69f72 UP in 9s, код 0.

5. Миграция не получила блокировку

Временная база ru_lock на ревизии 7652184b7016. Открытая транзакция (BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)) держит ACCESS SHARE на messages 20 с. Через 1 с запускается миграция e656d6bbe1a4: ей нужен ACCESS EXCLUSIVE для ADD COLUMN, и первой строкой ревизии стоит SET LOCAL lock_timeout = '5s'.

Через образ миграций (docker compose run --rm --no-deps -T -e DATABASE__NAME=ru_lock migrate, так скрипт запускал миграцию на d2148ac):

21:59:07 migrate started
21:59:14 migrate exit=1
asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
revision: 7652184b7016          # схема не изменилась
21:59:26 long transaction finished
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id   # повтор после транзакции
revision: e656d6bbe1a4

Миграция упала с кодом 1 (7 с вместе со стартом контейнера, из них 5 с ожидания блокировки). Схема не изменилась. Повтор после конца транзакции прошёл.

Тот же отказ внутри замены. Проект mtusi-bench поднят вручную: реплики на образе c50b721, ревизия 7652184b7016. Транзакция держит messages 25 с, через 1 с запускается scripts/rolling-update.sh с окружением проекта стенда:

22:00:36 rolling-update: start: 2 replicas 795269251e28 d92929c3401b, image mtusi-messenger:bench from working tree
22:00:36 rolling-update: build done in 0s
LockNotAvailableError: canceling statement due to lock timeout
22:00:43 rolling-update: error: migrations failed: no replica was replaced
script exit=1
mtusi-bench-api-1 795269251e28 Up 21 seconds
mtusi-bench-api-2 d92929c3401b Up 21 seconds
revision: 7652184b7016

Новые реплики не запускались, прежние работают, схема прежняя. Стенд затем удалён (down -v).

Повтор на de654a1, где миграция идёт в контейнере сервиса migrate (up --force-recreate --exit-code-from migrate, evidence/rollout/compatibility.md, шаг G). Свежий проект mtusi-bench на образе c50b721, транзакция держит messages 20 с:

22:04:12 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, image mtusi-messenger:bench from working tree
22:04:13 rolling-update: build done in 1s
LockNotAvailableError: canceling statement due to lock timeout
migrate-1 exited with code 1
22:04:19 rolling-update: error: migrations failed: no replica was replaced
script exit=1
mtusi-bench-api-1 55ef308b2802 Up 23 seconds
mtusi-bench-api-2 ca80e2afbf83 Up 23 seconds
mtusi-bench-migrate-1 073cdd7b31ae Exited (1)
revision: 7652184b7016

Повтор того же скрипта после конца транзакции:

22:04:31 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, …
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id
22:04:33 rolling-update: migrate done in 1s
…
22:04:42 rolling-update: done: 2 replicas f6f8ec71e40d 62fdacc22466 UP in 11s
script exit=0
mtusi-bench-migrate-1 73e318fd50c6 Exited (0)
revision: e656d6bbe1a4

Стенд затем удалён (down -v).

Чем это лучше ожидания без срока, показывает тот же опыт с alembic с хоста (те же файлы ревизий, DATABASE__NAME=ru_lock). Чтение SELECT count(*) FROM messages, начатое через 1 с после миграции, ждало 4,33 с: оно стоит в очереди блокировок за миграцией и прошло, когда миграция сдалась (real 5,44 у миграции, ошибка та же). Без lock_timeout это чтение, как и любая запись реплик в messages, ждало бы до конца чужой 20-секундной транзакции.

6. Канал управления LB недоступен из сети

docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/dev/tcp/haproxy/8404 …'
docker compose exec -T api bash -c 'exec 3<>/dev/tcp/haproxy/9999'
docker port mtusi-lab3-haproxy-1
haproxy:9999 refused
haproxy:8404 connected
bash: line 1: /dev/tcp/haproxy/9999: Connection refused      # из реплики api
8080/tcp -> 127.0.0.1:8080                                    # на хост опубликован только порт API

Изнутри контейнера LB (docker compose exec haproxy) runtime API отвечает: show info → Name: HAProxy, Version: 3.4.6-56332c5. Порт 9999 слушает только 127.0.0.1 контейнера LB.