Old image passes smoke and student tests on the new schema, rolling update, rollback and roll forward under tests/load.py give zero failed requests; the run_docker known issue is not reproduced and is closed. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
10 KiB
Отказы и сбои scripts/rolling-update.sh
| Спеки | load-balancing «Поочерёдная замена реплик» — «Стенд не готов к замене»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; db-migrations «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» |
| Change | rolling-update, задача 6.2 (design, решения 1, 2, 5, 7) |
| Дата | 2026-10-10, 21:56–22:01 UTC |
| Commit | d2148ac |
| Стенд | make run_docker (mtusi-lab3, api × 2 за HAProxy) после evidence/rollout/compatibility.md; блокировка миграции — временная база ru_lock в Postgres стенда (удалена после проверки) и проект mtusi-bench, поднятый вручную на образе c50b721 (удалён) |
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
Коды скрипта: 2 — неверный ввод или стенд не готов, ничего не менялось;
1 — сбой; 130 — прерван Ctrl+C. make при любой ошибке рецепта
печатает Error <код скрипта> и сам выходит с кодом 2.
1. Стенд не готов: остановленная реплика
TARGET_INSTANCE_ID=f8d83d5a98e8 scripts/stop-one.sh
make rolling_update
stop-one: stopped api container f8d83d5a98e8 (mode stop)
21:56:48 rolling-update: error: stopped api replicas exist: run make replicas first
make: *** [rolling_update] Error 2
mtusi-lab3-api-7 f8d83d5a98e8 Exited (0) Less than a second ago
mtusi-lab3-api-8 a9decf1ea3fa Up 2 minutes (healthy)
Отказ до сборки, контейнеры не изменились. Без этой проверки up --scale api=3 --no-recreate запустил бы остановленную старую реплику
вместо новой. Затем make replicas вернул ту же реплику.
2. Стенд не готов: число реплик не совпадает
API_REPLICAS=3 scripts/rolling-update.sh
21:56:53 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first
exit=2
3. Новая реплика не стала готовой за срок
ROLLOUT_READY_TIMEOUT=1: реплика стартует ~2–3 с и за 1 с в LB не
попадёт.
21:57:00 rolling-update: start: 2 replicas f8d83d5a98e8 a9decf1ea3fa, image mtusi-messenger:lab3 from working tree
21:57:01 rolling-update: build done in 1s
21:57:03 rolling-update: migrate done in 2s
21:57:03 rolling-update: replica 1/2: started new 362dcc7aa129
21:57:04 rolling-update: error: replica 1/2: new replica 362dcc7aa129 not UP in LB within 1s (container starting, LB no slot)
21:57:04 rolling-update: replica 1/2: removing new replica 362dcc7aa129 that is not ready
21:57:05 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
make: *** [rolling_update] Error 1
После сбоя работают прежние две реплики, обе UP. Слоты — только с
адресами реплик или в обслуживании по DNS. Ручного состояния нет:
admin_state 0 у занятых слотов и 32 (только DNS) у свободных.
api-1 172.30.0.5:8080 UP L7OK
api-2 172.30.0.4:8080 UP L7OK
show servers state api: api-1 admin=0, api-2 admin=0, api-3 admin=32, api-4 admin=32
Неготовая реплика удаляется docker rm -f, а не docker stop. В первой
версии скрипта docker stop такой реплики ждал все 10 с: процесс с
PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn
(KNOWN_ISSUES.md). За эти 10 с реплика успевала стать UP и
получать запросы. Теперь слот, если DNS уже отдал его, сначала уходит в
maint, и удаление занимает ~1 с.
4. Ctrl+C во время дренажа под нагрузкой
tests/load.py (4 клиента, 30 с) через LB. Скрипт запущен в своей
группе процессов, SIGINT отправлен всей группе, как Ctrl+C в терминале,
сразу после строки drain old. Обвязка — разовый interrupt.py вне
репозитория.
21:57:36 rolling-update: replica 1/2: new d1cbfea53232 addr 172.30.0.7 slot api-3 UP in 3s
21:57:36 rolling-update: replica 1/2: drain old f8d83d5a98e8 addr 172.30.0.5 slot api-1
--- SIGINT to the process group (Ctrl+C) after «drain old»
21:57:36 rolling-update: replica 1/2: new replica is UP, finishing removal of old f8d83d5a98e8
21:57:36 rolling-update: replica 1/2: maint slot api-1, stopping old f8d83d5a98e8
21:57:37 rolling-update: replica 1/2: removed old f8d83d5a98e8 (stop 1s)
21:57:38 rolling-update: replica 1/2: slot api-1 ready
21:57:38 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
--- exit 130, 1.7s after SIGINT
- Нагрузка — 19 696 успешных, 0 неуспешных.
- После прерывания работают две реплики, обе
UP: новаяd1cbfea53232и ещё не заменённаяa9decf1ea3fa. - Ручного состояния у слотов нет:
api-2,api-3—admin=0, свободные —admin=32. - Повторный
make rolling_updateдовёл замену:start: 2 replicas a9decf1ea3fa d1cbfea53232→done: 2 replicas 4180517b395f 5985a2b69f72 UP in 9s, код 0.
5. Миграция не получила блокировку
Временная база ru_lock на ревизии 7652184b7016. Открытая транзакция
(BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)) держит
ACCESS SHARE на messages 20 с. Через 1 с запускается миграция
e656d6bbe1a4: ей нужен ACCESS EXCLUSIVE для ADD COLUMN, и первой
строкой ревизии стоит SET LOCAL lock_timeout = '5s'.
Через сервис миграций, как в скрипте (docker compose run --rm --no-deps -T -e DATABASE__NAME=ru_lock migrate):
21:59:07 migrate started
21:59:14 migrate exit=1
asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
revision: 7652184b7016 # схема не изменилась
21:59:26 long transaction finished
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id # повтор после транзакции
revision: e656d6bbe1a4
Миграция упала с кодом 1 (7 с вместе со стартом контейнера, из них 5 с ожидания блокировки). Схема не изменилась. Повтор после конца транзакции прошёл.
Тот же отказ внутри замены. Проект mtusi-bench поднят вручную: реплики
на образе c50b721, ревизия 7652184b7016. Транзакция держит
messages 25 с, через 1 с запускается scripts/rolling-update.sh с
окружением проекта стенда:
22:00:36 rolling-update: start: 2 replicas 795269251e28 d92929c3401b, image mtusi-messenger:bench from working tree
22:00:36 rolling-update: build done in 0s
LockNotAvailableError: canceling statement due to lock timeout
22:00:43 rolling-update: error: migrations failed: no replica was replaced
script exit=1
mtusi-bench-api-1 795269251e28 Up 21 seconds
mtusi-bench-api-2 d92929c3401b Up 21 seconds
revision: 7652184b7016
Новые реплики не запускались, прежние работают, схема прежняя. Стенд
затем удалён (down -v).
Чем это лучше ожидания без срока, показывает тот же опыт с alembic с
хоста (те же файлы ревизий, DATABASE__NAME=ru_lock). Чтение
SELECT count(*) FROM messages, начатое через 1 с после миграции,
ждало 4,33 с: оно стоит в очереди блокировок за миграцией и прошло,
когда миграция сдалась (real 5,44 у миграции, ошибка та же). Без
lock_timeout это чтение, как и любая запись реплик в messages,
ждало бы до конца чужой 20-секундной транзакции.
6. Канал управления LB недоступен из сети
docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/dev/tcp/haproxy/8404 …'
docker compose exec -T api bash -c 'exec 3<>/dev/tcp/haproxy/9999'
docker port mtusi-lab3-haproxy-1
haproxy:9999 refused
haproxy:8404 connected
bash: line 1: /dev/tcp/haproxy/9999: Connection refused # из реплики api
8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API
Изнутри контейнера LB (docker compose exec haproxy) runtime API
отвечает: show info → Name: HAProxy, Version: 3.4.6-56332c5.
Порт 9999 слушает только 127.0.0.1 контейнера LB.