Re-run the compatibility walk-through, the script failure cases with a
real Ctrl+C through a pseudo-terminal, the stand lifecycle after
replacement and the quick rollout and failover self-checks on 84161c0
with a clean tree; update the report rows and limitations.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
15 KiB
Отказы и сбои scripts/rolling-update.sh
| Спеки | load-balancing «Поочерёдная замена реплик» — «Стенд не готов к замене», «Слот остался в ручном состоянии»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание при запуске новой реплики», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; db-migrations «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» |
| Change | rolling-update, задачи 6.2 и 7.2 (design, решения 1, 2, 5, 7, 12) |
| Дата | 2026-10-10, 22:31–22:49 UTC (переснято в verify; первая съёмка apply была на d2148ac) |
| Commit | 84161c0 — итоговый код change. Для сравнения «до исправления»: случай 4б — скрипт 69ebf5c, случай 5 — ревизия с lock_timeout 5 с на 5e102e6 |
| Стенд | make run_docker (mtusi-lab3, api × 2 за HAProxy) после evidence/rollout/compatibility.md; случай 5 — тот же стенд на шаге между A и C (реплики c50b721, схема 7652184b7016) |
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
Коды скрипта: 2 — неверный ввод или стенд не готов, ничего не менялось;
1 — сбой; 130 — прерван Ctrl+C. make при ошибке рецепта печатает
Error <код скрипта> и сам выходит с кодом 2; при Ctrl+C make
завершается тем же сигналом. Ручное состояние слота — srv_admin_state
из show servers state api (runtime API LB): 0 — штатно, 32 — нет
адреса (обслуживание по DNS), 1 — ручной maint, 8 — ручной drain.
1. Стенд не готов: остановленная реплика
TARGET_INSTANCE_ID=ce709a45172a scripts/stop-one.sh
make rolling_update
stop-one: stopped api container ce709a45172a (mode stop)
22:47:30 rolling-update: error: stopped api replicas exist: run make replicas first
make: *** [rolling_update] Error 2
mtusi-lab3-api-5 ce709a45172a Exited (0) Less than a second ago
mtusi-lab3-api-6 3e2b3fab9106 Up 37 seconds (healthy)
Отказ до сборки, контейнеры не изменились. Без этой проверки up --scale api=3 --no-recreate запустил бы остановленную старую реплику
вместо новой. Затем make replicas вернул ту же реплику.
2. Стенд не готов: число реплик не совпадает
API_REPLICAS=3 scripts/rolling-update.sh
22:47:32 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first
exit=2
3. Слот остался в ручном состоянии
Так выглядит слот, если уборка прерванной замены сама не удалась.
Свободные слоты api-6 и api-7 вручную переведены в maint и drain:
set server api/api-6 state maint; set server api/api-7 state drain # runtime API LB
make rolling_update
22:47:33 rolling-update: error: LB slots left in manual drain/maint by an interrupted rollout: api-6 api-7; set each ready: docker compose exec -T haproxy bash -c 'exec 3<>/dev/tcp/127.0.0.1/9999 && echo "set server api/<slot> state ready" >&3 && cat <&3'
make: *** [rolling_update] Error 2
show servers state api: … api-6 admin=33; api-7 admin=40; …
make lb_stats такие слоты не показывает (в нём только слоты с
адресом), а show stat даёт им MAINT (resolution), как и штатно
свободным. Следующая реплика в таком слоте не получила бы запросов, и
замена упала бы только через 60 с ожидания UP. Напечатанная команда с
именем слота вернула оба в admin=32.
4. Новая реплика не стала готовой за срок
ROLLOUT_READY_TIMEOUT=1: реплика стартует ~2 с и за 1 с в LB не
попадёт.
22:47:39 rolling-update: start: 2 replicas ce709a45172a 3e2b3fab9106, image mtusi-messenger:lab3 from working tree
22:47:40 rolling-update: build done in 1s
22:47:42 rolling-update: migrate done in 2s
22:47:42 rolling-update: replica 1/2: started new 8ba15f93487d
22:47:43 rolling-update: error: replica 1/2: new replica 8ba15f93487d not UP in LB within 1s (container starting, LB no slot)
22:47:43 rolling-update: replica 1/2: removing new replica 8ba15f93487d that is not ready
22:47:43 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
make: *** [rolling_update] Error 1
После сбоя работают прежние две реплики, обе UP, ручного состояния
нет (api-2, api-3 — admin=0, остальные — 32). Адрес удалённой
реплики DNS успел положить в слот api-1 уже после проверки скрипта
(22:47:43.166), слот был DOWN 1/2 — до UP нужны две проверки — и
через секунду ушёл в обслуживание по DNS:
22:47:43.166 api/api-1: IP changed from '(none)' to '172.30.0.5' by 'docker/dns'.
22:47:44.176 Server api/api-1 was DOWN and now enters maintenance (No IP for server ).
Неготовая реплика удаляется docker rm -f, а не docker stop: процесс
с PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn
(KNOWN_ISSUES.md), и docker stop ждал бы все 10 с. Если DNS уже
отдал ей слот, он сначала уходит в maint.
5. Ctrl+C во время дренажа под нагрузкой
Настоящий Ctrl+C: make rolling_update запущен в псевдотерминале
(разовый ctrlc.py вне репозитория), после строки drain old в
терминал записан символ ^C — драйвер терминала сам шлёт SIGINT всей
foreground-группе (make, скрипт, docker CLI). Нагрузка — tests/load.py,
4 клиента, 40 с.
22:48:25 rolling-update: replica 1/2: new 3ecf110a0a86 addr 172.30.0.5 slot api-1 UP in 2s
22:48:25 rolling-update: replica 1/2: drain old ce709a45172a addr 172.30.0.4 slot api-2
--- ^C written to the terminal 0s after «drain old»
^C22:48:25 rolling-update: replica 1/2: new replica is UP, finishing removal of old ce709a45172a
22:48:25 rolling-update: replica 1/2: maint slot api-2, stopping old ce709a45172a
22:48:26 rolling-update: replica 1/2: removed old ce709a45172a (stop 1s, exit 0)
22:48:28 rolling-update: replica 1/2: slot api-2 ready
22:48:28 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
make: *** [rolling_update] Error 130
--- make завершён SIGINT через 2,8 с после ^C
- Нагрузка — 22 023 успешных, 0 неуспешных.
- После прерывания работают две реплики, обе
UP: новая3ecf110a0a86и ещё не заменённая3e2b3fab9106. Ручного состояния у слотов нет (admin0 и 32). - Повторный
make rolling_updateдовёл замену:start: 2 replicas 3e2b3fab9106 3ecf110a0a86→done: 2 replicas b867a1c7b778 052cabd305e9 UP in 12s, код 0.
6. Ctrl+C внутри up --scale (найдено в verify)
Тот же ^C через псевдотерминал, через 0,35–0,7 с после строки migrate done, — пока compose создаёт новую реплику и её ID скрипту ещё не
известен.
До исправления (скрипт 69ebf5c, без нагрузки, 22:31):
22:31:22 rolling-update: migrate done in 2s
--- ^C written to the terminal 0.35s after «migrate done»
^C22:31:23 rolling-update: replica 1/2: removing new replica that is not ready
22:31:23 rolling-update: manual cleanup: docker rm -f ; make lb_stats shows slots in DRAIN or MAINT, set them ready
22:31:23 rolling-update: stopped: 3 api replicas running; rerun make rolling_update to finish
mtusi-lab3-api-14 7364b75042c9 Up Less than a second (health: starting) # третья реплика осталась
Уборка не знала ID новой и оставила API_REPLICAS + 1 реплик (третью
удалили вручную). На втором шаге было бы хуже: в переменной ещё лежал
ID новой реплики первого шага, уже рабочей, и уборка удалила бы её.
После исправления (84161c0; design, решение 12: ID сбрасывается до
перехода в это состояние, уборка ищет контейнер, которого не было до
up --scale), под нагрузкой tests/load.py:
22:49:11 rolling-update: migrate done in 3s
--- ^C written to the terminal 0.7s after «migrate done»
22:49:11 rolling-update: replica 1/2: removing new replica fca41fa99bf7 that is not ready
22:49:13 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
make: *** [rolling_update] Error 130
mtusi-lab3-api-8 b867a1c7b778 Up 41 seconds (healthy)
mtusi-lab3-api-9 052cabd305e9 Up 37 seconds (healthy)
show servers state api: api-2 172.30.0.4 admin=0; api-3 172.30.0.7 admin=0; остальные admin=32
Строки started new нет — прерывание пришлось внутрь up --scale.
Новая реплика найдена и удалена, работают две прежние, слоты чистые.
Нагрузка — 20 715 успешных, 0 неуспешных. Повторный make rolling_update — done … UP in 14s, код 0.
7. Миграция не получила блокировку
Схема на ревизии 7652184b7016, реплики прежнего образа. Открытая
транзакция (BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20))
держит ACCESS SHARE на messages 20 с. Через 1 с — make rolling_update: миграции e656d6bbe1a4 нужен ACCESS EXCLUSIVE для
ADD COLUMN. Одновременно через LB идут запросы (stall_probe.py, разовый
вне репозитория: 4 потока записи с ключом и 2 потока чтения истории
подряд, таймаут клиента 15 с). Пока миграция ждёт блокировку, все
запросы к messages стоят в очереди за ней.
До исправления: lock_timeout 5 с (5e102e6, 22:35):
22:35:33 rolling-update: start: 2 replicas 5aee06ba7470 0203227f7702 …
22:35:35.786 Running upgrade 7652184b7016 -> e656d6bbe1a4
asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
22:35:41 rolling-update: error: migrations failed: no replica was replaced
writes: ok 12844, failed 4 {'503': 4}
reads: ok 7532, failed 2 {'503': 2}
slow 22:35:35.780 w 5.03s 503 … всего 6 запросов 22:35:35.780–.790, все 503 через 5,02–5,03 с
журнал реплик: "Database is unavailable" … "canceling statement due to statement timeout" × 6
Все 6 запросов, вставших в очередь, получили 503: statement_timeout
приложения (5 с) истёк одновременно с отказом миграции.
После исправления: lock_timeout 2 с (84161c0, 22:39):
22:39:05 long transaction started
22:39:07 rolling-update: start: 2 replicas cd73e33d4838 937a5b8b84d8, image mtusi-messenger:lab3 from working tree
22:39:07 rolling-update: build done in 0s
migrate-1 | Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id
migrate-1 | asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
migrate-1 exited with code 1
22:39:11 rolling-update: error: migrations failed: no replica was replaced
make exit=2
revision: 7652184b7016 # схема не изменилась
mtusi-lab3-api-1 cd73e33d4838 Up 33 seconds (healthy) # реплики не тронуты
mtusi-lab3-api-2 937a5b8b84d8 Up 33 seconds (healthy)
22:39:25 long transaction finished
writes: ok 14130, failed 0, p50 8 ms, p99 21 ms, max 2023 ms
reads: ok 8285, failed 0, p50 7 ms, p99 17 ms, max 2018 ms
slow 22:39:09.337 w 2.02s 201 … всего 6 запросов 22:39:09.337–.350, все успешны за 2,01–2,02 с
Миграция сдалась через 2 с, схема и реплики не тронуты, ни одного
неуспешного запроса: очередь дождалась её отказа и выполнилась. После
конца транзакции миграция прошла той же командой
(evidence/rollout/compatibility.md, шаг C).
8. Канал управления LB недоступен из сети и с хоста
docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/8404 …; …/8080 …'
docker compose exec -T api bash -c '…/dev/tcp/haproxy/9999 …'
docker port mtusi-lab3-haproxy-1; nc -z 127.0.0.1 9999
## другой контейнер в сети стенда
haproxy:9999 refused
haproxy:8404 connected
haproxy:8080 connected
## реплика api
haproxy:9999 refused
## хост
8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API
host 127.0.0.1:9999 refused
## внутри LB
Name: HAProxy
Version: 3.4.6-56332c5
слушающие сокеты (/proc/net/tcp): 0.0.0.0:8080, 0.0.0.0:8404, 127.0.0.1:9999, 127.0.0.11:<DNS Docker>
Порт 9999 слушает только loopback контейнера LB; команды доходят до него
только через docker compose exec haproxy. Стенд bench/ монтирует тот
же infra/haproxy/haproxy.cfg и не публикует портов LB
(bench/bench.compose.yml, ports: !reset []), канал там устроен так
же; профиль rollout пользуется им тем же скриптом.