Files
mtusi2026lab3/evidence/rollout/script-failures.md
T
ricoromaandClaude Opus 5.5 6f85d21f3b docs: retake rolling-update evidence on the final verify commit
Re-run the compatibility walk-through, the script failure cases with a
real Ctrl+C through a pseudo-terminal, the stand lifecycle after
replacement and the quick rollout and failover self-checks on 84161c0
with a clean tree; update the report rows and limitations.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-11 01:56:30 +03:00

15 KiB
Raw Blame History

Отказы и сбои scripts/rolling-update.sh

Спеки load-balancing «Поочерёдная замена реплик» — «Стенд не готов к замене», «Слот остался в ручном состоянии»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание при запуске новой реплики», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; db-migrations «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала»
Change rolling-update, задачи 6.2 и 7.2 (design, решения 1, 2, 5, 7, 12)
Дата 2026-10-10, 22:31–22:49 UTC (переснято в verify; первая съёмка apply была на d2148ac)
Commit 84161c0 — итоговый код change. Для сравнения «до исправления»: случай 4б — скрипт 69ebf5c, случай 5 — ревизия с lock_timeout 5 с на 5e102e6
Стенд make run_docker (mtusi-lab3, api × 2 за HAProxy) после evidence/rollout/compatibility.md; случай 5 — тот же стенд на шаге между A и C (реплики c50b721, схема 7652184b7016)
Хост Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM

Коды скрипта: 2 — неверный ввод или стенд не готов, ничего не менялось; 1 — сбой; 130 — прерван Ctrl+C. make при ошибке рецепта печатает Error <код скрипта> и сам выходит с кодом 2; при Ctrl+C make завершается тем же сигналом. Ручное состояние слота — srv_admin_state из show servers state api (runtime API LB): 0 — штатно, 32 — нет адреса (обслуживание по DNS), 1 — ручной maint, 8 — ручной drain.

1. Стенд не готов: остановленная реплика

TARGET_INSTANCE_ID=ce709a45172a scripts/stop-one.sh
make rolling_update
stop-one: stopped api container ce709a45172a (mode stop)
22:47:30 rolling-update: error: stopped api replicas exist: run make replicas first
make: *** [rolling_update] Error 2
mtusi-lab3-api-5 ce709a45172a Exited (0) Less than a second ago
mtusi-lab3-api-6 3e2b3fab9106 Up 37 seconds (healthy)

Отказ до сборки, контейнеры не изменились. Без этой проверки up --scale api=3 --no-recreate запустил бы остановленную старую реплику вместо новой. Затем make replicas вернул ту же реплику.

2. Стенд не готов: число реплик не совпадает

API_REPLICAS=3 scripts/rolling-update.sh
22:47:32 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first
exit=2

3. Слот остался в ручном состоянии

Так выглядит слот, если уборка прерванной замены сама не удалась. Свободные слоты api-6 и api-7 вручную переведены в maint и drain:

set server api/api-6 state maint; set server api/api-7 state drain     # runtime API LB
make rolling_update
22:47:33 rolling-update: error: LB slots left in manual drain/maint by an interrupted rollout: api-6 api-7; set each ready: docker compose exec -T haproxy bash -c 'exec 3<>/dev/tcp/127.0.0.1/9999 && echo "set server api/<slot> state ready" >&3 && cat <&3'
make: *** [rolling_update] Error 2
show servers state api: … api-6 admin=33; api-7 admin=40; …

make lb_stats такие слоты не показывает (в нём только слоты с адресом), а show stat даёт им MAINT (resolution), как и штатно свободным. Следующая реплика в таком слоте не получила бы запросов, и замена упала бы только через 60 с ожидания UP. Напечатанная команда с именем слота вернула оба в admin=32.

4. Новая реплика не стала готовой за срок

ROLLOUT_READY_TIMEOUT=1: реплика стартует ~2 с и за 1 с в LB не попадёт.

22:47:39 rolling-update: start: 2 replicas ce709a45172a 3e2b3fab9106, image mtusi-messenger:lab3 from working tree
22:47:40 rolling-update: build done in 1s
22:47:42 rolling-update: migrate done in 2s
22:47:42 rolling-update: replica 1/2: started new 8ba15f93487d
22:47:43 rolling-update: error: replica 1/2: new replica 8ba15f93487d not UP in LB within 1s (container starting, LB no slot)
22:47:43 rolling-update: replica 1/2: removing new replica 8ba15f93487d that is not ready
22:47:43 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
make: *** [rolling_update] Error 1

После сбоя работают прежние две реплики, обе UP, ручного состояния нет (api-2, api-3 — admin=0, остальные — 32). Адрес удалённой реплики DNS успел положить в слот api-1 уже после проверки скрипта (22:47:43.166), слот был DOWN 1/2 — до UP нужны две проверки — и через секунду ушёл в обслуживание по DNS:

22:47:43.166 api/api-1: IP changed from '(none)' to '172.30.0.5' by 'docker/dns'.
22:47:44.176 Server api/api-1 was DOWN and now enters maintenance (No IP for server ).

Неготовая реплика удаляется docker rm -f, а не docker stop: процесс с PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn (KNOWN_ISSUES.md), и docker stop ждал бы все 10 с. Если DNS уже отдал ей слот, он сначала уходит в maint.

5. Ctrl+C во время дренажа под нагрузкой

Настоящий Ctrl+C: make rolling_update запущен в псевдотерминале (разовый ctrlc.py вне репозитория), после строки drain old в терминал записан символ ^C — драйвер терминала сам шлёт SIGINT всей foreground-группе (make, скрипт, docker CLI). Нагрузка — tests/load.py, 4 клиента, 40 с.

22:48:25 rolling-update: replica 1/2: new 3ecf110a0a86 addr 172.30.0.5 slot api-1 UP in 2s
22:48:25 rolling-update: replica 1/2: drain old ce709a45172a addr 172.30.0.4 slot api-2
--- ^C written to the terminal 0s after «drain old»
^C22:48:25 rolling-update: replica 1/2: new replica is UP, finishing removal of old ce709a45172a
22:48:25 rolling-update: replica 1/2: maint slot api-2, stopping old ce709a45172a
22:48:26 rolling-update: replica 1/2: removed old ce709a45172a (stop 1s, exit 0)
22:48:28 rolling-update: replica 1/2: slot api-2 ready
22:48:28 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
make: *** [rolling_update] Error 130
--- make завершён SIGINT через 2,8 с после ^C
  • Нагрузка — 22 023 успешных, 0 неуспешных.
  • После прерывания работают две реплики, обе UP: новая 3ecf110a0a86 и ещё не заменённая 3e2b3fab9106. Ручного состояния у слотов нет (admin 0 и 32).
  • Повторный make rolling_update довёл замену: start: 2 replicas 3e2b3fab9106 3ecf110a0a86 → done: 2 replicas b867a1c7b778 052cabd305e9 UP in 12s, код 0.

6. Ctrl+C внутри up --scale (найдено в verify)

Тот же ^C через псевдотерминал, через 0,35–0,7 с после строки migrate done, — пока compose создаёт новую реплику и её ID скрипту ещё не известен.

До исправления (скрипт 69ebf5c, без нагрузки, 22:31):

22:31:22 rolling-update: migrate done in 2s
--- ^C written to the terminal 0.35s after «migrate done»
^C22:31:23 rolling-update: replica 1/2: removing new replica  that is not ready
22:31:23 rolling-update: manual cleanup: docker rm -f ; make lb_stats shows slots in DRAIN or MAINT, set them ready
22:31:23 rolling-update: stopped: 3 api replicas running; rerun make rolling_update to finish
mtusi-lab3-api-14 7364b75042c9 Up Less than a second (health: starting)   # третья реплика осталась

Уборка не знала ID новой и оставила API_REPLICAS + 1 реплик (третью удалили вручную). На втором шаге было бы хуже: в переменной ещё лежал ID новой реплики первого шага, уже рабочей, и уборка удалила бы её.

После исправления (84161c0; design, решение 12: ID сбрасывается до перехода в это состояние, уборка ищет контейнер, которого не было до up --scale), под нагрузкой tests/load.py:

22:49:11 rolling-update: migrate done in 3s
--- ^C written to the terminal 0.7s after «migrate done»
22:49:11 rolling-update: replica 1/2: removing new replica fca41fa99bf7 that is not ready
22:49:13 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
make: *** [rolling_update] Error 130
mtusi-lab3-api-8 b867a1c7b778 Up 41 seconds (healthy)
mtusi-lab3-api-9 052cabd305e9 Up 37 seconds (healthy)
show servers state api: api-2 172.30.0.4 admin=0; api-3 172.30.0.7 admin=0; остальные admin=32

Строки started new нет — прерывание пришлось внутрь up --scale. Новая реплика найдена и удалена, работают две прежние, слоты чистые. Нагрузка — 20 715 успешных, 0 неуспешных. Повторный make rolling_update — done … UP in 14s, код 0.

7. Миграция не получила блокировку

Схема на ревизии 7652184b7016, реплики прежнего образа. Открытая транзакция (BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)) держит ACCESS SHARE на messages 20 с. Через 1 с — make rolling_update: миграции e656d6bbe1a4 нужен ACCESS EXCLUSIVE для ADD COLUMN. Одновременно через LB идут запросы (stall_probe.py, разовый вне репозитория: 4 потока записи с ключом и 2 потока чтения истории подряд, таймаут клиента 15 с). Пока миграция ждёт блокировку, все запросы к messages стоят в очереди за ней.

До исправления: lock_timeout 5 с (5e102e6, 22:35):

22:35:33 rolling-update: start: 2 replicas 5aee06ba7470 0203227f7702 …
22:35:35.786 Running upgrade 7652184b7016 -> e656d6bbe1a4
asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
22:35:41 rolling-update: error: migrations failed: no replica was replaced
writes: ok 12844, failed 4 {'503': 4}
reads: ok 7532, failed 2 {'503': 2}
  slow 22:35:35.780 w 5.03s 503     … всего 6 запросов 22:35:35.780–.790, все 503 через 5,02–5,03 с
журнал реплик: "Database is unavailable" … "canceling statement due to statement timeout" × 6

Все 6 запросов, вставших в очередь, получили 503: statement_timeout приложения (5 с) истёк одновременно с отказом миграции.

После исправления: lock_timeout 2 с (84161c0, 22:39):

22:39:05 long transaction started
22:39:07 rolling-update: start: 2 replicas cd73e33d4838 937a5b8b84d8, image mtusi-messenger:lab3 from working tree
22:39:07 rolling-update: build done in 0s
migrate-1 | Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id
migrate-1 | asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
migrate-1 exited with code 1
22:39:11 rolling-update: error: migrations failed: no replica was replaced
make exit=2
revision: 7652184b7016                                  # схема не изменилась
mtusi-lab3-api-1 cd73e33d4838 Up 33 seconds (healthy)   # реплики не тронуты
mtusi-lab3-api-2 937a5b8b84d8 Up 33 seconds (healthy)
22:39:25 long transaction finished
writes: ok 14130, failed 0, p50 8 ms, p99 21 ms, max 2023 ms
reads: ok 8285, failed 0, p50 7 ms, p99 17 ms, max 2018 ms
  slow 22:39:09.337 w 2.02s 201     … всего 6 запросов 22:39:09.337–.350, все успешны за 2,01–2,02 с

Миграция сдалась через 2 с, схема и реплики не тронуты, ни одного неуспешного запроса: очередь дождалась её отказа и выполнилась. После конца транзакции миграция прошла той же командой (evidence/rollout/compatibility.md, шаг C).

8. Канал управления LB недоступен из сети и с хоста

docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/8404 …; …/8080 …'
docker compose exec -T api bash -c '…/dev/tcp/haproxy/9999 …'
docker port mtusi-lab3-haproxy-1; nc -z 127.0.0.1 9999
## другой контейнер в сети стенда
haproxy:9999 refused
haproxy:8404 connected
haproxy:8080 connected
## реплика api
haproxy:9999 refused
## хост
8080/tcp -> 127.0.0.1:8080                 # на хост опубликован только порт API
host 127.0.0.1:9999 refused
## внутри LB
Name: HAProxy
Version: 3.4.6-56332c5
слушающие сокеты (/proc/net/tcp): 0.0.0.0:8080, 0.0.0.0:8404, 127.0.0.1:9999, 127.0.0.11:<DNS Docker>

Порт 9999 слушает только loopback контейнера LB; команды доходят до него только через docker compose exec haproxy. Стенд bench/ монтирует тот же infra/haproxy/haproxy.cfg и не публикует портов LB (bench/bench.compose.yml, ports: !reset []), канал там устроен так же; профиль rollout пользуется им тем же скриптом.