211 lines
11 KiB
Markdown
211 lines
11 KiB
Markdown
# Отказы и сбои `scripts/rolling-update.sh`
|
||
|
||
| | |
|
||
|---|---|
|
||
| Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» |
|
||
| Change | `rolling-update`, задача 6.2 (design, решения 1, 2, 5, 7) |
|
||
| Дата | 2026-10-10, 21:56–22:01 UTC |
|
||
| Commit | `d2148ac`; повтор случая 5 — `de654a1` (миграция в контейнере сервиса `migrate`) |
|
||
| Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; блокировка миграции — временная база `ru_lock` в Postgres стенда (удалена после проверки) и проект `mtusi-bench`, поднятый вручную на образе `c50b721` (удалён) |
|
||
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
|
||
|
||
Коды скрипта: 2 — неверный ввод или стенд не готов, ничего не менялось;
|
||
1 — сбой; 130 — прерван Ctrl+C. `make` при любой ошибке рецепта
|
||
печатает `Error <код скрипта>` и сам выходит с кодом 2.
|
||
|
||
## 1. Стенд не готов: остановленная реплика
|
||
|
||
```sh
|
||
TARGET_INSTANCE_ID=f8d83d5a98e8 scripts/stop-one.sh
|
||
make rolling_update
|
||
```
|
||
|
||
```
|
||
stop-one: stopped api container f8d83d5a98e8 (mode stop)
|
||
21:56:48 rolling-update: error: stopped api replicas exist: run make replicas first
|
||
make: *** [rolling_update] Error 2
|
||
mtusi-lab3-api-7 f8d83d5a98e8 Exited (0) Less than a second ago
|
||
mtusi-lab3-api-8 a9decf1ea3fa Up 2 minutes (healthy)
|
||
```
|
||
|
||
Отказ до сборки, контейнеры не изменились. Без этой проверки `up
|
||
--scale api=3 --no-recreate` запустил бы остановленную старую реплику
|
||
вместо новой. Затем `make replicas` вернул ту же реплику.
|
||
|
||
## 2. Стенд не готов: число реплик не совпадает
|
||
|
||
```sh
|
||
API_REPLICAS=3 scripts/rolling-update.sh
|
||
```
|
||
|
||
```
|
||
21:56:53 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first
|
||
exit=2
|
||
```
|
||
|
||
## 3. Новая реплика не стала готовой за срок
|
||
|
||
`ROLLOUT_READY_TIMEOUT=1`: реплика стартует ~2–3 с и за 1 с в LB не
|
||
попадёт.
|
||
|
||
```
|
||
21:57:00 rolling-update: start: 2 replicas f8d83d5a98e8 a9decf1ea3fa, image mtusi-messenger:lab3 from working tree
|
||
21:57:01 rolling-update: build done in 1s
|
||
21:57:03 rolling-update: migrate done in 2s
|
||
21:57:03 rolling-update: replica 1/2: started new 362dcc7aa129
|
||
21:57:04 rolling-update: error: replica 1/2: new replica 362dcc7aa129 not UP in LB within 1s (container starting, LB no slot)
|
||
21:57:04 rolling-update: replica 1/2: removing new replica 362dcc7aa129 that is not ready
|
||
21:57:05 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
|
||
make: *** [rolling_update] Error 1
|
||
```
|
||
|
||
После сбоя работают прежние две реплики, обе `UP`. Слоты — только с
|
||
адресами реплик или в обслуживании по DNS. Ручного состояния нет:
|
||
`admin_state` 0 у занятых слотов и 32 (только DNS) у свободных.
|
||
|
||
```
|
||
api-1 172.30.0.5:8080 UP L7OK
|
||
api-2 172.30.0.4:8080 UP L7OK
|
||
show servers state api: api-1 admin=0, api-2 admin=0, api-3 admin=32, api-4 admin=32
|
||
```
|
||
|
||
Неготовая реплика удаляется `docker rm -f`, а не `docker stop`. В первой
|
||
версии скрипта `docker stop` такой реплики ждал все 10 с: процесс с
|
||
PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn
|
||
(`KNOWN_ISSUES.md`). За эти 10 с реплика успевала стать `UP` и
|
||
получать запросы. Теперь слот, если DNS уже отдал его, сначала уходит в
|
||
`maint`, и удаление занимает ~1 с.
|
||
|
||
## 4. Ctrl+C во время дренажа под нагрузкой
|
||
|
||
`tests/load.py` (4 клиента, 30 с) через LB. Скрипт запущен в своей
|
||
группе процессов, SIGINT отправлен всей группе, как Ctrl+C в терминале,
|
||
сразу после строки `drain old`. Обвязка — разовый `interrupt.py` вне
|
||
репозитория.
|
||
|
||
```
|
||
21:57:36 rolling-update: replica 1/2: new d1cbfea53232 addr 172.30.0.7 slot api-3 UP in 3s
|
||
21:57:36 rolling-update: replica 1/2: drain old f8d83d5a98e8 addr 172.30.0.5 slot api-1
|
||
--- SIGINT to the process group (Ctrl+C) after «drain old»
|
||
21:57:36 rolling-update: replica 1/2: new replica is UP, finishing removal of old f8d83d5a98e8
|
||
21:57:36 rolling-update: replica 1/2: maint slot api-1, stopping old f8d83d5a98e8
|
||
21:57:37 rolling-update: replica 1/2: removed old f8d83d5a98e8 (stop 1s)
|
||
21:57:38 rolling-update: replica 1/2: slot api-1 ready
|
||
21:57:38 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
|
||
--- exit 130, 1.7s after SIGINT
|
||
```
|
||
|
||
- Нагрузка — 19 696 успешных, **0 неуспешных**.
|
||
- После прерывания работают две реплики, обе `UP`: новая
|
||
`d1cbfea53232` и ещё не заменённая `a9decf1ea3fa`.
|
||
- Ручного состояния у слотов нет: `api-2`, `api-3` — `admin=0`,
|
||
свободные — `admin=32`.
|
||
- Повторный `make rolling_update` довёл замену: `start: 2 replicas
|
||
a9decf1ea3fa d1cbfea53232` → `done: 2 replicas 4180517b395f
|
||
5985a2b69f72 UP in 9s`, код 0.
|
||
|
||
## 5. Миграция не получила блокировку
|
||
|
||
Временная база `ru_lock` на ревизии `7652184b7016`. Открытая транзакция
|
||
(`BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)`) держит
|
||
`ACCESS SHARE` на `messages` 20 с. Через 1 с запускается миграция
|
||
`e656d6bbe1a4`: ей нужен `ACCESS EXCLUSIVE` для `ADD COLUMN`, и первой
|
||
строкой ревизии стоит `SET LOCAL lock_timeout = '5s'`.
|
||
|
||
Через образ миграций (`docker compose run --rm --no-deps -T -e
|
||
DATABASE__NAME=ru_lock migrate`, так скрипт запускал миграцию на
|
||
`d2148ac`):
|
||
|
||
```
|
||
21:59:07 migrate started
|
||
21:59:14 migrate exit=1
|
||
asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
|
||
revision: 7652184b7016 # схема не изменилась
|
||
21:59:26 long transaction finished
|
||
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id # повтор после транзакции
|
||
revision: e656d6bbe1a4
|
||
```
|
||
|
||
Миграция упала с кодом 1 (7 с вместе со стартом контейнера, из них 5 с
|
||
ожидания блокировки). Схема не изменилась. Повтор после конца
|
||
транзакции прошёл.
|
||
|
||
Тот же отказ внутри замены. Проект `mtusi-bench` поднят вручную: реплики
|
||
на образе `c50b721`, ревизия `7652184b7016`. Транзакция держит
|
||
`messages` 25 с, через 1 с запускается `scripts/rolling-update.sh` с
|
||
окружением проекта стенда:
|
||
|
||
```
|
||
22:00:36 rolling-update: start: 2 replicas 795269251e28 d92929c3401b, image mtusi-messenger:bench from working tree
|
||
22:00:36 rolling-update: build done in 0s
|
||
LockNotAvailableError: canceling statement due to lock timeout
|
||
22:00:43 rolling-update: error: migrations failed: no replica was replaced
|
||
script exit=1
|
||
mtusi-bench-api-1 795269251e28 Up 21 seconds
|
||
mtusi-bench-api-2 d92929c3401b Up 21 seconds
|
||
revision: 7652184b7016
|
||
```
|
||
|
||
Новые реплики не запускались, прежние работают, схема прежняя. Стенд
|
||
затем удалён (`down -v`).
|
||
|
||
Повтор на `de654a1`, где миграция идёт в контейнере сервиса `migrate`
|
||
(`up --force-recreate --exit-code-from migrate`,
|
||
`evidence/rollout/compatibility.md`, шаг G). Свежий проект `mtusi-bench`
|
||
на образе `c50b721`, транзакция держит `messages` 20 с:
|
||
|
||
```
|
||
22:04:12 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, image mtusi-messenger:bench from working tree
|
||
22:04:13 rolling-update: build done in 1s
|
||
LockNotAvailableError: canceling statement due to lock timeout
|
||
migrate-1 exited with code 1
|
||
22:04:19 rolling-update: error: migrations failed: no replica was replaced
|
||
script exit=1
|
||
mtusi-bench-api-1 55ef308b2802 Up 23 seconds
|
||
mtusi-bench-api-2 ca80e2afbf83 Up 23 seconds
|
||
mtusi-bench-migrate-1 073cdd7b31ae Exited (1)
|
||
revision: 7652184b7016
|
||
```
|
||
|
||
Повтор того же скрипта после конца транзакции:
|
||
|
||
```
|
||
22:04:31 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, …
|
||
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id
|
||
22:04:33 rolling-update: migrate done in 1s
|
||
…
|
||
22:04:42 rolling-update: done: 2 replicas f6f8ec71e40d 62fdacc22466 UP in 11s
|
||
script exit=0
|
||
mtusi-bench-migrate-1 73e318fd50c6 Exited (0)
|
||
revision: e656d6bbe1a4
|
||
```
|
||
|
||
Стенд затем удалён (`down -v`).
|
||
|
||
Чем это лучше ожидания без срока, показывает тот же опыт с alembic с
|
||
хоста (те же файлы ревизий, `DATABASE__NAME=ru_lock`). Чтение
|
||
`SELECT count(*) FROM messages`, начатое через 1 с после миграции,
|
||
ждало **4,33 с**: оно стоит в очереди блокировок за миграцией и прошло,
|
||
когда миграция сдалась (`real 5,44` у миграции, ошибка та же). Без
|
||
`lock_timeout` это чтение, как и любая запись реплик в `messages`,
|
||
ждало бы до конца чужой 20-секундной транзакции.
|
||
|
||
## 6. Канал управления LB недоступен из сети
|
||
|
||
```sh
|
||
docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/dev/tcp/haproxy/8404 …'
|
||
docker compose exec -T api bash -c 'exec 3<>/dev/tcp/haproxy/9999'
|
||
docker port mtusi-lab3-haproxy-1
|
||
```
|
||
|
||
```
|
||
haproxy:9999 refused
|
||
haproxy:8404 connected
|
||
bash: line 1: /dev/tcp/haproxy/9999: Connection refused # из реплики api
|
||
8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API
|
||
```
|
||
|
||
Изнутри контейнера LB (`docker compose exec haproxy`) runtime API
|
||
отвечает: `show info` → `Name: HAProxy`, `Version: 3.4.6-56332c5`.
|
||
Порт 9999 слушает только `127.0.0.1` контейнера LB.
|