Files
mtusi2026lab3/evidence/rollout/script-failures.md
T

211 lines
11 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отказы и сбои `scripts/rolling-update.sh`
| | |
|---|---|
| Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» |
| Change | `rolling-update`, задача 6.2 (design, решения 1, 2, 5, 7) |
| Дата | 2026-10-10, 21:56–22:01 UTC |
| Commit | `d2148ac`; повтор случая 5 — `de654a1` (миграция в контейнере сервиса `migrate`) |
| Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; блокировка миграции — временная база `ru_lock` в Postgres стенда (удалена после проверки) и проект `mtusi-bench`, поднятый вручную на образе `c50b721` (удалён) |
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
Коды скрипта: 2 — неверный ввод или стенд не готов, ничего не менялось;
1 — сбой; 130 — прерван Ctrl+C. `make` при любой ошибке рецепта
печатает `Error <код скрипта>` и сам выходит с кодом 2.
## 1. Стенд не готов: остановленная реплика
```sh
TARGET_INSTANCE_ID=f8d83d5a98e8 scripts/stop-one.sh
make rolling_update
```
```
stop-one: stopped api container f8d83d5a98e8 (mode stop)
21:56:48 rolling-update: error: stopped api replicas exist: run make replicas first
make: *** [rolling_update] Error 2
mtusi-lab3-api-7 f8d83d5a98e8 Exited (0) Less than a second ago
mtusi-lab3-api-8 a9decf1ea3fa Up 2 minutes (healthy)
```
Отказ до сборки, контейнеры не изменились. Без этой проверки `up
--scale api=3 --no-recreate` запустил бы остановленную старую реплику
вместо новой. Затем `make replicas` вернул ту же реплику.
## 2. Стенд не готов: число реплик не совпадает
```sh
API_REPLICAS=3 scripts/rolling-update.sh
```
```
21:56:53 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first
exit=2
```
## 3. Новая реплика не стала готовой за срок
`ROLLOUT_READY_TIMEOUT=1`: реплика стартует ~2–3 с и за 1 с в LB не
попадёт.
```
21:57:00 rolling-update: start: 2 replicas f8d83d5a98e8 a9decf1ea3fa, image mtusi-messenger:lab3 from working tree
21:57:01 rolling-update: build done in 1s
21:57:03 rolling-update: migrate done in 2s
21:57:03 rolling-update: replica 1/2: started new 362dcc7aa129
21:57:04 rolling-update: error: replica 1/2: new replica 362dcc7aa129 not UP in LB within 1s (container starting, LB no slot)
21:57:04 rolling-update: replica 1/2: removing new replica 362dcc7aa129 that is not ready
21:57:05 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
make: *** [rolling_update] Error 1
```
После сбоя работают прежние две реплики, обе `UP`. Слоты — только с
адресами реплик или в обслуживании по DNS. Ручного состояния нет:
`admin_state` 0 у занятых слотов и 32 (только DNS) у свободных.
```
api-1 172.30.0.5:8080 UP L7OK
api-2 172.30.0.4:8080 UP L7OK
show servers state api: api-1 admin=0, api-2 admin=0, api-3 admin=32, api-4 admin=32
```
Неготовая реплика удаляется `docker rm -f`, а не `docker stop`. В первой
версии скрипта `docker stop` такой реплики ждал все 10 с: процесс с
PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn
(`KNOWN_ISSUES.md`). За эти 10 с реплика успевала стать `UP` и
получать запросы. Теперь слот, если DNS уже отдал его, сначала уходит в
`maint`, и удаление занимает ~1 с.
## 4. Ctrl+C во время дренажа под нагрузкой
`tests/load.py` (4 клиента, 30 с) через LB. Скрипт запущен в своей
группе процессов, SIGINT отправлен всей группе, как Ctrl+C в терминале,
сразу после строки `drain old`. Обвязка — разовый `interrupt.py` вне
репозитория.
```
21:57:36 rolling-update: replica 1/2: new d1cbfea53232 addr 172.30.0.7 slot api-3 UP in 3s
21:57:36 rolling-update: replica 1/2: drain old f8d83d5a98e8 addr 172.30.0.5 slot api-1
--- SIGINT to the process group (Ctrl+C) after «drain old»
21:57:36 rolling-update: replica 1/2: new replica is UP, finishing removal of old f8d83d5a98e8
21:57:36 rolling-update: replica 1/2: maint slot api-1, stopping old f8d83d5a98e8
21:57:37 rolling-update: replica 1/2: removed old f8d83d5a98e8 (stop 1s)
21:57:38 rolling-update: replica 1/2: slot api-1 ready
21:57:38 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
--- exit 130, 1.7s after SIGINT
```
- Нагрузка — 19 696 успешных, **0 неуспешных**.
- После прерывания работают две реплики, обе `UP`: новая
`d1cbfea53232` и ещё не заменённая `a9decf1ea3fa`.
- Ручного состояния у слотов нет: `api-2`, `api-3` — `admin=0`,
свободные — `admin=32`.
- Повторный `make rolling_update` довёл замену: `start: 2 replicas
a9decf1ea3fa d1cbfea53232` → `done: 2 replicas 4180517b395f
5985a2b69f72 UP in 9s`, код 0.
## 5. Миграция не получила блокировку
Временная база `ru_lock` на ревизии `7652184b7016`. Открытая транзакция
(`BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)`) держит
`ACCESS SHARE` на `messages` 20 с. Через 1 с запускается миграция
`e656d6bbe1a4`: ей нужен `ACCESS EXCLUSIVE` для `ADD COLUMN`, и первой
строкой ревизии стоит `SET LOCAL lock_timeout = '5s'`.
Через образ миграций (`docker compose run --rm --no-deps -T -e
DATABASE__NAME=ru_lock migrate`, так скрипт запускал миграцию на
`d2148ac`):
```
21:59:07 migrate started
21:59:14 migrate exit=1
asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
revision: 7652184b7016 # схема не изменилась
21:59:26 long transaction finished
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id # повтор после транзакции
revision: e656d6bbe1a4
```
Миграция упала с кодом 1 (7 с вместе со стартом контейнера, из них 5 с
ожидания блокировки). Схема не изменилась. Повтор после конца
транзакции прошёл.
Тот же отказ внутри замены. Проект `mtusi-bench` поднят вручную: реплики
на образе `c50b721`, ревизия `7652184b7016`. Транзакция держит
`messages` 25 с, через 1 с запускается `scripts/rolling-update.sh` с
окружением проекта стенда:
```
22:00:36 rolling-update: start: 2 replicas 795269251e28 d92929c3401b, image mtusi-messenger:bench from working tree
22:00:36 rolling-update: build done in 0s
LockNotAvailableError: canceling statement due to lock timeout
22:00:43 rolling-update: error: migrations failed: no replica was replaced
script exit=1
mtusi-bench-api-1 795269251e28 Up 21 seconds
mtusi-bench-api-2 d92929c3401b Up 21 seconds
revision: 7652184b7016
```
Новые реплики не запускались, прежние работают, схема прежняя. Стенд
затем удалён (`down -v`).
Повтор на `de654a1`, где миграция идёт в контейнере сервиса `migrate`
(`up --force-recreate --exit-code-from migrate`,
`evidence/rollout/compatibility.md`, шаг G). Свежий проект `mtusi-bench`
на образе `c50b721`, транзакция держит `messages` 20 с:
```
22:04:12 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, image mtusi-messenger:bench from working tree
22:04:13 rolling-update: build done in 1s
LockNotAvailableError: canceling statement due to lock timeout
migrate-1 exited with code 1
22:04:19 rolling-update: error: migrations failed: no replica was replaced
script exit=1
mtusi-bench-api-1 55ef308b2802 Up 23 seconds
mtusi-bench-api-2 ca80e2afbf83 Up 23 seconds
mtusi-bench-migrate-1 073cdd7b31ae Exited (1)
revision: 7652184b7016
```
Повтор того же скрипта после конца транзакции:
```
22:04:31 rolling-update: start: 2 replicas 55ef308b2802 ca80e2afbf83, …
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id
22:04:33 rolling-update: migrate done in 1s
…
22:04:42 rolling-update: done: 2 replicas f6f8ec71e40d 62fdacc22466 UP in 11s
script exit=0
mtusi-bench-migrate-1 73e318fd50c6 Exited (0)
revision: e656d6bbe1a4
```
Стенд затем удалён (`down -v`).
Чем это лучше ожидания без срока, показывает тот же опыт с alembic с
хоста (те же файлы ревизий, `DATABASE__NAME=ru_lock`). Чтение
`SELECT count(*) FROM messages`, начатое через 1 с после миграции,
ждало **4,33 с**: оно стоит в очереди блокировок за миграцией и прошло,
когда миграция сдалась (`real 5,44` у миграции, ошибка та же). Без
`lock_timeout` это чтение, как и любая запись реплик в `messages`,
ждало бы до конца чужой 20-секундной транзакции.
## 6. Канал управления LB недоступен из сети
```sh
docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/dev/tcp/haproxy/8404 …'
docker compose exec -T api bash -c 'exec 3<>/dev/tcp/haproxy/9999'
docker port mtusi-lab3-haproxy-1
```
```
haproxy:9999 refused
haproxy:8404 connected
bash: line 1: /dev/tcp/haproxy/9999: Connection refused # из реплики api
8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API
```
Изнутри контейнера LB (`docker compose exec haproxy`) runtime API
отвечает: `show info` → `Name: HAProxy`, `Version: 3.4.6-56332c5`.
Порт 9999 слушает только `127.0.0.1` контейнера LB.