docs: add rolling-update compatibility and script failure evidence
Old image passes smoke and student tests on the new schema, rolling update, rollback and roll forward under tests/load.py give zero failed requests; the run_docker known issue is not reproduced and is closed. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -202,6 +202,27 @@ git ls-files -z -co --exclude-standard | tar --null -T - -cf - | docker build -t
|
||||
`REPORT.md` — таблица роль → сервис → версия/digest → healthcheck →
|
||||
volume → порт → способ передачи credentials.
|
||||
|
||||
## Обновление кода на стенде
|
||||
|
||||
- `make run_docker` после пересборки пересоздаёт реплики, образ которых
|
||||
изменился, — все разом, с простоем. Compose сравнивает метку
|
||||
контейнера `com.docker.compose.image` (манифест платформы) с
|
||||
манифестом тега. Пересборка без изменений кода реплики не трогает,
|
||||
хотя digest тега новый: индекс образа содержит отметки времени
|
||||
сборки (`evidence/rollout/compatibility.md`).
|
||||
- Хранилище образов Docker Desktop — containerd. У образа три digest:
|
||||
- индекс — `docker image inspect <тег>`;
|
||||
- манифест платформы — метка контейнера и `docker image inspect
|
||||
--platform`;
|
||||
- конфигурация — поле `.Image` контейнера.
|
||||
|
||||
`docker ps` показывает у реплик digest конфигурации, а не имя тега.
|
||||
Это не признак «старого образа»: прежний пункт `KNOWN_ISSUES.md` о
|
||||
том, что `run_docker` не пересоздаёт реплики, на этом и ошибся. Образы
|
||||
сравниваются между контейнерами, по `.Image`.
|
||||
- Без простоя новый код доходит до реплик через `make rolling_update`
|
||||
(`balancer.md`): по одной, с выводом из LB и одной миграцией.
|
||||
|
||||
## `scripts/restart.sh`
|
||||
|
||||
Hook для `make test-persistence ACTION_SCRIPT=scripts/restart.sh`
|
||||
|
||||
@@ -266,7 +266,7 @@ Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings, structlog
|
||||
| `make run_dev` | `make upgrade` (Postgres из compose и миграции) и `make start_cache`, затем `APP__RUN_MODE=console uv run python -m src`: 127.0.0.1:8080, reload |
|
||||
| `make lint` | `ruff format` + `ruff check --fix`, дважды: так нужно из-за COM812; `tests/` и `scripts/` skeleton исключены в `[tool.ruff]` |
|
||||
| `make env_setup` | `.env.example` → `.env` со случайными `POSTGRES_PASSWORD` и `VALKEY_PASSWORD`, `config_example.toml` → `config.toml`; существующие файлы не перезаписывает (новые строки шаблона переносятся руками) |
|
||||
| `make run_docker` | `make env_setup` (только недостающие файлы) + `docker compose build` + `up -d`: postgres, valkey → migrate → api × `API_REPLICAS` (2) → haproxy на `127.0.0.1:APP_OUT_PORT`; `config.toml`, `infra/valkey/valkey.conf` и `infra/haproxy/haproxy.cfg` монтируются read-only |
|
||||
| `make run_docker` | `make env_setup` (только недостающие файлы) + `docker compose build` + `up -d`: postgres, valkey → migrate → api × `API_REPLICAS` (2) → haproxy на `127.0.0.1:APP_OUT_PORT`; `config.toml`, `infra/valkey/valkey.conf` и `infra/haproxy/haproxy.cfg` монтируются read-only. Реплики с изменённым образом пересоздаются все разом; без простоя — `make rolling_update` |
|
||||
| `make stop` / `make down` | остановить / удалить контейнеры compose; volume с данными остаётся |
|
||||
| `make logs` | журнал всех реплик API, каждая строка — JSON (`--no-log-prefix`), реплика — поле `instance_id` |
|
||||
| `make replicas [API_REPLICAS=N]` | вернуть остановленные реплики (те же ID) и выставить их число, ждать `healthy` (`balancer.md`) |
|
||||
|
||||
@@ -61,25 +61,3 @@
|
||||
- **Предложение:** как в профиле `rollout` — поток `docker events` с
|
||||
фильтром контейнера или проекта, запущенный до фазы
|
||||
(`Stand.project_events`).
|
||||
|
||||
## `make run_docker` не пересоздаёт работающие реплики после пересборки
|
||||
|
||||
- **Где:** `Makefile`, цель `run_docker` (`$(DC) build`, затем
|
||||
`$(DC) up -d`).
|
||||
- **Что не так:** на Docker Desktop 29.8 (Compose 5.5) после пересборки
|
||||
образа `mtusi-messenger:lab3` повторный `make run_docker` оставлял
|
||||
работающие контейнеры `api` на прежнем образе: новый код до реплик не
|
||||
доходил. Поэтому evidence `replicas-lb` и `graceful-failover` снято
|
||||
после `make down` и `make run_docker`, а не одного `make run_docker`.
|
||||
Отдельно не воспроизводилось: наблюдение verify `replicas-lb`,
|
||||
записанное в design `graceful-failover` (решение 9).
|
||||
- **Найдено:** verify change `replicas-lb` (2026-10-10); перенесено
|
||||
сюда verify `graceful-failover`, чтобы не потерялось в архиве.
|
||||
- **Предложение:** решить в change `rolling-update`, где замена реплик
|
||||
на новый образ — главный сценарий: сначала воспроизвести (пересборка
|
||||
с безвредной правкой `src`, `make run_docker`, сравнить файл в
|
||||
контейнере с деревом), затем либо `up -d --force-recreate api` в
|
||||
`run_docker` (рестарт всех реплик разом — допустим для запуска, не для
|
||||
обновления), либо направлять обновление только через
|
||||
`scripts/rolling-update.sh`, а в `run_docker` печатать
|
||||
предупреждение, если образ реплик не совпадает с собранным.
|
||||
|
||||
@@ -71,7 +71,9 @@ DC=docker compose
|
||||
# стенд: postgres, valkey -> migrate -> api × API_REPLICAS -> haproxy
|
||||
# (единственный порт API на хосте — у haproxy). env_setup создаёт
|
||||
# недостающие .env и config.toml из шаблонов: без config.toml compose не
|
||||
# запустится (bind с create_host_path: false), без паролей — тоже
|
||||
# запустится (bind с create_host_path: false), без паролей — тоже.
|
||||
# Реплики, чей образ изменился, пересоздаются все разом (простой); новый
|
||||
# код без простоя — make rolling_update
|
||||
.PHONY: run_docker
|
||||
run_docker: env_setup
|
||||
DOCKER_BUILDKIT=1 $(DC) build
|
||||
|
||||
@@ -0,0 +1,231 @@
|
||||
# Совместимость миграции и поочерёдная замена на рабочем стенде
|
||||
|
||||
| | |
|
||||
|---|---|
|
||||
| Спеки | `db-migrations` «Совместимость миграции с работающей версией» — «Старый образ на новой схеме», «Запись прежней версии»; «Однократные миграции при замене реплик» — «Одна миграция на замену»; `load-balancing` «Поочерёдная замена реплик» — «Замена двух реплик», «Замена под нагрузкой»; «Вывод реплики из балансировщика перед остановкой» — «Слот после замены» |
|
||||
| Change | `rolling-update`, задача 6.1 (design, решения 1, 3, 6, 7, 9) |
|
||||
| Дата | 2026-10-10, 21:50–21:55 UTC |
|
||||
| Commit | `d2148ac` (код change); прежняя версия — `c50b721` (последний commit до change, образ собран `git archive c50b721 \| docker build`) |
|
||||
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 (`API_REPLICAS=2`), Postgres и Valkey с данными прежних проверок |
|
||||
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1, хранилище образов containerd), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
|
||||
|
||||
Нагрузка во время замены — публичный `tests/load.py` (закрытая модель,
|
||||
4 клиента, новое соединение на запрос, `POST` сообщения с ключом) через
|
||||
LB. Снимки стенда — ID реплик, digest конфигурации образа контейнера,
|
||||
ревизия схемы и `make lb_stats`. Короткие ID и digest обрезаны до
|
||||
12 знаков.
|
||||
|
||||
## A. Реплики на образе прежнего commit, схема прежняя
|
||||
|
||||
```sh
|
||||
git archive --format=tar c50b721 | docker build -q -t mtusi-messenger:lab3 -
|
||||
docker compose up -d --no-build # реплики и migrate пересозданы на образе c50b721
|
||||
docker compose up -d --no-deps --force-recreate haproxy # haproxy.cfg с runtime API
|
||||
```
|
||||
|
||||
```
|
||||
tag mtusi-messenger:lab3 -> sha256:b356ab3d4f29
|
||||
container instance state image-config started
|
||||
mtusi-lab3-api-1 08712146e7fb running sha256:b356ab3d4f29 2026-10-10T21:50:25
|
||||
mtusi-lab3-api-2 dbbdd88923ce running sha256:b356ab3d4f29 2026-10-10T21:50:25
|
||||
revision: 7652184b7016
|
||||
api-1 172.30.0.5:8080 UP L7OK
|
||||
api-2 172.30.0.4:8080 UP L7OK
|
||||
```
|
||||
|
||||
`make test` — `PASS: lab3 public API scenario`.
|
||||
|
||||
## B. Пересборка и `make run_docker` (пункт `KNOWN_ISSUES.md`)
|
||||
|
||||
`KNOWN_ISSUES.md` утверждал: после пересборки образа `make run_docker`
|
||||
не пересоздаёт работающие `api`. Проверка, design, решение 9:
|
||||
|
||||
1. В шаге A тег `mtusi-messenger:lab3` указывал на образ, собранный
|
||||
`make test_isolated` из рабочего дерева. Реплики при этом работали на
|
||||
более раннем образе: `docker ps` показывал у них `04f700d0d939`, а не
|
||||
имя тега. `docker compose up -d --no-build` после смены тега
|
||||
**пересоздал** обе реплики: новые ID `08712146e7fb`, `dbbdd88923ce`.
|
||||
2. `docker compose build api` (образ `d2148ac`), затем `docker compose
|
||||
--dry-run up -d`:
|
||||
|
||||
```
|
||||
tag now: sha256:6ed315047cd7 platform manifest: sha256:93a0ad718b78
|
||||
mtusi-lab3-api-1 image sha256:b356ab3d4f29 label sha256:043a9c9b6cde
|
||||
mtusi-lab3-api-2 image sha256:b356ab3d4f29 label sha256:043a9c9b6cde
|
||||
Container mtusi-lab3-migrate-1 Recreate
|
||||
Container mtusi-lab3-api-1 Recreate
|
||||
Container mtusi-lab3-api-2 Recreate
|
||||
```
|
||||
|
||||
Compose пересоздал бы обе реплики. `--dry-run` ничего не менял:
|
||||
реплики после него — те же `08712146e7fb`, `dbbdd88923ce`.
|
||||
3. Пересборка **без** изменений кода (после шага G) даёт новый digest
|
||||
тега: `sha256:4e3c79dd7c34` вместо `16beb9f9faeb` — индекс образа
|
||||
содержит отметки времени сборки. `--dry-run up -d` при этом
|
||||
пересоздал бы только `migrate`, а реплики оставил бы (`api-7
|
||||
Running`, `api-8 Running`).
|
||||
|
||||
Вывод: дефект не воспроизводится. Compose сравнивает метку контейнера
|
||||
`com.docker.compose.image` (манифест платформы) с манифестом тега и
|
||||
пересоздаёт реплики только при изменении содержимого образа. В
|
||||
хранилище containerd у образа три разных digest: индекс (`docker image
|
||||
inspect` тега), манифест платформы (метка контейнера) и конфигурация
|
||||
(поле `.Image` контейнера). `docker ps` показывает у реплик digest
|
||||
конфигурации, а не имя тега. Отсюда, вероятно, и ошибка диагностики
|
||||
verify `replicas-lb`. Пункт закрыт. `make run_docker` пересоздаёт
|
||||
изменённые реплики разом (простой), без простоя — `make
|
||||
rolling_update`.
|
||||
|
||||
## C. Новая миграция, реплики прежние
|
||||
|
||||
```sh
|
||||
docker compose run --rm --no-deps -T migrate # образ d2148ac
|
||||
```
|
||||
|
||||
```
|
||||
"event": "Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id"
|
||||
container instance state image-config
|
||||
mtusi-lab3-api-1 08712146e7fb running sha256:b356ab3d4f29
|
||||
mtusi-lab3-api-2 dbbdd88923ce running sha256:b356ab3d4f29
|
||||
revision: e656d6bbe1a4
|
||||
```
|
||||
|
||||
На **прежнем образе и новой схеме**:
|
||||
|
||||
- `make test` — `PASS: lab3 public API scenario`;
|
||||
- `make student_test` через LB — `131 passed, 15 deselected`, гонка
|
||||
ключа через обе реплики `{'08712146e7fb': 5, 'dbbdd88923ce': 5}`;
|
||||
- отправка через прежнюю реплику (`X-Instance-Id: 08712146e7fb`) — 201,
|
||||
в строке сообщения `instance_id` = NULL: прежний код колонку не знает.
|
||||
|
||||
## D. `make rolling_update` под нагрузкой
|
||||
|
||||
```sh
|
||||
python3 tests/load.py --duration 45 --concurrency 4 & # через LB
|
||||
make rolling_update # через 6 с после старта нагрузки
|
||||
```
|
||||
|
||||
```
|
||||
21:51:53 rolling-update: start: 2 replicas 08712146e7fb dbbdd88923ce, image mtusi-messenger:lab3 from working tree
|
||||
21:51:53 rolling-update: build done in 0s
|
||||
21:51:55 rolling-update: migrate done in 2s
|
||||
21:51:56 rolling-update: replica 1/2: started new 6e54da9d61bc
|
||||
21:51:58 rolling-update: replica 1/2: new 6e54da9d61bc addr 172.30.0.7 slot api-3 UP in 2s
|
||||
21:51:58 rolling-update: replica 1/2: drain old 08712146e7fb addr 172.30.0.5 slot api-1
|
||||
21:51:58 rolling-update: replica 1/2: old 08712146e7fb idle after 0s
|
||||
21:51:58 rolling-update: replica 1/2: maint slot api-1, stopping old 08712146e7fb
|
||||
21:51:59 rolling-update: replica 1/2: removed old 08712146e7fb (stop 1s)
|
||||
21:52:00 rolling-update: replica 1/2: slot api-1 ready
|
||||
21:52:00 rolling-update: replica 2/2: started new 6985db2f2de9
|
||||
21:52:03 rolling-update: replica 2/2: new 6985db2f2de9 addr 172.30.0.5 slot api-1 UP in 3s
|
||||
21:52:03 rolling-update: replica 2/2: drain old dbbdd88923ce addr 172.30.0.4 slot api-2
|
||||
21:52:03 rolling-update: replica 2/2: old dbbdd88923ce idle after 0s
|
||||
21:52:03 rolling-update: replica 2/2: maint slot api-2, stopping old dbbdd88923ce
|
||||
21:52:04 rolling-update: replica 2/2: removed old dbbdd88923ce (stop 1s)
|
||||
21:52:06 rolling-update: replica 2/2: slot api-2 ready
|
||||
21:52:06 rolling-update: done: 2 replicas 6e54da9d61bc 6985db2f2de9 UP in 13s
|
||||
```
|
||||
|
||||
Код выхода 0. Миграция в этом запуске — no-op: схема уже на
|
||||
`e656d6bbe1a4` (шаг C), строки `Running upgrade` нет. Нагрузка
|
||||
`tests/load.py`: **25 347 успешных, 0 неуспешных** за 45 с, p95 10,5 мс,
|
||||
p99 14,5 мс.
|
||||
|
||||
Журнал LB (`docker compose logs -t haproxy`, строки слотов):
|
||||
|
||||
```
|
||||
21:51:57.888 Server api/api-3 is UP, reason: Layer7 check passed
|
||||
21:51:58.403 Server api/api-1 enters drain state
|
||||
21:51:58.582 Server api/api-1 is going DOWN for maintenance. … 0 sessions active
|
||||
21:52:00.404 Server api/api-1 is leaving forced maintenance but remains in maintenance.
|
||||
21:52:01.018 Server api/api-1 ('api') is DOWN/READY (resolves again).
|
||||
21:52:03.007 Server api/api-1 is UP, reason: Layer7 check passed
|
||||
21:52:03.628 Server api/api-2 enters drain state
|
||||
21:52:03.802 Server api/api-2 is going DOWN for maintenance. … 0 sessions active
|
||||
21:52:06.365 Server api/api-2 is leaving forced maintenance but remains in maintenance.
|
||||
```
|
||||
|
||||
Новая реплика второго шага (`6985db2f2de9`) получила адрес
|
||||
`172.30.0.5` и слот `api-1` только что удалённой старой: IPAM Docker
|
||||
переиспользует адрес сразу. Поэтому слот возвращается в `ready` до
|
||||
следующего `--scale`: в `maint` её бы не включили. Ошибок соединения с
|
||||
выводимой репликой нет, она не получала запросов: `econ` 0, `hrsp_5xx`
|
||||
0 у всех слотов после замены.
|
||||
|
||||
```
|
||||
container instance state image-config
|
||||
mtusi-lab3-api-3 6e54da9d61bc running sha256:590bff231344
|
||||
mtusi-lab3-api-4 6985db2f2de9 running sha256:590bff231344
|
||||
revision: e656d6bbe1a4
|
||||
api-1 172.30.0.5:8080 UP L7OK scur 0 stot 11689 econ 0 hrsp_5xx 0
|
||||
api-3 172.30.0.7:8080 UP L7OK scur 0 stot 8973 econ 0 hrsp_5xx 0
|
||||
free slots: 6
|
||||
```
|
||||
|
||||
Отправка через новую реплику: `X-Instance-Id: 6e54da9d61bc`, в строке
|
||||
сообщения `instance_id` = `6e54da9d61bc`.
|
||||
|
||||
## E. Откат на прежний образ под нагрузкой
|
||||
|
||||
```sh
|
||||
python3 tests/load.py --duration 40 --concurrency 4 &
|
||||
make rolling_update COMMIT=c50b721 MIGRATE=0
|
||||
```
|
||||
|
||||
```
|
||||
21:53:00 rolling-update: start: 2 replicas 6e54da9d61bc 6985db2f2de9, image mtusi-messenger:lab3 from c50b721
|
||||
21:53:01 rolling-update: build done in 1s
|
||||
21:53:01 rolling-update: migrate skipped (ROLLOUT_MIGRATE=0)
|
||||
…
|
||||
21:53:10 rolling-update: done: 2 replicas 81ce353200b0 d82b6f337b9f UP in 10s
|
||||
```
|
||||
|
||||
Код выхода 0. Нагрузка — **20 114 успешных, 0 неуспешных**. Реплики
|
||||
снова на образе `c50b721`, схема осталась `e656d6bbe1a4`, `make test` —
|
||||
`PASS`. Откат кода не потребовал отката схемы.
|
||||
|
||||
## F. Снова вперёд под нагрузкой
|
||||
|
||||
```sh
|
||||
python3 tests/load.py --duration 40 --concurrency 4 &
|
||||
make rolling_update
|
||||
```
|
||||
|
||||
Код выхода 0, замена за 14 с (`f8d83d5a98e8`, `a9decf1ea3fa`); миграция
|
||||
— no-op. Нагрузка — **20 713 успешных, 0 неуспешных**.
|
||||
|
||||
```
|
||||
mtusi-lab3-api-7 Up About a minute (healthy)
|
||||
mtusi-lab3-api-8 Up About a minute (healthy)
|
||||
mtusi-lab3-haproxy-1 Up 4 minutes (healthy)
|
||||
mtusi-lab3-migrate-1 Exited (0) 4 minutes ago
|
||||
mtusi-lab3-postgres-1 Up About an hour (healthy)
|
||||
mtusi-lab3-valkey-1 Up About an hour (healthy)
|
||||
```
|
||||
|
||||
Контейнеров прежних реплик нет ни работающих, ни остановленных. `make
|
||||
test` — `PASS`. `make student_test` — `131 passed`, гонка ключа через
|
||||
обе новые реплики `{'a9decf1ea3fa': 5, 'f8d83d5a98e8': 5}`. В журналах
|
||||
реплик записей alembic нет: миграции выполнял только одноразовый
|
||||
контейнер.
|
||||
|
||||
## Какая версия записала сообщения
|
||||
|
||||
Сообщения за время шагов D–F (21:51:40–21:54:40 UTC) по колонке
|
||||
`instance_id`:
|
||||
|
||||
```
|
||||
instance_id | count | first | last
|
||||
NULL | 31234 | 21:51:47 | 21:54:00
|
||||
6e54da9d61bc | 10821 | 21:51:58 | 21:53:03
|
||||
6985db2f2de9 | 10516 | 21:52:03 | 21:53:08
|
||||
f8d83d5a98e8 | 7543 | 21:53:54 | 21:54:24
|
||||
a9decf1ea3fa | 6063 | 21:54:00 | 21:54:24
|
||||
```
|
||||
|
||||
- NULL — записи реплик образа `c50b721`: до замены D и между откатом
|
||||
E и шагом F.
|
||||
- Остальное — реплики образа `d2148ac`, значение равно их
|
||||
`X-Instance-Id`.
|
||||
|
||||
Версии сменяли друг друга без ошибок клиента. Обе пишут в одну схему.
|
||||
@@ -0,0 +1,176 @@
|
||||
# Отказы и сбои `scripts/rolling-update.sh`
|
||||
|
||||
| | |
|
||||
|---|---|
|
||||
| Спеки | `load-balancing` «Поочерёдная замена реплик» — «Стенд не готов к замене»; «Сбой поочерёдной замены» — «Новая реплика не готова», «Прерывание во время дренажа»; «Вывод реплики из балансировщика перед остановкой» — «Управление LB недоступно из сети», «Слот после замены»; `db-migrations` «Совместимость миграции с работающей версией» — «Блокировка не получена»; «Однократные миграции при замене реплик» — «Миграция упала» |
|
||||
| Change | `rolling-update`, задача 6.2 (design, решения 1, 2, 5, 7) |
|
||||
| Дата | 2026-10-10, 21:56–22:01 UTC |
|
||||
| Commit | `d2148ac` |
|
||||
| Стенд | `make run_docker` (`mtusi-lab3`, `api` × 2 за HAProxy) после `evidence/rollout/compatibility.md`; блокировка миграции — временная база `ru_lock` в Postgres стенда (удалена после проверки) и проект `mtusi-bench`, поднятый вручную на образе `c50b721` (удалён) |
|
||||
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM |
|
||||
|
||||
Коды скрипта: 2 — неверный ввод или стенд не готов, ничего не менялось;
|
||||
1 — сбой; 130 — прерван Ctrl+C. `make` при любой ошибке рецепта
|
||||
печатает `Error <код скрипта>` и сам выходит с кодом 2.
|
||||
|
||||
## 1. Стенд не готов: остановленная реплика
|
||||
|
||||
```sh
|
||||
TARGET_INSTANCE_ID=f8d83d5a98e8 scripts/stop-one.sh
|
||||
make rolling_update
|
||||
```
|
||||
|
||||
```
|
||||
stop-one: stopped api container f8d83d5a98e8 (mode stop)
|
||||
21:56:48 rolling-update: error: stopped api replicas exist: run make replicas first
|
||||
make: *** [rolling_update] Error 2
|
||||
mtusi-lab3-api-7 f8d83d5a98e8 Exited (0) Less than a second ago
|
||||
mtusi-lab3-api-8 a9decf1ea3fa Up 2 minutes (healthy)
|
||||
```
|
||||
|
||||
Отказ до сборки, контейнеры не изменились. Без этой проверки `up
|
||||
--scale api=3 --no-recreate` запустил бы остановленную старую реплику
|
||||
вместо новой. Затем `make replicas` вернул ту же реплику.
|
||||
|
||||
## 2. Стенд не готов: число реплик не совпадает
|
||||
|
||||
```sh
|
||||
API_REPLICAS=3 scripts/rolling-update.sh
|
||||
```
|
||||
|
||||
```
|
||||
21:56:53 rolling-update: error: 2 api replicas running, API_REPLICAS=3: run make replicas first
|
||||
exit=2
|
||||
```
|
||||
|
||||
## 3. Новая реплика не стала готовой за срок
|
||||
|
||||
`ROLLOUT_READY_TIMEOUT=1`: реплика стартует ~2–3 с и за 1 с в LB не
|
||||
попадёт.
|
||||
|
||||
```
|
||||
21:57:00 rolling-update: start: 2 replicas f8d83d5a98e8 a9decf1ea3fa, image mtusi-messenger:lab3 from working tree
|
||||
21:57:01 rolling-update: build done in 1s
|
||||
21:57:03 rolling-update: migrate done in 2s
|
||||
21:57:03 rolling-update: replica 1/2: started new 362dcc7aa129
|
||||
21:57:04 rolling-update: error: replica 1/2: new replica 362dcc7aa129 not UP in LB within 1s (container starting, LB no slot)
|
||||
21:57:04 rolling-update: replica 1/2: removing new replica 362dcc7aa129 that is not ready
|
||||
21:57:05 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
|
||||
make: *** [rolling_update] Error 1
|
||||
```
|
||||
|
||||
После сбоя работают прежние две реплики, обе `UP`. Слоты — только с
|
||||
адресами реплик или в обслуживании по DNS. Ручного состояния нет:
|
||||
`admin_state` 0 у занятых слотов и 32 (только DNS) у свободных.
|
||||
|
||||
```
|
||||
api-1 172.30.0.5:8080 UP L7OK
|
||||
api-2 172.30.0.4:8080 UP L7OK
|
||||
show servers state api: api-1 admin=0, api-2 admin=0, api-3 admin=32, api-4 admin=32
|
||||
```
|
||||
|
||||
Неготовая реплика удаляется `docker rm -f`, а не `docker stop`. В первой
|
||||
версии скрипта `docker stop` такой реплики ждал все 10 с: процесс с
|
||||
PID 1 теряет SIGTERM, пришедший до установки обработчиков uvicorn
|
||||
(`KNOWN_ISSUES.md`). За эти 10 с реплика успевала стать `UP` и
|
||||
получать запросы. Теперь слот, если DNS уже отдал его, сначала уходит в
|
||||
`maint`, и удаление занимает ~1 с.
|
||||
|
||||
## 4. Ctrl+C во время дренажа под нагрузкой
|
||||
|
||||
`tests/load.py` (4 клиента, 30 с) через LB. Скрипт запущен в своей
|
||||
группе процессов, SIGINT отправлен всей группе, как Ctrl+C в терминале,
|
||||
сразу после строки `drain old`. Обвязка — разовый `interrupt.py` вне
|
||||
репозитория.
|
||||
|
||||
```
|
||||
21:57:36 rolling-update: replica 1/2: new d1cbfea53232 addr 172.30.0.7 slot api-3 UP in 3s
|
||||
21:57:36 rolling-update: replica 1/2: drain old f8d83d5a98e8 addr 172.30.0.5 slot api-1
|
||||
--- SIGINT to the process group (Ctrl+C) after «drain old»
|
||||
21:57:36 rolling-update: replica 1/2: new replica is UP, finishing removal of old f8d83d5a98e8
|
||||
21:57:36 rolling-update: replica 1/2: maint slot api-1, stopping old f8d83d5a98e8
|
||||
21:57:37 rolling-update: replica 1/2: removed old f8d83d5a98e8 (stop 1s)
|
||||
21:57:38 rolling-update: replica 1/2: slot api-1 ready
|
||||
21:57:38 rolling-update: stopped: 2 api replicas running; rerun make rolling_update to finish
|
||||
--- exit 130, 1.7s after SIGINT
|
||||
```
|
||||
|
||||
- Нагрузка — 19 696 успешных, **0 неуспешных**.
|
||||
- После прерывания работают две реплики, обе `UP`: новая
|
||||
`d1cbfea53232` и ещё не заменённая `a9decf1ea3fa`.
|
||||
- Ручного состояния у слотов нет: `api-2`, `api-3` — `admin=0`,
|
||||
свободные — `admin=32`.
|
||||
- Повторный `make rolling_update` довёл замену: `start: 2 replicas
|
||||
a9decf1ea3fa d1cbfea53232` → `done: 2 replicas 4180517b395f
|
||||
5985a2b69f72 UP in 9s`, код 0.
|
||||
|
||||
## 5. Миграция не получила блокировку
|
||||
|
||||
Временная база `ru_lock` на ревизии `7652184b7016`. Открытая транзакция
|
||||
(`BEGIN; SELECT count(*) FROM messages; SELECT pg_sleep(20)`) держит
|
||||
`ACCESS SHARE` на `messages` 20 с. Через 1 с запускается миграция
|
||||
`e656d6bbe1a4`: ей нужен `ACCESS EXCLUSIVE` для `ADD COLUMN`, и первой
|
||||
строкой ревизии стоит `SET LOCAL lock_timeout = '5s'`.
|
||||
|
||||
Через сервис миграций, как в скрипте (`docker compose run --rm
|
||||
--no-deps -T -e DATABASE__NAME=ru_lock migrate`):
|
||||
|
||||
```
|
||||
21:59:07 migrate started
|
||||
21:59:14 migrate exit=1
|
||||
asyncpg.exceptions.LockNotAvailableError: canceling statement due to lock timeout
|
||||
revision: 7652184b7016 # схема не изменилась
|
||||
21:59:26 long transaction finished
|
||||
Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id # повтор после транзакции
|
||||
revision: e656d6bbe1a4
|
||||
```
|
||||
|
||||
Миграция упала с кодом 1 (7 с вместе со стартом контейнера, из них 5 с
|
||||
ожидания блокировки). Схема не изменилась. Повтор после конца
|
||||
транзакции прошёл.
|
||||
|
||||
Тот же отказ внутри замены. Проект `mtusi-bench` поднят вручную: реплики
|
||||
на образе `c50b721`, ревизия `7652184b7016`. Транзакция держит
|
||||
`messages` 25 с, через 1 с запускается `scripts/rolling-update.sh` с
|
||||
окружением проекта стенда:
|
||||
|
||||
```
|
||||
22:00:36 rolling-update: start: 2 replicas 795269251e28 d92929c3401b, image mtusi-messenger:bench from working tree
|
||||
22:00:36 rolling-update: build done in 0s
|
||||
LockNotAvailableError: canceling statement due to lock timeout
|
||||
22:00:43 rolling-update: error: migrations failed: no replica was replaced
|
||||
script exit=1
|
||||
mtusi-bench-api-1 795269251e28 Up 21 seconds
|
||||
mtusi-bench-api-2 d92929c3401b Up 21 seconds
|
||||
revision: 7652184b7016
|
||||
```
|
||||
|
||||
Новые реплики не запускались, прежние работают, схема прежняя. Стенд
|
||||
затем удалён (`down -v`).
|
||||
|
||||
Чем это лучше ожидания без срока, показывает тот же опыт с alembic с
|
||||
хоста (те же файлы ревизий, `DATABASE__NAME=ru_lock`). Чтение
|
||||
`SELECT count(*) FROM messages`, начатое через 1 с после миграции,
|
||||
ждало **4,33 с**: оно стоит в очереди блокировок за миграцией и прошло,
|
||||
когда миграция сдалась (`real 5,44` у миграции, ошибка та же). Без
|
||||
`lock_timeout` это чтение, как и любая запись реплик в `messages`,
|
||||
ждало бы до конца чужой 20-секундной транзакции.
|
||||
|
||||
## 6. Канал управления LB недоступен из сети
|
||||
|
||||
```sh
|
||||
docker run --rm --network mtusi-lab3_default --entrypoint bash <образ haproxy> -c '…/dev/tcp/haproxy/9999 …; …/dev/tcp/haproxy/8404 …'
|
||||
docker compose exec -T api bash -c 'exec 3<>/dev/tcp/haproxy/9999'
|
||||
docker port mtusi-lab3-haproxy-1
|
||||
```
|
||||
|
||||
```
|
||||
haproxy:9999 refused
|
||||
haproxy:8404 connected
|
||||
bash: line 1: /dev/tcp/haproxy/9999: Connection refused # из реплики api
|
||||
8080/tcp -> 127.0.0.1:8080 # на хост опубликован только порт API
|
||||
```
|
||||
|
||||
Изнутри контейнера LB (`docker compose exec haproxy`) runtime API
|
||||
отвечает: `show info` → `Name: HAProxy`, `Version: 3.4.6-56332c5`.
|
||||
Порт 9999 слушает только `127.0.0.1` контейнера LB.
|
||||
@@ -29,7 +29,7 @@ Evidence снимается с закоммиченного кода: комми
|
||||
Проверка: `uv run alembic upgrade head` и `downgrade -1` / `upgrade
|
||||
head` на временной базе (не рабочей); `alembic check` после `upgrade`
|
||||
— без расхождений.
|
||||
- [ ] 1.2 `insert_message(..., instance_id)` в repo и передача
|
||||
- [x] 1.2 `insert_message(..., instance_id)` в repo и передача
|
||||
`settings.app.instance_id` из `MessageService.send_message`; DTO и
|
||||
ответ API не меняются. Проверка: `make lint`; после задачи 5.2 строка
|
||||
сообщения, записанного через API, содержит `instance_id` =
|
||||
@@ -41,7 +41,7 @@ Evidence снимается с закоммиченного кода: комми
|
||||
ipv4@127.0.0.1:9999 level admin` в `global` с комментарием (решение
|
||||
2). Проверка: `haproxy -c` в закреплённом образе с `API_PORT=8080` —
|
||||
`Configuration file is valid`.
|
||||
- [ ] 2.2 `scripts/rolling-update.sh` по решениям 1–6 (исполняемый бит
|
||||
- [x] 2.2 `scripts/rolling-update.sh` по решениям 1–6 (исполняемый бит
|
||||
в git). Внутри:
|
||||
- предусловия;
|
||||
- сборка из рабочего дерева или `ROLLOUT_COMMIT`;
|
||||
@@ -81,7 +81,7 @@ Evidence снимается с закоммиченного кода: комми
|
||||
|
||||
## 4. Документы
|
||||
|
||||
- [ ] 4.1 Правила под решения:
|
||||
- [x] 4.1 Правила под решения:
|
||||
- `balancer.md` — порядок «сборка → миграции», дренаж, состояния
|
||||
слота, сбой, runtime API;
|
||||
- `migrations.md` — новая ревизия, `lock_timeout`, откат кода без
|
||||
@@ -117,7 +117,7 @@ Evidence снимается с закоммиченного кода: комми
|
||||
|
||||
## 6. Evidence с commit кода
|
||||
|
||||
- [ ] 6.1 Совместимость и `make run_docker` на рабочем стенде (решения 6,
|
||||
- [x] 6.1 Совместимость и `make run_docker` на рабочем стенде (решения 6,
|
||||
7, 9; `evidence/rollout/compatibility.md`):
|
||||
- реплики на образе `c50b721` (`git archive`), LB пересоздан с новым
|
||||
`haproxy.cfg`, ревизия `7652184b7016`, `make test`;
|
||||
@@ -135,7 +135,7 @@ Evidence снимается с закоммиченного кода: комми
|
||||
Исход решения 9 — в `KNOWN_ISSUES.md` (и `Makefile`, если дефект
|
||||
подтвердился). Проверка: в файле на каждом шаге команда, код выхода и
|
||||
наблюдение.
|
||||
- [ ] 6.2 Отказы скрипта (`evidence/rollout/script-failures.md`):
|
||||
- [x] 6.2 Отказы скрипта (`evidence/rollout/script-failures.md`):
|
||||
- остановленная реплика (`stop-one.sh`) и `API_REPLICAS=3` —
|
||||
отказ до сборки;
|
||||
- `ROLLOUT_READY_TIMEOUT=1` — новая удалена, N реплик `UP`;
|
||||
|
||||
Reference in New Issue
Block a user