fix: recreate the migrate service container during rolling update
A one-off run --rm left the migrate container of the previous image in the stand; scripts/restart.sh then started it as a dependency of api and the old migrations failed on the newer schema, so test-persistence broke. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -211,11 +211,18 @@ Compose не умеет rolling update сам (это `update_config` Swarm). Ц
|
||||
1. Сборка нового образа: `docker compose build api` или
|
||||
`COMMIT=<commit>` — `git archive <commit> | docker build -t <тег> -`,
|
||||
рабочее дерево не трогается.
|
||||
2. Миграции один раз: `docker compose run --rm --no-deps migrate` на
|
||||
**новом** образе — новые ревизии лежат в нём, поэтому сборка раньше
|
||||
миграций. Миграция только расширяет схему (`migrations.md`), старые
|
||||
реплики работают на ней. Ошибка — код 1 до замены. `MIGRATE=0` —
|
||||
откат на прежний образ: его миграции не знают новой ревизии.
|
||||
2. Миграции один раз: `docker compose up --no-deps --no-build
|
||||
--force-recreate --abort-on-container-exit --exit-code-from migrate
|
||||
migrate` на **новом** образе — новые ревизии лежат в нём, поэтому
|
||||
сборка раньше миграций. Пересоздаётся контейнер самого сервиса
|
||||
`migrate`, а не одноразовый `run --rm`: иначе в стенде остался бы
|
||||
`migrate` прежнего образа, и `restart.sh` (`start api` запускает его
|
||||
как зависимость) гонял бы старые миграции на новой схеме — «Can't
|
||||
locate revision», exit 255, реплики не стартуют (найдено регрессией
|
||||
`make test-persistence` в apply). Миграция только расширяет схему
|
||||
(`migrations.md`), старые реплики работают на ней. Ошибка — код 1 до
|
||||
замены. `MIGRATE=0` — откат на прежний образ: его миграции не знают
|
||||
новой ревизии, контейнер `migrate` остаётся на новом образе.
|
||||
3. `up -d --no-deps --no-recreate --no-build --scale api=N+1 api`:
|
||||
новая реплика (ID, которого не было), старые не тронуты.
|
||||
4. Новая `healthy` (на `bench/` без healthcheck — `running`) **и** `UP`
|
||||
|
||||
+3
-5
@@ -262,12 +262,10 @@ def slot_event(
|
||||
def start_time(events: list[ContainerEvent]) -> float | None:
|
||||
"""Начало изменения стенда: создание контейнера миграции, без него —
|
||||
первой новой реплики (миграции пропущены)."""
|
||||
# контейнер сервиса migrate (scripts/rolling-update.sh пересоздаёт его
|
||||
# на новом образе) или одноразовый migrate-run
|
||||
migrate = next(
|
||||
(
|
||||
e
|
||||
for e in events
|
||||
if e.action == "create" and "migrate-run" in e.name
|
||||
),
|
||||
(e for e in events if e.action == "create" and "-migrate-" in e.name),
|
||||
None,
|
||||
)
|
||||
if migrate is not None:
|
||||
|
||||
@@ -96,13 +96,24 @@ compose` без `-p` и `-f`. Проект, файлы и файл подста
|
||||
Нарушение — код 2 и подсказка `make replicas`.
|
||||
1. **Сборка.** По умолчанию `docker compose build api` из рабочего
|
||||
дерева. С `ROLLOUT_COMMIT=<commit>` образ собирается из файлов
|
||||
commit (решение 6) под тем же тегом сервиса (`docker compose config
|
||||
--images api`).
|
||||
2. **Миграции один раз:** `docker compose run --rm --no-deps migrate` на
|
||||
только что собранном образе. Ошибка — код 1 до замены. Скрипт
|
||||
миграций не запускает при `ROLLOUT_MIGRATE=0` (откат, решение 6).
|
||||
Порядок «сборка → миграции», а не наоборот, как в `balancer.md`:
|
||||
новые ревизии лежат в новом образе. Правило исправляется.
|
||||
commit (решение 6) под тем же тегом сервиса. Тег берётся из
|
||||
`.Config.Image` работающей реплики: `docker compose config --images
|
||||
api` печатает ещё и образы зависимостей.
|
||||
2. **Миграции один раз** — на только что собранном образе. Ошибка —
|
||||
код 1 до замены. Скрипт миграций не запускает при
|
||||
`ROLLOUT_MIGRATE=0` (откат, решение 6). Порядок «сборка →
|
||||
миграции», а не наоборот, как в `balancer.md`: новые ревизии лежат в
|
||||
новом образе. Правило исправляется.
|
||||
|
||||
Команда — `docker compose up --no-deps --no-build --force-recreate
|
||||
--abort-on-container-exit --exit-code-from migrate migrate`:
|
||||
пересоздаётся контейнер самого сервиса `migrate`. Первый вариант
|
||||
(`docker compose run --rm --no-deps migrate`) регрессия apply
|
||||
опровергла. Одноразовый контейнер оставлял в стенде `migrate`
|
||||
прежнего образа. `scripts/restart.sh` (`start api` запускает его
|
||||
как зависимость) гонял старые миграции на новой схеме — «Can't
|
||||
locate revision», exit 255, реплики не стартовали, `make
|
||||
test-persistence` падал.
|
||||
3. **Новая реплика:** `docker compose up -d --no-deps --no-recreate
|
||||
--no-build --scale api=N+1 api`. Новая — та, ID которой не было до
|
||||
команды.
|
||||
|
||||
@@ -6,8 +6,9 @@ set -eu
|
||||
# 0. предусловия: работает ровно API_REPLICAS реплик, остановленных нет,
|
||||
# все UP в LB, для ещё одной есть слот; иначе код 2, ничего не менялось;
|
||||
# 1. сборка образа: рабочее дерево или ROLLOUT_COMMIT (git archive);
|
||||
# 2. миграции один раз (docker compose run --rm migrate) — до новых
|
||||
# реплик: в новом образе новые ревизии, они только расширяют схему;
|
||||
# 2. миграции один раз: контейнер сервиса migrate пересоздаётся на новом
|
||||
# образе и выполняется до новых реплик — в новом образе новые
|
||||
# ревизии, они только расширяют схему;
|
||||
# 3–5. для каждой старой реплики: рядом одна новая (--scale N+1
|
||||
# --no-recreate) → новая healthy и UP в LB → слот старой drain,
|
||||
# запросов в полёте 0 → maint → docker stop → docker rm → адрес ушёл
|
||||
@@ -259,10 +260,15 @@ else
|
||||
fi
|
||||
log "build done in $(($(now) - started))s"
|
||||
|
||||
# 2. миграции один раз, до первой новой реплики (спек db-migrations)
|
||||
# 2. миграции один раз, до первой новой реплики (спек db-migrations).
|
||||
# Контейнер сервиса migrate пересоздаётся на новом образе, а не одноразовый
|
||||
# run --rm: иначе в стенде остался бы migrate прежнего образа, и restart.sh
|
||||
# (start api запускает зависимость migrate) гонял бы старые миграции на
|
||||
# новой схеме — «Can't locate revision», exit 255, реплики не стартуют
|
||||
if [ "$migrate" = 1 ]; then
|
||||
started=$(now)
|
||||
if ! docker compose run --rm --no-deps -T migrate; then
|
||||
if ! docker compose up --no-deps --no-build --force-recreate \
|
||||
--abort-on-container-exit --exit-code-from migrate migrate; then
|
||||
fail 1 "migrations failed: no replica was replaced"
|
||||
fi
|
||||
log "migrate done in $(($(now) - started))s"
|
||||
|
||||
Reference in New Issue
Block a user