fix: recreate the migrate service container during rolling update

A one-off run --rm left the migrate container of the previous image in
the stand; scripts/restart.sh then started it as a dependency of api and
the old migrations failed on the newer schema, so test-persistence broke.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 01:04:50 +03:00
co-authored by Claude Opus 5.5
parent 5403464cfb
commit de654a1c83
4 changed files with 43 additions and 21 deletions
+12 -5
View File
@@ -211,11 +211,18 @@ Compose не умеет rolling update сам (это `update_config` Swarm). Ц
1. Сборка нового образа: `docker compose build api` или
`COMMIT=<commit>` — `git archive <commit> | docker build -t <тег> -`,
рабочее дерево не трогается.
2. Миграции один раз: `docker compose run --rm --no-deps migrate` на
**новом** образе — новые ревизии лежат в нём, поэтому сборка раньше
миграций. Миграция только расширяет схему (`migrations.md`), старые
реплики работают на ней. Ошибка — код 1 до замены. `MIGRATE=0` —
откат на прежний образ: его миграции не знают новой ревизии.
2. Миграции один раз: `docker compose up --no-deps --no-build
--force-recreate --abort-on-container-exit --exit-code-from migrate
migrate` на **новом** образе — новые ревизии лежат в нём, поэтому
сборка раньше миграций. Пересоздаётся контейнер самого сервиса
`migrate`, а не одноразовый `run --rm`: иначе в стенде остался бы
`migrate` прежнего образа, и `restart.sh` (`start api` запускает его
как зависимость) гонял бы старые миграции на новой схеме — «Can't
locate revision», exit 255, реплики не стартуют (найдено регрессией
`make test-persistence` в apply). Миграция только расширяет схему
(`migrations.md`), старые реплики работают на ней. Ошибка — код 1 до
замены. `MIGRATE=0` — откат на прежний образ: его миграции не знают
новой ревизии, контейнер `migrate` остаётся на новом образе.
3. `up -d --no-deps --no-recreate --no-build --scale api=N+1 api`:
новая реплика (ID, которого не было), старые не тронуты.
4. Новая `healthy` (на `bench/` без healthcheck — `running`) **и** `UP`
+3 -5
View File
@@ -262,12 +262,10 @@ def slot_event(
def start_time(events: list[ContainerEvent]) -> float | None:
"""Начало изменения стенда: создание контейнера миграции, без него —
первой новой реплики (миграции пропущены)."""
# контейнер сервиса migrate (scripts/rolling-update.sh пересоздаёт его
# на новом образе) или одноразовый migrate-run
migrate = next(
(
e
for e in events
if e.action == "create" and "migrate-run" in e.name
),
(e for e in events if e.action == "create" and "-migrate-" in e.name),
None,
)
if migrate is not None:
+18 -7
View File
@@ -96,13 +96,24 @@ compose` без `-p` и `-f`. Проект, файлы и файл подста
Нарушение — код 2 и подсказка `make replicas`.
1. **Сборка.** По умолчанию `docker compose build api` из рабочего
дерева. С `ROLLOUT_COMMIT=<commit>` образ собирается из файлов
commit (решение 6) под тем же тегом сервиса (`docker compose config
--images api`).
2. **Миграции один раз:** `docker compose run --rm --no-deps migrate` на
только что собранном образе. Ошибка — код 1 до замены. Скрипт
миграций не запускает при `ROLLOUT_MIGRATE=0` (откат, решение 6).
Порядок «сборка → миграции», а не наоборот, как в `balancer.md`:
новые ревизии лежат в новом образе. Правило исправляется.
commit (решение 6) под тем же тегом сервиса. Тег берётся из
`.Config.Image` работающей реплики: `docker compose config --images
api` печатает ещё и образы зависимостей.
2. **Миграции один раз** — на только что собранном образе. Ошибка —
код 1 до замены. Скрипт миграций не запускает при
`ROLLOUT_MIGRATE=0` (откат, решение 6). Порядок «сборка →
миграции», а не наоборот, как в `balancer.md`: новые ревизии лежат в
новом образе. Правило исправляется.
Команда — `docker compose up --no-deps --no-build --force-recreate
--abort-on-container-exit --exit-code-from migrate migrate`:
пересоздаётся контейнер самого сервиса `migrate`. Первый вариант
(`docker compose run --rm --no-deps migrate`) регрессия apply
опровергла. Одноразовый контейнер оставлял в стенде `migrate`
прежнего образа. `scripts/restart.sh` (`start api` запускает его
как зависимость) гонял старые миграции на новой схеме — «Can't
locate revision», exit 255, реплики не стартовали, `make
test-persistence` падал.
3. **Новая реплика:** `docker compose up -d --no-deps --no-recreate
--no-build --scale api=N+1 api`. Новая — та, ID которой не было до
команды.
+10 -4
View File
@@ -6,8 +6,9 @@ set -eu
# 0. предусловия: работает ровно API_REPLICAS реплик, остановленных нет,
# все UP в LB, для ещё одной есть слот; иначе код 2, ничего не менялось;
# 1. сборка образа: рабочее дерево или ROLLOUT_COMMIT (git archive);
# 2. миграции один раз (docker compose run --rm migrate) — до новых
# реплик: в новом образе новые ревизии, они только расширяют схему;
# 2. миграции один раз: контейнер сервиса migrate пересоздаётся на новом
# образе и выполняется до новых реплик — в новом образе новые
# ревизии, они только расширяют схему;
# 3–5. для каждой старой реплики: рядом одна новая (--scale N+1
# --no-recreate) → новая healthy и UP в LB → слот старой drain,
# запросов в полёте 0 → maint → docker stop → docker rm → адрес ушёл
@@ -259,10 +260,15 @@ else
fi
log "build done in $(($(now) - started))s"
# 2. миграции один раз, до первой новой реплики (спек db-migrations)
# 2. миграции один раз, до первой новой реплики (спек db-migrations).
# Контейнер сервиса migrate пересоздаётся на новом образе, а не одноразовый
# run --rm: иначе в стенде остался бы migrate прежнего образа, и restart.sh
# (start api запускает зависимость migrate) гонял бы старые миграции на
# новой схеме — «Can't locate revision», exit 255, реплики не стартуют
if [ "$migrate" = 1 ]; then
started=$(now)
if ! docker compose run --rm --no-deps -T migrate; then
if ! docker compose up --no-deps --no-build --force-recreate \
--abort-on-container-exit --exit-code-from migrate migrate; then
fail 1 "migrations failed: no replica was replaced"
fi
log "migrate done in $(($(now) - started))s"