71 lines
4.7 KiB
Bash
Executable File
71 lines
4.7 KiB
Bash
Executable File
#!/bin/sh
|
|
# Поочерёдная замена реплик API новым образом без потери доступности.
|
|
# Compose не умеет rolling update сам, поэтому: поднять новую реплику, дождаться, пока её
|
|
# примет LB, вывести старую. Миграции выполняются один раз до замены и поэтому должны быть
|
|
# совместимы с работающей версией (только добавление: expand/contract).
|
|
#
|
|
# Запуск из любого каталога: sh scripts/rolling-update.sh (стенд должен быть поднят)
|
|
# Настройка через окружение: APP_BUILD (метка версии, по умолчанию текущее время).
|
|
# Код выхода 1: замена остановлена. Если сбой случился на второй и следующих репликах,
|
|
# уже заменённые остаются на новой версии: автоматического отката нет.
|
|
|
|
# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную.
|
|
set -eu
|
|
# Перейти в корень проекта: все пути ниже указаны относительно него.
|
|
cd "$(dirname "$0")/.."
|
|
# Общие функции: compose, wait_lb_up, wait_healthy.
|
|
. scripts/lb-lib.sh
|
|
|
|
# Метка версии попадает в образ при сборке, поэтому экспортируется для docker compose.
|
|
APP_BUILD=${APP_BUILD:-$(date -u +%Y%m%d%H%M%S)}
|
|
export APP_BUILD
|
|
|
|
# Сборка переносит тег на новый образ. Если замена сорвётся, тег нужно вернуть,
|
|
# иначе следующий compose up разом пересоздаст все реплики из несостоявшейся версии.
|
|
first=$(compose ps -q api | head -1)
|
|
image=$(docker inspect -f '{{.Config.Image}}' "$first")
|
|
previous=$(docker inspect -f '{{.Image}}' "$first")
|
|
|
|
# Шаг 1. Сборка. Вывод показываем только при ошибке; работающие реплики пока не затронуты.
|
|
if ! out=$(compose build api migrate 2>&1); then
|
|
echo "$out" >&2
|
|
echo "сборка не удалась, реплики не тронуты" >&2
|
|
exit 1
|
|
fi
|
|
# Шаг 2. Миграции, ровно один раз и до замены реплик. При ошибке тег возвращается на прежний образ.
|
|
if ! out=$(compose run --rm -T migrate 2>&1); then
|
|
echo "$out" >&2
|
|
docker image tag "$previous" "$image"
|
|
echo "миграция не применена, реплики не тронуты" >&2
|
|
exit 1
|
|
fi
|
|
|
|
# Шаг 3. Запомнить старые реплики и убедиться, что LB видит все.
|
|
old=$(compose ps -q api)
|
|
total=$(echo "$old" | wc -l | tr -d ' ')
|
|
wait_lb_up "$total"
|
|
|
|
# Заменять по одной: число работающих реплик не опускается ниже исходного.
|
|
for id in $old; do
|
|
# Запустить ещё одну реплику. --no-recreate не трогает старые, --no-deps не трогает хранилища.
|
|
# Compose сам создаёт её из текущего образа, то есть уже нового.
|
|
before=$(compose ps -q api)
|
|
compose up -d --no-deps --no-recreate --scale api="$((total + 1))" api >/dev/null 2>&1
|
|
# Новая реплика — ID, которого раньше не было.
|
|
new=$(compose ps -q api | grep -vxF "$before")
|
|
# Старая реплика выводится только после готовности новой: плохой образ не снижает ёмкость.
|
|
if ! wait_healthy "$new" || ! wait_lb_up "$((total + 1))"; then
|
|
docker rm -f "$new" >/dev/null
|
|
docker image tag "$previous" "$image"
|
|
echo "новая реплика не стала готовой и удалена, замена остановлена" >&2
|
|
exit 1
|
|
fi
|
|
# SIGTERM: реплика уходит из балансировки и завершает открытые запросы. Затем удаляется,
|
|
# иначе compose up вернул бы её обратно.
|
|
docker stop "$id" >/dev/null
|
|
docker rm "$id" >/dev/null
|
|
# Дождаться, пока LB снова покажет исходное число реплик, и только потом заменять следующую.
|
|
wait_lb_up "$total"
|
|
echo "заменена реплика ${id%"${id#????????????}"} на ${new%"${new#????????????}"}, версия $APP_BUILD"
|
|
done
|