Files
mtusi2026lab3/scripts/migration-evidence.sh
T
2026-11-05 17:56:30 +03:00

299 lines
20 KiB
Bash
Executable File

#!/bin/sh
# Уровень 4: совместимость миграций с работающей версией и однократность запуска.
# Проверочные миграции живут только во временном каталоге и откатываются в конце;
# каталог migrations/ не меняется. Результат: evidence/level4/migrations.txt
#
# Запуск из любого каталога: sh scripts/migration-evidence.sh (нужны Python и make, идёт несколько минут)
# Реплики заменяются, образы пересобираются, в сценарии 2 API намеренно ломается на 10 с: данные
# синтетические, но ничего другого со стендом в это время делать нельзя. Код выхода: 0 при ИТОГ: PASS.
# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную.
set -eu
# Перейти в корень проекта: все пути ниже указаны относительно него.
cd "$(dirname "$0")/.."
# Общие функции: compose, ожидание LB, запуск loadgen, отсчёт времени замера.
. scripts/lb-lib.sh
DIR=evidence/level4
OUT=$DIR/migrations.txt
# Текущая версия схемы. При добавлении настоящей миграции 00008 надо менять и её, и имена
# проверочных миграций ниже: они тоже 00008.
VERSION=7
# Отдельная сеть и БД для сценария 6: рабочая БД в нём не участвует.
RACE_NET=lab3-migrate-race
RACE_DB=lab3-migrate-race-db
# Станет 1 при первой неудачной проверке.
FAILED=0
mkdir -p "$DIR"
# Временный каталог внутри проекта: Docker монтирует из него проверочные миграции.
TMP=$(mktemp -d "$PWD/evidence/.migration-test.XXXXXX")
# Выполнить SQL и вернуть результат без оформления.
psql_q() { compose exec -T postgres psql -U messenger -d messenger -Atc "$1"; }
# Текущая версия схемы по таблице goose.
db_version() { psql_q 'SELECT max(version_id) FROM goose_db_version WHERE is_applied'; }
# Напечатать PASS или FAIL по условию true/false и запомнить неудачу. Выполнение не прерывается.
check() { # имя условие
if [ "$2" = true ]; then echo "PASS $1"; else echo "FAIL $1"; FAILED=1; fi
}
# Вернуть true, если два значения равны: результат передаётся в check.
is() { if [ "$1" = "$2" ]; then echo true; else echo false; fi; }
# ID работающих реплик: по изменению списка видно, заменялись ли они.
api_ids() { compose ps -q api | sort | tr '\n' ' '; }
# Версия образа, на который сейчас указывает тег, и версия образа работающей реплики.
tag_label() { docker image inspect -f '{{index .Config.Labels "org.opencontainers.image.version"}}' mtusi-lab3-api; }
running_label() { docker inspect -f '{{index .Config.Labels "org.opencontainers.image.version"}}' "$(compose ps -q api | head -1)"; }
# Добавить к каждой строке время от начала замера.
with_time() { while IFS= read -r line; do echo "t=$(elapsed)s $line"; done; }
verify_ok() { # файл результата: нет потерь, дублей и секунд без успеха
python3 - "$1" <<'PY'
import json, sys
d = json.load(open(sys.argv[1], encoding='utf8'))
v = d['verify']
print('true' if v['lost'] == 0 and v['duplicate_ids'] == 0 and v['duplicate_texts'] == 0 and not d['seconds_without_success'] and not v.get('error') else 'false')
PY
}
# Сумма ошибок за весь замер по посекундной шкале результата loadgen.
errors_of() { python3 -c "import json,sys; print(sum(s['err'] for s in json.load(open(sys.argv[1],encoding='utf8'))['timeline']))" "$1"; }
# Подставляет каталог с миграциями и, при необходимости, настройку api.
# Рабочие миграции и проверочная копируются во временный каталог. Он монтируется в migrate поверх
# /migrations через дополнительный файл Compose, поэтому migrations/ в проекте не меняется.
# COMPOSE_FILE действует на все следующие команды compose, в том числе в rolling-update.sh.
use_override() { # файл-миграции [блок api]
rm -rf "$TMP/migrations"
mkdir -p "$TMP/migrations"
cp migrations/*.sql "$TMP/migrations/"
[ -z "$1" ] || cp "$1" "$TMP/migrations/"
{
echo 'services:'
echo ' migrate:'
echo ' volumes:'
echo " - $TMP/migrations:/migrations:ro"
[ -z "${2:-}" ] || printf ' api:\n %s\n' "$2"
} >"$TMP/override.yaml"
COMPOSE_FILE="compose.yaml:$TMP/override.yaml"
export COMPOSE_FILE
}
# Запустить goose с заданной командой (up, down-to N) в контейнере migrate.
goose_to() {
compose run --rm -T --entrypoint sh migrate -c \
'exec goose -dir /migrations postgres "$(cat "$DATABASE_URL_FILE")" '"$1" 2>&1 | grep -v ' Container '
}
# Выполняется при любом выходе, даже при ошибке: откатить проверочную миграцию, удалить
# отдельную БД, сеть и временный каталог. Код выхода скрипта при этом сохраняется.
cleanup() {
status=$?
if [ -f "$TMP/override.yaml" ] && [ "$(db_version 2>/dev/null)" != "$VERSION" ]; then
goose_to "down-to $VERSION" >/dev/null 2>&1 || echo "не удалось откатить проверочную миграцию" >&2
fi
unset COMPOSE_FILE || true
docker rm -f "$RACE_DB" >/dev/null 2>&1 || true
docker network rm "$RACE_NET" >/dev/null 2>&1 || true
rm -rf "$TMP"
exit "$status"
}
trap cleanup EXIT
# Создать файл проверочной миграции в формате goose.
write_migration() { # имя up down
cat >"$TMP/$1" <<SQL
-- +goose Up
-- +goose StatementBegin
$2
-- +goose StatementEnd
-- +goose Down
-- +goose StatementBegin
$3
-- +goose StatementEnd
SQL
}
# Сценарий 1. Совместимая миграция только добавляет: старый код её не замечает. Обновление идёт
# под нагрузкой; результат должен быть без ошибок, потерь и дублей.
expand_under_load() {
echo "## 1. Совместимая миграция (expand) и замена реплик под нагрузкой"
# Новая колонка и новая таблица: старые запросы их не используют.
write_migration 00008_rollout_probe.sql \
'ALTER TABLE messages ADD COLUMN rollout_probe text; CREATE TABLE rollout_probe_table (id bigint PRIMARY KEY);' \
'DROP TABLE rollout_probe_table; ALTER TABLE messages DROP COLUMN rollout_probe;'
use_override "$TMP/00008_rollout_probe.sql"
# Новая метка сборки: по ней видно, что реплики действительно заменены.
export APP_BUILD="expand-$(date -u +%Y%m%d%H%M%S)"
compose build api migrate >/dev/null 2>&1
before_ids=$(api_ids)
start_loadgen -duration 60s -warmup 5s -concurrency 16 -label expand -out /evidence/level4/rolling-expand.json
sleep_until 10
begin=$(elapsed)
echo "t=${begin}s начало: версия схемы $(db_version), реплики $before_ids"
# Код выхода сохраняем в файл: иначе конвейер с with_time его потерял бы.
{ sh scripts/rolling-update.sh 2>&1; echo $? >"$TMP/rolling.code"; } | with_time
check 'expand: скрипт замены завершился успешно' "$(is "$(cat "$TMP/rolling.code")" 0)"
end=$(elapsed)
echo "t=${end}s конец: версия схемы $(db_version), реплики $(api_ids)"
# Момент применения миграции: до него и какое-то время после работают старые реплики.
applied=$(psql_q "SELECT round(extract(epoch FROM tstamp AT TIME ZONE 'UTC'))::bigint FROM goose_db_version WHERE version_id = 8")
echo "схема изменена на t=$((applied - MEASURE_START))s, старые реплики продолжали работать до строк замены выше"
finish_loadgen >/dev/null
python3 scripts/rolling-summary.py "$DIR/rolling-expand.json" "$begin" "$end"
check 'expand: миграция применена один раз' "$(is "$(psql_q 'SELECT count(*) FROM goose_db_version WHERE version_id = 8')" 1)"
check 'expand: нет потерь, дублей и секунд без успеха' "$(verify_ok "$DIR/rolling-expand.json")"
check 'expand: ошибок клиента 0' "$(is "$(errors_of "$DIR/rolling-expand.json")" 0)"
echo "контрактные тесты на новой схеме:"
# Публичный контрактный тест на расширенной схеме. Код сохраняем, чтобы set -e не прервал скрипт.
make test >"$TMP/test.log" 2>&1 && test_status=0 || test_status=$?
tail -3 "$TMP/test.log"
check 'expand: make test проходит на расширенной схеме' "$(is "$test_status" 0)"
goose_to "down-to $VERSION" | tail -1
check 'expand: проверочная миграция откачена' "$(is "$(db_version)" "$VERSION")"
}
# Сценарий 2. Контроль чувствительности: заведомо несовместимая миграция должна дать ошибки.
# Если бы их не было, 0 ошибок в сценарии 1 ничего бы не доказывал.
breaking_under_load() {
echo "## 2. Контроль: несовместимая миграция ломает работающую версию"
# Переименование колонки, которую использует работающий код.
write_migration 00008_breaking_rename.sql \
'ALTER TABLE messages RENAME COLUMN text TO text_v2;' \
'ALTER TABLE messages RENAME COLUMN text_v2 TO text;'
use_override "$TMP/00008_breaking_rename.sql"
start_loadgen -duration 30s -warmup 5s -concurrency 16 -label breaking -out /evidence/level4/migration-breaking.json
sleep_until 10
goose_to up | tail -1
echo "t=$(elapsed)s переименована колонка messages.text"
sleep_until 15
# Readiness проверяет только связь с БД, поэтому LB не должен вывести реплики: это ограничение.
up_during=$(lb_up_count)
echo "t=$(elapsed)s LB считает рабочими реплик: $up_during"
sleep_until 20
goose_to "down-to $VERSION" | tail -1
echo "t=$(elapsed)s колонка возвращена"
# || true: ошибки здесь ожидаемы, их оценивают проверки ниже.
finish_loadgen >/dev/null || true
python3 scripts/rolling-summary.py "$DIR/migration-breaking.json" 10 20
errors=$(errors_of "$DIR/migration-breaking.json")
[ "$errors" -gt 0 ] && seen=true || seen=false
check 'контроль: нагрузка замечает несовместимую схему' "$seen"
check 'контроль: readiness не проверяет схему, реплики остаются в LB' "$(is "$up_during" 2)"
check 'контроль: схема восстановлена' "$(is "$(db_version)" "$VERSION")"
}
# Сценарий 3. Миграция с ошибкой: обновление останавливается до замены реплик, транзакция откатывается.
failed_migration() {
echo "## 3. Упавшая миграция останавливает обновление до замены реплик"
# Создаёт таблицу и падает на делении на ноль: таблицы после этого быть не должно.
write_migration 00008_fails.sql 'CREATE TABLE migration_must_rollback (id int); SELECT 1 / 0;' 'SELECT 1;'
use_override "$TMP/00008_fails.sql"
before_ids=$(api_ids)
label=$(running_label)
if APP_BUILD=failed-migration sh scripts/rolling-update.sh >"$TMP/log" 2>&1; then code=0; else code=$?; fi
tail -1 "$TMP/log"
[ "$code" -ne 0 ] && stopped=true || stopped=false
check 'упавшая миграция: скрипт вернул ошибку' "$stopped"
check 'упавшая миграция: реплики те же' "$(is "$(api_ids)" "$before_ids")"
check 'упавшая миграция: версия схемы не изменилась' "$(is "$(db_version)" "$VERSION")"
check 'упавшая миграция: транзакция откатилась' "$(is "$(psql_q "SELECT to_regclass('migration_must_rollback') IS NULL")" t)"
check 'упавшая миграция: тег образа возвращён' "$(is "$(tag_label)" "$label")"
}
# Сценарий 4. Новая реплика не стартует: старые продолжают работать, клиенты ошибок не видят.
bad_image() {
echo "## 4. Реплика, которая не стартует, не снижает доступность"
# Подмена команды запуска на /bin/false: контейнер сразу завершается с ошибкой.
use_override '' 'entrypoint: ["/bin/false"]'
before_ids=$(api_ids)
label=$(running_label)
start_loadgen -duration 50s -warmup 5s -concurrency 16 -label bad-image -out /evidence/level4/rolling-bad-image.json
sleep_until 5
begin=$(elapsed)
if APP_BUILD=bad-image sh scripts/rolling-update.sh >"$TMP/log" 2>&1; then code=0; else code=$?; fi
end=$(elapsed)
tail -1 "$TMP/log"
finish_loadgen >/dev/null
python3 scripts/rolling-summary.py "$DIR/rolling-bad-image.json" "$begin" "$end"
[ "$code" -ne 0 ] && stopped=true || stopped=false
check 'плохой образ: скрипт вернул ошибку' "$stopped"
check 'плохой образ: старые реплики на месте' "$(is "$(api_ids)" "$before_ids")"
check 'плохой образ: ошибок клиента 0' "$(is "$(errors_of "$DIR/rolling-bad-image.json")" 0)"
check 'плохой образ: нет потерь и дублей' "$(verify_ok "$DIR/rolling-bad-image.json")"
check 'плохой образ: тег образа возвращён' "$(is "$(tag_label)" "$label")"
}
# Сценарий 5. Миграции применяются один раз: повторный запуск и масштабирование их не выполняют.
once_only() {
echo "## 5. Однократность: повторный запуск и масштабирование"
unset COMPOSE_FILE
rows=$(psql_q 'SELECT count(*) FROM goose_db_version')
compose run --rm -T migrate 2>&1 | grep -v ' Container ' | tail -1 | sed -E 's/^[0-9/]+ [0-9:]+ //'
ids=$(api_ids)
compose up -d --wait --scale api=3 >/dev/null 2>&1
wait_lb_up 3
kept=true
for id in $ids; do compose ps -q api | grep -qxF "$id" || kept=false; done
check 'масштабирование не пересоздаёт работающие реплики' "$kept"
compose up -d --wait --scale api=2 >/dev/null 2>&1
wait_lb_up 2
check 'повторный запуск и масштабирование не добавили записей о миграциях' "$(is "$(psql_q 'SELECT count(*) FROM goose_db_version')" "$rows")"
image=$(docker inspect -f '{{.Config.Image}}' "$(compose ps -q api | head -1)")
# В образе API нет goose и миграций, поэтому реплики физически не могут запускать их при старте.
has_goose=$(docker run --rm --entrypoint sh "$image" -c 'command -v goose || ls /migrations 2>/dev/null || true')
check 'в образе API нет goose и миграций: реплики не могут гонять их при старте' "$(is "$has_goose" '')"
ids=$(api_ids)
compose up -d --wait >/dev/null 2>&1
check 'обычный compose up после rolling не пересоздаёт реплики' "$(is "$(api_ids)" "$ids")"
}
# Сценарий 6. Не проверка, а демонстрация ограничения: у goose up нет блокировки, и 8 одновременных
# запусков на пустой БД конфликтуют. Поэтому результат печатается, но на ИТОГ не влияет.
race() {
echo "## 6. Что будет при параллельном запуске goose (отдельная пустая БД)"
image=$(compose images -q migrate 2>/dev/null | head -1)
[ -n "$image" ] || image=mtusi-lab3-migrate
docker network create "$RACE_NET" >/dev/null
docker run -d --rm --name "$RACE_DB" --network "$RACE_NET" -e POSTGRES_HOST_AUTH_METHOD=trust \
-e POSTGRES_USER=race -e POSTGRES_DB=race postgres:17.6-alpine >/dev/null
until docker exec "$RACE_DB" pg_isready -U race -d race -h 127.0.0.1 >/dev/null 2>&1; do sleep 0.5; done
for round in 1 2 3; do
docker exec "$RACE_DB" psql -U race -d race -qc 'DROP SCHEMA public CASCADE; CREATE SCHEMA public;' 2>/dev/null
for n in 1 2 3 4 5 6 7 8; do
( if docker run --rm --network "$RACE_NET" --entrypoint goose mtusi-lab3-migrate -dir /migrations postgres \
"postgres://race@$RACE_DB:5432/race?sslmode=disable" up >"$TMP/race.$n" 2>&1; then echo ok; else echo fail; fi >"$TMP/race.$n.code" ) &
done
wait
okc=$(cat "$TMP"/race.*.code | grep -c ok || true)
dup=$(docker exec "$RACE_DB" psql -U race -d race -Atc 'SELECT coalesce(string_agg(version_id::text, $$,$$), $$нет$$) FROM (SELECT version_id FROM goose_db_version GROUP BY 1 HAVING count(*) > 1) d')
ver=$(docker exec "$RACE_DB" psql -U race -d race -Atc 'SELECT max(version_id) FROM goose_db_version')
err=$(cat "$TMP"/race.[0-9] | grep -i -E 'error|fail' | sed -E 's/^[0-9/]+ [0-9:]+ //' | cut -c1-110 | sort | uniq -c | sort -rn | head -1)
echo "раунд $round: успешно $okc из 8, итоговая версия $ver, записаны дважды версии: $dup; частая ошибка: ${err:-нет}"
done
docker rm -f "$RACE_DB" >/dev/null
docker network rm "$RACE_NET" >/dev/null
}
# Основная логика: сценарии идут по порядку, перед каждым ждём 2 реплики в LB.
run() {
echo "# Миграции и замена реплик, $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)"
compose up -d --wait >/dev/null 2>&1
wait_lb_up 2
check 'исходная версия схемы' "$(is "$(db_version)" "$VERSION")"
expand_under_load
wait_lb_up 2
breaking_under_load
wait_lb_up 2
failed_migration
wait_lb_up 2
bad_image
wait_lb_up 2
once_only
race
[ "$FAILED" = 0 ] && echo 'ИТОГ: PASS' || echo 'ИТОГ: FAIL'
}
# tee показывает ход проверки сразу и пишет его в файл.
run 2>&1 | tee "$OUT"
# Код выхода скрипта: конвейер выше его потерял, поэтому он определяется по итоговой строке.
grep -q '^ИТОГ: PASS' "$OUT"