forked from mtusi2026/mtusi2026lab3
299 lines
20 KiB
Bash
Executable File
299 lines
20 KiB
Bash
Executable File
#!/bin/sh
|
|
# Уровень 4: совместимость миграций с работающей версией и однократность запуска.
|
|
# Проверочные миграции живут только во временном каталоге и откатываются в конце;
|
|
# каталог migrations/ не меняется. Результат: evidence/level4/migrations.txt
|
|
#
|
|
# Запуск из любого каталога: sh scripts/migration-evidence.sh (нужны Python и make, идёт несколько минут)
|
|
# Реплики заменяются, образы пересобираются, в сценарии 2 API намеренно ломается на 10 с: данные
|
|
# синтетические, но ничего другого со стендом в это время делать нельзя. Код выхода: 0 при ИТОГ: PASS.
|
|
|
|
# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную.
|
|
set -eu
|
|
# Перейти в корень проекта: все пути ниже указаны относительно него.
|
|
cd "$(dirname "$0")/.."
|
|
# Общие функции: compose, ожидание LB, запуск loadgen, отсчёт времени замера.
|
|
. scripts/lb-lib.sh
|
|
|
|
DIR=evidence/level4
|
|
OUT=$DIR/migrations.txt
|
|
# Текущая версия схемы. При добавлении настоящей миграции 00008 надо менять и её, и имена
|
|
# проверочных миграций ниже: они тоже 00008.
|
|
VERSION=7
|
|
# Отдельная сеть и БД для сценария 6: рабочая БД в нём не участвует.
|
|
RACE_NET=lab3-migrate-race
|
|
RACE_DB=lab3-migrate-race-db
|
|
# Станет 1 при первой неудачной проверке.
|
|
FAILED=0
|
|
mkdir -p "$DIR"
|
|
# Временный каталог внутри проекта: Docker монтирует из него проверочные миграции.
|
|
TMP=$(mktemp -d "$PWD/evidence/.migration-test.XXXXXX")
|
|
|
|
# Выполнить SQL и вернуть результат без оформления.
|
|
psql_q() { compose exec -T postgres psql -U messenger -d messenger -Atc "$1"; }
|
|
# Текущая версия схемы по таблице goose.
|
|
db_version() { psql_q 'SELECT max(version_id) FROM goose_db_version WHERE is_applied'; }
|
|
# Напечатать PASS или FAIL по условию true/false и запомнить неудачу. Выполнение не прерывается.
|
|
check() { # имя условие
|
|
if [ "$2" = true ]; then echo "PASS $1"; else echo "FAIL $1"; FAILED=1; fi
|
|
}
|
|
# Вернуть true, если два значения равны: результат передаётся в check.
|
|
is() { if [ "$1" = "$2" ]; then echo true; else echo false; fi; }
|
|
# ID работающих реплик: по изменению списка видно, заменялись ли они.
|
|
api_ids() { compose ps -q api | sort | tr '\n' ' '; }
|
|
# Версия образа, на который сейчас указывает тег, и версия образа работающей реплики.
|
|
tag_label() { docker image inspect -f '{{index .Config.Labels "org.opencontainers.image.version"}}' mtusi-lab3-api; }
|
|
running_label() { docker inspect -f '{{index .Config.Labels "org.opencontainers.image.version"}}' "$(compose ps -q api | head -1)"; }
|
|
# Добавить к каждой строке время от начала замера.
|
|
with_time() { while IFS= read -r line; do echo "t=$(elapsed)s $line"; done; }
|
|
verify_ok() { # файл результата: нет потерь, дублей и секунд без успеха
|
|
python3 - "$1" <<'PY'
|
|
import json, sys
|
|
d = json.load(open(sys.argv[1], encoding='utf8'))
|
|
v = d['verify']
|
|
print('true' if v['lost'] == 0 and v['duplicate_ids'] == 0 and v['duplicate_texts'] == 0 and not d['seconds_without_success'] and not v.get('error') else 'false')
|
|
PY
|
|
}
|
|
# Сумма ошибок за весь замер по посекундной шкале результата loadgen.
|
|
errors_of() { python3 -c "import json,sys; print(sum(s['err'] for s in json.load(open(sys.argv[1],encoding='utf8'))['timeline']))" "$1"; }
|
|
|
|
# Подставляет каталог с миграциями и, при необходимости, настройку api.
|
|
# Рабочие миграции и проверочная копируются во временный каталог. Он монтируется в migrate поверх
|
|
# /migrations через дополнительный файл Compose, поэтому migrations/ в проекте не меняется.
|
|
# COMPOSE_FILE действует на все следующие команды compose, в том числе в rolling-update.sh.
|
|
use_override() { # файл-миграции [блок api]
|
|
rm -rf "$TMP/migrations"
|
|
mkdir -p "$TMP/migrations"
|
|
cp migrations/*.sql "$TMP/migrations/"
|
|
[ -z "$1" ] || cp "$1" "$TMP/migrations/"
|
|
{
|
|
echo 'services:'
|
|
echo ' migrate:'
|
|
echo ' volumes:'
|
|
echo " - $TMP/migrations:/migrations:ro"
|
|
[ -z "${2:-}" ] || printf ' api:\n %s\n' "$2"
|
|
} >"$TMP/override.yaml"
|
|
COMPOSE_FILE="compose.yaml:$TMP/override.yaml"
|
|
export COMPOSE_FILE
|
|
}
|
|
|
|
# Запустить goose с заданной командой (up, down-to N) в контейнере migrate.
|
|
goose_to() {
|
|
compose run --rm -T --entrypoint sh migrate -c \
|
|
'exec goose -dir /migrations postgres "$(cat "$DATABASE_URL_FILE")" '"$1" 2>&1 | grep -v ' Container '
|
|
}
|
|
|
|
# Выполняется при любом выходе, даже при ошибке: откатить проверочную миграцию, удалить
|
|
# отдельную БД, сеть и временный каталог. Код выхода скрипта при этом сохраняется.
|
|
cleanup() {
|
|
status=$?
|
|
if [ -f "$TMP/override.yaml" ] && [ "$(db_version 2>/dev/null)" != "$VERSION" ]; then
|
|
goose_to "down-to $VERSION" >/dev/null 2>&1 || echo "не удалось откатить проверочную миграцию" >&2
|
|
fi
|
|
unset COMPOSE_FILE || true
|
|
docker rm -f "$RACE_DB" >/dev/null 2>&1 || true
|
|
docker network rm "$RACE_NET" >/dev/null 2>&1 || true
|
|
rm -rf "$TMP"
|
|
exit "$status"
|
|
}
|
|
trap cleanup EXIT
|
|
|
|
# Создать файл проверочной миграции в формате goose.
|
|
write_migration() { # имя up down
|
|
cat >"$TMP/$1" <<SQL
|
|
-- +goose Up
|
|
-- +goose StatementBegin
|
|
$2
|
|
-- +goose StatementEnd
|
|
|
|
-- +goose Down
|
|
-- +goose StatementBegin
|
|
$3
|
|
-- +goose StatementEnd
|
|
SQL
|
|
}
|
|
|
|
# Сценарий 1. Совместимая миграция только добавляет: старый код её не замечает. Обновление идёт
|
|
# под нагрузкой; результат должен быть без ошибок, потерь и дублей.
|
|
expand_under_load() {
|
|
echo "## 1. Совместимая миграция (expand) и замена реплик под нагрузкой"
|
|
# Новая колонка и новая таблица: старые запросы их не используют.
|
|
write_migration 00008_rollout_probe.sql \
|
|
'ALTER TABLE messages ADD COLUMN rollout_probe text; CREATE TABLE rollout_probe_table (id bigint PRIMARY KEY);' \
|
|
'DROP TABLE rollout_probe_table; ALTER TABLE messages DROP COLUMN rollout_probe;'
|
|
use_override "$TMP/00008_rollout_probe.sql"
|
|
# Новая метка сборки: по ней видно, что реплики действительно заменены.
|
|
export APP_BUILD="expand-$(date -u +%Y%m%d%H%M%S)"
|
|
compose build api migrate >/dev/null 2>&1
|
|
before_ids=$(api_ids)
|
|
start_loadgen -duration 60s -warmup 5s -concurrency 16 -label expand -out /evidence/level4/rolling-expand.json
|
|
sleep_until 10
|
|
begin=$(elapsed)
|
|
echo "t=${begin}s начало: версия схемы $(db_version), реплики $before_ids"
|
|
# Код выхода сохраняем в файл: иначе конвейер с with_time его потерял бы.
|
|
{ sh scripts/rolling-update.sh 2>&1; echo $? >"$TMP/rolling.code"; } | with_time
|
|
check 'expand: скрипт замены завершился успешно' "$(is "$(cat "$TMP/rolling.code")" 0)"
|
|
end=$(elapsed)
|
|
echo "t=${end}s конец: версия схемы $(db_version), реплики $(api_ids)"
|
|
# Момент применения миграции: до него и какое-то время после работают старые реплики.
|
|
applied=$(psql_q "SELECT round(extract(epoch FROM tstamp AT TIME ZONE 'UTC'))::bigint FROM goose_db_version WHERE version_id = 8")
|
|
echo "схема изменена на t=$((applied - MEASURE_START))s, старые реплики продолжали работать до строк замены выше"
|
|
finish_loadgen >/dev/null
|
|
python3 scripts/rolling-summary.py "$DIR/rolling-expand.json" "$begin" "$end"
|
|
check 'expand: миграция применена один раз' "$(is "$(psql_q 'SELECT count(*) FROM goose_db_version WHERE version_id = 8')" 1)"
|
|
check 'expand: нет потерь, дублей и секунд без успеха' "$(verify_ok "$DIR/rolling-expand.json")"
|
|
check 'expand: ошибок клиента 0' "$(is "$(errors_of "$DIR/rolling-expand.json")" 0)"
|
|
echo "контрактные тесты на новой схеме:"
|
|
# Публичный контрактный тест на расширенной схеме. Код сохраняем, чтобы set -e не прервал скрипт.
|
|
make test >"$TMP/test.log" 2>&1 && test_status=0 || test_status=$?
|
|
tail -3 "$TMP/test.log"
|
|
check 'expand: make test проходит на расширенной схеме' "$(is "$test_status" 0)"
|
|
goose_to "down-to $VERSION" | tail -1
|
|
check 'expand: проверочная миграция откачена' "$(is "$(db_version)" "$VERSION")"
|
|
}
|
|
|
|
# Сценарий 2. Контроль чувствительности: заведомо несовместимая миграция должна дать ошибки.
|
|
# Если бы их не было, 0 ошибок в сценарии 1 ничего бы не доказывал.
|
|
breaking_under_load() {
|
|
echo "## 2. Контроль: несовместимая миграция ломает работающую версию"
|
|
# Переименование колонки, которую использует работающий код.
|
|
write_migration 00008_breaking_rename.sql \
|
|
'ALTER TABLE messages RENAME COLUMN text TO text_v2;' \
|
|
'ALTER TABLE messages RENAME COLUMN text_v2 TO text;'
|
|
use_override "$TMP/00008_breaking_rename.sql"
|
|
start_loadgen -duration 30s -warmup 5s -concurrency 16 -label breaking -out /evidence/level4/migration-breaking.json
|
|
sleep_until 10
|
|
goose_to up | tail -1
|
|
echo "t=$(elapsed)s переименована колонка messages.text"
|
|
sleep_until 15
|
|
# Readiness проверяет только связь с БД, поэтому LB не должен вывести реплики: это ограничение.
|
|
up_during=$(lb_up_count)
|
|
echo "t=$(elapsed)s LB считает рабочими реплик: $up_during"
|
|
sleep_until 20
|
|
goose_to "down-to $VERSION" | tail -1
|
|
echo "t=$(elapsed)s колонка возвращена"
|
|
# || true: ошибки здесь ожидаемы, их оценивают проверки ниже.
|
|
finish_loadgen >/dev/null || true
|
|
python3 scripts/rolling-summary.py "$DIR/migration-breaking.json" 10 20
|
|
errors=$(errors_of "$DIR/migration-breaking.json")
|
|
[ "$errors" -gt 0 ] && seen=true || seen=false
|
|
check 'контроль: нагрузка замечает несовместимую схему' "$seen"
|
|
check 'контроль: readiness не проверяет схему, реплики остаются в LB' "$(is "$up_during" 2)"
|
|
check 'контроль: схема восстановлена' "$(is "$(db_version)" "$VERSION")"
|
|
}
|
|
|
|
# Сценарий 3. Миграция с ошибкой: обновление останавливается до замены реплик, транзакция откатывается.
|
|
failed_migration() {
|
|
echo "## 3. Упавшая миграция останавливает обновление до замены реплик"
|
|
# Создаёт таблицу и падает на делении на ноль: таблицы после этого быть не должно.
|
|
write_migration 00008_fails.sql 'CREATE TABLE migration_must_rollback (id int); SELECT 1 / 0;' 'SELECT 1;'
|
|
use_override "$TMP/00008_fails.sql"
|
|
before_ids=$(api_ids)
|
|
label=$(running_label)
|
|
if APP_BUILD=failed-migration sh scripts/rolling-update.sh >"$TMP/log" 2>&1; then code=0; else code=$?; fi
|
|
tail -1 "$TMP/log"
|
|
[ "$code" -ne 0 ] && stopped=true || stopped=false
|
|
check 'упавшая миграция: скрипт вернул ошибку' "$stopped"
|
|
check 'упавшая миграция: реплики те же' "$(is "$(api_ids)" "$before_ids")"
|
|
check 'упавшая миграция: версия схемы не изменилась' "$(is "$(db_version)" "$VERSION")"
|
|
check 'упавшая миграция: транзакция откатилась' "$(is "$(psql_q "SELECT to_regclass('migration_must_rollback') IS NULL")" t)"
|
|
check 'упавшая миграция: тег образа возвращён' "$(is "$(tag_label)" "$label")"
|
|
}
|
|
|
|
# Сценарий 4. Новая реплика не стартует: старые продолжают работать, клиенты ошибок не видят.
|
|
bad_image() {
|
|
echo "## 4. Реплика, которая не стартует, не снижает доступность"
|
|
# Подмена команды запуска на /bin/false: контейнер сразу завершается с ошибкой.
|
|
use_override '' 'entrypoint: ["/bin/false"]'
|
|
before_ids=$(api_ids)
|
|
label=$(running_label)
|
|
start_loadgen -duration 50s -warmup 5s -concurrency 16 -label bad-image -out /evidence/level4/rolling-bad-image.json
|
|
sleep_until 5
|
|
begin=$(elapsed)
|
|
if APP_BUILD=bad-image sh scripts/rolling-update.sh >"$TMP/log" 2>&1; then code=0; else code=$?; fi
|
|
end=$(elapsed)
|
|
tail -1 "$TMP/log"
|
|
finish_loadgen >/dev/null
|
|
python3 scripts/rolling-summary.py "$DIR/rolling-bad-image.json" "$begin" "$end"
|
|
[ "$code" -ne 0 ] && stopped=true || stopped=false
|
|
check 'плохой образ: скрипт вернул ошибку' "$stopped"
|
|
check 'плохой образ: старые реплики на месте' "$(is "$(api_ids)" "$before_ids")"
|
|
check 'плохой образ: ошибок клиента 0' "$(is "$(errors_of "$DIR/rolling-bad-image.json")" 0)"
|
|
check 'плохой образ: нет потерь и дублей' "$(verify_ok "$DIR/rolling-bad-image.json")"
|
|
check 'плохой образ: тег образа возвращён' "$(is "$(tag_label)" "$label")"
|
|
}
|
|
|
|
# Сценарий 5. Миграции применяются один раз: повторный запуск и масштабирование их не выполняют.
|
|
once_only() {
|
|
echo "## 5. Однократность: повторный запуск и масштабирование"
|
|
unset COMPOSE_FILE
|
|
rows=$(psql_q 'SELECT count(*) FROM goose_db_version')
|
|
compose run --rm -T migrate 2>&1 | grep -v ' Container ' | tail -1 | sed -E 's/^[0-9/]+ [0-9:]+ //'
|
|
ids=$(api_ids)
|
|
compose up -d --wait --scale api=3 >/dev/null 2>&1
|
|
wait_lb_up 3
|
|
kept=true
|
|
for id in $ids; do compose ps -q api | grep -qxF "$id" || kept=false; done
|
|
check 'масштабирование не пересоздаёт работающие реплики' "$kept"
|
|
compose up -d --wait --scale api=2 >/dev/null 2>&1
|
|
wait_lb_up 2
|
|
check 'повторный запуск и масштабирование не добавили записей о миграциях' "$(is "$(psql_q 'SELECT count(*) FROM goose_db_version')" "$rows")"
|
|
image=$(docker inspect -f '{{.Config.Image}}' "$(compose ps -q api | head -1)")
|
|
# В образе API нет goose и миграций, поэтому реплики физически не могут запускать их при старте.
|
|
has_goose=$(docker run --rm --entrypoint sh "$image" -c 'command -v goose || ls /migrations 2>/dev/null || true')
|
|
check 'в образе API нет goose и миграций: реплики не могут гонять их при старте' "$(is "$has_goose" '')"
|
|
ids=$(api_ids)
|
|
compose up -d --wait >/dev/null 2>&1
|
|
check 'обычный compose up после rolling не пересоздаёт реплики' "$(is "$(api_ids)" "$ids")"
|
|
}
|
|
|
|
# Сценарий 6. Не проверка, а демонстрация ограничения: у goose up нет блокировки, и 8 одновременных
|
|
# запусков на пустой БД конфликтуют. Поэтому результат печатается, но на ИТОГ не влияет.
|
|
race() {
|
|
echo "## 6. Что будет при параллельном запуске goose (отдельная пустая БД)"
|
|
image=$(compose images -q migrate 2>/dev/null | head -1)
|
|
[ -n "$image" ] || image=mtusi-lab3-migrate
|
|
docker network create "$RACE_NET" >/dev/null
|
|
docker run -d --rm --name "$RACE_DB" --network "$RACE_NET" -e POSTGRES_HOST_AUTH_METHOD=trust \
|
|
-e POSTGRES_USER=race -e POSTGRES_DB=race postgres:17.6-alpine >/dev/null
|
|
until docker exec "$RACE_DB" pg_isready -U race -d race -h 127.0.0.1 >/dev/null 2>&1; do sleep 0.5; done
|
|
for round in 1 2 3; do
|
|
docker exec "$RACE_DB" psql -U race -d race -qc 'DROP SCHEMA public CASCADE; CREATE SCHEMA public;' 2>/dev/null
|
|
for n in 1 2 3 4 5 6 7 8; do
|
|
( if docker run --rm --network "$RACE_NET" --entrypoint goose mtusi-lab3-migrate -dir /migrations postgres \
|
|
"postgres://race@$RACE_DB:5432/race?sslmode=disable" up >"$TMP/race.$n" 2>&1; then echo ok; else echo fail; fi >"$TMP/race.$n.code" ) &
|
|
done
|
|
wait
|
|
okc=$(cat "$TMP"/race.*.code | grep -c ok || true)
|
|
dup=$(docker exec "$RACE_DB" psql -U race -d race -Atc 'SELECT coalesce(string_agg(version_id::text, $$,$$), $$нет$$) FROM (SELECT version_id FROM goose_db_version GROUP BY 1 HAVING count(*) > 1) d')
|
|
ver=$(docker exec "$RACE_DB" psql -U race -d race -Atc 'SELECT max(version_id) FROM goose_db_version')
|
|
err=$(cat "$TMP"/race.[0-9] | grep -i -E 'error|fail' | sed -E 's/^[0-9/]+ [0-9:]+ //' | cut -c1-110 | sort | uniq -c | sort -rn | head -1)
|
|
echo "раунд $round: успешно $okc из 8, итоговая версия $ver, записаны дважды версии: $dup; частая ошибка: ${err:-нет}"
|
|
done
|
|
docker rm -f "$RACE_DB" >/dev/null
|
|
docker network rm "$RACE_NET" >/dev/null
|
|
}
|
|
|
|
# Основная логика: сценарии идут по порядку, перед каждым ждём 2 реплики в LB.
|
|
run() {
|
|
echo "# Миграции и замена реплик, $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)"
|
|
compose up -d --wait >/dev/null 2>&1
|
|
wait_lb_up 2
|
|
check 'исходная версия схемы' "$(is "$(db_version)" "$VERSION")"
|
|
expand_under_load
|
|
wait_lb_up 2
|
|
breaking_under_load
|
|
wait_lb_up 2
|
|
failed_migration
|
|
wait_lb_up 2
|
|
bad_image
|
|
wait_lb_up 2
|
|
once_only
|
|
race
|
|
[ "$FAILED" = 0 ] && echo 'ИТОГ: PASS' || echo 'ИТОГ: FAIL'
|
|
}
|
|
|
|
# tee показывает ход проверки сразу и пишет его в файл.
|
|
run 2>&1 | tee "$OUT"
|
|
# Код выхода скрипта: конвейер выше его потерял, поэтому он определяется по итоговой строке.
|
|
grep -q '^ИТОГ: PASS' "$OUT"
|