#!/bin/sh # Уровень 4: совместимость миграций с работающей версией и однократность запуска. # Проверочные миграции живут только во временном каталоге и откатываются в конце; # каталог migrations/ не меняется. Результат: evidence/level4/migrations.txt # # Запуск из любого каталога: sh scripts/migration-evidence.sh (нужны Python и make, идёт несколько минут) # Реплики заменяются, образы пересобираются, в сценарии 2 API намеренно ломается на 10 с: данные # синтетические, но ничего другого со стендом в это время делать нельзя. Код выхода: 0 при ИТОГ: PASS. # -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную. set -eu # Перейти в корень проекта: все пути ниже указаны относительно него. cd "$(dirname "$0")/.." # Общие функции: compose, ожидание LB, запуск loadgen, отсчёт времени замера. . scripts/lb-lib.sh DIR=evidence/level4 OUT=$DIR/migrations.txt # Текущая версия схемы. При добавлении настоящей миграции 00008 надо менять и её, и имена # проверочных миграций ниже: они тоже 00008. VERSION=7 # Отдельная сеть и БД для сценария 6: рабочая БД в нём не участвует. RACE_NET=lab3-migrate-race RACE_DB=lab3-migrate-race-db # Станет 1 при первой неудачной проверке. FAILED=0 mkdir -p "$DIR" # Временный каталог внутри проекта: Docker монтирует из него проверочные миграции. TMP=$(mktemp -d "$PWD/evidence/.migration-test.XXXXXX") # Выполнить SQL и вернуть результат без оформления. psql_q() { compose exec -T postgres psql -U messenger -d messenger -Atc "$1"; } # Текущая версия схемы по таблице goose. db_version() { psql_q 'SELECT max(version_id) FROM goose_db_version WHERE is_applied'; } # Напечатать PASS или FAIL по условию true/false и запомнить неудачу. Выполнение не прерывается. check() { # имя условие if [ "$2" = true ]; then echo "PASS $1"; else echo "FAIL $1"; FAILED=1; fi } # Вернуть true, если два значения равны: результат передаётся в check. is() { if [ "$1" = "$2" ]; then echo true; else echo false; fi; } # ID работающих реплик: по изменению списка видно, заменялись ли они. api_ids() { compose ps -q api | sort | tr '\n' ' '; } # Версия образа, на который сейчас указывает тег, и версия образа работающей реплики. tag_label() { docker image inspect -f '{{index .Config.Labels "org.opencontainers.image.version"}}' mtusi-lab3-api; } running_label() { docker inspect -f '{{index .Config.Labels "org.opencontainers.image.version"}}' "$(compose ps -q api | head -1)"; } # Добавить к каждой строке время от начала замера. with_time() { while IFS= read -r line; do echo "t=$(elapsed)s $line"; done; } verify_ok() { # файл результата: нет потерь, дублей и секунд без успеха python3 - "$1" <<'PY' import json, sys d = json.load(open(sys.argv[1], encoding='utf8')) v = d['verify'] print('true' if v['lost'] == 0 and v['duplicate_ids'] == 0 and v['duplicate_texts'] == 0 and not d['seconds_without_success'] and not v.get('error') else 'false') PY } # Сумма ошибок за весь замер по посекундной шкале результата loadgen. errors_of() { python3 -c "import json,sys; print(sum(s['err'] for s in json.load(open(sys.argv[1],encoding='utf8'))['timeline']))" "$1"; } # Подставляет каталог с миграциями и, при необходимости, настройку api. # Рабочие миграции и проверочная копируются во временный каталог. Он монтируется в migrate поверх # /migrations через дополнительный файл Compose, поэтому migrations/ в проекте не меняется. # COMPOSE_FILE действует на все следующие команды compose, в том числе в rolling-update.sh. use_override() { # файл-миграции [блок api] rm -rf "$TMP/migrations" mkdir -p "$TMP/migrations" cp migrations/*.sql "$TMP/migrations/" [ -z "$1" ] || cp "$1" "$TMP/migrations/" { echo 'services:' echo ' migrate:' echo ' volumes:' echo " - $TMP/migrations:/migrations:ro" [ -z "${2:-}" ] || printf ' api:\n %s\n' "$2" } >"$TMP/override.yaml" COMPOSE_FILE="compose.yaml:$TMP/override.yaml" export COMPOSE_FILE } # Запустить goose с заданной командой (up, down-to N) в контейнере migrate. goose_to() { compose run --rm -T --entrypoint sh migrate -c \ 'exec goose -dir /migrations postgres "$(cat "$DATABASE_URL_FILE")" '"$1" 2>&1 | grep -v ' Container ' } # Выполняется при любом выходе, даже при ошибке: откатить проверочную миграцию, удалить # отдельную БД, сеть и временный каталог. Код выхода скрипта при этом сохраняется. cleanup() { status=$? if [ -f "$TMP/override.yaml" ] && [ "$(db_version 2>/dev/null)" != "$VERSION" ]; then goose_to "down-to $VERSION" >/dev/null 2>&1 || echo "не удалось откатить проверочную миграцию" >&2 fi unset COMPOSE_FILE || true docker rm -f "$RACE_DB" >/dev/null 2>&1 || true docker network rm "$RACE_NET" >/dev/null 2>&1 || true rm -rf "$TMP" exit "$status" } trap cleanup EXIT # Создать файл проверочной миграции в формате goose. write_migration() { # имя up down cat >"$TMP/$1" </dev/null 2>&1 before_ids=$(api_ids) start_loadgen -duration 60s -warmup 5s -concurrency 16 -label expand -out /evidence/level4/rolling-expand.json sleep_until 10 begin=$(elapsed) echo "t=${begin}s начало: версия схемы $(db_version), реплики $before_ids" # Код выхода сохраняем в файл: иначе конвейер с with_time его потерял бы. { sh scripts/rolling-update.sh 2>&1; echo $? >"$TMP/rolling.code"; } | with_time check 'expand: скрипт замены завершился успешно' "$(is "$(cat "$TMP/rolling.code")" 0)" end=$(elapsed) echo "t=${end}s конец: версия схемы $(db_version), реплики $(api_ids)" # Момент применения миграции: до него и какое-то время после работают старые реплики. applied=$(psql_q "SELECT round(extract(epoch FROM tstamp AT TIME ZONE 'UTC'))::bigint FROM goose_db_version WHERE version_id = 8") echo "схема изменена на t=$((applied - MEASURE_START))s, старые реплики продолжали работать до строк замены выше" finish_loadgen >/dev/null python3 scripts/rolling-summary.py "$DIR/rolling-expand.json" "$begin" "$end" check 'expand: миграция применена один раз' "$(is "$(psql_q 'SELECT count(*) FROM goose_db_version WHERE version_id = 8')" 1)" check 'expand: нет потерь, дублей и секунд без успеха' "$(verify_ok "$DIR/rolling-expand.json")" check 'expand: ошибок клиента 0' "$(is "$(errors_of "$DIR/rolling-expand.json")" 0)" echo "контрактные тесты на новой схеме:" # Публичный контрактный тест на расширенной схеме. Код сохраняем, чтобы set -e не прервал скрипт. make test >"$TMP/test.log" 2>&1 && test_status=0 || test_status=$? tail -3 "$TMP/test.log" check 'expand: make test проходит на расширенной схеме' "$(is "$test_status" 0)" goose_to "down-to $VERSION" | tail -1 check 'expand: проверочная миграция откачена' "$(is "$(db_version)" "$VERSION")" } # Сценарий 2. Контроль чувствительности: заведомо несовместимая миграция должна дать ошибки. # Если бы их не было, 0 ошибок в сценарии 1 ничего бы не доказывал. breaking_under_load() { echo "## 2. Контроль: несовместимая миграция ломает работающую версию" # Переименование колонки, которую использует работающий код. write_migration 00008_breaking_rename.sql \ 'ALTER TABLE messages RENAME COLUMN text TO text_v2;' \ 'ALTER TABLE messages RENAME COLUMN text_v2 TO text;' use_override "$TMP/00008_breaking_rename.sql" start_loadgen -duration 30s -warmup 5s -concurrency 16 -label breaking -out /evidence/level4/migration-breaking.json sleep_until 10 goose_to up | tail -1 echo "t=$(elapsed)s переименована колонка messages.text" sleep_until 15 # Readiness проверяет только связь с БД, поэтому LB не должен вывести реплики: это ограничение. up_during=$(lb_up_count) echo "t=$(elapsed)s LB считает рабочими реплик: $up_during" sleep_until 20 goose_to "down-to $VERSION" | tail -1 echo "t=$(elapsed)s колонка возвращена" # || true: ошибки здесь ожидаемы, их оценивают проверки ниже. finish_loadgen >/dev/null || true python3 scripts/rolling-summary.py "$DIR/migration-breaking.json" 10 20 errors=$(errors_of "$DIR/migration-breaking.json") [ "$errors" -gt 0 ] && seen=true || seen=false check 'контроль: нагрузка замечает несовместимую схему' "$seen" check 'контроль: readiness не проверяет схему, реплики остаются в LB' "$(is "$up_during" 2)" check 'контроль: схема восстановлена' "$(is "$(db_version)" "$VERSION")" } # Сценарий 3. Миграция с ошибкой: обновление останавливается до замены реплик, транзакция откатывается. failed_migration() { echo "## 3. Упавшая миграция останавливает обновление до замены реплик" # Создаёт таблицу и падает на делении на ноль: таблицы после этого быть не должно. write_migration 00008_fails.sql 'CREATE TABLE migration_must_rollback (id int); SELECT 1 / 0;' 'SELECT 1;' use_override "$TMP/00008_fails.sql" before_ids=$(api_ids) label=$(running_label) if APP_BUILD=failed-migration sh scripts/rolling-update.sh >"$TMP/log" 2>&1; then code=0; else code=$?; fi tail -1 "$TMP/log" [ "$code" -ne 0 ] && stopped=true || stopped=false check 'упавшая миграция: скрипт вернул ошибку' "$stopped" check 'упавшая миграция: реплики те же' "$(is "$(api_ids)" "$before_ids")" check 'упавшая миграция: версия схемы не изменилась' "$(is "$(db_version)" "$VERSION")" check 'упавшая миграция: транзакция откатилась' "$(is "$(psql_q "SELECT to_regclass('migration_must_rollback') IS NULL")" t)" check 'упавшая миграция: тег образа возвращён' "$(is "$(tag_label)" "$label")" } # Сценарий 4. Новая реплика не стартует: старые продолжают работать, клиенты ошибок не видят. bad_image() { echo "## 4. Реплика, которая не стартует, не снижает доступность" # Подмена команды запуска на /bin/false: контейнер сразу завершается с ошибкой. use_override '' 'entrypoint: ["/bin/false"]' before_ids=$(api_ids) label=$(running_label) start_loadgen -duration 50s -warmup 5s -concurrency 16 -label bad-image -out /evidence/level4/rolling-bad-image.json sleep_until 5 begin=$(elapsed) if APP_BUILD=bad-image sh scripts/rolling-update.sh >"$TMP/log" 2>&1; then code=0; else code=$?; fi end=$(elapsed) tail -1 "$TMP/log" finish_loadgen >/dev/null python3 scripts/rolling-summary.py "$DIR/rolling-bad-image.json" "$begin" "$end" [ "$code" -ne 0 ] && stopped=true || stopped=false check 'плохой образ: скрипт вернул ошибку' "$stopped" check 'плохой образ: старые реплики на месте' "$(is "$(api_ids)" "$before_ids")" check 'плохой образ: ошибок клиента 0' "$(is "$(errors_of "$DIR/rolling-bad-image.json")" 0)" check 'плохой образ: нет потерь и дублей' "$(verify_ok "$DIR/rolling-bad-image.json")" check 'плохой образ: тег образа возвращён' "$(is "$(tag_label)" "$label")" } # Сценарий 5. Миграции применяются один раз: повторный запуск и масштабирование их не выполняют. once_only() { echo "## 5. Однократность: повторный запуск и масштабирование" unset COMPOSE_FILE rows=$(psql_q 'SELECT count(*) FROM goose_db_version') compose run --rm -T migrate 2>&1 | grep -v ' Container ' | tail -1 | sed -E 's/^[0-9/]+ [0-9:]+ //' ids=$(api_ids) compose up -d --wait --scale api=3 >/dev/null 2>&1 wait_lb_up 3 kept=true for id in $ids; do compose ps -q api | grep -qxF "$id" || kept=false; done check 'масштабирование не пересоздаёт работающие реплики' "$kept" compose up -d --wait --scale api=2 >/dev/null 2>&1 wait_lb_up 2 check 'повторный запуск и масштабирование не добавили записей о миграциях' "$(is "$(psql_q 'SELECT count(*) FROM goose_db_version')" "$rows")" image=$(docker inspect -f '{{.Config.Image}}' "$(compose ps -q api | head -1)") # В образе API нет goose и миграций, поэтому реплики физически не могут запускать их при старте. has_goose=$(docker run --rm --entrypoint sh "$image" -c 'command -v goose || ls /migrations 2>/dev/null || true') check 'в образе API нет goose и миграций: реплики не могут гонять их при старте' "$(is "$has_goose" '')" ids=$(api_ids) compose up -d --wait >/dev/null 2>&1 check 'обычный compose up после rolling не пересоздаёт реплики' "$(is "$(api_ids)" "$ids")" } # Сценарий 6. Не проверка, а демонстрация ограничения: у goose up нет блокировки, и 8 одновременных # запусков на пустой БД конфликтуют. Поэтому результат печатается, но на ИТОГ не влияет. race() { echo "## 6. Что будет при параллельном запуске goose (отдельная пустая БД)" image=$(compose images -q migrate 2>/dev/null | head -1) [ -n "$image" ] || image=mtusi-lab3-migrate docker network create "$RACE_NET" >/dev/null docker run -d --rm --name "$RACE_DB" --network "$RACE_NET" -e POSTGRES_HOST_AUTH_METHOD=trust \ -e POSTGRES_USER=race -e POSTGRES_DB=race postgres:17.6-alpine >/dev/null until docker exec "$RACE_DB" pg_isready -U race -d race -h 127.0.0.1 >/dev/null 2>&1; do sleep 0.5; done for round in 1 2 3; do docker exec "$RACE_DB" psql -U race -d race -qc 'DROP SCHEMA public CASCADE; CREATE SCHEMA public;' 2>/dev/null for n in 1 2 3 4 5 6 7 8; do ( if docker run --rm --network "$RACE_NET" --entrypoint goose mtusi-lab3-migrate -dir /migrations postgres \ "postgres://race@$RACE_DB:5432/race?sslmode=disable" up >"$TMP/race.$n" 2>&1; then echo ok; else echo fail; fi >"$TMP/race.$n.code" ) & done wait okc=$(cat "$TMP"/race.*.code | grep -c ok || true) dup=$(docker exec "$RACE_DB" psql -U race -d race -Atc 'SELECT coalesce(string_agg(version_id::text, $$,$$), $$нет$$) FROM (SELECT version_id FROM goose_db_version GROUP BY 1 HAVING count(*) > 1) d') ver=$(docker exec "$RACE_DB" psql -U race -d race -Atc 'SELECT max(version_id) FROM goose_db_version') err=$(cat "$TMP"/race.[0-9] | grep -i -E 'error|fail' | sed -E 's/^[0-9/]+ [0-9:]+ //' | cut -c1-110 | sort | uniq -c | sort -rn | head -1) echo "раунд $round: успешно $okc из 8, итоговая версия $ver, записаны дважды версии: $dup; частая ошибка: ${err:-нет}" done docker rm -f "$RACE_DB" >/dev/null docker network rm "$RACE_NET" >/dev/null } # Основная логика: сценарии идут по порядку, перед каждым ждём 2 реплики в LB. run() { echo "# Миграции и замена реплик, $(date -u +%Y-%m-%dT%H:%M:%SZ), commit $(git_state)" compose up -d --wait >/dev/null 2>&1 wait_lb_up 2 check 'исходная версия схемы' "$(is "$(db_version)" "$VERSION")" expand_under_load wait_lb_up 2 breaking_under_load wait_lb_up 2 failed_migration wait_lb_up 2 bad_image wait_lb_up 2 once_only race [ "$FAILED" = 0 ] && echo 'ИТОГ: PASS' || echo 'ИТОГ: FAIL' } # tee показывает ход проверки сразу и пишет его в файл. run 2>&1 | tee "$OUT" # Код выхода скрипта: конвейер выше его потерял, поэтому он определяется по итоговой строке. grep -q '^ИТОГ: PASS' "$OUT"