Files

88 lines
6.3 KiB
Bash
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/sh
# Фаза backup трека 2 (подключается из run.sh): pg_dump -> восстановление в НОВОЕ хранилище -> сверка.
# 1) контрольные суммы источника; 2) pg_dump -Fc; 3) запись ещё 100 сообщений в источник ПОСЛЕ backup (граница потери данных);
# 4) pg_restore в новый контейнер с новым томом; 5) те же контрольные суммы на копии и diff; 6) API поверх копии отдаёт те же страницы.
now() { date +%s.%N; }
elapsed() { awk "BEGIN { printf \"%.1f\", $2 - $1 }"; }
host_path() { echo "$(pwd -W 2>/dev/null || pwd)/$1"; }
phase_backup() {
pw=$(cat "$WORK/pw")
verify() { docker exec -i "$1" psql -U postgres -d messenger -X -q -f - < scripts/track2/verify.sql; }
: > "$OUT/backup-timings.txt"
echo "== 1. состояние источника до backup"
verify "$SRC" > "$OUT/verify-source.txt"
cat "$OUT/verify-source.txt"
echo "== 2. pg_dump -Fc (без служебной схемы bench)"
t0=$(now)
docker exec "$SRC" pg_dump -U postgres -d messenger -Fc -N bench -f /tmp/messenger.dump
t1=$(now)
dump_bytes=$(docker exec "$SRC" stat -c %s /tmp/messenger.dump)
echo "pg_dump: $(elapsed "$t0" "$t1") с, размер дампа: $dump_bytes байт" | tee -a "$OUT/backup-timings.txt"
docker cp "$SRC":/tmp/messenger.dump "$WORK/messenger.dump"
echo "== 3. запись ПОСЛЕ backup: ещё 100 сообщений в источник"
src_psql -q -c "INSERT INTO messages (id, chat_id, sender_id, text, created_at)
SELECT gen_random_uuid(), (SELECT medium FROM bench.params), (SELECT sender FROM bench.params), 'after-backup ' || g, now() + g * interval '1 ms'
FROM generate_series(1, 100) g"
source_total=$(scalar "SELECT count(*) FROM messages")
echo "в источнике теперь $source_total сообщений" | tee -a "$OUT/backup-timings.txt"
echo "== 4. восстановление в новое хранилище (новый контейнер, новый том)"
docker volume create track2_restore >/dev/null
docker run -d --name "$RST" --network "$NET" -e POSTGRES_PASSWORD="$pw" -e POSTGRES_DB=postgres \
-v track2_restore:/var/lib/postgresql/data "$IMG" >/dev/null
wait_ready "$RST"; sleep 3; wait_ready "$RST"
docker exec "$RST" createdb -U postgres messenger
docker cp "$WORK/messenger.dump" "$RST":/tmp/messenger.dump
t2=$(now)
docker exec "$RST" pg_restore -U postgres -d messenger --exit-on-error --jobs 4 /tmp/messenger.dump
t3=$(now)
docker exec "$RST" psql -U postgres -d messenger -q -c "ANALYZE" # статистика планировщика не восстанавливается
t4=$(now)
echo "pg_restore (--jobs 4): $(elapsed "$t2" "$t3") с; ANALYZE: $(elapsed "$t3" "$t4") с; итого до готовности к работе: $(elapsed "$t2" "$t4") с" | tee -a "$OUT/backup-timings.txt"
docker volume ls --format '{{.Name}}' | grep track2 | tee "$OUT/volumes.txt"
echo "== 5. сверка копии с состоянием источника ДО backup"
verify "$RST" > "$OUT/verify-restored.txt"
if diff "$OUT/verify-source.txt" "$OUT/verify-restored.txt" > "$OUT/verify-diff.txt"; then
echo "СОВПАДАЕТ: все контрольные суммы и числа строк идентичны" | tee -a "$OUT/backup-timings.txt"
else
echo "РАСХОЖДЕНИЕ:"; cat "$OUT/verify-diff.txt"; exit 1
fi
restored_total=$(docker exec "$RST" psql -U postgres -d messenger -At -c "SELECT count(*) FROM messages")
echo "сообщений в копии: $restored_total; в источнике: $source_total; потеряно (записано после backup): $((source_total - restored_total))" | tee -a "$OUT/backup-timings.txt"
echo "== 6. приложение поверх копии отдаёт те же данные, что и поверх источника"
printf 'Host=%s;Port=5432;Database=messenger;Username=postgres;Password=%s' "$SRC" "$pw" > "$WORK/url-src"
printf 'Host=%s;Port=5432;Database=messenger;Username=postgres;Password=%s' "$RST" "$pw" > "$WORK/url-restore"
docker run -d --name track2-api-src --network "$NET" -p 18081:8080 -e DATABASE_URL_FILE=/run/secrets/database_url \
-v "$(host_path "$WORK/url-src"):/run/secrets/database_url:ro" messenger-api:lab2 >/dev/null
docker run -d --name track2-api-restore --network "$NET" -p 18082:8080 -e DATABASE_URL_FILE=/run/secrets/database_url \
-v "$(host_path "$WORK/url-restore"):/run/secrets/database_url:ro" messenger-api:lab2 >/dev/null
for port in 18081 18082; do
for _ in $(seq 1 60); do curl -sf "http://localhost:$port/health/ready" >/dev/null && break; sleep 1; done
done
big=$(scalar "SELECT chat_id FROM messages GROUP BY chat_id ORDER BY count(*) DESC, chat_id LIMIT 1")
token=track2-experiment-token
echo "сессия, созданная до backup, действует на копии: GET /users/me -> $(curl -s -o /dev/null -w '%{http_code}' http://localhost:18082/api/v1/users/me -H "Authorization: Bearer $token")" | tee -a "$OUT/backup-timings.txt"
cursor=""; same=0
for page in 1 2 3 4 5 6 7 8; do
for port in 18081 18082; do
if [ -z "$cursor" ]; then
curl -s -G "http://localhost:$port/api/v1/chats/$big/messages" --data-urlencode "limit=100" -H "Authorization: Bearer $token" > "$WORK/page-$port.json"
else
curl -s -G "http://localhost:$port/api/v1/chats/$big/messages" --data-urlencode "limit=100" --data-urlencode "cursor=$cursor" -H "Authorization: Bearer $token" > "$WORK/page-$port.json"
fi
done
cmp -s "$WORK/page-18081.json" "$WORK/page-18082.json" || { echo "страница $page различается"; exit 1; }
same=$((same + 1))
cursor=$(sed -n 's/.*"next_cursor":"\([^"]*\)".*/\1/p' "$WORK/page-18081.json")
[ -n "$cursor" ] || break
done
echo "страницы истории большого чата через API (источник и копия) совпадают побайтно: $same из $same" | tee -a "$OUT/backup-timings.txt"
}