forked from mtusi2026/mtusi2026lab2
88 lines
6.3 KiB
Bash
88 lines
6.3 KiB
Bash
#!/bin/sh
|
||
# Фаза backup трека 2 (подключается из run.sh): pg_dump -> восстановление в НОВОЕ хранилище -> сверка.
|
||
# 1) контрольные суммы источника; 2) pg_dump -Fc; 3) запись ещё 100 сообщений в источник ПОСЛЕ backup (граница потери данных);
|
||
# 4) pg_restore в новый контейнер с новым томом; 5) те же контрольные суммы на копии и diff; 6) API поверх копии отдаёт те же страницы.
|
||
|
||
now() { date +%s.%N; }
|
||
elapsed() { awk "BEGIN { printf \"%.1f\", $2 - $1 }"; }
|
||
host_path() { echo "$(pwd -W 2>/dev/null || pwd)/$1"; }
|
||
|
||
phase_backup() {
|
||
pw=$(cat "$WORK/pw")
|
||
verify() { docker exec -i "$1" psql -U postgres -d messenger -X -q -f - < scripts/track2/verify.sql; }
|
||
: > "$OUT/backup-timings.txt"
|
||
|
||
echo "== 1. состояние источника до backup"
|
||
verify "$SRC" > "$OUT/verify-source.txt"
|
||
cat "$OUT/verify-source.txt"
|
||
|
||
echo "== 2. pg_dump -Fc (без служебной схемы bench)"
|
||
t0=$(now)
|
||
docker exec "$SRC" pg_dump -U postgres -d messenger -Fc -N bench -f /tmp/messenger.dump
|
||
t1=$(now)
|
||
dump_bytes=$(docker exec "$SRC" stat -c %s /tmp/messenger.dump)
|
||
echo "pg_dump: $(elapsed "$t0" "$t1") с, размер дампа: $dump_bytes байт" | tee -a "$OUT/backup-timings.txt"
|
||
docker cp "$SRC":/tmp/messenger.dump "$WORK/messenger.dump"
|
||
|
||
echo "== 3. запись ПОСЛЕ backup: ещё 100 сообщений в источник"
|
||
src_psql -q -c "INSERT INTO messages (id, chat_id, sender_id, text, created_at)
|
||
SELECT gen_random_uuid(), (SELECT medium FROM bench.params), (SELECT sender FROM bench.params), 'after-backup ' || g, now() + g * interval '1 ms'
|
||
FROM generate_series(1, 100) g"
|
||
source_total=$(scalar "SELECT count(*) FROM messages")
|
||
echo "в источнике теперь $source_total сообщений" | tee -a "$OUT/backup-timings.txt"
|
||
|
||
echo "== 4. восстановление в новое хранилище (новый контейнер, новый том)"
|
||
docker volume create track2_restore >/dev/null
|
||
docker run -d --name "$RST" --network "$NET" -e POSTGRES_PASSWORD="$pw" -e POSTGRES_DB=postgres \
|
||
-v track2_restore:/var/lib/postgresql/data "$IMG" >/dev/null
|
||
wait_ready "$RST"; sleep 3; wait_ready "$RST"
|
||
docker exec "$RST" createdb -U postgres messenger
|
||
docker cp "$WORK/messenger.dump" "$RST":/tmp/messenger.dump
|
||
t2=$(now)
|
||
docker exec "$RST" pg_restore -U postgres -d messenger --exit-on-error --jobs 4 /tmp/messenger.dump
|
||
t3=$(now)
|
||
docker exec "$RST" psql -U postgres -d messenger -q -c "ANALYZE" # статистика планировщика не восстанавливается
|
||
t4=$(now)
|
||
echo "pg_restore (--jobs 4): $(elapsed "$t2" "$t3") с; ANALYZE: $(elapsed "$t3" "$t4") с; итого до готовности к работе: $(elapsed "$t2" "$t4") с" | tee -a "$OUT/backup-timings.txt"
|
||
docker volume ls --format '{{.Name}}' | grep track2 | tee "$OUT/volumes.txt"
|
||
|
||
echo "== 5. сверка копии с состоянием источника ДО backup"
|
||
verify "$RST" > "$OUT/verify-restored.txt"
|
||
if diff "$OUT/verify-source.txt" "$OUT/verify-restored.txt" > "$OUT/verify-diff.txt"; then
|
||
echo "СОВПАДАЕТ: все контрольные суммы и числа строк идентичны" | tee -a "$OUT/backup-timings.txt"
|
||
else
|
||
echo "РАСХОЖДЕНИЕ:"; cat "$OUT/verify-diff.txt"; exit 1
|
||
fi
|
||
restored_total=$(docker exec "$RST" psql -U postgres -d messenger -At -c "SELECT count(*) FROM messages")
|
||
echo "сообщений в копии: $restored_total; в источнике: $source_total; потеряно (записано после backup): $((source_total - restored_total))" | tee -a "$OUT/backup-timings.txt"
|
||
|
||
echo "== 6. приложение поверх копии отдаёт те же данные, что и поверх источника"
|
||
printf 'Host=%s;Port=5432;Database=messenger;Username=postgres;Password=%s' "$SRC" "$pw" > "$WORK/url-src"
|
||
printf 'Host=%s;Port=5432;Database=messenger;Username=postgres;Password=%s' "$RST" "$pw" > "$WORK/url-restore"
|
||
docker run -d --name track2-api-src --network "$NET" -p 18081:8080 -e DATABASE_URL_FILE=/run/secrets/database_url \
|
||
-v "$(host_path "$WORK/url-src"):/run/secrets/database_url:ro" messenger-api:lab2 >/dev/null
|
||
docker run -d --name track2-api-restore --network "$NET" -p 18082:8080 -e DATABASE_URL_FILE=/run/secrets/database_url \
|
||
-v "$(host_path "$WORK/url-restore"):/run/secrets/database_url:ro" messenger-api:lab2 >/dev/null
|
||
for port in 18081 18082; do
|
||
for _ in $(seq 1 60); do curl -sf "http://localhost:$port/health/ready" >/dev/null && break; sleep 1; done
|
||
done
|
||
big=$(scalar "SELECT chat_id FROM messages GROUP BY chat_id ORDER BY count(*) DESC, chat_id LIMIT 1")
|
||
token=track2-experiment-token
|
||
echo "сессия, созданная до backup, действует на копии: GET /users/me -> $(curl -s -o /dev/null -w '%{http_code}' http://localhost:18082/api/v1/users/me -H "Authorization: Bearer $token")" | tee -a "$OUT/backup-timings.txt"
|
||
cursor=""; same=0
|
||
for page in 1 2 3 4 5 6 7 8; do
|
||
for port in 18081 18082; do
|
||
if [ -z "$cursor" ]; then
|
||
curl -s -G "http://localhost:$port/api/v1/chats/$big/messages" --data-urlencode "limit=100" -H "Authorization: Bearer $token" > "$WORK/page-$port.json"
|
||
else
|
||
curl -s -G "http://localhost:$port/api/v1/chats/$big/messages" --data-urlencode "limit=100" --data-urlencode "cursor=$cursor" -H "Authorization: Bearer $token" > "$WORK/page-$port.json"
|
||
fi
|
||
done
|
||
cmp -s "$WORK/page-18081.json" "$WORK/page-18082.json" || { echo "страница $page различается"; exit 1; }
|
||
same=$((same + 1))
|
||
cursor=$(sed -n 's/.*"next_cursor":"\([^"]*\)".*/\1/p' "$WORK/page-18081.json")
|
||
[ -n "$cursor" ] || break
|
||
done
|
||
echo "страницы истории большого чата через API (источник и копия) совпадают побайтно: $same из $same" | tee -a "$OUT/backup-timings.txt"
|
||
}
|