lab2: PostgreSQL, sessions, compose, evidence tooling.

This commit is contained in:
Conloty
2026-11-12 21:52:21 +03:00
parent 65003b6119
commit ac54d4cfde
15 changed files with 1001 additions and 14 deletions
+157
View File
@@ -0,0 +1,157 @@
#!/bin/sh
# Собирает доказательства lab2 в evidence/*.txt. Запускать из Git Bash (Windows) или любого sh,
# когда стенд уже поднят: docker compose up -d --build.
# sh scripts/collect-evidence.sh # проверки на текущих данных
# sh scripts/collect-evidence.sh --fresh # сначала `docker compose down -v` (УДАЛЯЕТ учебные данные) и чистый старт
# Секреты и токены не печатаются. Скрипт сам перезапускает контейнеры, останавливает/запускает postgres и меняет TTL API
# на время проверки (потом возвращает 3600). Тома не удаляются, кроме режима --fresh.
set -u
export MSYS_NO_PATHCONV=1 # Git Bash: не превращать /run/... в Windows-пути
export PYTHONUTF8=1 # читаемый UTF-8 в evidence/*.txt (иначе кракозябры в Windows)
echo "Сбор доказательств: 9 шагов, 1-3 минуты. Прогресс печатается после каждого шага."
cd "$(dirname "$0")/.." || exit 1
mkdir -p evidence
BASE="${BASE_URL:-http://localhost:8080}"
PY=""
for c in python python3 py; do
if "$c" --version >/dev/null 2>&1; then PY="$c"; break; fi
done
[ -n "$PY" ] || { echo "Не найден python (python/python3/py)"; exit 2; }
case "$(uname -s)" in
MINGW*|MSYS*|CYGWIN*) ACTION="scripts/restart.cmd" ;;
*) ACTION="scripts/restart.sh" ;;
esac
now() { date -u +%Y-%m-%dT%H:%M:%SZ; }
sec() { date +%s; }
wait_ready() {
i=0
until curl -fsS -m 3 "$BASE/health/ready" >/dev/null 2>&1; do
i=$((i + 1)); [ "$i" -gt 90 ] && return 1; sleep 1
done
return 0
}
started() { docker inspect -f '{{.Name}} StartedAt={{.State.StartedAt}} RestartCount={{.RestartCount}}' $(docker compose ps -q postgres api); }
psql_c() { docker compose exec -T postgres psql -U msg -d msg -c "$1"; }
RESULTS=""
note() { RESULTS="$RESULTS
$1"; echo "готово: $1"; }
if [ "${1:-}" = "--fresh" ]; then
{
echo "# 00 чистый старт ($(now))"
echo "\$ docker compose down -v"; docker compose down -v
echo "\$ sh scripts/setup-secrets.sh"; sh scripts/setup-secrets.sh && echo "secrets: ok (значения не печатаются)"
t0=$(sec)
echo "\$ docker compose up -d --build"; docker compose up -d --build
if wait_ready; then echo "ready через $(( $(sec) - t0 )) с после запуска up"; else echo "НЕ ГОТОВ за 90 с"; fi
} > evidence/00-clean-start.txt 2>&1
note "00 clean start -> evidence/00-clean-start.txt"
fi
wait_ready || { echo "API не отвечает на $BASE/health/ready. Сначала: docker compose up -d --build"; exit 1; }
{
echo "# 01 окружение ($(now))"
echo "commit: $(git rev-parse HEAD 2>/dev/null || echo 'нет git')"
echo "git status:"; git status --short 2>/dev/null | head -20
echo "\$ docker version"; docker version --format 'client={{.Client.Version}} server={{.Server.Version}} os={{.Server.Os}}/{{.Server.Arch}}'
echo "\$ docker compose version"; docker compose version
echo "python: $($PY --version 2>&1)"
echo "\$ docker compose config --quiet"; docker compose config --quiet && echo "compose config: OK"
echo "\$ docker compose images"; docker compose images
echo "\$ docker compose ps"; docker compose ps
echo "\$ docker volume ls (pgdata)"; docker volume ls | grep -i pgdata
echo "\$ docker stats --no-stream"; docker stats --no-stream --format 'table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}' $(docker compose ps -q)
echo "\$ docker info (лимиты хоста)"; docker info --format 'CPUs={{.NCPU}} Mem={{.MemTotal}}'
} > evidence/01-env.txt 2>&1
note "01 окружение -> evidence/01-env.txt"
{
echo "# 02 публичные проверки ($(now))"
echo "\$ python scripts/check_contract.py"; $PY scripts/check_contract.py; echo "exit code: $?"
echo "\$ python tests/smoke.py --base-url $BASE"; $PY tests/smoke.py --base-url "$BASE"; echo "exit code: $?"
} > evidence/02-smoke.txt 2>&1
note "02 smoke -> evidence/02-smoke.txt: $(grep -c '^PASS: lab2' evidence/02-smoke.txt) PASS-строк smoke"
{
echo "# 03 собственные проверки ($(now))"
echo "\$ python student-tests/lab2_checks.py --base-url $BASE"
$PY student-tests/lab2_checks.py --base-url "$BASE"; echo "exit code: $?"
} > evidence/03-student-checks.txt 2>&1
note "03 собственные -> evidence/03-student-checks.txt: $(tail -2 evidence/03-student-checks.txt | head -1)"
{
echo "# 04 сохранность при рестарте API и PostgreSQL ($(now))"
echo "--- до"; started; docker compose ps
echo "\$ python tests/resilience.py --mode persistence --action-script $ACTION"
$PY tests/resilience.py --mode persistence --action-script "$ACTION" --base-url "$BASE"; echo "exit code: $?"
echo "--- после (StartedAt должен измениться у обоих контейнеров)"; started; docker compose ps
echo "--- время восстановления одного рестарта (hook + ожидание /health/ready)"
t0=$(sec); sh scripts/restart.sh; if wait_ready; then echo "готов через $(( $(sec) - t0 )) с"; else echo "НЕ ГОТОВ за 90 с"; fi
echo "--- проверка сохранности данных в БД после рестарта"
psql_c "select (select count(*) from users) users, (select count(*) from chats) chats, (select count(*) from messages) messages, (select count(*) from sessions) sessions"
} > evidence/04-persistence.txt 2>&1
note "04 persistence -> evidence/04-persistence.txt: $(grep -m1 -E '^(PASS|FAIL): persistence' evidence/04-persistence.txt || echo 'см. файл')"
{
echo "# 05 схема БД ($(now))"
psql_c "select * from schema_migrations"
psql_c "\\dt"
for t in users chats chat_members messages sessions; do psql_c "\\d $t"; done
echo "--- пароли хранятся как Argon2id"
psql_c "select left(password_hash, 10) as hash_prefix, count(*) from users group by 1"
echo "--- в sessions только sha256 токена (32 байта), не сам токен"
psql_c "select length(token_hash) as token_hash_bytes, count(*) from sessions group by 1"
echo "--- volume с данными PostgreSQL"
docker inspect -f '{{range .Mounts}}{{.Type}} {{.Name}} -> {{.Destination}}{{println}}{{end}}' "$(docker compose ps -q postgres)"
} > evidence/05-db-schema.txt 2>&1
note "05 схема БД -> evidence/05-db-schema.txt"
{
echo "# 06 повторный запуск миграций ($(now))"
echo "--- до"; psql_c "select version from schema_migrations"; psql_c "select (select count(*) from users) users, (select count(*) from messages) messages"
echo "--- рестарт API (миграции выполняются при старте)"; docker compose restart api >/dev/null; wait_ready && echo "ready"
echo "--- ещё два явных запуска migrate.run внутри контейнера api"
for n in 1 2; do docker compose exec -T api python -c "import app.migrate as m; m.run(open('/run/secrets/database_url').read().strip()); print('migrate.run ok')"; done
echo "--- после"; psql_c "select version from schema_migrations"; psql_c "select (select count(*) from users) users, (select count(*) from messages) messages"
} > evidence/06-migrations.txt 2>&1
note "06 миграции повторно -> evidence/06-migrations.txt"
{
echo "# 07 истечение сессии при SESSION_TTL_SECONDS=2 ($(now))"
echo "\$ SESSION_TTL_SECONDS=2 docker compose up -d api"
SESSION_TTL_SECONDS=2 docker compose up -d api; wait_ready && echo "ready (TTL=2)"
$PY student-tests/lab2_checks.py --base-url "$BASE" --mode ttl; echo "exit code: $?"
echo "--- возврат к TTL по умолчанию"
docker compose up -d api; wait_ready && echo "ready (TTL по умолчанию)"
} > evidence/07-ttl.txt 2>&1
note "07 TTL -> evidence/07-ttl.txt: $(grep -m1 -E '^(PASS|FAIL): (все|[0-9])' evidence/07-ttl.txt || echo 'см. файл')"
{
echo "# 08 недоступность PostgreSQL ($(now))"
echo "\$ docker compose stop postgres"; docker compose stop postgres >/dev/null; sleep 2
echo "GET /health/live -> $(curl -s -m 5 -o /dev/null -w '%{http_code}' "$BASE/health/live")"
echo "GET /health/ready -> $(curl -s -m 15 -w ' %{http_code}' "$BASE/health/ready")"
echo "GET /api/v1/users/me (анонимный токен) -> $(curl -s -m 15 -w ' %{http_code}' -H 'Authorization: Bearer anonymous' "$BASE/api/v1/users/me")"
echo "\$ docker compose start postgres"; t0=$(sec); docker compose start postgres >/dev/null
if wait_ready; then echo "ready снова через $(( $(sec) - t0 )) с (без рестарта API)"; else echo "НЕ ВОССТАНОВИЛСЯ за 90 с"; fi
docker compose ps
} > evidence/08-db-down.txt 2>&1
note "08 БД недоступна -> evidence/08-db-down.txt"
{
echo "# 09 секреты и volumes вне Git ($(now))"
if git rev-parse --git-dir >/dev/null 2>&1; then
echo "\$ git check-ignore -v secrets/pg_password secrets/database_url .env"; git check-ignore -v secrets/pg_password secrets/database_url .env
echo "\$ отслеживаемые файлы, похожие на секреты:"; git ls-files | grep -E '(^|/)(secrets/|\.env$|.*\.(pem|key)$)' || echo "нет"
else
echo "каталог не является git-репозиторием: запустите проверку в клоне"
fi
} > evidence/09-git-hygiene.txt 2>&1
note "09 git hygiene -> evidence/09-git-hygiene.txt"
{ echo "# Сводка сбора доказательств ($(now))"; echo "$RESULTS"; echo; for f in evidence/0*.txt; do echo; echo "=================== $f"; cat "$f"; done; } > evidence/summary.txt 2>&1
echo "$RESULTS"
echo
echo "Готово. Отправьте мне содержимое evidence/summary.txt (секретов в нём нет, но просмотрите глазами)."
+6
View File
@@ -0,0 +1,6 @@
@echo off
cd /d "%~dp0.."
docker compose restart postgres >nul || exit /b 1
docker compose exec -T postgres sh -c "i=0; until pg_isready -U msg -d msg -q; do i=$((i+1)); [ $i -gt 60 ] && exit 1; sleep 1; done" || exit /b 1
docker compose restart api >nul
exit /b %errorlevel%
+7
View File
@@ -0,0 +1,7 @@
#!/bin/sh
# Перезапуск PostgreSQL и API с сохранением volumes (без down -v): сначала БД, после её готовности — API.
set -eu
cd "$(dirname "$0")/.." || exit 1
docker compose restart postgres >/dev/null
docker compose exec -T postgres sh -c 'i=0; until pg_isready -U msg -d msg -q; do i=$((i+1)); [ "$i" -gt 60 ] && exit 1; sleep 1; done'
docker compose restart api >/dev/null
+11
View File
@@ -0,0 +1,11 @@
#!/bin/sh
# Создаёт локальные секреты (не коммитятся). Безопасно повторять: существующие не перезаписываются.
set -eu
mkdir -p secrets
if [ ! -f secrets/pg_password ]; then
head -c 24 /dev/urandom | base64 | tr -d '/+=\n' > secrets/pg_password
fi
if [ ! -f secrets/database_url ]; then
printf 'postgresql://msg:%s@postgres:5432/msg' "$(cat secrets/pg_password)" > secrets/database_url
fi
chmod 600 secrets/*