Files
mtusi2026lab4/student-tests/run_isolated.py
T
ricoromaandClaude Opus 5.5 f57635a5fb fix: address s3-storage verify findings
- s3 healthcheck and fault hook probe wait for the volume server to
  register with master (first write after restart no longer waits ~5 s)
- s3-bootstrap mounts /data as tmpfs: no anonymous volume per container
- S3 client: NoSuchBucket and AccessDenied are 503 with their own error
  logs, not a missing object or rejected credentials; delete ignores only
  a missing key
- test_isolated verifies prefix removal (weed shell exits 0 on errors)
- s3_check derives ports from listening sockets in the s3 container
- readiness without S3 is also checked with s3 paused

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-20 21:23:38 +03:00

316 lines
11 KiB
Python

"""`make test_isolated`: образ на временной базе `test_<db>`.
Создаёт базу в Postgres стенда, накатывает на неё миграции сервисом
`migrate`, поднимает отдельный контейнер `api` из определения compose с
подменой только `DATABASE__NAME`, прогоняет `make test` и
`make student_test` (`EXPECT_REPLICAS=1`: один процесс без
балансировщика, тесты реплик пропускаются), затем удаляет контейнер и
базу — при любом исходе, в том числе по Ctrl+C. Рабочая база и рабочие
контейнеры стенда не трогаются. Valkey стенда общий: ключи кэша включают имя базы, и
карточки тестового прогона не смешиваются с рабочими. S3 стенда тоже
общий: ключи объектов начинаются с имени базы, и префикс `test_<db>/`
bucket удаляется в начале (хвост прошлого прогона) и в уборке через
`weed shell` в контейнере `s3` (design change `s3-storage`, решение 9).
Только stdlib: всё через docker compose и make. Решение 12 design change
`postgres-storage`.
Запускается напрямую `$(PYTHON)`, как проверки skeleton, а не через
`uv run`: uv пересылает SIGINT дочернему процессу, хотя тот уже получил
его от группы процессов, и второй `KeyboardInterrupt` обрывал уборку.
"""
from __future__ import annotations
import argparse
import json
import re
import signal
import subprocess
import sys
import time
import urllib.error
import urllib.request
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
ENV_FILE = ROOT / ".env"
DB_NAME_RE = re.compile(r"^[a-z0-9_]+$")
# префикс объектов S3 собирается только из такого имени временной базы:
# ошибка в имени не может удалить рабочий префикс
TEST_DB_NAME_RE = re.compile(r"^test_[a-z0-9_]+$")
# как S3_BUCKET_NAME_PATTERN в src/utils/constants.py
BUCKET_NAME_RE = re.compile(r"^[a-z0-9][a-z0-9.-]{1,61}[a-z0-9]$")
DEFAULT_BUCKET = "messenger"
# fs.rm отсутствующего пути: «rm: <путь>: filer: no entry is found in filer
# store» — не ошибка уборки
WEED_NO_ENTRY = "no entry is found"
READY_TIMEOUT_S = 60
LOG_TAIL_LINES = 50
def say(message: str) -> None:
print(f"[test_isolated] {message}", flush=True)
def run(
*args: str,
check: bool = True,
stdin: str | None = None,
quiet: bool = False,
) -> subprocess.CompletedProcess[str]:
"""Команда из корня репозитория; вывод — в терминал, если не quiet."""
return subprocess.run(
args,
cwd=ROOT,
check=check,
input=stdin,
text=True,
capture_output=quiet,
)
def read_env() -> dict[str, str]:
"""`KEY=VALUE` из `.env`; подстановок `${...}` нужные ключи не имеют."""
values: dict[str, str] = {}
for line in ENV_FILE.read_text(encoding="utf-8").splitlines():
line = line.strip()
if not line or line.startswith("#") or "=" not in line:
continue
key, value = line.split("=", 1)
values[key.strip()] = value.strip()
return values
def compose_project() -> str:
config = run(
"docker",
"compose",
"config",
"--format",
"json",
quiet=True,
)
return json.loads(config.stdout)["name"]
def psql(sql: str) -> None:
"""SQL в служебной базе `postgres` под `POSTGRES_USER` контейнера."""
run(
"docker",
"compose",
"exec",
"-T",
"postgres",
"sh",
"-c",
'exec psql -U "$POSTGRES_USER" -d postgres -v ON_ERROR_STOP=1 -X -q',
stdin=sql,
)
def drop_database(name: str) -> None:
# WITH (FORCE) рвёт оставшиеся соединения, если контейнер не ушёл
psql(f'DROP DATABASE IF EXISTS "{name}" WITH (FORCE);\n')
def object_prefix(bucket: str, test_db: str) -> str:
"""Путь filer префикса `test_<db>/` в bucket; другое имя — отказ."""
if not TEST_DB_NAME_RE.fullmatch(test_db):
raise ValueError(f"not a test database name: {test_db}")
if not BUCKET_NAME_RE.fullmatch(bucket):
raise ValueError(f"invalid bucket name: {bucket}")
return f"/buckets/{bucket}/{test_db}"
def weed_shell(command: str) -> str:
"""Одна команда `weed shell` в контейнере `s3`: ключ подписи — в его
окружении, master и filer — на его loopback. Вывод — stdout и stderr
вместе."""
result = run(
"docker",
"compose",
"exec",
"-T",
"s3",
"sh",
"-c",
"exec weed shell -master=127.0.0.1:9333 2>&1",
stdin=f"{command}\n",
quiet=True,
)
return result.stdout
def remove_objects(prefix: str) -> None:
"""Удалить объекты под префиксом временной базы; его отсутствие — не
ошибка. `weed shell` выходит с кодом 0 и при ошибке команды, поэтому
успех проверяется отдельно: строк `rm:` с ошибкой нет, и `fs.ls`
префикса пуст. Иначе — `RuntimeError` с первой строкой ошибки."""
removed = weed_shell(f"fs.rm -r {prefix}")
# отсутствие префикса fs.rm печатает так же строкой rm: — это не ошибка
errors = [
line
for line in removed.splitlines()
if line.startswith("rm:") and WEED_NO_ENTRY not in line
]
left = [
line for line in weed_shell(f"fs.ls {prefix}").splitlines() if line
]
if errors or left:
detail = errors[0] if errors else f"{len(left)} entries left"
raise RuntimeError(f"objects {prefix}/ not removed: {detail}")
def remove_container(name: str) -> None:
run("docker", "rm", "-f", name, check=False, quiet=True)
def wait_ready(url: str, container: str) -> None:
deadline = time.monotonic() + READY_TIMEOUT_S
while time.monotonic() < deadline:
try:
with urllib.request.urlopen(url, timeout=2) as response:
if response.status == 200:
return
except (urllib.error.URLError, OSError):
pass
state = run(
"docker",
"inspect",
"-f",
"{{.State.Running}}",
container,
check=False,
quiet=True,
)
if state.stdout.strip() != "true":
raise RuntimeError(f"container {container} is not running")
time.sleep(1)
raise RuntimeError(f"{url} not ready in {READY_TIMEOUT_S}s")
def main() -> int:
parser = argparse.ArgumentParser(description=__doc__.splitlines()[0])
parser.add_argument(
"--keep-db",
action="store_true",
help="не удалять базу после прогона (KEEP_TEST_DB=1)",
)
args = parser.parse_args()
env = read_env()
test_db = f"test_{env['POSTGRES_DB']}"
if not DB_NAME_RE.fullmatch(test_db):
say(f"unsupported database name: {test_db}")
return 2
try:
prefix = object_prefix(env.get("S3__BUCKET", DEFAULT_BUCKET), test_db)
except ValueError as e:
say(str(e))
return 2
port = env["TEST_APP_PORT"]
app_port = env.get("APP__PORT", "8080")
container = f"{compose_project()}-test-api"
base_url = f"http://127.0.0.1:{port}"
say(
f"database={test_db} objects={prefix}/ container={container} "
f"base_url={base_url}",
)
remove_container(container)
drop_database(test_db)
say(f"remove objects {prefix}/")
try:
remove_objects(prefix)
except (subprocess.CalledProcessError, RuntimeError) as e:
say(f"setup failed: {e}")
return 1
results: dict[str, int] = {}
failed = True
try:
say("build image")
run("docker", "compose", "build", "api")
say(f"create database {test_db}")
psql(f'CREATE DATABASE "{test_db}";\n')
say("migrations")
run(
"docker",
"compose",
"run",
"--rm",
"--no-deps",
"-e",
f"DATABASE__NAME={test_db}",
"migrate",
)
say("start api container")
run(
"docker",
"compose",
"run",
"-d",
"--no-deps",
"--name",
container,
"-e",
f"DATABASE__NAME={test_db}",
"-p",
f"127.0.0.1:{port}:{app_port}",
"api",
quiet=True,
)
wait_ready(f"{base_url}/health/ready", container)
say("ready")
for target in ("test", "student_test"):
say(f"make {target}")
results[target] = run(
"make",
target,
f"BASE_URL={base_url}",
# один контейнер API без балансировщика: тесты реплик
# пропускаются с причиной
"EXPECT_REPLICAS=1",
check=False,
).returncode
failed = any(results.values())
except KeyboardInterrupt:
say("interrupted")
results["interrupted"] = 130
except (subprocess.CalledProcessError, RuntimeError) as e:
say(f"setup failed: {e}")
results["setup"] = 1
finally:
# повторный Ctrl+C не должен оборвать уборку на полпути
signal.signal(signal.SIGINT, signal.SIG_IGN)
if failed:
say(f"last {LOG_TAIL_LINES} lines of {container}")
run(
"docker",
"logs",
"--tail",
str(LOG_TAIL_LINES),
container,
check=False,
)
say("cleanup")
run("docker", "stop", container, check=False, quiet=True)
remove_container(container)
try:
if args.keep_db:
say(f"kept database {test_db} and objects {prefix}/")
else:
drop_database(test_db)
say(f"remove objects {prefix}/")
remove_objects(prefix)
except (subprocess.CalledProcessError, RuntimeError) as e:
say(f"cleanup failed: {e}")
results["cleanup"] = 1
say(f"results: {results}")
return next((code for code in results.values() if code), 0)
if __name__ == "__main__":
sys.exit(main())