Files
mtusi2026lab6/student-tests/run_isolated.py
T

405 lines
14 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""`make test_isolated`: образ на временной базе `test_<db>`.
Создаёт базу в Postgres стенда, накатывает на неё миграции сервисом
`migrate`, поднимает отдельные контейнеры `api` и `worker` из определений
compose с подменой только `DATABASE__NAME`, прогоняет `make test` и
`make student_test` (`EXPECT_REPLICAS=1`: один процесс без
балансировщика, тесты реплик пропускаются), затем удаляет контейнеры и
базу — при любом исходе, в том числе по Ctrl+C. Рабочая база и рабочие
контейнеры стенда не трогаются. Valkey стенда общий: ключи кэша включают имя базы, и
карточки тестового прогона не смешиваются с рабочими. S3 стенда тоже
общий: ключи объектов начинаются с имени базы, и префикс `test_<db>/`
bucket удаляется в начале (хвост прошлого прогона) и в уборке через
`weed shell` в контейнере `s3` (design change `s3-storage`, решение 9).
Брокер стенда общий: задания идут через очередь `<база>.attachment.process.v1`,
и очередь временной базы удаляется в начале и в уборке (design change
`async-attachments`, решение 15). Только stdlib: всё через docker compose и make. Решение 12 design change
`postgres-storage`.
Запускается напрямую `$(PYTHON)`, как проверки skeleton, а не через
`uv run`: uv пересылает SIGINT дочернему процессу, хотя тот уже получил
его от группы процессов, и второй `KeyboardInterrupt` обрывал уборку.
"""
from __future__ import annotations
import argparse
import json
import re
import signal
import subprocess
import sys
import time
import urllib.error
import urllib.request
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
ENV_FILE = ROOT / ".env"
DB_NAME_RE = re.compile(r"^[a-z0-9_]+$")
# префикс объектов S3 собирается только из такого имени временной базы:
# ошибка в имени не может удалить рабочий префикс
TEST_DB_NAME_RE = re.compile(r"^test_[a-z0-9_]+$")
# как S3_BUCKET_NAME_PATTERN в src/utils/constants.py
BUCKET_NAME_RE = re.compile(r"^[a-z0-9][a-z0-9.-]{1,61}[a-z0-9]$")
DEFAULT_BUCKET = "messenger"
# fs.rm отсутствующего пути: «rm: <путь>: filer: no entry is found in filer
# store» — не ошибка уборки
WEED_NO_ENTRY = "no entry is found"
READY_TIMEOUT_S = 60
LOG_TAIL_LINES = 50
# копия ATTACHMENT_QUEUE_SUFFIX из src/utils/constants.py; скрипт на stdlib и
# код приложения не импортирует
QUEUE_SUFFIX = "attachment.process.v1"
def say(message: str) -> None:
print(f"[test_isolated] {message}", flush=True)
def run(
*args: str,
check: bool = True,
stdin: str | None = None,
quiet: bool = False,
) -> subprocess.CompletedProcess[str]:
"""Команда из корня репозитория; вывод — в терминал, если не quiet."""
return subprocess.run(
args,
cwd=ROOT,
check=check,
input=stdin,
text=True,
capture_output=quiet,
)
def read_env() -> dict[str, str]:
"""`KEY=VALUE` из `.env`; подстановок `${...}` нужные ключи не имеют."""
values: dict[str, str] = {}
for line in ENV_FILE.read_text(encoding="utf-8").splitlines():
line = line.strip()
if not line or line.startswith("#") or "=" not in line:
continue
key, value = line.split("=", 1)
values[key.strip()] = value.strip()
return values
def compose_project() -> str:
config = run(
"docker",
"compose",
"config",
"--format",
"json",
quiet=True,
)
return json.loads(config.stdout)["name"]
def psql(sql: str) -> None:
"""SQL в служебной базе `postgres` под `POSTGRES_USER` контейнера."""
run(
"docker",
"compose",
"exec",
"-T",
"postgres",
"sh",
"-c",
'exec psql -U "$POSTGRES_USER" -d postgres -v ON_ERROR_STOP=1 -X -q',
stdin=sql,
)
def drop_database(name: str) -> None:
# WITH (FORCE) рвёт оставшиеся соединения, если контейнер не ушёл
psql(f'DROP DATABASE IF EXISTS "{name}" WITH (FORCE);\n')
def object_prefix(bucket: str, test_db: str) -> str:
"""Путь filer префикса `test_<db>/` в bucket; другое имя — отказ."""
if not TEST_DB_NAME_RE.fullmatch(test_db):
raise ValueError(f"not a test database name: {test_db}")
if not BUCKET_NAME_RE.fullmatch(bucket):
raise ValueError(f"invalid bucket name: {bucket}")
return f"/buckets/{bucket}/{test_db}"
def queue_of(test_db: str) -> str:
"""Очередь временной базы; другое имя — отказ, как у префикса: ошибка не
может удалить рабочую очередь."""
if not TEST_DB_NAME_RE.fullmatch(test_db):
raise ValueError(f"not a test database name: {test_db}")
return f"{test_db}.{QUEUE_SUFFIX}"
def remove_queue(queue: str) -> None:
"""Удалить очередь `rabbitmqctl` в контейнере брокера; её отсутствие — не
ошибка. Иначе — `RuntimeError`."""
result = run(
"docker",
"compose",
"exec",
"-T",
"rabbitmq",
"rabbitmqctl",
"-q",
"delete_queue",
queue,
check=False,
quiet=True,
)
output = result.stdout + result.stderr
if result.returncode != 0 and "No such queue" not in output:
raise RuntimeError(
f"queue {queue} not removed: {output.strip()[:200]}",
)
def weed_shell(command: str) -> str:
"""Одна команда `weed shell` в контейнере `s3`: ключ подписи — в его
окружении, master и filer — на его loopback. Вывод — stdout и stderr
вместе."""
result = run(
"docker",
"compose",
"exec",
"-T",
"s3",
"sh",
"-c",
"exec weed shell -master=127.0.0.1:9333 2>&1",
stdin=f"{command}\n",
quiet=True,
)
return result.stdout
def remove_objects(prefix: str) -> None:
"""Удалить объекты под префиксом временной базы; его отсутствие — не
ошибка. `weed shell` выходит с кодом 0 и при ошибке команды, поэтому
успех проверяется отдельно: строк `rm:` с ошибкой нет, и `fs.ls`
префикса пуст. Иначе — `RuntimeError` с первой строкой ошибки."""
removed = weed_shell(f"fs.rm -r {prefix}")
# отсутствие префикса fs.rm печатает так же строкой rm: — это не ошибка
errors = [
line
for line in removed.splitlines()
if line.startswith("rm:") and WEED_NO_ENTRY not in line
]
left = [
line for line in weed_shell(f"fs.ls {prefix}").splitlines() if line
]
if errors or left:
detail = errors[0] if errors else f"{len(left)} entries left"
raise RuntimeError(f"objects {prefix}/ not removed: {detail}")
def remove_container(name: str) -> None:
run("docker", "rm", "-f", name, check=False, quiet=True)
def wait_ready(url: str, container: str) -> None:
deadline = time.monotonic() + READY_TIMEOUT_S
while time.monotonic() < deadline:
try:
with urllib.request.urlopen(url, timeout=2) as response:
if response.status == 200:
return
except (urllib.error.URLError, OSError):
pass
state = run(
"docker",
"inspect",
"-f",
"{{.State.Running}}",
container,
check=False,
quiet=True,
)
if state.stdout.strip() != "true":
raise RuntimeError(f"container {container} is not running")
time.sleep(1)
raise RuntimeError(f"{url} not ready in {READY_TIMEOUT_S}s")
def main() -> int:
parser = argparse.ArgumentParser(description=__doc__.splitlines()[0])
parser.add_argument(
"--keep-db",
action="store_true",
help="не удалять базу после прогона (KEEP_TEST_DB=1)",
)
args = parser.parse_args()
env = read_env()
test_db = f"test_{env['POSTGRES_DB']}"
if not DB_NAME_RE.fullmatch(test_db):
say(f"unsupported database name: {test_db}")
return 2
try:
prefix = object_prefix(env.get("S3__BUCKET", DEFAULT_BUCKET), test_db)
queue = queue_of(test_db)
except ValueError as e:
say(str(e))
return 2
port = env["TEST_APP_PORT"]
app_port = env.get("APP__PORT", "8080")
project = compose_project()
container = f"{project}-test-api"
worker = f"{project}-test-worker"
relay = f"{project}-test-relay"
containers = (container, worker, relay)
base_url = f"http://127.0.0.1:{port}"
say(
f"database={test_db} objects={prefix}/ queue={queue} "
f"containers={container} {worker} {relay} base_url={base_url}",
)
for name in containers:
remove_container(name)
drop_database(test_db)
say(f"remove objects {prefix}/ and queue {queue}")
try:
remove_objects(prefix)
remove_queue(queue)
except (subprocess.CalledProcessError, RuntimeError) as e:
say(f"setup failed: {e}")
return 1
results: dict[str, int] = {}
failed = True
try:
say("build image")
run("docker", "compose", "build", "api")
say(f"create database {test_db}")
psql(f'CREATE DATABASE "{test_db}";\n')
say("migrations")
run(
"docker",
"compose",
"run",
"--rm",
"--no-deps",
"-e",
f"DATABASE__NAME={test_db}",
"migrate",
)
say("start api container")
run(
"docker",
"compose",
"run",
"-d",
"--no-deps",
"--name",
container,
"-e",
f"DATABASE__NAME={test_db}",
# временный прогон — без телеметрии: в Loki и Prometheus рабочего
# стенда не попадает (design change otel-telemetry, решение 20)
"-e",
"TELEMETRY__ENABLED=false",
"-p",
f"127.0.0.1:{port}:{app_port}",
"api",
quiet=True,
)
wait_ready(f"{base_url}/health/ready", container)
say("start worker container")
run(
"docker",
"compose",
"run",
"-d",
"--no-deps",
"--name",
worker,
"-e",
f"DATABASE__NAME={test_db}",
"-e",
"TELEMETRY__ENABLED=false",
"worker",
quiet=True,
)
# без relay задания ждали бы в PostgreSQL: загрузка 202, а ready нет
# (design change pipeline-reliability, решение 13)
say("start relay container")
run(
"docker",
"compose",
"run",
"-d",
"--no-deps",
"--name",
relay,
"-e",
f"DATABASE__NAME={test_db}",
# и relay — без телеметрии (design change job-trace-propagation,
# решение 7)
"-e",
"TELEMETRY__ENABLED=false",
"relay",
quiet=True,
)
say("ready")
for target in ("test", "student_test"):
say(f"make {target}")
results[target] = run(
"make",
target,
f"BASE_URL={base_url}",
# один контейнер API без балансировщика: тесты реплик
# пропускаются с причиной
"EXPECT_REPLICAS=1",
check=False,
).returncode
failed = any(results.values())
except KeyboardInterrupt:
say("interrupted")
results["interrupted"] = 130
except (subprocess.CalledProcessError, RuntimeError) as e:
say(f"setup failed: {e}")
results["setup"] = 1
finally:
# повторный Ctrl+C не должен оборвать уборку на полпути
signal.signal(signal.SIGINT, signal.SIG_IGN)
if failed:
for name in containers:
say(f"last {LOG_TAIL_LINES} lines of {name}")
run(
"docker",
"logs",
"--tail",
str(LOG_TAIL_LINES),
name,
check=False,
)
say("cleanup")
for name in containers:
run("docker", "stop", name, check=False, quiet=True)
remove_container(name)
try:
if args.keep_db:
say(
f"kept database {test_db}, objects {prefix}/ and queue "
f"{queue}",
)
else:
drop_database(test_db)
say(f"remove objects {prefix}/ and queue {queue}")
remove_objects(prefix)
remove_queue(queue)
except (subprocess.CalledProcessError, RuntimeError) as e:
say(f"cleanup failed: {e}")
results["cleanup"] = 1
say(f"results: {results}")
return next((code for code in results.values() if code), 0)
if __name__ == "__main__":
sys.exit(main())