405 lines
14 KiB
Python
405 lines
14 KiB
Python
"""`make test_isolated`: образ на временной базе `test_<db>`.
|
||
|
||
Создаёт базу в Postgres стенда, накатывает на неё миграции сервисом
|
||
`migrate`, поднимает отдельные контейнеры `api` и `worker` из определений
|
||
compose с подменой только `DATABASE__NAME`, прогоняет `make test` и
|
||
`make student_test` (`EXPECT_REPLICAS=1`: один процесс без
|
||
балансировщика, тесты реплик пропускаются), затем удаляет контейнеры и
|
||
базу — при любом исходе, в том числе по Ctrl+C. Рабочая база и рабочие
|
||
контейнеры стенда не трогаются. Valkey стенда общий: ключи кэша включают имя базы, и
|
||
карточки тестового прогона не смешиваются с рабочими. S3 стенда тоже
|
||
общий: ключи объектов начинаются с имени базы, и префикс `test_<db>/`
|
||
bucket удаляется в начале (хвост прошлого прогона) и в уборке через
|
||
`weed shell` в контейнере `s3` (design change `s3-storage`, решение 9).
|
||
Брокер стенда общий: задания идут через очередь `<база>.attachment.process.v1`,
|
||
и очередь временной базы удаляется в начале и в уборке (design change
|
||
`async-attachments`, решение 15). Только stdlib: всё через docker compose и make. Решение 12 design change
|
||
`postgres-storage`.
|
||
|
||
Запускается напрямую `$(PYTHON)`, как проверки skeleton, а не через
|
||
`uv run`: uv пересылает SIGINT дочернему процессу, хотя тот уже получил
|
||
его от группы процессов, и второй `KeyboardInterrupt` обрывал уборку.
|
||
"""
|
||
|
||
from __future__ import annotations
|
||
|
||
import argparse
|
||
import json
|
||
import re
|
||
import signal
|
||
import subprocess
|
||
import sys
|
||
import time
|
||
import urllib.error
|
||
import urllib.request
|
||
from pathlib import Path
|
||
|
||
ROOT = Path(__file__).resolve().parents[1]
|
||
ENV_FILE = ROOT / ".env"
|
||
DB_NAME_RE = re.compile(r"^[a-z0-9_]+$")
|
||
# префикс объектов S3 собирается только из такого имени временной базы:
|
||
# ошибка в имени не может удалить рабочий префикс
|
||
TEST_DB_NAME_RE = re.compile(r"^test_[a-z0-9_]+$")
|
||
# как S3_BUCKET_NAME_PATTERN в src/utils/constants.py
|
||
BUCKET_NAME_RE = re.compile(r"^[a-z0-9][a-z0-9.-]{1,61}[a-z0-9]$")
|
||
DEFAULT_BUCKET = "messenger"
|
||
# fs.rm отсутствующего пути: «rm: <путь>: filer: no entry is found in filer
|
||
# store» — не ошибка уборки
|
||
WEED_NO_ENTRY = "no entry is found"
|
||
READY_TIMEOUT_S = 60
|
||
LOG_TAIL_LINES = 50
|
||
# копия ATTACHMENT_QUEUE_SUFFIX из src/utils/constants.py; скрипт на stdlib и
|
||
# код приложения не импортирует
|
||
QUEUE_SUFFIX = "attachment.process.v1"
|
||
|
||
|
||
def say(message: str) -> None:
|
||
print(f"[test_isolated] {message}", flush=True)
|
||
|
||
|
||
def run(
|
||
*args: str,
|
||
check: bool = True,
|
||
stdin: str | None = None,
|
||
quiet: bool = False,
|
||
) -> subprocess.CompletedProcess[str]:
|
||
"""Команда из корня репозитория; вывод — в терминал, если не quiet."""
|
||
return subprocess.run(
|
||
args,
|
||
cwd=ROOT,
|
||
check=check,
|
||
input=stdin,
|
||
text=True,
|
||
capture_output=quiet,
|
||
)
|
||
|
||
|
||
def read_env() -> dict[str, str]:
|
||
"""`KEY=VALUE` из `.env`; подстановок `${...}` нужные ключи не имеют."""
|
||
values: dict[str, str] = {}
|
||
for line in ENV_FILE.read_text(encoding="utf-8").splitlines():
|
||
line = line.strip()
|
||
if not line or line.startswith("#") or "=" not in line:
|
||
continue
|
||
key, value = line.split("=", 1)
|
||
values[key.strip()] = value.strip()
|
||
return values
|
||
|
||
|
||
def compose_project() -> str:
|
||
config = run(
|
||
"docker",
|
||
"compose",
|
||
"config",
|
||
"--format",
|
||
"json",
|
||
quiet=True,
|
||
)
|
||
return json.loads(config.stdout)["name"]
|
||
|
||
|
||
def psql(sql: str) -> None:
|
||
"""SQL в служебной базе `postgres` под `POSTGRES_USER` контейнера."""
|
||
run(
|
||
"docker",
|
||
"compose",
|
||
"exec",
|
||
"-T",
|
||
"postgres",
|
||
"sh",
|
||
"-c",
|
||
'exec psql -U "$POSTGRES_USER" -d postgres -v ON_ERROR_STOP=1 -X -q',
|
||
stdin=sql,
|
||
)
|
||
|
||
|
||
def drop_database(name: str) -> None:
|
||
# WITH (FORCE) рвёт оставшиеся соединения, если контейнер не ушёл
|
||
psql(f'DROP DATABASE IF EXISTS "{name}" WITH (FORCE);\n')
|
||
|
||
|
||
def object_prefix(bucket: str, test_db: str) -> str:
|
||
"""Путь filer префикса `test_<db>/` в bucket; другое имя — отказ."""
|
||
if not TEST_DB_NAME_RE.fullmatch(test_db):
|
||
raise ValueError(f"not a test database name: {test_db}")
|
||
if not BUCKET_NAME_RE.fullmatch(bucket):
|
||
raise ValueError(f"invalid bucket name: {bucket}")
|
||
return f"/buckets/{bucket}/{test_db}"
|
||
|
||
|
||
def queue_of(test_db: str) -> str:
|
||
"""Очередь временной базы; другое имя — отказ, как у префикса: ошибка не
|
||
может удалить рабочую очередь."""
|
||
if not TEST_DB_NAME_RE.fullmatch(test_db):
|
||
raise ValueError(f"not a test database name: {test_db}")
|
||
return f"{test_db}.{QUEUE_SUFFIX}"
|
||
|
||
|
||
def remove_queue(queue: str) -> None:
|
||
"""Удалить очередь `rabbitmqctl` в контейнере брокера; её отсутствие — не
|
||
ошибка. Иначе — `RuntimeError`."""
|
||
result = run(
|
||
"docker",
|
||
"compose",
|
||
"exec",
|
||
"-T",
|
||
"rabbitmq",
|
||
"rabbitmqctl",
|
||
"-q",
|
||
"delete_queue",
|
||
queue,
|
||
check=False,
|
||
quiet=True,
|
||
)
|
||
output = result.stdout + result.stderr
|
||
if result.returncode != 0 and "No such queue" not in output:
|
||
raise RuntimeError(
|
||
f"queue {queue} not removed: {output.strip()[:200]}",
|
||
)
|
||
|
||
|
||
def weed_shell(command: str) -> str:
|
||
"""Одна команда `weed shell` в контейнере `s3`: ключ подписи — в его
|
||
окружении, master и filer — на его loopback. Вывод — stdout и stderr
|
||
вместе."""
|
||
result = run(
|
||
"docker",
|
||
"compose",
|
||
"exec",
|
||
"-T",
|
||
"s3",
|
||
"sh",
|
||
"-c",
|
||
"exec weed shell -master=127.0.0.1:9333 2>&1",
|
||
stdin=f"{command}\n",
|
||
quiet=True,
|
||
)
|
||
return result.stdout
|
||
|
||
|
||
def remove_objects(prefix: str) -> None:
|
||
"""Удалить объекты под префиксом временной базы; его отсутствие — не
|
||
ошибка. `weed shell` выходит с кодом 0 и при ошибке команды, поэтому
|
||
успех проверяется отдельно: строк `rm:` с ошибкой нет, и `fs.ls`
|
||
префикса пуст. Иначе — `RuntimeError` с первой строкой ошибки."""
|
||
removed = weed_shell(f"fs.rm -r {prefix}")
|
||
# отсутствие префикса fs.rm печатает так же строкой rm: — это не ошибка
|
||
errors = [
|
||
line
|
||
for line in removed.splitlines()
|
||
if line.startswith("rm:") and WEED_NO_ENTRY not in line
|
||
]
|
||
left = [
|
||
line for line in weed_shell(f"fs.ls {prefix}").splitlines() if line
|
||
]
|
||
if errors or left:
|
||
detail = errors[0] if errors else f"{len(left)} entries left"
|
||
raise RuntimeError(f"objects {prefix}/ not removed: {detail}")
|
||
|
||
|
||
def remove_container(name: str) -> None:
|
||
run("docker", "rm", "-f", name, check=False, quiet=True)
|
||
|
||
|
||
def wait_ready(url: str, container: str) -> None:
|
||
deadline = time.monotonic() + READY_TIMEOUT_S
|
||
while time.monotonic() < deadline:
|
||
try:
|
||
with urllib.request.urlopen(url, timeout=2) as response:
|
||
if response.status == 200:
|
||
return
|
||
except (urllib.error.URLError, OSError):
|
||
pass
|
||
state = run(
|
||
"docker",
|
||
"inspect",
|
||
"-f",
|
||
"{{.State.Running}}",
|
||
container,
|
||
check=False,
|
||
quiet=True,
|
||
)
|
||
if state.stdout.strip() != "true":
|
||
raise RuntimeError(f"container {container} is not running")
|
||
time.sleep(1)
|
||
raise RuntimeError(f"{url} not ready in {READY_TIMEOUT_S}s")
|
||
|
||
|
||
def main() -> int:
|
||
parser = argparse.ArgumentParser(description=__doc__.splitlines()[0])
|
||
parser.add_argument(
|
||
"--keep-db",
|
||
action="store_true",
|
||
help="не удалять базу после прогона (KEEP_TEST_DB=1)",
|
||
)
|
||
args = parser.parse_args()
|
||
|
||
env = read_env()
|
||
test_db = f"test_{env['POSTGRES_DB']}"
|
||
if not DB_NAME_RE.fullmatch(test_db):
|
||
say(f"unsupported database name: {test_db}")
|
||
return 2
|
||
try:
|
||
prefix = object_prefix(env.get("S3__BUCKET", DEFAULT_BUCKET), test_db)
|
||
queue = queue_of(test_db)
|
||
except ValueError as e:
|
||
say(str(e))
|
||
return 2
|
||
port = env["TEST_APP_PORT"]
|
||
app_port = env.get("APP__PORT", "8080")
|
||
project = compose_project()
|
||
container = f"{project}-test-api"
|
||
worker = f"{project}-test-worker"
|
||
relay = f"{project}-test-relay"
|
||
containers = (container, worker, relay)
|
||
base_url = f"http://127.0.0.1:{port}"
|
||
|
||
say(
|
||
f"database={test_db} objects={prefix}/ queue={queue} "
|
||
f"containers={container} {worker} {relay} base_url={base_url}",
|
||
)
|
||
for name in containers:
|
||
remove_container(name)
|
||
drop_database(test_db)
|
||
say(f"remove objects {prefix}/ and queue {queue}")
|
||
try:
|
||
remove_objects(prefix)
|
||
remove_queue(queue)
|
||
except (subprocess.CalledProcessError, RuntimeError) as e:
|
||
say(f"setup failed: {e}")
|
||
return 1
|
||
|
||
results: dict[str, int] = {}
|
||
failed = True
|
||
try:
|
||
say("build image")
|
||
run("docker", "compose", "build", "api")
|
||
say(f"create database {test_db}")
|
||
psql(f'CREATE DATABASE "{test_db}";\n')
|
||
say("migrations")
|
||
run(
|
||
"docker",
|
||
"compose",
|
||
"run",
|
||
"--rm",
|
||
"--no-deps",
|
||
"-e",
|
||
f"DATABASE__NAME={test_db}",
|
||
"migrate",
|
||
)
|
||
say("start api container")
|
||
run(
|
||
"docker",
|
||
"compose",
|
||
"run",
|
||
"-d",
|
||
"--no-deps",
|
||
"--name",
|
||
container,
|
||
"-e",
|
||
f"DATABASE__NAME={test_db}",
|
||
# временный прогон — без телеметрии: в Loki и Prometheus рабочего
|
||
# стенда не попадает (design change otel-telemetry, решение 20)
|
||
"-e",
|
||
"TELEMETRY__ENABLED=false",
|
||
"-p",
|
||
f"127.0.0.1:{port}:{app_port}",
|
||
"api",
|
||
quiet=True,
|
||
)
|
||
wait_ready(f"{base_url}/health/ready", container)
|
||
say("start worker container")
|
||
run(
|
||
"docker",
|
||
"compose",
|
||
"run",
|
||
"-d",
|
||
"--no-deps",
|
||
"--name",
|
||
worker,
|
||
"-e",
|
||
f"DATABASE__NAME={test_db}",
|
||
"-e",
|
||
"TELEMETRY__ENABLED=false",
|
||
"worker",
|
||
quiet=True,
|
||
)
|
||
# без relay задания ждали бы в PostgreSQL: загрузка 202, а ready нет
|
||
# (design change pipeline-reliability, решение 13)
|
||
say("start relay container")
|
||
run(
|
||
"docker",
|
||
"compose",
|
||
"run",
|
||
"-d",
|
||
"--no-deps",
|
||
"--name",
|
||
relay,
|
||
"-e",
|
||
f"DATABASE__NAME={test_db}",
|
||
# и relay — без телеметрии (design change job-trace-propagation,
|
||
# решение 7)
|
||
"-e",
|
||
"TELEMETRY__ENABLED=false",
|
||
"relay",
|
||
quiet=True,
|
||
)
|
||
say("ready")
|
||
for target in ("test", "student_test"):
|
||
say(f"make {target}")
|
||
results[target] = run(
|
||
"make",
|
||
target,
|
||
f"BASE_URL={base_url}",
|
||
# один контейнер API без балансировщика: тесты реплик
|
||
# пропускаются с причиной
|
||
"EXPECT_REPLICAS=1",
|
||
check=False,
|
||
).returncode
|
||
failed = any(results.values())
|
||
except KeyboardInterrupt:
|
||
say("interrupted")
|
||
results["interrupted"] = 130
|
||
except (subprocess.CalledProcessError, RuntimeError) as e:
|
||
say(f"setup failed: {e}")
|
||
results["setup"] = 1
|
||
finally:
|
||
# повторный Ctrl+C не должен оборвать уборку на полпути
|
||
signal.signal(signal.SIGINT, signal.SIG_IGN)
|
||
if failed:
|
||
for name in containers:
|
||
say(f"last {LOG_TAIL_LINES} lines of {name}")
|
||
run(
|
||
"docker",
|
||
"logs",
|
||
"--tail",
|
||
str(LOG_TAIL_LINES),
|
||
name,
|
||
check=False,
|
||
)
|
||
say("cleanup")
|
||
for name in containers:
|
||
run("docker", "stop", name, check=False, quiet=True)
|
||
remove_container(name)
|
||
try:
|
||
if args.keep_db:
|
||
say(
|
||
f"kept database {test_db}, objects {prefix}/ and queue "
|
||
f"{queue}",
|
||
)
|
||
else:
|
||
drop_database(test_db)
|
||
say(f"remove objects {prefix}/ and queue {queue}")
|
||
remove_objects(prefix)
|
||
remove_queue(queue)
|
||
except (subprocess.CalledProcessError, RuntimeError) as e:
|
||
say(f"cleanup failed: {e}")
|
||
results["cleanup"] = 1
|
||
|
||
say(f"results: {results}")
|
||
return next((code for code in results.values() if code), 0)
|
||
|
||
|
||
if __name__ == "__main__":
|
||
sys.exit(main())
|