Files
mtusi2026lab5/student-tests/run_failover.py
T
2026-10-25 21:43:03 +03:00

70 lines
4.3 KiB
Python

"""Публичный тест отказа (tests/resilience.py --mode failover) для КАЖДОЙ реплики по очереди.
make failover (= python student-tests/run_failover.py)
Публичный тест сам выбирает реплику — ту, что ответила на его первое сообщение, — и вызывает
hook scripts/stop-one.cmd (Windows) или scripts/stop-one.sh, который останавливает именно её.
Этот скрипт печатает контейнеры до и после теста (видно, какой контейнер реально остановлен
и что postgres, valkey и lb не тронуты), запускает реплику обратно (docker start), ждёт,
пока HAProxy вернёт её в балансировку, и повторяет тест, пока каждая реплика не будет
остановлена хотя бы раз (не больше 6 прогонов).
Как попасть в нужную реплику: при 2 репликах HAProxy отвечает строго по очереди, а до первого
сообщения тест делает 9 запросов. Значит, его сообщение (10-й запрос) уйдёт на ту же реплику,
что ответила на наш последний запрос. Поэтому перед прогоном один-два запроса /health/live
«сдвигают» очередь так, чтобы последней ответила ещё не проверенная реплика.
"""
import os
import subprocess
import sys
from helpers import ROOT, Client, check, run
from stand import BASE_URL, api_containers, docker, lb_summary, ps_table, wait_balanced
HOOK = ROOT / "scripts" / ("stop-one.cmd" if os.name == "nt" else "stop-one.sh")
def aim(api, wanted):
"""Для 2 реплик: последним перед тестом должна ответить реплика из wanted."""
probe = api.call("GET", "/health/live", schema="Health")["headers"]["X-Instance-Id"]
if not any(container.startswith(probe) for container in wanted):
api.call("GET", "/health/live", schema="Health") # теперь последней ответила другая реплика
def main():
api = Client()
containers = api_containers()
check(len(containers) >= 2, "need at least 2 running api replicas")
print(f"hook: {HOOK.relative_to(ROOT).as_posix()}; api replicas: {[c[:12] for c in containers]}")
stopped_once = set()
for attempt in range(1, 7):
wait_balanced(len(containers))
if len(containers) == 2:
aim(api, set(containers) - stopped_once)
print(f"\n=== run {attempt}: containers before (HAProxy: {lb_summary()})")
print(ps_table())
env = dict(os.environ, PYTHONUTF8="1", PYTHONIOENCODING="utf-8")
result = subprocess.run([sys.executable, "tests/resilience.py", "--mode", "failover",
"--action-script", str(HOOK), "--base-url", BASE_URL],
cwd=ROOT, capture_output=True, env=env)
print((result.stdout + result.stderr).decode("utf-8", "replace").strip())
check(result.returncode == 0, "public failover test failed")
print(f"containers after (HAProxy: {lb_summary()})")
print(ps_table())
stopped = [container for container in containers if container not in api_containers()]
check(len(stopped) == 1, f"expected exactly one stopped api container, got {len(stopped)}")
print(f"the hook stopped {stopped[0][:12]} (X-Instance-Id of that replica = container ID); "
f"other api containers, postgres, valkey, s3 and lb kept running")
stopped_once.add(stopped[0])
docker("start", stopped[0])
wait_balanced(len(containers))
print(f"restored: docker start {stopped[0][:12]} -> healthy and back in HAProxy ({lb_summary()})")
if stopped_once == set(containers):
break
check(stopped_once == set(containers), "not every replica was stopped by the public test")
print(f"\nPASS: public failover test passed {attempt} times; every api replica was stopped once and restored")
if __name__ == "__main__":
run(main)