Files
mtusi2026lab3/scripts/verify_failover.py
T

52 lines
2.4 KiB
Python

"""Проверить публичным сценарием остановку каждой из двух реальных API-реплик."""
import json
from datetime import datetime, timezone
import os
from pathlib import Path
import subprocess
import sys
import urllib.request
ROOT=Path(__file__).resolve().parents[1]
env=dict(os.environ,PYTHONUTF8='1')
seen=set()
stamp=datetime.now(timezone.utc).strftime('%H%M%S')
def run(*args):
return subprocess.check_output(args,cwd=ROOT,env=env,text=True,encoding='utf-8').strip()
for attempt in range(1,9):
run('docker','compose','start','api')
run(sys.executable,'scripts/wait_ready.py','--replicas','2')
# Обычные запросы меняют позицию round-robin; повтор нужен, если снова выбрана уже проверенная реплика.
for _ in range(attempt%3):
with urllib.request.urlopen('http://localhost:8080/health/ready',timeout=3) as r:
r.read()
hook='scripts/stop-one.cmd' if os.name=='nt' else 'scripts/stop-one.sh'
output=run(sys.executable,'tests/resilience.py','--mode','failover','--action-script',hook)
snapshot=run('docker','compose','ps','-a','--format','json')
rows=[json.loads(line) for line in snapshot.splitlines()]
stopped=[r for r in rows if r['Service']=='api' and r['State']=='exited']
if len(stopped)!=1:
raise SystemExit('Нужна ровно одна остановленная API')
name=stopped[0]['Name']
audit=ROOT/'evidence/research-audit'
audit.mkdir(exist_ok=True)
(audit/f'failover-{stamp}-attempt-{attempt}.txt').write_text(output+'\n',encoding='utf-8')
(audit/f'failover-{stamp}-attempt-{attempt}-containers.jsonl').write_text(snapshot+'\n',encoding='utf-8')
if name not in seen:
seen.add(name)
index=len(seen)
(ROOT/f'evidence/failover-{index}.txt').write_text(output+'\n',encoding='utf-8')
(ROOT/f'evidence/failover-{index}-containers.jsonl').write_text(snapshot+'\n',encoding='utf-8')
print('PASS:',name,'отказ проверен',flush=True)
if len(seen)==2:
break
else:
raise SystemExit('Не удалось наблюдать отказ двух разных реплик')
run('docker','compose','start','api')
run(sys.executable,'scripts/wait_ready.py','--replicas','2')
print('PASS: обе реальные реплики проверены по очереди и восстановлены')