Завершить уровень 4: проверить отказы, поочерёдную замену и ограничить ожидания кэша
This commit is contained in:
@@ -0,0 +1,51 @@
|
||||
"""Проверить публичным сценарием остановку каждой из двух реальных API-реплик."""
|
||||
import json
|
||||
from datetime import datetime, timezone
|
||||
import os
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
import urllib.request
|
||||
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
env=dict(os.environ,PYTHONUTF8='1')
|
||||
seen=set()
|
||||
stamp=datetime.now(timezone.utc).strftime('%H%M%S')
|
||||
|
||||
|
||||
def run(*args):
|
||||
return subprocess.check_output(args,cwd=ROOT,env=env,text=True,encoding='utf-8').strip()
|
||||
|
||||
|
||||
for attempt in range(1,9):
|
||||
run('docker','compose','start','api')
|
||||
run(sys.executable,'scripts/wait_ready.py','--replicas','2')
|
||||
# Обычные запросы меняют позицию round-robin; повтор нужен, если снова выбрана уже проверенная реплика.
|
||||
for _ in range(attempt%3):
|
||||
with urllib.request.urlopen('http://localhost:8080/health/ready',timeout=3) as r:
|
||||
r.read()
|
||||
hook='scripts/stop-one.cmd' if os.name=='nt' else 'scripts/stop-one.sh'
|
||||
output=run(sys.executable,'tests/resilience.py','--mode','failover','--action-script',hook)
|
||||
snapshot=run('docker','compose','ps','-a','--format','json')
|
||||
rows=[json.loads(line) for line in snapshot.splitlines()]
|
||||
stopped=[r for r in rows if r['Service']=='api' and r['State']=='exited']
|
||||
if len(stopped)!=1:
|
||||
raise SystemExit('Нужна ровно одна остановленная API')
|
||||
name=stopped[0]['Name']
|
||||
audit=ROOT/'evidence/research-audit'
|
||||
audit.mkdir(exist_ok=True)
|
||||
(audit/f'failover-{stamp}-attempt-{attempt}.txt').write_text(output+'\n',encoding='utf-8')
|
||||
(audit/f'failover-{stamp}-attempt-{attempt}-containers.jsonl').write_text(snapshot+'\n',encoding='utf-8')
|
||||
if name not in seen:
|
||||
seen.add(name)
|
||||
index=len(seen)
|
||||
(ROOT/f'evidence/failover-{index}.txt').write_text(output+'\n',encoding='utf-8')
|
||||
(ROOT/f'evidence/failover-{index}-containers.jsonl').write_text(snapshot+'\n',encoding='utf-8')
|
||||
print('PASS:',name,'отказ проверен',flush=True)
|
||||
if len(seen)==2:
|
||||
break
|
||||
else:
|
||||
raise SystemExit('Не удалось наблюдать отказ двух разных реплик')
|
||||
run('docker','compose','start','api')
|
||||
run(sys.executable,'scripts/wait_ready.py','--replicas','2')
|
||||
print('PASS: обе реальные реплики проверены по очереди и восстановлены')
|
||||
Reference in New Issue
Block a user