forked from mtusi2026/mtusi2026lab3
feat:report
This commit is contained in:
+22
-20
@@ -1,11 +1,9 @@
|
||||
"""Общие утилиты для студенческих тестов."""
|
||||
import base64
|
||||
"""Общие утилиты для моих тестов."""
|
||||
import json
|
||||
import os
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import uuid
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
@@ -15,21 +13,14 @@ from client import Client, Failure, check # noqa: E402
|
||||
|
||||
BASE_URL = os.environ.get('BASE_URL', 'http://localhost:8080')
|
||||
COMPOSE_CMD = os.environ.get('COMPOSE_CMD', 'docker compose')
|
||||
COMPOSE_PROJECT = os.environ.get('COMPOSE_PROJECT', '')
|
||||
|
||||
|
||||
def compose(*args, timeout=120, check_rc=True):
|
||||
"""Вызов docker compose. Возвращает CompletedProcess."""
|
||||
cmd = COMPOSE_CMD.split()
|
||||
if COMPOSE_PROJECT:
|
||||
cmd += ['-p', COMPOSE_PROJECT]
|
||||
cmd += list(args)
|
||||
proc = subprocess.run(
|
||||
cmd, cwd=str(ROOT), capture_output=True, text=True, timeout=timeout)
|
||||
def compose(*args, timeout=180, check_rc=True):
|
||||
cmd = COMPOSE_CMD.split() + list(args)
|
||||
proc = subprocess.run(cmd, cwd=str(ROOT), capture_output=True, text=True, timeout=timeout)
|
||||
if check_rc and proc.returncode != 0:
|
||||
raise Failure(
|
||||
'compose %s failed rc=%d\nstdout=%s\nstderr=%s'
|
||||
% (' '.join(args), proc.returncode, proc.stdout[-2000:], proc.stderr[-2000:]))
|
||||
raise Failure('compose %s failed rc=%d\nstderr=%s'
|
||||
% (' '.join(args), proc.returncode, proc.stderr[-1000:]))
|
||||
return proc
|
||||
|
||||
|
||||
@@ -46,7 +37,6 @@ def wait_ready(deadline_seconds=90):
|
||||
|
||||
|
||||
def observe_instances(c, actor, n=40):
|
||||
"""Собираем X-Instance-Id через /users/me."""
|
||||
seen = {}
|
||||
for _ in range(n):
|
||||
r = c.call('GET', '/api/v1/users/me', actor=actor, schema='User')
|
||||
@@ -56,11 +46,23 @@ def observe_instances(c, actor, n=40):
|
||||
return seen
|
||||
|
||||
|
||||
def run_file(path, *args, timeout=180):
|
||||
def stop_one(target_instance_id):
|
||||
env = {**os.environ, 'TARGET_INSTANCE_ID': target_instance_id}
|
||||
proc = subprocess.run(
|
||||
[sys.executable, str(path), *args],
|
||||
cwd=str(ROOT), capture_output=True, text=True, timeout=timeout)
|
||||
return proc
|
||||
[str(ROOT / 'scripts/stop-one.sh')],
|
||||
cwd=str(ROOT), env=env, capture_output=True, text=True, timeout=30)
|
||||
check(proc.returncode == 0,
|
||||
'stop-one.sh для %s упал: %s' % (target_instance_id, proc.stderr[-500:]))
|
||||
|
||||
|
||||
def restore_api():
|
||||
"""Запускает все остановленные контейнеры сервиса api."""
|
||||
proc = subprocess.run(
|
||||
[str(ROOT / 'scripts/restore-api.sh')],
|
||||
cwd=str(ROOT), capture_output=True, text=True, timeout=90)
|
||||
check(proc.returncode == 0,
|
||||
'restore-api.sh упал: %s' % proc.stderr[-500:])
|
||||
wait_ready(60)
|
||||
|
||||
|
||||
def print_pass(name, extra=''):
|
||||
|
||||
@@ -1,36 +1,13 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Останавливает КАЖДУЮ реплику по очереди и проверяет восстановление."""
|
||||
import json
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
from pathlib import Path
|
||||
import uuid
|
||||
|
||||
from common import (
|
||||
BASE_URL, Client, Failure, check, compose, observe_instances, print_pass,
|
||||
wait_ready,
|
||||
BASE_URL, Client, Failure, check, observe_instances, print_pass,
|
||||
restore_api, stop_one,
|
||||
)
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
|
||||
|
||||
def stop_one(instance_alias):
|
||||
env = {'TARGET_INSTANCE_ID': instance_alias, 'PATH': __import__('os').environ['PATH']}
|
||||
proc = subprocess.run(
|
||||
[str(ROOT / 'scripts/stop-one.sh')],
|
||||
cwd=str(ROOT), env={**__import__('os').environ, **env},
|
||||
capture_output=True, text=True, timeout=30)
|
||||
check(proc.returncode == 0,
|
||||
'stop-one.sh для %s упал rc=%d\nstderr=%s'
|
||||
% (instance_alias, proc.returncode, proc.stderr[-1000:]))
|
||||
|
||||
|
||||
def restore_all():
|
||||
"""Возвращает все реплики в running."""
|
||||
for svc in ('api1', 'api2'):
|
||||
compose('start', svc, check_rc=False)
|
||||
wait_ready(90)
|
||||
|
||||
|
||||
def main():
|
||||
c = Client(BASE_URL)
|
||||
@@ -41,39 +18,34 @@ def main():
|
||||
|
||||
for alias in sorted(seen):
|
||||
print('--- failover test for %s' % alias)
|
||||
target_alias = alias
|
||||
stop_one(target_alias)
|
||||
stop_one(alias)
|
||||
time.sleep(1)
|
||||
|
||||
# Ни одна последующая успешная запись не должна обслуживаться target.
|
||||
first_ok = None
|
||||
after = []
|
||||
deadline = time.monotonic() + 15
|
||||
key = 'fo-' + __import__('uuid').uuid4().hex
|
||||
key = 'fo-' + uuid.uuid4().hex
|
||||
while time.monotonic() < deadline:
|
||||
try:
|
||||
r = c.message(alice, chat, 'after-stop-' + key, key=key)
|
||||
if first_ok is None:
|
||||
first_ok = time.monotonic()
|
||||
after.append(r['headers']['X-Instance-Id'])
|
||||
key = 'fo-' + __import__('uuid').uuid4().hex
|
||||
key = 'fo-' + uuid.uuid4().hex
|
||||
except Failure:
|
||||
pass
|
||||
time.sleep(0.2)
|
||||
check(first_ok is not None, 'запись не восстановилась за 15с')
|
||||
check(len(after) >= 5, 'слишком мало успешных записей после отказа: %d' % len(after))
|
||||
check(target_alias not in after[-5:],
|
||||
'остановленная реплика %s всё ещё отвечает' % target_alias)
|
||||
check(alias not in after[-5:], 'остановленная реплика %s всё ещё отвечает' % alias)
|
||||
print(' after stop %s: %d writes, последние instances=%r'
|
||||
% (target_alias, len(after), after[-3:]))
|
||||
% (alias, len(after), after[-3:]))
|
||||
|
||||
# Восстановить и подождать, пока LB снова начнёт её использовать.
|
||||
restore_all()
|
||||
restore_api()
|
||||
time.sleep(2)
|
||||
seen2 = observe_instances(c, alice, n=60)
|
||||
print(' после restore видно:', seen2)
|
||||
|
||||
# В конце — обе реплики снова живы.
|
||||
seen3 = observe_instances(c, alice, n=60)
|
||||
check(len(seen3) >= 2, 'после restore видна одна реплика: %r' % seen3)
|
||||
print_pass('failover both replicas')
|
||||
|
||||
@@ -1,5 +1,5 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Проверки идемпотентности и X-Instance-Id (лаб3)."""
|
||||
"""Идемпотентность сообщений + балансировка через LB."""
|
||||
import json
|
||||
import uuid
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
@@ -19,28 +19,26 @@ def main():
|
||||
check(len(seen) >= 2, 'менее двух X-Instance-Id через LB: %r' % seen)
|
||||
print(' instances:', seen)
|
||||
|
||||
# 2) Повтор с тем же ключом и тем же телом → тот же Message.
|
||||
# 2) Replay с тем же ключом и телом → тот же Message.
|
||||
key = 'idem-' + uuid.uuid4().hex
|
||||
body = {'text': 'idem-verify-' + uuid.uuid4().hex}
|
||||
body = {'text': 'idem-' + uuid.uuid4().hex}
|
||||
r1 = c.call('POST', path, 201, actor=alice, body=body,
|
||||
headers={'Idempotency-Key': key}, schema='Message')
|
||||
r2 = c.call('POST', path, 201, actor=alice, body=body,
|
||||
headers={'Idempotency-Key': key}, schema='Message')
|
||||
check(r1['json']['id'] == r2['json']['id'], 'replay дал другой id')
|
||||
check(r1['json'] == r2['json'], 'replay дал другое тело')
|
||||
check(r1['json'] == r2['json'], 'replay дал другой ответ')
|
||||
|
||||
# 3) Тот же ключ, другое тело → 409.
|
||||
c.call('POST', path, 409, actor=alice, body={'text': 'other'},
|
||||
headers={'Idempotency-Key': key})
|
||||
|
||||
# 4) Нет ключа → 400.
|
||||
# 4) Без ключа → 400.
|
||||
c.call('POST', path, 400, actor=alice, body={'text': 'no key'})
|
||||
|
||||
# 5) Невалидный ключ (пробел) → 400.
|
||||
# 5) Невалидный ключ → 400.
|
||||
c.call('POST', path, 400, actor=alice, body={'text': 'bad key'},
|
||||
headers={'Idempotency-Key': 'has space'})
|
||||
|
||||
# 6) Разные пользователи с одинаковым ключом — независимы.
|
||||
# 6) Разные пользователи с одним ключом независимы.
|
||||
key_shared = 'shared-' + uuid.uuid4().hex
|
||||
ra = c.message(alice, chat, 'alice-' + uuid.uuid4().hex, key=key_shared)
|
||||
rb = c.message(bob, chat, 'bob-' + uuid.uuid4().hex, key=key_shared)
|
||||
@@ -49,11 +47,10 @@ def main():
|
||||
|
||||
# 7) Конкурентный повтор: 20 параллельных POST с одним ключом.
|
||||
key_c = 'conc-' + uuid.uuid4().hex
|
||||
text_c = 'concurrent-' + uuid.uuid4().hex
|
||||
text_c = 'conc-' + uuid.uuid4().hex
|
||||
|
||||
def send(_):
|
||||
local = Client(BASE_URL, timeout=15)
|
||||
# Разрешаем 201 или 503 (transient serialization failure).
|
||||
r = local.call('POST', path, (201, 503), actor=alice,
|
||||
body={'text': text_c},
|
||||
headers={'Idempotency-Key': key_c})
|
||||
@@ -62,19 +59,15 @@ def main():
|
||||
try:
|
||||
payload = json.loads(r['bytes'])
|
||||
except ValueError:
|
||||
payload = None
|
||||
pass
|
||||
return {'status': r['status'], 'json': payload}
|
||||
|
||||
with ThreadPoolExecutor(max_workers=20) as pool:
|
||||
results = list(pool.map(send, range(20)))
|
||||
|
||||
ok = [r for r in results if r['status'] == 201 and r['json']]
|
||||
check(len(ok) >= 15, 'слишком много не-201 при конкурентном повторе: %d/20'
|
||||
% len(ok))
|
||||
check(len(ok) >= 15, 'слишком много не-201 при конкурентном повторе: %d/20' % len(ok))
|
||||
ids = {r['json']['id'] for r in ok}
|
||||
check(len(ids) == 1,
|
||||
'конкурентный повтор создал %d разных сообщений: %r'
|
||||
% (len(ids), ids))
|
||||
check(len(ids) == 1, 'конкурентный повтор создал %d разных id: %r' % (len(ids), ids))
|
||||
print(' concurrent: %d×201, один id' % len(ok))
|
||||
|
||||
print_pass('idempotency')
|
||||
|
||||
@@ -10,26 +10,22 @@ def main():
|
||||
cfg = json.loads(raw)
|
||||
services = cfg['services']
|
||||
|
||||
for svc in ('api1', 'api2'):
|
||||
check(svc in services, 'сервис %s отсутствует' % svc)
|
||||
ports = services[svc].get('ports', [])
|
||||
check(not ports, '%s публикует порты наружу: %r — должно быть только через LB'
|
||||
% (svc, ports))
|
||||
deploy = services[svc].get('deploy', {})
|
||||
res = deploy.get('resources', {}).get('limits', {})
|
||||
check('cpus' in res and 'memory' in res,
|
||||
'%s без deploy.resources.limits cpus/memory: %r' % (svc, res))
|
||||
check('api' in services, 'сервис api отсутствует')
|
||||
api = services['api']
|
||||
check(not api.get('ports'),
|
||||
'api публикует порты наружу: %r — должно быть только через lb' % api.get('ports'))
|
||||
deploy = api.get('deploy', {})
|
||||
res = deploy.get('resources', {}).get('limits', {})
|
||||
check('cpus' in res and 'memory' in res,
|
||||
'api без deploy.resources.limits cpus/memory: %r' % res)
|
||||
check('container_name' not in api,
|
||||
'api задаёт container_name — ломает deploy.replicas')
|
||||
|
||||
check('lb' in services, 'нет сервиса lb')
|
||||
lb_ports = services['lb'].get('ports', [])
|
||||
check(any('8080' in str(p) for p in lb_ports),
|
||||
'lb не публикует 8080: %r' % lb_ports)
|
||||
|
||||
check('container_name' not in services.get('api1', {}),
|
||||
'api1 задаёт container_name — ломает масштабирование')
|
||||
check('container_name' not in services.get('api2', {}),
|
||||
'api2 задаёт container_name — ломает масштабирование')
|
||||
|
||||
print_pass('limits & topology')
|
||||
|
||||
|
||||
|
||||
@@ -1,12 +1,11 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Rolling update одной реплики под нагрузкой (уровень 4)."""
|
||||
import json
|
||||
"""Rolling update одной реплики: остановить → восстановить под нагрузкой."""
|
||||
import threading
|
||||
import time
|
||||
import uuid
|
||||
|
||||
from common import (
|
||||
BASE_URL, Client, Failure, check, compose, print_pass,
|
||||
BASE_URL, Client, Failure, check, print_pass, restore_api, stop_one,
|
||||
)
|
||||
|
||||
|
||||
@@ -41,10 +40,18 @@ def main():
|
||||
base_err = stats['err']
|
||||
print(' base: ok=%d err=%d' % (base_ok, base_err))
|
||||
|
||||
# Rolling update api1.
|
||||
compose('up', '-d', '--no-deps', '--force-recreate', 'api1', timeout=180)
|
||||
# 1) Выбрать одну реплику и остановить.
|
||||
from common import observe_instances
|
||||
seen = observe_instances(c, alice, n=30)
|
||||
target = next(iter(seen))
|
||||
print(' rolling target:', target)
|
||||
stop_one(target)
|
||||
time.sleep(15)
|
||||
|
||||
# 2) Восстановить.
|
||||
restore_api()
|
||||
time.sleep(10)
|
||||
|
||||
stop.set()
|
||||
t.join(timeout=10)
|
||||
|
||||
@@ -54,17 +61,11 @@ def main():
|
||||
% (delta_ok, delta_err, stats['instances']))
|
||||
|
||||
check(delta_ok > 0, 'rolling update остановил запись полностью')
|
||||
# Ошибки допустимы кратковременно, но не должны доминировать.
|
||||
check(delta_err <= max(5, delta_ok // 3),
|
||||
'слишком много ошибок при rolling update: +%d ok / +%d err'
|
||||
% (delta_ok, delta_err))
|
||||
|
||||
# После rolling обе реплики должны снова обслуживать.
|
||||
seen_final = {}
|
||||
for _ in range(40):
|
||||
r = c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
|
||||
iid = r['headers']['X-Instance-Id']
|
||||
seen_final[iid] = seen_final.get(iid, 0) + 1
|
||||
seen_final = observe_instances(c, alice, n=40)
|
||||
check(len(seen_final) >= 2,
|
||||
'после rolling видна одна реплика: %r' % seen_final)
|
||||
print(' final instances:', seen_final)
|
||||
|
||||
Reference in New Issue
Block a user