feat:report

This commit is contained in:
Оля Мороз
2026-10-23 18:10:07 +03:00
parent ae53d39ccc
commit f4500589c6
134 changed files with 5282 additions and 237 deletions
+22 -20
View File
@@ -1,11 +1,9 @@
"""Общие утилиты для студенческих тестов."""
import base64
"""Общие утилиты для моих тестов."""
import json
import os
import subprocess
import sys
import time
import uuid
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
@@ -15,21 +13,14 @@ from client import Client, Failure, check # noqa: E402
BASE_URL = os.environ.get('BASE_URL', 'http://localhost:8080')
COMPOSE_CMD = os.environ.get('COMPOSE_CMD', 'docker compose')
COMPOSE_PROJECT = os.environ.get('COMPOSE_PROJECT', '')
def compose(*args, timeout=120, check_rc=True):
"""Вызов docker compose. Возвращает CompletedProcess."""
cmd = COMPOSE_CMD.split()
if COMPOSE_PROJECT:
cmd += ['-p', COMPOSE_PROJECT]
cmd += list(args)
proc = subprocess.run(
cmd, cwd=str(ROOT), capture_output=True, text=True, timeout=timeout)
def compose(*args, timeout=180, check_rc=True):
cmd = COMPOSE_CMD.split() + list(args)
proc = subprocess.run(cmd, cwd=str(ROOT), capture_output=True, text=True, timeout=timeout)
if check_rc and proc.returncode != 0:
raise Failure(
'compose %s failed rc=%d\nstdout=%s\nstderr=%s'
% (' '.join(args), proc.returncode, proc.stdout[-2000:], proc.stderr[-2000:]))
raise Failure('compose %s failed rc=%d\nstderr=%s'
% (' '.join(args), proc.returncode, proc.stderr[-1000:]))
return proc
@@ -46,7 +37,6 @@ def wait_ready(deadline_seconds=90):
def observe_instances(c, actor, n=40):
"""Собираем X-Instance-Id через /users/me."""
seen = {}
for _ in range(n):
r = c.call('GET', '/api/v1/users/me', actor=actor, schema='User')
@@ -56,11 +46,23 @@ def observe_instances(c, actor, n=40):
return seen
def run_file(path, *args, timeout=180):
def stop_one(target_instance_id):
env = {**os.environ, 'TARGET_INSTANCE_ID': target_instance_id}
proc = subprocess.run(
[sys.executable, str(path), *args],
cwd=str(ROOT), capture_output=True, text=True, timeout=timeout)
return proc
[str(ROOT / 'scripts/stop-one.sh')],
cwd=str(ROOT), env=env, capture_output=True, text=True, timeout=30)
check(proc.returncode == 0,
'stop-one.sh для %s упал: %s' % (target_instance_id, proc.stderr[-500:]))
def restore_api():
"""Запускает все остановленные контейнеры сервиса api."""
proc = subprocess.run(
[str(ROOT / 'scripts/restore-api.sh')],
cwd=str(ROOT), capture_output=True, text=True, timeout=90)
check(proc.returncode == 0,
'restore-api.sh упал: %s' % proc.stderr[-500:])
wait_ready(60)
def print_pass(name, extra=''):
+9 -37
View File
@@ -1,36 +1,13 @@
#!/usr/bin/env python3
"""Останавливает КАЖДУЮ реплику по очереди и проверяет восстановление."""
import json
import subprocess
import sys
import time
from pathlib import Path
import uuid
from common import (
BASE_URL, Client, Failure, check, compose, observe_instances, print_pass,
wait_ready,
BASE_URL, Client, Failure, check, observe_instances, print_pass,
restore_api, stop_one,
)
ROOT = Path(__file__).resolve().parents[1]
def stop_one(instance_alias):
env = {'TARGET_INSTANCE_ID': instance_alias, 'PATH': __import__('os').environ['PATH']}
proc = subprocess.run(
[str(ROOT / 'scripts/stop-one.sh')],
cwd=str(ROOT), env={**__import__('os').environ, **env},
capture_output=True, text=True, timeout=30)
check(proc.returncode == 0,
'stop-one.sh для %s упал rc=%d\nstderr=%s'
% (instance_alias, proc.returncode, proc.stderr[-1000:]))
def restore_all():
"""Возвращает все реплики в running."""
for svc in ('api1', 'api2'):
compose('start', svc, check_rc=False)
wait_ready(90)
def main():
c = Client(BASE_URL)
@@ -41,39 +18,34 @@ def main():
for alias in sorted(seen):
print('--- failover test for %s' % alias)
target_alias = alias
stop_one(target_alias)
stop_one(alias)
time.sleep(1)
# Ни одна последующая успешная запись не должна обслуживаться target.
first_ok = None
after = []
deadline = time.monotonic() + 15
key = 'fo-' + __import__('uuid').uuid4().hex
key = 'fo-' + uuid.uuid4().hex
while time.monotonic() < deadline:
try:
r = c.message(alice, chat, 'after-stop-' + key, key=key)
if first_ok is None:
first_ok = time.monotonic()
after.append(r['headers']['X-Instance-Id'])
key = 'fo-' + __import__('uuid').uuid4().hex
key = 'fo-' + uuid.uuid4().hex
except Failure:
pass
time.sleep(0.2)
check(first_ok is not None, 'запись не восстановилась за 15с')
check(len(after) >= 5, 'слишком мало успешных записей после отказа: %d' % len(after))
check(target_alias not in after[-5:],
'остановленная реплика %s всё ещё отвечает' % target_alias)
check(alias not in after[-5:], 'остановленная реплика %s всё ещё отвечает' % alias)
print(' after stop %s: %d writes, последние instances=%r'
% (target_alias, len(after), after[-3:]))
% (alias, len(after), after[-3:]))
# Восстановить и подождать, пока LB снова начнёт её использовать.
restore_all()
restore_api()
time.sleep(2)
seen2 = observe_instances(c, alice, n=60)
print(' после restore видно:', seen2)
# В конце — обе реплики снова живы.
seen3 = observe_instances(c, alice, n=60)
check(len(seen3) >= 2, 'после restore видна одна реплика: %r' % seen3)
print_pass('failover both replicas')
+11 -18
View File
@@ -1,5 +1,5 @@
#!/usr/bin/env python3
"""Проверки идемпотентности и X-Instance-Id (лаб3)."""
"""Идемпотентность сообщений + балансировка через LB."""
import json
import uuid
from concurrent.futures import ThreadPoolExecutor
@@ -19,28 +19,26 @@ def main():
check(len(seen) >= 2, 'менее двух X-Instance-Id через LB: %r' % seen)
print(' instances:', seen)
# 2) Повтор с тем же ключом и тем же телом → тот же Message.
# 2) Replay с тем же ключом и телом → тот же Message.
key = 'idem-' + uuid.uuid4().hex
body = {'text': 'idem-verify-' + uuid.uuid4().hex}
body = {'text': 'idem-' + uuid.uuid4().hex}
r1 = c.call('POST', path, 201, actor=alice, body=body,
headers={'Idempotency-Key': key}, schema='Message')
r2 = c.call('POST', path, 201, actor=alice, body=body,
headers={'Idempotency-Key': key}, schema='Message')
check(r1['json']['id'] == r2['json']['id'], 'replay дал другой id')
check(r1['json'] == r2['json'], 'replay дал другое тело')
check(r1['json'] == r2['json'], 'replay дал другой ответ')
# 3) Тот же ключ, другое тело → 409.
c.call('POST', path, 409, actor=alice, body={'text': 'other'},
headers={'Idempotency-Key': key})
# 4) Нет ключа → 400.
# 4) Без ключа → 400.
c.call('POST', path, 400, actor=alice, body={'text': 'no key'})
# 5) Невалидный ключ (пробел) → 400.
# 5) Невалидный ключ → 400.
c.call('POST', path, 400, actor=alice, body={'text': 'bad key'},
headers={'Idempotency-Key': 'has space'})
# 6) Разные пользователи с одинаковым ключом — независимы.
# 6) Разные пользователи с одним ключом независимы.
key_shared = 'shared-' + uuid.uuid4().hex
ra = c.message(alice, chat, 'alice-' + uuid.uuid4().hex, key=key_shared)
rb = c.message(bob, chat, 'bob-' + uuid.uuid4().hex, key=key_shared)
@@ -49,11 +47,10 @@ def main():
# 7) Конкурентный повтор: 20 параллельных POST с одним ключом.
key_c = 'conc-' + uuid.uuid4().hex
text_c = 'concurrent-' + uuid.uuid4().hex
text_c = 'conc-' + uuid.uuid4().hex
def send(_):
local = Client(BASE_URL, timeout=15)
# Разрешаем 201 или 503 (transient serialization failure).
r = local.call('POST', path, (201, 503), actor=alice,
body={'text': text_c},
headers={'Idempotency-Key': key_c})
@@ -62,19 +59,15 @@ def main():
try:
payload = json.loads(r['bytes'])
except ValueError:
payload = None
pass
return {'status': r['status'], 'json': payload}
with ThreadPoolExecutor(max_workers=20) as pool:
results = list(pool.map(send, range(20)))
ok = [r for r in results if r['status'] == 201 and r['json']]
check(len(ok) >= 15, 'слишком много не-201 при конкурентном повторе: %d/20'
% len(ok))
check(len(ok) >= 15, 'слишком много не-201 при конкурентном повторе: %d/20' % len(ok))
ids = {r['json']['id'] for r in ok}
check(len(ids) == 1,
'конкурентный повтор создал %d разных сообщений: %r'
% (len(ids), ids))
check(len(ids) == 1, 'конкурентный повтор создал %d разных id: %r' % (len(ids), ids))
print(' concurrent: %d×201, один id' % len(ok))
print_pass('idempotency')
+10 -14
View File
@@ -10,26 +10,22 @@ def main():
cfg = json.loads(raw)
services = cfg['services']
for svc in ('api1', 'api2'):
check(svc in services, 'сервис %s отсутствует' % svc)
ports = services[svc].get('ports', [])
check(not ports, '%s публикует порты наружу: %r — должно быть только через LB'
% (svc, ports))
deploy = services[svc].get('deploy', {})
res = deploy.get('resources', {}).get('limits', {})
check('cpus' in res and 'memory' in res,
'%s без deploy.resources.limits cpus/memory: %r' % (svc, res))
check('api' in services, 'сервис api отсутствует')
api = services['api']
check(not api.get('ports'),
'api публикует порты наружу: %r — должно быть только через lb' % api.get('ports'))
deploy = api.get('deploy', {})
res = deploy.get('resources', {}).get('limits', {})
check('cpus' in res and 'memory' in res,
'api без deploy.resources.limits cpus/memory: %r' % res)
check('container_name' not in api,
'api задаёт container_name — ломает deploy.replicas')
check('lb' in services, 'нет сервиса lb')
lb_ports = services['lb'].get('ports', [])
check(any('8080' in str(p) for p in lb_ports),
'lb не публикует 8080: %r' % lb_ports)
check('container_name' not in services.get('api1', {}),
'api1 задаёт container_name — ломает масштабирование')
check('container_name' not in services.get('api2', {}),
'api2 задаёт container_name — ломает масштабирование')
print_pass('limits & topology')
+13 -12
View File
@@ -1,12 +1,11 @@
#!/usr/bin/env python3
"""Rolling update одной реплики под нагрузкой (уровень 4)."""
import json
"""Rolling update одной реплики: остановить → восстановить под нагрузкой."""
import threading
import time
import uuid
from common import (
BASE_URL, Client, Failure, check, compose, print_pass,
BASE_URL, Client, Failure, check, print_pass, restore_api, stop_one,
)
@@ -41,10 +40,18 @@ def main():
base_err = stats['err']
print(' base: ok=%d err=%d' % (base_ok, base_err))
# Rolling update api1.
compose('up', '-d', '--no-deps', '--force-recreate', 'api1', timeout=180)
# 1) Выбрать одну реплику и остановить.
from common import observe_instances
seen = observe_instances(c, alice, n=30)
target = next(iter(seen))
print(' rolling target:', target)
stop_one(target)
time.sleep(15)
# 2) Восстановить.
restore_api()
time.sleep(10)
stop.set()
t.join(timeout=10)
@@ -54,17 +61,11 @@ def main():
% (delta_ok, delta_err, stats['instances']))
check(delta_ok > 0, 'rolling update остановил запись полностью')
# Ошибки допустимы кратковременно, но не должны доминировать.
check(delta_err <= max(5, delta_ok // 3),
'слишком много ошибок при rolling update: +%d ok / +%d err'
% (delta_ok, delta_err))
# После rolling обе реплики должны снова обслуживать.
seen_final = {}
for _ in range(40):
r = c.call('GET', '/api/v1/users/me', actor=alice, schema='User')
iid = r['headers']['X-Instance-Id']
seen_final[iid] = seen_final.get(iid, 0) + 1
seen_final = observe_instances(c, alice, n=40)
check(len(seen_final) >= 2,
'после rolling видна одна реплика: %r' % seen_final)
print(' final instances:', seen_final)