forked from mtusi2026/mtusi2026lab3
work 3
This commit is contained in:
Executable
+146
@@ -0,0 +1,146 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Параллельные POST с одним Idempotency-Key в момент отказа реплики (stop или kill).
|
||||
Неподтверждённый запрос клиент повторяет с тем же ключом. На каждый ключ должно быть ровно
|
||||
одно сообщение, а все подтверждённые ответы одного ключа должны совпадать.
|
||||
Каждая реплика отказывает по очереди и затем восстанавливается. Данные синтетические."""
|
||||
# Запуск при поднятом стенде с двумя репликами: python3 scripts/idempotency-under-failure.py
|
||||
# Обычно вызывается из idempotency-evidence.sh. Код выхода: 0 при PASS, 1 при FAIL.
|
||||
import collections
|
||||
import concurrent.futures as cf
|
||||
import json
|
||||
import pathlib
|
||||
import subprocess
|
||||
import sys
|
||||
import threading
|
||||
import time
|
||||
import urllib.parse
|
||||
import uuid
|
||||
|
||||
# Корень проекта: docker compose должен запускаться из него.
|
||||
ROOT = pathlib.Path(__file__).resolve().parents[1]
|
||||
# Клиент API из публичных тестов: проверяет ответы по схеме контракта.
|
||||
sys.path.insert(0, str(ROOT / 'tests'))
|
||||
from client import Client, Failure # noqa: E402
|
||||
|
||||
# Публичный адрес LB. Задан жёстко, другой порт здесь не поддерживается.
|
||||
BASE = 'http://localhost:8080'
|
||||
# Сколько одинаковых запросов идёт одновременно на один ключ.
|
||||
PARALLEL = 16
|
||||
c = Client(BASE, timeout=5)
|
||||
|
||||
|
||||
# Выполнить docker compose и вернуть stdout. Ошибку вызывающий увидит по пустому результату.
|
||||
def dc(*args):
|
||||
return subprocess.run(['docker', 'compose', '--env-file', '.env', *args], cwd=ROOT,
|
||||
capture_output=True, text=True, check=False).stdout.strip()
|
||||
|
||||
|
||||
# Сколько реплик LB считает рабочими: поле status (индекс 17) в CSV-статистике HAProxy.
|
||||
def up_count():
|
||||
csv = dc('exec', '-T', 'lb', 'wget', '-qO-', 'http://127.0.0.1:8404/stats;csv')
|
||||
return sum(1 for line in csv.splitlines()
|
||||
if line.startswith('api,') and line.split(',')[1] != 'BACKEND' and line.split(',')[17] == 'UP')
|
||||
|
||||
|
||||
# Подождать до 60 с, пока LB не покажет n рабочих реплик, иначе завершить проверку ошибкой.
|
||||
def wait_up(n):
|
||||
end = time.monotonic() + 60
|
||||
while time.monotonic() < end:
|
||||
if up_count() == n:
|
||||
return
|
||||
time.sleep(0.3)
|
||||
raise SystemExit('LB не увидел реплик: %d' % n)
|
||||
|
||||
|
||||
# Возвращает тело подтверждённого ответа и реплику, которая ответила. tally считает ошибки
|
||||
# по кодам: это запросы, результат которых клиенту неизвестен, поэтому их и повторяют.
|
||||
def post_until_confirmed(actor, chat, key, text, tally):
|
||||
"""Как настоящий клиент: повторяет тот же ключ и то же тело до подтверждения."""
|
||||
deadline = time.monotonic() + 30
|
||||
while time.monotonic() < deadline:
|
||||
try:
|
||||
r = c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', 201, actor=actor,
|
||||
body={'text': text}, headers={'Idempotency-Key': key}, schema='Message')
|
||||
return r['bytes'], r['headers']['X-Instance-Id']
|
||||
except Failure as exc:
|
||||
tally[str(exc).rsplit(' ', 1)[-1].strip('()')] += 1
|
||||
time.sleep(0.05)
|
||||
raise Failure('запрос не подтверждён за 30 с')
|
||||
|
||||
|
||||
# Вся история чата постранично: с ней сверяется результат.
|
||||
def history(actor, chat):
|
||||
items, cursor = [], None
|
||||
while True:
|
||||
query = '?limit=100' + ('&cursor=' + urllib.parse.quote(cursor, safe='') if cursor else '')
|
||||
page = c.call('GET', '/api/v1/chats/' + chat['id'] + '/messages' + query, actor=actor,
|
||||
schema='MessagePage')['json']
|
||||
items += page['items']
|
||||
cursor = page['next_cursor']
|
||||
if not cursor:
|
||||
return items
|
||||
|
||||
|
||||
# Один сценарий: 10 с гонки на ключах, на 2-й секунде реплика cid отказывает в режиме mode.
|
||||
# Возвращает True, если нарушений нет.
|
||||
def scenario(mode, cid):
|
||||
# Отдельные пользователи и чат на сценарий: в истории только его сообщения.
|
||||
actor, _, _, chat = c.bootstrap()
|
||||
retried = collections.Counter()
|
||||
instances = collections.Counter()
|
||||
# keys — обработано ключей, mismatched — ключей с разными ответами,
|
||||
# expected — тексты, которые должны оказаться в истории.
|
||||
keys, mismatched = 0, 0
|
||||
expected = set()
|
||||
start = time.monotonic()
|
||||
fired = threading.Event()
|
||||
# Отказ в отдельном потоке: гонка на ключах в это время продолжается.
|
||||
def fail():
|
||||
time.sleep(2)
|
||||
subprocess.run(['docker', mode, cid], capture_output=True, check=False)
|
||||
fired.set()
|
||||
threading.Thread(target=fail).start()
|
||||
with cf.ThreadPoolExecutor(PARALLEL) as pool:
|
||||
while time.monotonic() - start < 10:
|
||||
# Каждый раунд: новый ключ и уникальный текст, по которому сообщение найдётся в истории.
|
||||
key, text = uuid.uuid4().hex, 'parallel-' + uuid.uuid4().hex
|
||||
expected.add(text)
|
||||
# 16 одинаковых запросов одновременно; раунд ждёт подтверждения всех.
|
||||
results = list(pool.map(lambda _: post_until_confirmed(actor, chat, key, text, retried), range(PARALLEL)))
|
||||
keys += 1
|
||||
# Все ответы одного ключа должны совпасть побайтно, иначе ключ считается нарушенным.
|
||||
mismatched += len({body for body, _ in results}) != 1
|
||||
instances.update(inst for _, inst in results)
|
||||
# Дождаться завершения docker stop/kill, затем считать, сколько раз встречается каждый текст.
|
||||
fired.wait()
|
||||
copies = collections.Counter(m['text'] for m in history(actor, chat))
|
||||
out = {
|
||||
'mode': mode, 'replica': cid[:12], 'keys': keys, 'parallel_per_key': PARALLEL,
|
||||
'retries_after_uncertain_result': dict(retried), 'instances': dict(instances),
|
||||
'keys_with_different_answers': mismatched,
|
||||
'messages_in_history': sum(copies.values()),
|
||||
'keys_without_message': len(expected - set(copies)),
|
||||
'keys_with_duplicates': sum(1 for n in copies.values() if n > 1),
|
||||
}
|
||||
print(json.dumps(out, ensure_ascii=False), flush=True)
|
||||
# Успех: ответы совпали, нет потерь и дублей, сообщений в истории ровно столько, сколько ключей.
|
||||
return not (mismatched or out['keys_without_message'] or out['keys_with_duplicates']
|
||||
or out['messages_in_history'] != keys)
|
||||
|
||||
|
||||
# Каждая реплика отказывает в обоих режимах, всего 4 сценария на двух репликах.
|
||||
# docker start восстанавливает её, и следующий сценарий ждёт, пока LB увидит обе.
|
||||
def main():
|
||||
ok = True
|
||||
for mode in ('stop', 'kill'):
|
||||
wait_up(2)
|
||||
for cid in dc('ps', '-q', 'api').split():
|
||||
wait_up(2)
|
||||
ok = scenario(mode, cid) and ok
|
||||
subprocess.run(['docker', 'start', cid], capture_output=True, check=False)
|
||||
wait_up(2)
|
||||
print('PASS' if ok else 'FAIL')
|
||||
sys.exit(0 if ok else 1)
|
||||
|
||||
|
||||
main()
|
||||
Reference in New Issue
Block a user