#!/usr/bin/env python3 """Параллельные POST с одним Idempotency-Key в момент отказа реплики (stop или kill). Неподтверждённый запрос клиент повторяет с тем же ключом. На каждый ключ должно быть ровно одно сообщение, а все подтверждённые ответы одного ключа должны совпадать. Каждая реплика отказывает по очереди и затем восстанавливается. Данные синтетические.""" # Запуск при поднятом стенде с двумя репликами: python3 scripts/idempotency-under-failure.py # Обычно вызывается из idempotency-evidence.sh. Код выхода: 0 при PASS, 1 при FAIL. import collections import concurrent.futures as cf import json import pathlib import subprocess import sys import threading import time import urllib.parse import uuid # Корень проекта: docker compose должен запускаться из него. ROOT = pathlib.Path(__file__).resolve().parents[1] # Клиент API из публичных тестов: проверяет ответы по схеме контракта. sys.path.insert(0, str(ROOT / 'tests')) from client import Client, Failure # noqa: E402 # Публичный адрес LB. Задан жёстко, другой порт здесь не поддерживается. BASE = 'http://localhost:8080' # Сколько одинаковых запросов идёт одновременно на один ключ. PARALLEL = 16 c = Client(BASE, timeout=5) # Выполнить docker compose и вернуть stdout. Ошибку вызывающий увидит по пустому результату. def dc(*args): return subprocess.run(['docker', 'compose', '--env-file', '.env', *args], cwd=ROOT, capture_output=True, text=True, check=False).stdout.strip() # Сколько реплик LB считает рабочими: поле status (индекс 17) в CSV-статистике HAProxy. def up_count(): csv = dc('exec', '-T', 'lb', 'wget', '-qO-', 'http://127.0.0.1:8404/stats;csv') return sum(1 for line in csv.splitlines() if line.startswith('api,') and line.split(',')[1] != 'BACKEND' and line.split(',')[17] == 'UP') # Подождать до 60 с, пока LB не покажет n рабочих реплик, иначе завершить проверку ошибкой. def wait_up(n): end = time.monotonic() + 60 while time.monotonic() < end: if up_count() == n: return time.sleep(0.3) raise SystemExit('LB не увидел реплик: %d' % n) # Возвращает тело подтверждённого ответа и реплику, которая ответила. tally считает ошибки # по кодам: это запросы, результат которых клиенту неизвестен, поэтому их и повторяют. def post_until_confirmed(actor, chat, key, text, tally): """Как настоящий клиент: повторяет тот же ключ и то же тело до подтверждения.""" deadline = time.monotonic() + 30 while time.monotonic() < deadline: try: r = c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', 201, actor=actor, body={'text': text}, headers={'Idempotency-Key': key}, schema='Message') return r['bytes'], r['headers']['X-Instance-Id'] except Failure as exc: tally[str(exc).rsplit(' ', 1)[-1].strip('()')] += 1 time.sleep(0.05) raise Failure('запрос не подтверждён за 30 с') # Вся история чата постранично: с ней сверяется результат. def history(actor, chat): items, cursor = [], None while True: query = '?limit=100' + ('&cursor=' + urllib.parse.quote(cursor, safe='') if cursor else '') page = c.call('GET', '/api/v1/chats/' + chat['id'] + '/messages' + query, actor=actor, schema='MessagePage')['json'] items += page['items'] cursor = page['next_cursor'] if not cursor: return items # Один сценарий: 10 с гонки на ключах, на 2-й секунде реплика cid отказывает в режиме mode. # Возвращает True, если нарушений нет. def scenario(mode, cid): # Отдельные пользователи и чат на сценарий: в истории только его сообщения. actor, _, _, chat = c.bootstrap() retried = collections.Counter() instances = collections.Counter() # keys — обработано ключей, mismatched — ключей с разными ответами, # expected — тексты, которые должны оказаться в истории. keys, mismatched = 0, 0 expected = set() start = time.monotonic() fired = threading.Event() # Отказ в отдельном потоке: гонка на ключах в это время продолжается. def fail(): time.sleep(2) subprocess.run(['docker', mode, cid], capture_output=True, check=False) fired.set() threading.Thread(target=fail).start() with cf.ThreadPoolExecutor(PARALLEL) as pool: while time.monotonic() - start < 10: # Каждый раунд: новый ключ и уникальный текст, по которому сообщение найдётся в истории. key, text = uuid.uuid4().hex, 'parallel-' + uuid.uuid4().hex expected.add(text) # 16 одинаковых запросов одновременно; раунд ждёт подтверждения всех. results = list(pool.map(lambda _: post_until_confirmed(actor, chat, key, text, retried), range(PARALLEL))) keys += 1 # Все ответы одного ключа должны совпасть побайтно, иначе ключ считается нарушенным. mismatched += len({body for body, _ in results}) != 1 instances.update(inst for _, inst in results) # Дождаться завершения docker stop/kill, затем считать, сколько раз встречается каждый текст. fired.wait() copies = collections.Counter(m['text'] for m in history(actor, chat)) out = { 'mode': mode, 'replica': cid[:12], 'keys': keys, 'parallel_per_key': PARALLEL, 'retries_after_uncertain_result': dict(retried), 'instances': dict(instances), 'keys_with_different_answers': mismatched, 'messages_in_history': sum(copies.values()), 'keys_without_message': len(expected - set(copies)), 'keys_with_duplicates': sum(1 for n in copies.values() if n > 1), } print(json.dumps(out, ensure_ascii=False), flush=True) # Успех: ответы совпали, нет потерь и дублей, сообщений в истории ровно столько, сколько ключей. return not (mismatched or out['keys_without_message'] or out['keys_with_duplicates'] or out['messages_in_history'] != keys) # Каждая реплика отказывает в обоих режимах, всего 4 сценария на двух репликах. # docker start восстанавливает её, и следующий сценарий ждёт, пока LB увидит обе. def main(): ok = True for mode in ('stop', 'kill'): wait_up(2) for cid in dc('ps', '-q', 'api').split(): wait_up(2) ok = scenario(mode, cid) and ok subprocess.run(['docker', 'start', cid], capture_output=True, check=False) wait_up(2) print('PASS' if ok else 'FAIL') sys.exit(0 if ok else 1) main()