Files
mtusi2026lab3/scripts/idempotency-under-failure.py
T
2026-11-05 17:56:30 +03:00

147 lines
8.0 KiB
Python
Executable File

#!/usr/bin/env python3
"""Параллельные POST с одним Idempotency-Key в момент отказа реплики (stop или kill).
Неподтверждённый запрос клиент повторяет с тем же ключом. На каждый ключ должно быть ровно
одно сообщение, а все подтверждённые ответы одного ключа должны совпадать.
Каждая реплика отказывает по очереди и затем восстанавливается. Данные синтетические."""
# Запуск при поднятом стенде с двумя репликами: python3 scripts/idempotency-under-failure.py
# Обычно вызывается из idempotency-evidence.sh. Код выхода: 0 при PASS, 1 при FAIL.
import collections
import concurrent.futures as cf
import json
import pathlib
import subprocess
import sys
import threading
import time
import urllib.parse
import uuid
# Корень проекта: docker compose должен запускаться из него.
ROOT = pathlib.Path(__file__).resolve().parents[1]
# Клиент API из публичных тестов: проверяет ответы по схеме контракта.
sys.path.insert(0, str(ROOT / 'tests'))
from client import Client, Failure # noqa: E402
# Публичный адрес LB. Задан жёстко, другой порт здесь не поддерживается.
BASE = 'http://localhost:8080'
# Сколько одинаковых запросов идёт одновременно на один ключ.
PARALLEL = 16
c = Client(BASE, timeout=5)
# Выполнить docker compose и вернуть stdout. Ошибку вызывающий увидит по пустому результату.
def dc(*args):
return subprocess.run(['docker', 'compose', '--env-file', '.env', *args], cwd=ROOT,
capture_output=True, text=True, check=False).stdout.strip()
# Сколько реплик LB считает рабочими: поле status (индекс 17) в CSV-статистике HAProxy.
def up_count():
csv = dc('exec', '-T', 'lb', 'wget', '-qO-', 'http://127.0.0.1:8404/stats;csv')
return sum(1 for line in csv.splitlines()
if line.startswith('api,') and line.split(',')[1] != 'BACKEND' and line.split(',')[17] == 'UP')
# Подождать до 60 с, пока LB не покажет n рабочих реплик, иначе завершить проверку ошибкой.
def wait_up(n):
end = time.monotonic() + 60
while time.monotonic() < end:
if up_count() == n:
return
time.sleep(0.3)
raise SystemExit('LB не увидел реплик: %d' % n)
# Возвращает тело подтверждённого ответа и реплику, которая ответила. tally считает ошибки
# по кодам: это запросы, результат которых клиенту неизвестен, поэтому их и повторяют.
def post_until_confirmed(actor, chat, key, text, tally):
"""Как настоящий клиент: повторяет тот же ключ и то же тело до подтверждения."""
deadline = time.monotonic() + 30
while time.monotonic() < deadline:
try:
r = c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', 201, actor=actor,
body={'text': text}, headers={'Idempotency-Key': key}, schema='Message')
return r['bytes'], r['headers']['X-Instance-Id']
except Failure as exc:
tally[str(exc).rsplit(' ', 1)[-1].strip('()')] += 1
time.sleep(0.05)
raise Failure('запрос не подтверждён за 30 с')
# Вся история чата постранично: с ней сверяется результат.
def history(actor, chat):
items, cursor = [], None
while True:
query = '?limit=100' + ('&cursor=' + urllib.parse.quote(cursor, safe='') if cursor else '')
page = c.call('GET', '/api/v1/chats/' + chat['id'] + '/messages' + query, actor=actor,
schema='MessagePage')['json']
items += page['items']
cursor = page['next_cursor']
if not cursor:
return items
# Один сценарий: 10 с гонки на ключах, на 2-й секунде реплика cid отказывает в режиме mode.
# Возвращает True, если нарушений нет.
def scenario(mode, cid):
# Отдельные пользователи и чат на сценарий: в истории только его сообщения.
actor, _, _, chat = c.bootstrap()
retried = collections.Counter()
instances = collections.Counter()
# keys — обработано ключей, mismatched — ключей с разными ответами,
# expected — тексты, которые должны оказаться в истории.
keys, mismatched = 0, 0
expected = set()
start = time.monotonic()
fired = threading.Event()
# Отказ в отдельном потоке: гонка на ключах в это время продолжается.
def fail():
time.sleep(2)
subprocess.run(['docker', mode, cid], capture_output=True, check=False)
fired.set()
threading.Thread(target=fail).start()
with cf.ThreadPoolExecutor(PARALLEL) as pool:
while time.monotonic() - start < 10:
# Каждый раунд: новый ключ и уникальный текст, по которому сообщение найдётся в истории.
key, text = uuid.uuid4().hex, 'parallel-' + uuid.uuid4().hex
expected.add(text)
# 16 одинаковых запросов одновременно; раунд ждёт подтверждения всех.
results = list(pool.map(lambda _: post_until_confirmed(actor, chat, key, text, retried), range(PARALLEL)))
keys += 1
# Все ответы одного ключа должны совпасть побайтно, иначе ключ считается нарушенным.
mismatched += len({body for body, _ in results}) != 1
instances.update(inst for _, inst in results)
# Дождаться завершения docker stop/kill, затем считать, сколько раз встречается каждый текст.
fired.wait()
copies = collections.Counter(m['text'] for m in history(actor, chat))
out = {
'mode': mode, 'replica': cid[:12], 'keys': keys, 'parallel_per_key': PARALLEL,
'retries_after_uncertain_result': dict(retried), 'instances': dict(instances),
'keys_with_different_answers': mismatched,
'messages_in_history': sum(copies.values()),
'keys_without_message': len(expected - set(copies)),
'keys_with_duplicates': sum(1 for n in copies.values() if n > 1),
}
print(json.dumps(out, ensure_ascii=False), flush=True)
# Успех: ответы совпали, нет потерь и дублей, сообщений в истории ровно столько, сколько ключей.
return not (mismatched or out['keys_without_message'] or out['keys_with_duplicates']
or out['messages_in_history'] != keys)
# Каждая реплика отказывает в обоих режимах, всего 4 сценария на двух репликах.
# docker start восстанавливает её, и следующий сценарий ждёт, пока LB увидит обе.
def main():
ok = True
for mode in ('stop', 'kill'):
wait_up(2)
for cid in dc('ps', '-q', 'api').split():
wait_up(2)
ok = scenario(mode, cid) and ok
subprocess.run(['docker', 'start', cid], capture_output=True, check=False)
wait_up(2)
print('PASS' if ok else 'FAIL')
sys.exit(0 if ok else 1)
main()