147 lines
8.0 KiB
Python
Executable File
147 lines
8.0 KiB
Python
Executable File
#!/usr/bin/env python3
|
|
"""Параллельные POST с одним Idempotency-Key в момент отказа реплики (stop или kill).
|
|
Неподтверждённый запрос клиент повторяет с тем же ключом. На каждый ключ должно быть ровно
|
|
одно сообщение, а все подтверждённые ответы одного ключа должны совпадать.
|
|
Каждая реплика отказывает по очереди и затем восстанавливается. Данные синтетические."""
|
|
# Запуск при поднятом стенде с двумя репликами: python3 scripts/idempotency-under-failure.py
|
|
# Обычно вызывается из idempotency-evidence.sh. Код выхода: 0 при PASS, 1 при FAIL.
|
|
import collections
|
|
import concurrent.futures as cf
|
|
import json
|
|
import pathlib
|
|
import subprocess
|
|
import sys
|
|
import threading
|
|
import time
|
|
import urllib.parse
|
|
import uuid
|
|
|
|
# Корень проекта: docker compose должен запускаться из него.
|
|
ROOT = pathlib.Path(__file__).resolve().parents[1]
|
|
# Клиент API из публичных тестов: проверяет ответы по схеме контракта.
|
|
sys.path.insert(0, str(ROOT / 'tests'))
|
|
from client import Client, Failure # noqa: E402
|
|
|
|
# Публичный адрес LB. Задан жёстко, другой порт здесь не поддерживается.
|
|
BASE = 'http://localhost:8080'
|
|
# Сколько одинаковых запросов идёт одновременно на один ключ.
|
|
PARALLEL = 16
|
|
c = Client(BASE, timeout=5)
|
|
|
|
|
|
# Выполнить docker compose и вернуть stdout. Ошибку вызывающий увидит по пустому результату.
|
|
def dc(*args):
|
|
return subprocess.run(['docker', 'compose', '--env-file', '.env', *args], cwd=ROOT,
|
|
capture_output=True, text=True, check=False).stdout.strip()
|
|
|
|
|
|
# Сколько реплик LB считает рабочими: поле status (индекс 17) в CSV-статистике HAProxy.
|
|
def up_count():
|
|
csv = dc('exec', '-T', 'lb', 'wget', '-qO-', 'http://127.0.0.1:8404/stats;csv')
|
|
return sum(1 for line in csv.splitlines()
|
|
if line.startswith('api,') and line.split(',')[1] != 'BACKEND' and line.split(',')[17] == 'UP')
|
|
|
|
|
|
# Подождать до 60 с, пока LB не покажет n рабочих реплик, иначе завершить проверку ошибкой.
|
|
def wait_up(n):
|
|
end = time.monotonic() + 60
|
|
while time.monotonic() < end:
|
|
if up_count() == n:
|
|
return
|
|
time.sleep(0.3)
|
|
raise SystemExit('LB не увидел реплик: %d' % n)
|
|
|
|
|
|
# Возвращает тело подтверждённого ответа и реплику, которая ответила. tally считает ошибки
|
|
# по кодам: это запросы, результат которых клиенту неизвестен, поэтому их и повторяют.
|
|
def post_until_confirmed(actor, chat, key, text, tally):
|
|
"""Как настоящий клиент: повторяет тот же ключ и то же тело до подтверждения."""
|
|
deadline = time.monotonic() + 30
|
|
while time.monotonic() < deadline:
|
|
try:
|
|
r = c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', 201, actor=actor,
|
|
body={'text': text}, headers={'Idempotency-Key': key}, schema='Message')
|
|
return r['bytes'], r['headers']['X-Instance-Id']
|
|
except Failure as exc:
|
|
tally[str(exc).rsplit(' ', 1)[-1].strip('()')] += 1
|
|
time.sleep(0.05)
|
|
raise Failure('запрос не подтверждён за 30 с')
|
|
|
|
|
|
# Вся история чата постранично: с ней сверяется результат.
|
|
def history(actor, chat):
|
|
items, cursor = [], None
|
|
while True:
|
|
query = '?limit=100' + ('&cursor=' + urllib.parse.quote(cursor, safe='') if cursor else '')
|
|
page = c.call('GET', '/api/v1/chats/' + chat['id'] + '/messages' + query, actor=actor,
|
|
schema='MessagePage')['json']
|
|
items += page['items']
|
|
cursor = page['next_cursor']
|
|
if not cursor:
|
|
return items
|
|
|
|
|
|
# Один сценарий: 10 с гонки на ключах, на 2-й секунде реплика cid отказывает в режиме mode.
|
|
# Возвращает True, если нарушений нет.
|
|
def scenario(mode, cid):
|
|
# Отдельные пользователи и чат на сценарий: в истории только его сообщения.
|
|
actor, _, _, chat = c.bootstrap()
|
|
retried = collections.Counter()
|
|
instances = collections.Counter()
|
|
# keys — обработано ключей, mismatched — ключей с разными ответами,
|
|
# expected — тексты, которые должны оказаться в истории.
|
|
keys, mismatched = 0, 0
|
|
expected = set()
|
|
start = time.monotonic()
|
|
fired = threading.Event()
|
|
# Отказ в отдельном потоке: гонка на ключах в это время продолжается.
|
|
def fail():
|
|
time.sleep(2)
|
|
subprocess.run(['docker', mode, cid], capture_output=True, check=False)
|
|
fired.set()
|
|
threading.Thread(target=fail).start()
|
|
with cf.ThreadPoolExecutor(PARALLEL) as pool:
|
|
while time.monotonic() - start < 10:
|
|
# Каждый раунд: новый ключ и уникальный текст, по которому сообщение найдётся в истории.
|
|
key, text = uuid.uuid4().hex, 'parallel-' + uuid.uuid4().hex
|
|
expected.add(text)
|
|
# 16 одинаковых запросов одновременно; раунд ждёт подтверждения всех.
|
|
results = list(pool.map(lambda _: post_until_confirmed(actor, chat, key, text, retried), range(PARALLEL)))
|
|
keys += 1
|
|
# Все ответы одного ключа должны совпасть побайтно, иначе ключ считается нарушенным.
|
|
mismatched += len({body for body, _ in results}) != 1
|
|
instances.update(inst for _, inst in results)
|
|
# Дождаться завершения docker stop/kill, затем считать, сколько раз встречается каждый текст.
|
|
fired.wait()
|
|
copies = collections.Counter(m['text'] for m in history(actor, chat))
|
|
out = {
|
|
'mode': mode, 'replica': cid[:12], 'keys': keys, 'parallel_per_key': PARALLEL,
|
|
'retries_after_uncertain_result': dict(retried), 'instances': dict(instances),
|
|
'keys_with_different_answers': mismatched,
|
|
'messages_in_history': sum(copies.values()),
|
|
'keys_without_message': len(expected - set(copies)),
|
|
'keys_with_duplicates': sum(1 for n in copies.values() if n > 1),
|
|
}
|
|
print(json.dumps(out, ensure_ascii=False), flush=True)
|
|
# Успех: ответы совпали, нет потерь и дублей, сообщений в истории ровно столько, сколько ключей.
|
|
return not (mismatched or out['keys_without_message'] or out['keys_with_duplicates']
|
|
or out['messages_in_history'] != keys)
|
|
|
|
|
|
# Каждая реплика отказывает в обоих режимах, всего 4 сценария на двух репликах.
|
|
# docker start восстанавливает её, и следующий сценарий ждёт, пока LB увидит обе.
|
|
def main():
|
|
ok = True
|
|
for mode in ('stop', 'kill'):
|
|
wait_up(2)
|
|
for cid in dc('ps', '-q', 'api').split():
|
|
wait_up(2)
|
|
ok = scenario(mode, cid) and ok
|
|
subprocess.run(['docker', 'start', cid], capture_output=True, check=False)
|
|
wait_up(2)
|
|
print('PASS' if ok else 'FAIL')
|
|
sys.exit(0 if ok else 1)
|
|
|
|
|
|
main()
|