145 lines
6.2 KiB
Python
Executable File
145 lines
6.2 KiB
Python
Executable File
#!/usr/bin/env python3
|
|
"""Параллельная проверка общей идемпотентности отправки сообщения (lab3+).
|
|
|
|
Публичный smoke проверяет только последовательный повтор. Здесь один и тот же
|
|
Idempotency-Key отправляется одновременно несколькими потоками через LB, то есть
|
|
запросы попадают на разные API-реплики: ровно одно сообщение должно быть создано,
|
|
а повтор с другим payload обязан получить 409.
|
|
|
|
Запуск (стенд уже поднят, LB на 8080):
|
|
python3 student-tests/idempotency_parallel.py --base-url http://localhost:8080
|
|
"""
|
|
import json
|
|
import os
|
|
import sys
|
|
from concurrent.futures import ThreadPoolExecutor
|
|
from pathlib import Path
|
|
import uuid
|
|
|
|
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
|
|
|
|
from client import Client, LAB, Failure, arguments, check, run # noqa: E402
|
|
|
|
WORKERS = 12
|
|
|
|
|
|
def messages_path(chat):
|
|
return '/api/v1/chats/' + chat['id'] + '/messages'
|
|
|
|
|
|
def history(client, actor, chat):
|
|
page = client.call('GET', messages_path(chat) + '?limit=100', actor=actor, schema='MessagePage')['json']
|
|
return page['items']
|
|
|
|
|
|
def replay_confirmed(client, actor, chat, workers=WORKERS):
|
|
"""Один payload, один ключ, одновременные запросы через LB."""
|
|
key = uuid.uuid4().hex
|
|
text = 'Параллельный повтор ' + key
|
|
|
|
with ThreadPoolExecutor(max_workers=workers) as pool:
|
|
responses = list(pool.map(lambda _: client.message(actor, chat, text, key=key), range(workers)))
|
|
|
|
ids = {response['json']['id'] for response in responses}
|
|
check(len(ids) == 1, 'параллельные повторы вернули разные сообщения: ' + str(len(ids)))
|
|
instances = {response['headers']['X-Instance-Id'] for response in responses}
|
|
check(len(instances) >= 2, 'запросы не разошлись по репликам: ' + str(sorted(instances)))
|
|
|
|
stored = [message for message in history(client, actor, chat) if message['text'] == text]
|
|
check(len(stored) == 1, 'параллельный повтор создал ' + str(len(stored)) + ' сообщений')
|
|
check(stored[0]['id'] == next(iter(ids)), 'в истории не то сообщение, что вернул POST')
|
|
|
|
return {'workers': workers, 'instances': sorted(instances), 'message_id': stored[0]['id']}
|
|
|
|
|
|
def conflicting_payloads(client, actor, chat, workers=WORKERS):
|
|
"""Один ключ, разные payload одновременно: один 201, остальные 409."""
|
|
key = uuid.uuid4().hex
|
|
texts = ['Конфликт ' + key + ' #' + str(index) for index in range(workers)]
|
|
|
|
def post(text):
|
|
return client.call(
|
|
'POST',
|
|
messages_path(chat),
|
|
(201, 409),
|
|
actor=actor,
|
|
body={'text': text},
|
|
headers={'Idempotency-Key': key},
|
|
schema='Message',
|
|
)
|
|
|
|
with ThreadPoolExecutor(max_workers=workers) as pool:
|
|
responses = list(pool.map(post, texts))
|
|
|
|
accepted = [response for response in responses if response['status'] == 201]
|
|
conflicts = [response for response in responses if response['status'] == 409]
|
|
check(len(accepted) == 1, 'принято запросов с одним ключом: ' + str(len(accepted)))
|
|
check(len(conflicts) == workers - 1, 'конфликтов: ' + str(len(conflicts)))
|
|
|
|
stored = [message for message in history(client, actor, chat) if message['id'] == accepted[0]['json']['id']]
|
|
check(len(stored) == 1, 'конфликтующий ключ создал не одно сообщение')
|
|
|
|
return {'workers': workers, 'accepted': len(accepted), 'conflicts': len(conflicts)}
|
|
|
|
|
|
def replayed_body_is_stable(client, actor, chat):
|
|
"""Повтор того же смысла, но другого JSON, возвращает исходное сообщение."""
|
|
key = uuid.uuid4().hex
|
|
text = 'Форматирование ' + key
|
|
first = client.message(actor, chat, text, key=key)
|
|
|
|
# Тот же payload, другой порядок пробелов в JSON: контракт требует тот же 201
|
|
# и то же сообщение.
|
|
spaced = json.dumps({'text': text}, ensure_ascii=False).replace('":', '" :')
|
|
replay = client.call(
|
|
'POST',
|
|
messages_path(chat),
|
|
201,
|
|
actor=actor,
|
|
raw=spaced.encode('utf-8'),
|
|
headers={'Idempotency-Key': key, 'Content-Type': 'application/json'},
|
|
schema='Message',
|
|
)
|
|
check(replay['json'] == first['json'], 'повтор вернул другое сообщение')
|
|
|
|
return {'message_id': first['json']['id']}
|
|
|
|
|
|
def key_is_required(client, actor, chat):
|
|
client.call('POST', messages_path(chat), 400, actor=actor, body={'text': 'без ключа'}, schema='Error')
|
|
|
|
result = client.call(
|
|
'POST',
|
|
messages_path(chat),
|
|
400,
|
|
actor=actor,
|
|
body={'text': 'кривой ключ'},
|
|
headers={'Idempotency-Key': 'bad key!'},
|
|
schema='Error',
|
|
)
|
|
check(result['status'] == 400, 'некорректный ключ обязан быть 400')
|
|
|
|
return {'status': result['status']}
|
|
|
|
|
|
def main():
|
|
args = arguments('Параллельная идемпотентность сообщений (lab3+); создаёт синтетические данные')
|
|
check(LAB >= 3, 'параллельная идемпотентность требует lab3+')
|
|
|
|
client = Client(args.base_url, args.ca_file)
|
|
alice, _, _, chat = client.bootstrap()
|
|
|
|
summary = {
|
|
'replay': replay_confirmed(client, alice, chat),
|
|
'conflict': conflicting_payloads(client, alice, chat),
|
|
'stable_body': replayed_body_is_stable(client, alice, chat),
|
|
'key_required': key_is_required(client, alice, chat),
|
|
}
|
|
|
|
print(json.dumps(summary, ensure_ascii=False))
|
|
print('PASS: параллельный повтор с одним Idempotency-Key создаёт ровно одно сообщение')
|
|
|
|
|
|
if __name__ == '__main__':
|
|
run(main)
|