#!/usr/bin/env python3 """Сводка результата loadgen: RPS по фазам отказа и время возврата к исходной ёмкости. Секунды отказов берутся из расписания failover-load.sh: отказ на 10 и 32 с, запуск на 20 и 42 с.""" # Запуск: python3 scripts/failover-summary.py evidence/level4/failover-stop.json # Вызывается в конце failover-load.sh. Только читает JSON и печатает сводку. # Рассчитан на 2 отказа по расписанию выше: при другом числе реплик сводка будет неверной. import json import statistics import sys # Результат loadgen: путь передаётся первым аргументом. data = json.load(open(sys.argv[1], encoding='utf8')) # Посекундная шкала замера: номер секунды -> число успешных запросов и число ошибок. ok = {s['t']: s['ok'] for s in data['timeline']} errors = {s['t']: s['err'] for s in data['timeline']} # Исходная ёмкость: средний RPS за первые 10 секунд, пока работают все реплики. base = statistics.mean(ok[t] for t in range(0, 10)) # Средний RPS на секундах от a включительно до b не включая. def mean(a, b): return round(statistics.mean(ok[t] for t in range(a, b))) print('исходный RPS (0-9 с): %d' % round(base)) # Фазы отказа: секунда отказа, секунда запуска реплики и секунда конца наблюдения # (начало следующего отказа или конец 60-секундного замера). Реплики нумеруются с 1. for number, (fail, start, stable) in enumerate(((10, 20, 32), (32, 42, 60)), 1): # Первая секунда после отказа, где RPS ниже 75% исходного: ёмкость заметно упала. # None, если RPS так и не опустился ниже порога. half = next((t for t in range(fail, start) if ok[t] < base * 0.75), None) # Первая секунда после запуска, где RPS снова не ниже 90% исходного: ёмкость вернулась. # None, если до конца фазы RPS не вернулся. back = next((t for t in range(start, stable) if ok[t] >= base * 0.9), None) # RPS при одной реплике считается с 3-й секунды после отказа, а RPS после возврата — # со 2-й секунды после запуска: переходные секунды исказили бы среднее. # Окно ошибок сдвинуто на секунду назад: часы скрипта и генератора расходятся до 1 с. # Конец окна тоже сдвинут, поэтому окна двух реплик стыкуются и не считают ошибку дважды. print('реплика %d: RPS при одной реплике %d, ёмкость упала на %s с, вернулась на %s с (через %s с после docker start), ' 'RPS после возврата %d, ошибок в окне %d' % ( number, mean(fail + 3, start), half, back, back - start if back is not None else '-', mean(start + 2, stable), sum(errors[t] for t in range(fail - 1, stable - 1)))) # Итоги всего замера, которые loadgen уже посчитал сам: печатаются без пересчёта. # Секунды, в которые не было ни одного успешного запроса (полная недоступность). print('секунд без единого успеха: %d' % data['seconds_without_success']) # Ошибки по типам и записи, подтверждённые только после повтора с тем же ключом идемпотентности. print('ошибки: %s; записей подтверждено после повтора: %d' % (data['errors'], data['writes_confirmed_after_retry'])) # Эпизоды ошибок: начало, длительность и количество. print('инциденты: %s' % json.dumps(data['error_incidents'], ensure_ascii=False)) # Сверка истории с подтверждёнными записями: потери и дубли. print('проверка истории: %s' % json.dumps(data['verify'], ensure_ascii=False))