52 lines
4.6 KiB
Python
Executable File
52 lines
4.6 KiB
Python
Executable File
#!/usr/bin/env python3
|
||
"""Сводка результата loadgen: RPS по фазам отказа и время возврата к исходной ёмкости.
|
||
Секунды отказов берутся из расписания failover-load.sh: отказ на 10 и 32 с, запуск на 20 и 42 с."""
|
||
# Запуск: python3 scripts/failover-summary.py evidence/level4/failover-stop.json
|
||
# Вызывается в конце failover-load.sh. Только читает JSON и печатает сводку.
|
||
# Рассчитан на 2 отказа по расписанию выше: при другом числе реплик сводка будет неверной.
|
||
import json
|
||
import statistics
|
||
import sys
|
||
|
||
# Результат loadgen: путь передаётся первым аргументом.
|
||
data = json.load(open(sys.argv[1], encoding='utf8'))
|
||
# Посекундная шкала замера: номер секунды -> число успешных запросов и число ошибок.
|
||
ok = {s['t']: s['ok'] for s in data['timeline']}
|
||
errors = {s['t']: s['err'] for s in data['timeline']}
|
||
# Исходная ёмкость: средний RPS за первые 10 секунд, пока работают все реплики.
|
||
base = statistics.mean(ok[t] for t in range(0, 10))
|
||
|
||
|
||
# Средний RPS на секундах от a включительно до b не включая.
|
||
def mean(a, b):
|
||
return round(statistics.mean(ok[t] for t in range(a, b)))
|
||
|
||
|
||
print('исходный RPS (0-9 с): %d' % round(base))
|
||
# Фазы отказа: секунда отказа, секунда запуска реплики и секунда конца наблюдения
|
||
# (начало следующего отказа или конец 60-секундного замера). Реплики нумеруются с 1.
|
||
for number, (fail, start, stable) in enumerate(((10, 20, 32), (32, 42, 60)), 1):
|
||
# Первая секунда после отказа, где RPS ниже 75% исходного: ёмкость заметно упала.
|
||
# None, если RPS так и не опустился ниже порога.
|
||
half = next((t for t in range(fail, start) if ok[t] < base * 0.75), None)
|
||
# Первая секунда после запуска, где RPS снова не ниже 90% исходного: ёмкость вернулась.
|
||
# None, если до конца фазы RPS не вернулся.
|
||
back = next((t for t in range(start, stable) if ok[t] >= base * 0.9), None)
|
||
# RPS при одной реплике считается с 3-й секунды после отказа, а RPS после возврата —
|
||
# со 2-й секунды после запуска: переходные секунды исказили бы среднее.
|
||
# Окно ошибок сдвинуто на секунду назад: часы скрипта и генератора расходятся до 1 с.
|
||
# Конец окна тоже сдвинут, поэтому окна двух реплик стыкуются и не считают ошибку дважды.
|
||
print('реплика %d: RPS при одной реплике %d, ёмкость упала на %s с, вернулась на %s с (через %s с после docker start), '
|
||
'RPS после возврата %d, ошибок в окне %d' % (
|
||
number, mean(fail + 3, start), half, back, back - start if back is not None else '-',
|
||
mean(start + 2, stable), sum(errors[t] for t in range(fail - 1, stable - 1))))
|
||
# Итоги всего замера, которые loadgen уже посчитал сам: печатаются без пересчёта.
|
||
# Секунды, в которые не было ни одного успешного запроса (полная недоступность).
|
||
print('секунд без единого успеха: %d' % data['seconds_without_success'])
|
||
# Ошибки по типам и записи, подтверждённые только после повтора с тем же ключом идемпотентности.
|
||
print('ошибки: %s; записей подтверждено после повтора: %d' % (data['errors'], data['writes_confirmed_after_retry']))
|
||
# Эпизоды ошибок: начало, длительность и количество.
|
||
print('инциденты: %s' % json.dumps(data['error_incidents'], ensure_ascii=False))
|
||
# Сверка истории с подтверждёнными записями: потери и дубли.
|
||
print('проверка истории: %s' % json.dumps(data['verify'], ensure_ascii=False))
|