Files
mtusi2026lab3/scripts/failover-summary.py
T
2026-11-05 17:56:30 +03:00

52 lines
4.6 KiB
Python
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""Сводка результата loadgen: RPS по фазам отказа и время возврата к исходной ёмкости.
Секунды отказов берутся из расписания failover-load.sh: отказ на 10 и 32 с, запуск на 20 и 42 с."""
# Запуск: python3 scripts/failover-summary.py evidence/level4/failover-stop.json
# Вызывается в конце failover-load.sh. Только читает JSON и печатает сводку.
# Рассчитан на 2 отказа по расписанию выше: при другом числе реплик сводка будет неверной.
import json
import statistics
import sys
# Результат loadgen: путь передаётся первым аргументом.
data = json.load(open(sys.argv[1], encoding='utf8'))
# Посекундная шкала замера: номер секунды -> число успешных запросов и число ошибок.
ok = {s['t']: s['ok'] for s in data['timeline']}
errors = {s['t']: s['err'] for s in data['timeline']}
# Исходная ёмкость: средний RPS за первые 10 секунд, пока работают все реплики.
base = statistics.mean(ok[t] for t in range(0, 10))
# Средний RPS на секундах от a включительно до b не включая.
def mean(a, b):
return round(statistics.mean(ok[t] for t in range(a, b)))
print('исходный RPS (0-9 с): %d' % round(base))
# Фазы отказа: секунда отказа, секунда запуска реплики и секунда конца наблюдения
# (начало следующего отказа или конец 60-секундного замера). Реплики нумеруются с 1.
for number, (fail, start, stable) in enumerate(((10, 20, 32), (32, 42, 60)), 1):
# Первая секунда после отказа, где RPS ниже 75% исходного: ёмкость заметно упала.
# None, если RPS так и не опустился ниже порога.
half = next((t for t in range(fail, start) if ok[t] < base * 0.75), None)
# Первая секунда после запуска, где RPS снова не ниже 90% исходного: ёмкость вернулась.
# None, если до конца фазы RPS не вернулся.
back = next((t for t in range(start, stable) if ok[t] >= base * 0.9), None)
# RPS при одной реплике считается с 3-й секунды после отказа, а RPS после возврата —
# со 2-й секунды после запуска: переходные секунды исказили бы среднее.
# Окно ошибок сдвинуто на секунду назад: часы скрипта и генератора расходятся до 1 с.
# Конец окна тоже сдвинут, поэтому окна двух реплик стыкуются и не считают ошибку дважды.
print('реплика %d: RPS при одной реплике %d, ёмкость упала на %s с, вернулась на %s с (через %s с после docker start), '
'RPS после возврата %d, ошибок в окне %d' % (
number, mean(fail + 3, start), half, back, back - start if back is not None else '-',
mean(start + 2, stable), sum(errors[t] for t in range(fail - 1, stable - 1))))
# Итоги всего замера, которые loadgen уже посчитал сам: печатаются без пересчёта.
# Секунды, в которые не было ни одного успешного запроса (полная недоступность).
print('секунд без единого успеха: %d' % data['seconds_without_success'])
# Ошибки по типам и записи, подтверждённые только после повтора с тем же ключом идемпотентности.
print('ошибки: %s; записей подтверждено после повтора: %d' % (data['errors'], data['writes_confirmed_after_retry']))
# Эпизоды ошибок: начало, длительность и количество.
print('инциденты: %s' % json.dumps(data['error_incidents'], ensure_ascii=False))
# Сверка истории с подтверждёнными записями: потери и дубли.
print('проверка истории: %s' % json.dumps(data['verify'], ensure_ascii=False))