This commit is contained in:
Nurlygayanova Ekaterina
2026-11-05 17:56:30 +03:00
parent 0ab3a341aa
commit 1c95e2e68e
178 changed files with 21135 additions and 17 deletions
+51
View File
@@ -0,0 +1,51 @@
#!/usr/bin/env python3
"""Сводка результата loadgen: RPS по фазам отказа и время возврата к исходной ёмкости.
Секунды отказов берутся из расписания failover-load.sh: отказ на 10 и 32 с, запуск на 20 и 42 с."""
# Запуск: python3 scripts/failover-summary.py evidence/level4/failover-stop.json
# Вызывается в конце failover-load.sh. Только читает JSON и печатает сводку.
# Рассчитан на 2 отказа по расписанию выше: при другом числе реплик сводка будет неверной.
import json
import statistics
import sys
# Результат loadgen: путь передаётся первым аргументом.
data = json.load(open(sys.argv[1], encoding='utf8'))
# Посекундная шкала замера: номер секунды -> число успешных запросов и число ошибок.
ok = {s['t']: s['ok'] for s in data['timeline']}
errors = {s['t']: s['err'] for s in data['timeline']}
# Исходная ёмкость: средний RPS за первые 10 секунд, пока работают все реплики.
base = statistics.mean(ok[t] for t in range(0, 10))
# Средний RPS на секундах от a включительно до b не включая.
def mean(a, b):
return round(statistics.mean(ok[t] for t in range(a, b)))
print('исходный RPS (0-9 с): %d' % round(base))
# Фазы отказа: секунда отказа, секунда запуска реплики и секунда конца наблюдения
# (начало следующего отказа или конец 60-секундного замера). Реплики нумеруются с 1.
for number, (fail, start, stable) in enumerate(((10, 20, 32), (32, 42, 60)), 1):
# Первая секунда после отказа, где RPS ниже 75% исходного: ёмкость заметно упала.
# None, если RPS так и не опустился ниже порога.
half = next((t for t in range(fail, start) if ok[t] < base * 0.75), None)
# Первая секунда после запуска, где RPS снова не ниже 90% исходного: ёмкость вернулась.
# None, если до конца фазы RPS не вернулся.
back = next((t for t in range(start, stable) if ok[t] >= base * 0.9), None)
# RPS при одной реплике считается с 3-й секунды после отказа, а RPS после возврата —
# со 2-й секунды после запуска: переходные секунды исказили бы среднее.
# Окно ошибок сдвинуто на секунду назад: часы скрипта и генератора расходятся до 1 с.
# Конец окна тоже сдвинут, поэтому окна двух реплик стыкуются и не считают ошибку дважды.
print('реплика %d: RPS при одной реплике %d, ёмкость упала на %s с, вернулась на %s с (через %s с после docker start), '
'RPS после возврата %d, ошибок в окне %d' % (
number, mean(fail + 3, start), half, back, back - start if back is not None else '-',
mean(start + 2, stable), sum(errors[t] for t in range(fail - 1, stable - 1))))
# Итоги всего замера, которые loadgen уже посчитал сам: печатаются без пересчёта.
# Секунды, в которые не было ни одного успешного запроса (полная недоступность).
print('секунд без единого успеха: %d' % data['seconds_without_success'])
# Ошибки по типам и записи, подтверждённые только после повтора с тем же ключом идемпотентности.
print('ошибки: %s; записей подтверждено после повтора: %d' % (data['errors'], data['writes_confirmed_after_retry']))
# Эпизоды ошибок: начало, длительность и количество.
print('инциденты: %s' % json.dumps(data['error_incidents'], ensure_ascii=False))
# Сверка истории с подтверждёнными записями: потери и дубли.
print('проверка истории: %s' % json.dumps(data['verify'], ensure_ascii=False))