Files
mtusi2026lab3/scripts/summarize_research.py

42 lines
8.3 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""Append tables and evidence-based conclusions to the research methodology."""
import json
from pathlib import Path
ROOT=Path(__file__).resolve().parents[1]
rows=json.loads((ROOT/'evidence/scaling/summary.json').read_text())
by_name={r['case']:r for r in rows}
report=ROOT/'RESEARCH.md'
text=report.read_text().split('\n## Результаты\n')[0]
text+='\n## Результаты\n\n'
text+='Каждая строка — три повтора. Ошибки во всех 42 запусках отсутствовали. RPS±s — среднее и выборочное стандартное отклонение.\n\n'
text+='| Серия | Реплик | RPS ± s | min–max RPS | p50 / p95 / p99, мс | CPU БД, % одного CPU |\n| --- | --- | --- | --- | --- | --- |\n'
for family in ('fixed','growing'):
for n in (1,2,4):
r=by_name[f'{family}-{n}']
text+=f"| {family} | {n} | {r['rps_mean']:.1f} ± {r['rps_stdev']:.1f} | {r['rps_min']:.1f}–{r['rps_max']:.1f} | {r['p50_ms_mean']:.1f} / {r['p95_ms_mean']:.1f} / {r['p99_ms_mean']:.1f} | {r['db_cpu_percent_mean']:.2f} |\n"
text+='\n![Масштабирование API](evidence/scaling/scaling.png)\n\n'
text+='При фиксированном бюджете 1→4 реплики снизили throughput, а p95 вырос. Это опровергает ожидание «реплик больше — всегда быстрее». Разделение бюджета между процессами, независимые пулы/healthchecks, синхронный I/O и планирование дробных CPU-квот могут менять эффективность. Вклад каждого фактора здесь отдельно не измерялся, поэтому конкретная причина всей деградации fixed не доказана. При росте бюджета переход 2→4 также не дал устойчивого выигрыша: БД работала около своей полной квоты.\n\n'
text+='### Насыщение и вмешательство в ресурс БД\n\n'
text+='| Конфигурация: 4 API × 0.5 CPU | RPS ± s | p95, мс | CPU БД, % одного CPU | CPU LB / клиента, % |\n| --- | --- | --- | --- | --- |\n'
for name in ('saturation-c1','saturation-c4','saturation-c16','saturation-c64','db-0.5','db-1'):
r=by_name[name]
text+=f"| {name} | {r['rps_mean']:.1f} ± {r['rps_stdev']:.1f} | {r['p95_ms_mean']:.1f} | {r['db_cpu_percent_mean']:.2f} | {r['lb_cpu_percent_mean']:.2f} / {r['client_cpu_percent_mean']:.2f} |\n"
a,b=by_name['saturation-c16'],by_name['db-1']
text+=f"\nПри c=4 БД уже близка к квоте 25%; максимум среднего throughput среди исследованных c находится при c=16 ({a['rps_mean']:.1f} POST/с). Рост c до 64 не дал прироста, p95 вырос до {by_name['saturation-c64']['p95_ms_mean']:.1f} мс. Это эмпирическая область насыщения около 400–500 POST/с для данной конфигурации, не точная универсальная граница. При увеличении квоты только БД до 1 CPU средний throughput вырос в {b['rps_mean']/a['rps_mean']:.2f} раза, до {b['rps_mean']:.1f} POST/с. Это подтверждает ограничение общей зависимости в исходном стенде.\n\n"
text+='LB и генератор существенно ниже своих CPU-лимитов 25% и 100% соответственно; их CPU не объясняет исходное плато. При DB=1 CPU сама БД уже не достигает квоты; ограничение сдвигается. Точное новое узкое место (Python/I/O/планировщик/пул) этим экспериментом не локализовано. Один процесс API выполняет синхронные операции БД в async-обработчике, поэтому добавление размера пула не гарантирует параллелизм. Не заявляется, что достигнута предельная мощность PostgreSQL или устранены все bottleneck.\n\n'
text+='![Насыщение и CPU БД](evidence/scaling/saturation.png)\n\n'
text+='### Подтверждённое улучшение: переиспользование соединений Valkey\n\n'
text+='Объект Redis теперь создаётся один раз на Store/процесс и использует библиотечный connection pool; закрывается при shutdown. Для контрольного эксперимента CACHE_CLIENT_MODE=per_request воспроизводит прежнее создание клиента на каждую операцию. По умолчанию выбран shared. Проверка идентичности/expiry/revocation в PostgreSQL не меняется.\n\n'
text+='| Вариант | RPS ± s | min–max RPS | p95, мс | Новых соединений Valkey за весь запуск, среднее |\n| --- | --- | --- | --- | --- |\n'
for name in ('cache-per_request','cache-shared'):
r=by_name[name]
text+=f"| {name} | {r['rps_mean']:.1f} ± {r['rps_stdev']:.1f} | {r['rps_min']:.1f}–{r['rps_max']:.1f} | {r['p95_ms_mean']:.1f} | {r['cache_new_connections_mean']:.3f} |\n"
a,b=by_name['cache-per_request'],by_name['cache-shared']
text+=f"\nВ этих трёх повторах средний throughput вырос на {100*(b['rps_mean']/a['rps_mean']-1):.1f}%, средний p95 снизился на {100*(1-b['p95_ms_mean']/a['p95_ms_mean']):.1f}%. Число новых соединений снизилось на {100*(1-b['cache_new_connections_mean']/a['cache_new_connections_mean']):.3f}%. Интервалы min–max throughput перекрываются, статистическая значимость не проверялась; гарантировать прирост 31% для иной нагрузки нельзя. Устойчиво подтверждено устранение почти всех повторных подключений.\n\n"
text+='![Переиспользование соединений](evidence/scaling/cache-improvement.png)\n\n'
text+='## Ограничения и практический вывод\n\n'
text+='Три коротких повтора по десять секунд, короткий прогрев, растущие данные и VM дают заметный разброс. Не контролировались page cache, фазы CFS-квот, частота CPU и фоновая активность ОС. Стандартное отклонение не является доверительным интервалом. Измеряется одна короткая POST-нагрузка с действующими сессиями, а не смесь логинов, чтения больших историй и файлов. Нет open-loop arrival rate, длинного soak-теста, статистического теста значимости или доказательства исчерпания RAM. Raw summaries содержат memory usage/limits, а не профили heap.\n\n'
text+='До увеличения числа API нужно измерять общую зависимость: в этом стенде DB CPU объясняет плато growing, а дробление фиксированного CPU не помогает. Подтверждены два практических эффекта: снятие искусственно тесной квоты БД увеличивает пропускную способность; общий пул Valkey устраняет churn соединений и улучшает средние показатели этого профиля. При этом в обычной конфигурации сохранены две API для отказоустойчивости процесса, а не выбрана единственная реплика ради лучшего числа в fixed-серии.\n'
report.write_text(text)