forked from mtusi2026/mtusi2026lab3
42 lines
8.3 KiB
Python
42 lines
8.3 KiB
Python
#!/usr/bin/env python3
|
||
"""Append tables and evidence-based conclusions to the research methodology."""
|
||
import json
|
||
from pathlib import Path
|
||
|
||
ROOT=Path(__file__).resolve().parents[1]
|
||
rows=json.loads((ROOT/'evidence/scaling/summary.json').read_text())
|
||
by_name={r['case']:r for r in rows}
|
||
report=ROOT/'RESEARCH.md'
|
||
text=report.read_text().split('\n## Результаты\n')[0]
|
||
text+='\n## Результаты\n\n'
|
||
text+='Каждая строка — три повтора. Ошибки во всех 42 запусках отсутствовали. RPS±s — среднее и выборочное стандартное отклонение.\n\n'
|
||
text+='| Серия | Реплик | RPS ± s | min–max RPS | p50 / p95 / p99, мс | CPU БД, % одного CPU |\n| --- | --- | --- | --- | --- | --- |\n'
|
||
for family in ('fixed','growing'):
|
||
for n in (1,2,4):
|
||
r=by_name[f'{family}-{n}']
|
||
text+=f"| {family} | {n} | {r['rps_mean']:.1f} ± {r['rps_stdev']:.1f} | {r['rps_min']:.1f}–{r['rps_max']:.1f} | {r['p50_ms_mean']:.1f} / {r['p95_ms_mean']:.1f} / {r['p99_ms_mean']:.1f} | {r['db_cpu_percent_mean']:.2f} |\n"
|
||
text+='\n\n\n'
|
||
text+='При фиксированном бюджете 1→4 реплики снизили throughput, а p95 вырос. Это опровергает ожидание «реплик больше — всегда быстрее». Разделение бюджета между процессами, независимые пулы/healthchecks, синхронный I/O и планирование дробных CPU-квот могут менять эффективность. Вклад каждого фактора здесь отдельно не измерялся, поэтому конкретная причина всей деградации fixed не доказана. При росте бюджета переход 2→4 также не дал устойчивого выигрыша: БД работала около своей полной квоты.\n\n'
|
||
text+='### Насыщение и вмешательство в ресурс БД\n\n'
|
||
text+='| Конфигурация: 4 API × 0.5 CPU | RPS ± s | p95, мс | CPU БД, % одного CPU | CPU LB / клиента, % |\n| --- | --- | --- | --- | --- |\n'
|
||
for name in ('saturation-c1','saturation-c4','saturation-c16','saturation-c64','db-0.5','db-1'):
|
||
r=by_name[name]
|
||
text+=f"| {name} | {r['rps_mean']:.1f} ± {r['rps_stdev']:.1f} | {r['p95_ms_mean']:.1f} | {r['db_cpu_percent_mean']:.2f} | {r['lb_cpu_percent_mean']:.2f} / {r['client_cpu_percent_mean']:.2f} |\n"
|
||
a,b=by_name['saturation-c16'],by_name['db-1']
|
||
text+=f"\nПри c=4 БД уже близка к квоте 25%; максимум среднего throughput среди исследованных c находится при c=16 ({a['rps_mean']:.1f} POST/с). Рост c до 64 не дал прироста, p95 вырос до {by_name['saturation-c64']['p95_ms_mean']:.1f} мс. Это эмпирическая область насыщения около 400–500 POST/с для данной конфигурации, не точная универсальная граница. При увеличении квоты только БД до 1 CPU средний throughput вырос в {b['rps_mean']/a['rps_mean']:.2f} раза, до {b['rps_mean']:.1f} POST/с. Это подтверждает ограничение общей зависимости в исходном стенде.\n\n"
|
||
text+='LB и генератор существенно ниже своих CPU-лимитов 25% и 100% соответственно; их CPU не объясняет исходное плато. При DB=1 CPU сама БД уже не достигает квоты; ограничение сдвигается. Точное новое узкое место (Python/I/O/планировщик/пул) этим экспериментом не локализовано. Один процесс API выполняет синхронные операции БД в async-обработчике, поэтому добавление размера пула не гарантирует параллелизм. Не заявляется, что достигнута предельная мощность PostgreSQL или устранены все bottleneck.\n\n'
|
||
text+='\n\n'
|
||
text+='### Подтверждённое улучшение: переиспользование соединений Valkey\n\n'
|
||
text+='Объект Redis теперь создаётся один раз на Store/процесс и использует библиотечный connection pool; закрывается при shutdown. Для контрольного эксперимента CACHE_CLIENT_MODE=per_request воспроизводит прежнее создание клиента на каждую операцию. По умолчанию выбран shared. Проверка идентичности/expiry/revocation в PostgreSQL не меняется.\n\n'
|
||
text+='| Вариант | RPS ± s | min–max RPS | p95, мс | Новых соединений Valkey за весь запуск, среднее |\n| --- | --- | --- | --- | --- |\n'
|
||
for name in ('cache-per_request','cache-shared'):
|
||
r=by_name[name]
|
||
text+=f"| {name} | {r['rps_mean']:.1f} ± {r['rps_stdev']:.1f} | {r['rps_min']:.1f}–{r['rps_max']:.1f} | {r['p95_ms_mean']:.1f} | {r['cache_new_connections_mean']:.3f} |\n"
|
||
a,b=by_name['cache-per_request'],by_name['cache-shared']
|
||
text+=f"\nВ этих трёх повторах средний throughput вырос на {100*(b['rps_mean']/a['rps_mean']-1):.1f}%, средний p95 снизился на {100*(1-b['p95_ms_mean']/a['p95_ms_mean']):.1f}%. Число новых соединений снизилось на {100*(1-b['cache_new_connections_mean']/a['cache_new_connections_mean']):.3f}%. Интервалы min–max throughput перекрываются, статистическая значимость не проверялась; гарантировать прирост 31% для иной нагрузки нельзя. Устойчиво подтверждено устранение почти всех повторных подключений.\n\n"
|
||
text+='\n\n'
|
||
text+='## Ограничения и практический вывод\n\n'
|
||
text+='Три коротких повтора по десять секунд, короткий прогрев, растущие данные и VM дают заметный разброс. Не контролировались page cache, фазы CFS-квот, частота CPU и фоновая активность ОС. Стандартное отклонение не является доверительным интервалом. Измеряется одна короткая POST-нагрузка с действующими сессиями, а не смесь логинов, чтения больших историй и файлов. Нет open-loop arrival rate, длинного soak-теста, статистического теста значимости или доказательства исчерпания RAM. Raw summaries содержат memory usage/limits, а не профили heap.\n\n'
|
||
text+='До увеличения числа API нужно измерять общую зависимость: в этом стенде DB CPU объясняет плато growing, а дробление фиксированного CPU не помогает. Подтверждены два практических эффекта: снятие искусственно тесной квоты БД увеличивает пропускную способность; общий пул Valkey устраняет churn соединений и улучшает средние показатели этого профиля. При этом в обычной конфигурации сохранены две API для отказоустойчивости процесса, а не выбрана единственная реплика ради лучшего числа в fixed-серии.\n'
|
||
report.write_text(text)
|