83 lines
5.4 KiB
Python
83 lines
5.4 KiB
Python
"""Построить рисунки Matplotlib из фактических агрегатов эксперимента."""
|
||
from collections import defaultdict
|
||
import csv
|
||
import json
|
||
from pathlib import Path
|
||
import statistics
|
||
import matplotlib
|
||
matplotlib.use('Agg')
|
||
import matplotlib.pyplot as plt
|
||
|
||
ROOT = Path(__file__).resolve().parents[1]
|
||
rows = [json.loads(p.read_text(encoding='utf-8')) for p in sorted((ROOT/'evidence/research').glob('*.json'))]
|
||
OUT = ROOT/'evidence/figures'
|
||
OUT.mkdir(parents=True, exist_ok=True)
|
||
plt.rcParams.update({'font.family': 'DejaVu Sans', 'font.size': 10, 'axes.spines.top': False, 'axes.spines.right': False})
|
||
|
||
|
||
def series(prefix, xfield, y):
|
||
groups = defaultdict(list)
|
||
for r in rows:
|
||
if r['label'].startswith(prefix+'-'):
|
||
groups[r[xfield]].append(y(r))
|
||
xs = sorted(groups)
|
||
med = [statistics.median(groups[x]) for x in xs]
|
||
errors = [[m-min(groups[x]) for x,m in zip(xs,med)], [max(groups[x])-m for x,m in zip(xs,med)]]
|
||
return xs, med, errors
|
||
|
||
|
||
def finish(fig, name, caption):
|
||
fig.text(.5, .01, caption, ha='center', fontsize=8)
|
||
fig.tight_layout(rect=(.035,.07,.98,.94),pad=1.5,w_pad=2)
|
||
for ext in ['png','svg']:
|
||
fig.savefig(OUT/(name+'.'+ext), dpi=170, bbox_inches='tight')
|
||
if ext=='svg':
|
||
path=OUT/(name+'.svg')
|
||
path.write_text('\n'.join(line.rstrip() for line in path.read_text(encoding='utf-8').splitlines())+'\n',encoding='utf-8')
|
||
plt.close(fig)
|
||
|
||
|
||
fig, axes = plt.subplots(1, 2, figsize=(11,4))
|
||
for prefix, label, color in [('fixed','Суммарно 2 CPU / 1024 MiB','#2166ac'), ('growth','На реплику 0,5 CPU / 256 MiB','#d6604d')]:
|
||
for ax, value in zip(axes, [lambda r:r['successful_rps'], lambda r:r['successful_latency_ms']['p95']]):
|
||
x,y,e = series(prefix,'replicas',value)
|
||
ax.errorbar(x,y,yerr=e,marker='o',capsize=4,label=label,color=color)
|
||
ax.set_xticks([1,2,4]); ax.set_xlabel('API-реплики'); ax.grid(alpha=.2)
|
||
axes[0].set_ylabel('Успешные запросы/с'); axes[1].set_ylabel('p95 успешных запросов, мс')
|
||
axes[0].legend(fontsize=8)
|
||
fig.suptitle('Цена масштабирования: постоянные и растущие ресурсы')
|
||
finish(fig,'scaling','Медиана и диапазон трёх повторов; closed-loop, 32 клиента, прогрев 5 с, замер 20 с.')
|
||
|
||
fig, axes = plt.subplots(1,2,figsize=(11,4))
|
||
for ax,value in zip(axes,[lambda r:r['successful_rps'],lambda r:r['successful_latency_ms']['p95']]):
|
||
x,y,e=series('saturation','concurrency',value)
|
||
ax.errorbar(x,y,yerr=e,marker='o',capsize=4,color='#2166ac'); ax.set_xscale('log',base=2)
|
||
ax.set_xticks([4,16,64,128],labels=['4','16','64','128']); ax.set_xlabel('Параллельные клиенты'); ax.grid(alpha=.2)
|
||
axes[0].set_ylabel('Успешные запросы/с'); axes[1].set_ylabel('p95 успешных запросов, мс')
|
||
fig.suptitle('Насыщение: 4 API × 0,5 CPU, PostgreSQL 1 CPU')
|
||
finish(fig,'saturation','Медиана и диапазон двух повторов; задержки ошибок не входят в p95; без повторов POST.')
|
||
|
||
fig,axes=plt.subplots(1,2,figsize=(11,4))
|
||
for ax,value in zip(axes,[lambda r:r['successful_rps'],lambda r:r['successful_latency_ms']['p95']]):
|
||
x,y,e=series('pool','pool_per_replica',value)
|
||
ax.errorbar(x,y,yerr=e,marker='o',capsize=5,color='#1b7837'); ax.set_xticks([1,10]); ax.set_xlabel('Подключения в пуле одной API'); ax.grid(alpha=.2)
|
||
axes[0].set_ylabel('Успешные запросы/с'); axes[1].set_ylabel('p95 успешных запросов, мс')
|
||
fig.suptitle('Размер пула: 2 API × 1 CPU, 64 клиента')
|
||
finish(fig,'pool','Три парных повтора, порядок 1/10 чередуется; PostgreSQL и профиль запросов одинаковы.')
|
||
|
||
fig,axes=plt.subplots(1,2,figsize=(11,4))
|
||
for ax,value in zip(axes,[lambda r:r['successful_rps'],lambda r:r['successful_latency_ms']['p95']]):
|
||
x,y,e=series('optimize','optimized_writes_requested',value)
|
||
ax.errorbar(x,y,yerr=e,marker='o',capsize=5,color='#762a83')
|
||
ax.set_xticks([0,1],labels=['Исходные 8 SQL','Улучшенные 6 SQL']); ax.grid(alpha=.2)
|
||
axes[0].set_ylabel('Успешные запросы/с'); axes[1].set_ylabel('p95 успешных запросов, мс')
|
||
fig.suptitle('Улучшение пути записи при одинаковых ресурсах')
|
||
finish(fig,'optimization','Три парных повтора; 2 API × 1 CPU, пул 10 на API, 32 клиента; прогрев 5 с, замер 20 с.')
|
||
|
||
with (ROOT/'evidence/research/summary.csv').open('w',newline='',encoding='utf-8') as f:
|
||
writer=csv.writer(f)
|
||
writer.writerow(['label','replicas','api_cpu_each','api_memory_mib_each','pool_each','concurrency','rps','errors','error_ratio','p50_ms','p95_ms','p99_ms','messages_before','messages_after'])
|
||
for r in rows:
|
||
writer.writerow([r['label'],r['replicas'],r['cpu_per_replica'],r['memory_mib_per_replica'],r['pool_per_replica'],r['concurrency'],round(r['successful_rps'],3),r['failed_requests'],round(r['error_ratio'],6),*[r['successful_latency_ms'][p] for p in ['p50','p95','p99']],r['database_messages_before'],r['database_messages_after']])
|
||
print('Графики PNG/SVG сохранены в evidence/figures; сводные данные — evidence/research/summary.csv.')
|