Files
mtusi2026lab3/student-tests/summarize.py
T

133 lines
11 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""Update the report/index from evidence after ALL real checks have completed."""
import json
from pathlib import Path
import re
import statistics
ROOT = Path(__file__).resolve().parents[1]
def load(path):
return json.loads((ROOT/path).read_text(encoding='utf-8-sig'))
def main():
research = load('evidence/research.json')
verification = load('evidence/verification.json')
# Render metrics from the detailed files cited by the report, not a potentially
# stale copy of the same numbers in the summary.
resilience = [load('evidence/'+run['label']+'.json')
for run in load('evidence/resilience-summary.json')]
assert verification['all_passed'] and research['cache_improvement_confirmed']
groups = research['groups']
rows = ['### Измеренные результаты', '',
'Значения RPS — медианы трёх прогонов; диапазон — min/max. '
'p50/p95/p99 — медианы соответствующих квантилей отдельных прогонов, мс.', '',
'| Серия | Реплики | RPS, медиана | min–max RPS | p50 / p95 / p99, мс | Ошибки |',
'| --- | ---: | ---: | ---: | --- | ---: |']
for series, title in [('fixed', 'Фиксированный бюджет'), ('growing', 'Растущий бюджет')]:
for replicas in (1, 2, 4):
group = series+'-'+str(replicas)
selected = [run for run in research['runs'] if run['group'] == group]
g = groups[group]
latency = [statistics.median(run['latency'][name] for run in selected) for name in ('p50','p95','p99')]
rows.append(f"| {title} | {replicas} | {g['median_rps']:.1f} | {g['min_rps']:.1f}–{g['max_rps']:.1f} | {' / '.join(f'{v:.1f}' for v in latency)} | {sum(run['errors'] for run in selected)} |")
fixed_ratio = groups['fixed-4']['median_rps']/groups['fixed-1']['median_rps']
growth_ratio = groups['growing-4']['median_rps']/groups['growing-2']['median_rps']
rows += ['', f'При фиксированном бюджете 4/1 = **{fixed_ratio:.3f}×**: '
'добавление процессов само по себе не даёт линейного ускорения. '
f'При растущем бюджете 4/2 = **{growth_ratio:.3f}×**: '
'после двух реплик выигрыш невелик, общая БД становится ограничением.', '',
'| Concurrency, 4 API | RPS | p95, мс | Ошибки | PostgreSQL CPU / quota | DB pool wait, суммарно с |',
'| ---: | ---: | ---: | ---: | ---: | ---: |']
saturation = sorted([run for run in research['runs'] if run['group']=='saturation'], key=lambda run:run['concurrency'])
for run in saturation:
raw = load('evidence/runs/'+run['label']+'.json')
db = next(v for v in raw['cgroup_deltas'].values() if '-postgres-' in v['name'])
waits = sum(v['messenger_db_wait_seconds_total'] for v in raw['pool_deltas'].values())
rows.append(f"| {run['concurrency']} | {run['rps']:.1f} | {run['latency']['p95']:.1f} | {run['errors']} | {db['quota_utilization_ratio']*100:.1f}% | {waits:.1f} |")
peak = max(saturation, key=lambda run:run['rps'])
rows += ['', f"Лучший измеренный RPS в серии насыщения — **{peak['rps']:.1f}** "
f"при concurrency **{peak['concurrency']}**. Выше этой точки "
'растёт время запросов и ожидание пула, прирост реплик не убирает '
'ограничение общего PostgreSQL. CPU БД достигает почти всей quota, '
'у LB остаётся запас. Cgroup throttled_usec — накопленное время '
'ограничения задач планировщиком, а не длительность отказа стенда. '
'Это локальная измеренная граница данного профиля; по каждой точке '
'concurrency один прогон, глобального максимума производительности не заявляем.', '',
'| Кэш чата, прежние лимиты | RPS, медиана | min–max | p95, медиана, мс | Ошибки |',
'| --- | ---: | ---: | ---: | ---: |']
for name in ('off', 'on'):
g = groups['cache-'+name]
runs = [run for run in research['runs'] if run['group']=='cache-'+name]
p95 = statistics.median(run['latency']['p95'] for run in runs)
rows.append(f"| {name} | {g['median_rps']:.1f} | {g['min_rps']:.1f}–{g['max_rps']:.1f} | {p95:.1f} | {sum(run['errors'] for run in runs)} |")
improvement = (research['cache_improvement_ratio']-1)*100
rows += ['', f'Подтверждённое улучшение: общий кэш неизменяемого чата дал '
f'**+{improvement:.1f}% медианного RPS** при прежних CPU/RAM/pool и '
'профиле запросов. Реальные hits отражены в pool_deltas; '
'сессии остались в PostgreSQL. Каждый повтор сравнивался с '
'выключенным кэшем, порядок A/B чередовался. Разброс остаётся; '
'статистической значимости по трём повторам не заявляем.', '',
'![Масштабирование, насыщение и A/B](evidence/figures/scaling.png)', '',
'![CPU относительно quota](evidence/figures/resources.png)', '',
'### Отказы и замена под нагрузкой', '',
'Четыре клиента читают профиль и записывают сообщения через LB. '
'При неопределённом POST сохраняют ключ. Время восстановления '
'ниже отсчитывается от начала action до первой успешной операции '
'после его завершения; для rolling также указано время всей замены. '
'Все подтверждения, исходное сообщение, прежний token и исходный '
'Idempotency-Key проверены после воздействия.', '',
'| Воздействие | RPS | Ошибки / доля | p95, мс | Read / write после начала action, с | Подтверждения сохранены |',
'| --- | ---: | --- | ---: | --- | --- |']
for run in resilience:
recovery = run['first_success_after_action_started_seconds']
rows.append(f"| {run['label']} | {run['successful_rps']:.1f} | {run['failed_requests']} / {run['error_ratio']*100:.2f}% | {run['all_attempt_latency_ms']['p95']:.1f} | {recovery['GET']:.3f} / {recovery['POST']:.3f} | {run['confirmed_messages']} из {run['confirmed_messages']} |")
rows.append('')
for label in ('rolling-update', 'cache-loss'):
raw = load('evidence/'+label+'.json')
gaps = {}
for method in ('GET','POST'):
ends = sorted(event['end'] for event in raw['attempts'] if event['success'] and event['method']==method)
gaps[method] = max(b-a for a,b in zip(ends,ends[1:]))
action_duration = raw['action']['completed']-raw['action']['started']
rows.append(f"`{label}`: action продолжался {action_duration:.3f} с, но запросы обслуживались во время него. "
f"Максимальный промежуток между успешными GET / POST за весь прогон — {gaps['GET']:.3f} / {gaps['POST']:.3f} с. "
'Время в предыдущей таблице учитывает завершение всей action и не означает такой же простой.')
rows += ['', 'Переходные 503/оборванные соединения включены в ошибки. '
'Дубли и потеря подтверждённых данных не обнаружены. Во время '
'rolling сначала новая реплика наблюдалась через LB, затем '
'старая останавливалась; в action сохранены реальные ID до/после. '
'При Redis outage система продолжала работать через PostgreSQL.', '',
'Публичные проверки и отдельные Go test/vet/сборка: '
'`evidence/checks/`, `evidence/build.txt`; полный OpenAPI validator — '
'`evidence/checks/validate.txt`. Все проверки verification завершились PASS.']
block = '<!-- MEASURED_RESULTS_START -->\n'+'\n'.join(rows)+'\n<!-- MEASURED_RESULTS_END -->'
report = ROOT/'REPORT.md'
text = report.read_text(encoding='utf-8')
if '<!-- MEASURED_RESULTS -->' in text:
text = text.replace('<!-- MEASURED_RESULTS -->', block)
else:
text = re.sub(r'<!-- MEASURED_RESULTS_START -->.*?<!-- MEASURED_RESULTS_END -->', lambda _:block, text, flags=re.S)
report.write_text(text, encoding='utf-8', newline='\n')
checklist = '\n'.join('- [x] '+line for line in [
'Минимум lab2 и обязательный контракт lab3 сохранены.',
'Публичные contracts/tests/README не ослаблены; lab1/lab2 не изменены.',
'Offline/smoke/persistence/failover и собственные проверки выполнены.',
'Отказ каждой реплики и замена под нагрузкой воспроизведены.',
'Трек 1 завершён: raw data, графики, граница насыщения и измеренное улучшение.',
'Секреты находятся вне Git и build context; tokens не сохраняются.',
'REPORT/RUNBOOK/DEFENSE содержат команды и объяснения.'])
pr = ROOT/'PR_DESCRIPTION.md'
text = pr.read_text(encoding='utf-8')
if '<!-- CHECKLIST_RESULTS -->' in text:
text = text.replace('<!-- CHECKLIST_RESULTS -->', checklist)
pr.write_text(text,encoding='utf-8')
(ROOT/'evidence'/'summary.md').write_text('\n'.join(rows)+'\n',encoding='utf-8')
print(f'Report finalized; cache improvement {improvement:.1f}%, all checks passed.')
if __name__ == '__main__':
main()