forked from mtusi2026/mtusi2026lab3
133 lines
11 KiB
Python
133 lines
11 KiB
Python
#!/usr/bin/env python3
|
||
"""Update the report/index from evidence after ALL real checks have completed."""
|
||
import json
|
||
from pathlib import Path
|
||
import re
|
||
import statistics
|
||
|
||
ROOT = Path(__file__).resolve().parents[1]
|
||
|
||
|
||
def load(path):
|
||
return json.loads((ROOT/path).read_text(encoding='utf-8-sig'))
|
||
|
||
|
||
def main():
|
||
research = load('evidence/research.json')
|
||
verification = load('evidence/verification.json')
|
||
# Render metrics from the detailed files cited by the report, not a potentially
|
||
# stale copy of the same numbers in the summary.
|
||
resilience = [load('evidence/'+run['label']+'.json')
|
||
for run in load('evidence/resilience-summary.json')]
|
||
assert verification['all_passed'] and research['cache_improvement_confirmed']
|
||
groups = research['groups']
|
||
rows = ['### Измеренные результаты', '',
|
||
'Значения RPS — медианы трёх прогонов; диапазон — min/max. '
|
||
'p50/p95/p99 — медианы соответствующих квантилей отдельных прогонов, мс.', '',
|
||
'| Серия | Реплики | RPS, медиана | min–max RPS | p50 / p95 / p99, мс | Ошибки |',
|
||
'| --- | ---: | ---: | ---: | --- | ---: |']
|
||
for series, title in [('fixed', 'Фиксированный бюджет'), ('growing', 'Растущий бюджет')]:
|
||
for replicas in (1, 2, 4):
|
||
group = series+'-'+str(replicas)
|
||
selected = [run for run in research['runs'] if run['group'] == group]
|
||
g = groups[group]
|
||
latency = [statistics.median(run['latency'][name] for run in selected) for name in ('p50','p95','p99')]
|
||
rows.append(f"| {title} | {replicas} | {g['median_rps']:.1f} | {g['min_rps']:.1f}–{g['max_rps']:.1f} | {' / '.join(f'{v:.1f}' for v in latency)} | {sum(run['errors'] for run in selected)} |")
|
||
fixed_ratio = groups['fixed-4']['median_rps']/groups['fixed-1']['median_rps']
|
||
growth_ratio = groups['growing-4']['median_rps']/groups['growing-2']['median_rps']
|
||
rows += ['', f'При фиксированном бюджете 4/1 = **{fixed_ratio:.3f}×**: '
|
||
'добавление процессов само по себе не даёт линейного ускорения. '
|
||
f'При растущем бюджете 4/2 = **{growth_ratio:.3f}×**: '
|
||
'после двух реплик выигрыш невелик, общая БД становится ограничением.', '',
|
||
'| Concurrency, 4 API | RPS | p95, мс | Ошибки | PostgreSQL CPU / quota | DB pool wait, суммарно с |',
|
||
'| ---: | ---: | ---: | ---: | ---: | ---: |']
|
||
saturation = sorted([run for run in research['runs'] if run['group']=='saturation'], key=lambda run:run['concurrency'])
|
||
for run in saturation:
|
||
raw = load('evidence/runs/'+run['label']+'.json')
|
||
db = next(v for v in raw['cgroup_deltas'].values() if '-postgres-' in v['name'])
|
||
waits = sum(v['messenger_db_wait_seconds_total'] for v in raw['pool_deltas'].values())
|
||
rows.append(f"| {run['concurrency']} | {run['rps']:.1f} | {run['latency']['p95']:.1f} | {run['errors']} | {db['quota_utilization_ratio']*100:.1f}% | {waits:.1f} |")
|
||
peak = max(saturation, key=lambda run:run['rps'])
|
||
rows += ['', f"Лучший измеренный RPS в серии насыщения — **{peak['rps']:.1f}** "
|
||
f"при concurrency **{peak['concurrency']}**. Выше этой точки "
|
||
'растёт время запросов и ожидание пула, прирост реплик не убирает '
|
||
'ограничение общего PostgreSQL. CPU БД достигает почти всей quota, '
|
||
'у LB остаётся запас. Cgroup throttled_usec — накопленное время '
|
||
'ограничения задач планировщиком, а не длительность отказа стенда. '
|
||
'Это локальная измеренная граница данного профиля; по каждой точке '
|
||
'concurrency один прогон, глобального максимума производительности не заявляем.', '',
|
||
'| Кэш чата, прежние лимиты | RPS, медиана | min–max | p95, медиана, мс | Ошибки |',
|
||
'| --- | ---: | ---: | ---: | ---: |']
|
||
for name in ('off', 'on'):
|
||
g = groups['cache-'+name]
|
||
runs = [run for run in research['runs'] if run['group']=='cache-'+name]
|
||
p95 = statistics.median(run['latency']['p95'] for run in runs)
|
||
rows.append(f"| {name} | {g['median_rps']:.1f} | {g['min_rps']:.1f}–{g['max_rps']:.1f} | {p95:.1f} | {sum(run['errors'] for run in runs)} |")
|
||
improvement = (research['cache_improvement_ratio']-1)*100
|
||
rows += ['', f'Подтверждённое улучшение: общий кэш неизменяемого чата дал '
|
||
f'**+{improvement:.1f}% медианного RPS** при прежних CPU/RAM/pool и '
|
||
'профиле запросов. Реальные hits отражены в pool_deltas; '
|
||
'сессии остались в PostgreSQL. Каждый повтор сравнивался с '
|
||
'выключенным кэшем, порядок A/B чередовался. Разброс остаётся; '
|
||
'статистической значимости по трём повторам не заявляем.', '',
|
||
'', '',
|
||
'', '',
|
||
'### Отказы и замена под нагрузкой', '',
|
||
'Четыре клиента читают профиль и записывают сообщения через LB. '
|
||
'При неопределённом POST сохраняют ключ. Время восстановления '
|
||
'ниже отсчитывается от начала action до первой успешной операции '
|
||
'после его завершения; для rolling также указано время всей замены. '
|
||
'Все подтверждения, исходное сообщение, прежний token и исходный '
|
||
'Idempotency-Key проверены после воздействия.', '',
|
||
'| Воздействие | RPS | Ошибки / доля | p95, мс | Read / write после начала action, с | Подтверждения сохранены |',
|
||
'| --- | ---: | --- | ---: | --- | --- |']
|
||
for run in resilience:
|
||
recovery = run['first_success_after_action_started_seconds']
|
||
rows.append(f"| {run['label']} | {run['successful_rps']:.1f} | {run['failed_requests']} / {run['error_ratio']*100:.2f}% | {run['all_attempt_latency_ms']['p95']:.1f} | {recovery['GET']:.3f} / {recovery['POST']:.3f} | {run['confirmed_messages']} из {run['confirmed_messages']} |")
|
||
rows.append('')
|
||
for label in ('rolling-update', 'cache-loss'):
|
||
raw = load('evidence/'+label+'.json')
|
||
gaps = {}
|
||
for method in ('GET','POST'):
|
||
ends = sorted(event['end'] for event in raw['attempts'] if event['success'] and event['method']==method)
|
||
gaps[method] = max(b-a for a,b in zip(ends,ends[1:]))
|
||
action_duration = raw['action']['completed']-raw['action']['started']
|
||
rows.append(f"`{label}`: action продолжался {action_duration:.3f} с, но запросы обслуживались во время него. "
|
||
f"Максимальный промежуток между успешными GET / POST за весь прогон — {gaps['GET']:.3f} / {gaps['POST']:.3f} с. "
|
||
'Время в предыдущей таблице учитывает завершение всей action и не означает такой же простой.')
|
||
rows += ['', 'Переходные 503/оборванные соединения включены в ошибки. '
|
||
'Дубли и потеря подтверждённых данных не обнаружены. Во время '
|
||
'rolling сначала новая реплика наблюдалась через LB, затем '
|
||
'старая останавливалась; в action сохранены реальные ID до/после. '
|
||
'При Redis outage система продолжала работать через PostgreSQL.', '',
|
||
'Публичные проверки и отдельные Go test/vet/сборка: '
|
||
'`evidence/checks/`, `evidence/build.txt`; полный OpenAPI validator — '
|
||
'`evidence/checks/validate.txt`. Все проверки verification завершились PASS.']
|
||
block = '<!-- MEASURED_RESULTS_START -->\n'+'\n'.join(rows)+'\n<!-- MEASURED_RESULTS_END -->'
|
||
report = ROOT/'REPORT.md'
|
||
text = report.read_text(encoding='utf-8')
|
||
if '<!-- MEASURED_RESULTS -->' in text:
|
||
text = text.replace('<!-- MEASURED_RESULTS -->', block)
|
||
else:
|
||
text = re.sub(r'<!-- MEASURED_RESULTS_START -->.*?<!-- MEASURED_RESULTS_END -->', lambda _:block, text, flags=re.S)
|
||
report.write_text(text, encoding='utf-8', newline='\n')
|
||
checklist = '\n'.join('- [x] '+line for line in [
|
||
'Минимум lab2 и обязательный контракт lab3 сохранены.',
|
||
'Публичные contracts/tests/README не ослаблены; lab1/lab2 не изменены.',
|
||
'Offline/smoke/persistence/failover и собственные проверки выполнены.',
|
||
'Отказ каждой реплики и замена под нагрузкой воспроизведены.',
|
||
'Трек 1 завершён: raw data, графики, граница насыщения и измеренное улучшение.',
|
||
'Секреты находятся вне Git и build context; tokens не сохраняются.',
|
||
'REPORT/RUNBOOK/DEFENSE содержат команды и объяснения.'])
|
||
pr = ROOT/'PR_DESCRIPTION.md'
|
||
text = pr.read_text(encoding='utf-8')
|
||
if '<!-- CHECKLIST_RESULTS -->' in text:
|
||
text = text.replace('<!-- CHECKLIST_RESULTS -->', checklist)
|
||
pr.write_text(text,encoding='utf-8')
|
||
(ROOT/'evidence'/'summary.md').write_text('\n'.join(rows)+'\n',encoding='utf-8')
|
||
print(f'Report finalized; cache improvement {improvement:.1f}%, all checks passed.')
|
||
|
||
|
||
if __name__ == '__main__':
|
||
main()
|