lab3: результаты Docker-стенда и трека 1, отчёт
- доказательства уровней 3–4 (прогон 2 на GitHub runner) - трек 1: 129 прогонов серий A–E, анализ, графики, подтверждённое улучшение - Dockerfile: базовые образы закреплены по digest - собственные тесты перенесены в student-tests/ Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -8,6 +8,9 @@
|
||||
* узкое место — роль (api/postgres/redis/lb) с наибольшей утилизацией CPU
|
||||
от своего лимита на уровне насыщения; ≥0.85 — «насыщена»; дополнительно
|
||||
признак пула: доля acquire без свободного соединения и среднее ожидание;
|
||||
* если ни одна роль не насыщена, а сумма занятых ядер (util × лимит × число
|
||||
контейнеров по всем ролям) ≥ 0.85 × CPU хоста — узкое место «CPU хоста»
|
||||
(критерий добавлен после прогона 2: сумма лимитов превысила 2 vCPU runner);
|
||||
* улучшение «подтверждено», если на уровне хотя бы одного параллелизма ≥ уровня
|
||||
насыщения baseline min(ok_rps кандидата) > max(ok_rps baseline) по всем повторам,
|
||||
медиана p95 не хуже и доля ошибок не выше.
|
||||
@@ -34,6 +37,28 @@ def load(path):
|
||||
return rows
|
||||
|
||||
|
||||
LIMIT_ENV = {'api': 'API_CPUS', 'postgres': 'PG_CPUS', 'redis': 'REDIS_CPUS', 'lb': 'LB_CPUS'}
|
||||
DEFAULT_LIMIT = {'postgres': 1.0, 'redis': 0.5, 'lb': 0.5}
|
||||
|
||||
|
||||
def cores_used(r):
|
||||
total = 0.0
|
||||
for role in ROLES:
|
||||
x = r['resources'].get(role)
|
||||
if not x or x.get('cpu_utilization_of_limit') is None:
|
||||
continue
|
||||
lim = float(r['env'].get(LIMIT_ENV[role]) or DEFAULT_LIMIT.get(role, 0.5))
|
||||
total += x['cpu_utilization_of_limit'] * lim * x.get('containers', 1)
|
||||
return total
|
||||
|
||||
|
||||
def host_cpus(r):
|
||||
try:
|
||||
return int(r.get('host', {}).get('docker_cpus') or r.get('host', {}).get('host_cpus'))
|
||||
except (TypeError, ValueError):
|
||||
return None
|
||||
|
||||
|
||||
def med(xs):
|
||||
xs = [x for x in xs if x is not None]
|
||||
return statistics.median(xs) if xs else None
|
||||
@@ -61,6 +86,8 @@ def aggregate(rows):
|
||||
'error_ratio': med(x['error_ratio'] for x in b),
|
||||
'empty_acquire_ratio': med(r['pool'].get('empty_acquire_ratio') for r in rs),
|
||||
'acquire_wait_ms': med(r['pool'].get('avg_acquire_wait_ms') for r in rs),
|
||||
'host_cores': med(cores_used(r) for r in rs),
|
||||
'host_cpus': host_cpus(rs[0]),
|
||||
'pg_active_max': med(r['resources'].get('postgres_connections', {}).get('active_max') for r in rs),
|
||||
}
|
||||
for role in ROLES:
|
||||
@@ -98,7 +125,10 @@ def saturation(agg, series, config):
|
||||
a = agg[(series, config, knee)]
|
||||
utils = {r: a['util_' + r] for r in ROLES if a['util_' + r] is not None}
|
||||
bottleneck = max(utils, key=utils.get) if utils else None
|
||||
return {'peak_level': peak_l, 'peak_rps': agg[(series, config, peak_l)]['ok_rps'], 'knee_level': knee,
|
||||
host_share = a['host_cores'] / a['host_cpus'] if a['host_cpus'] and a['host_cores'] is not None else None
|
||||
if bottleneck and utils[bottleneck] < SAT_UTIL and host_share is not None and host_share >= SAT_UTIL:
|
||||
bottleneck, utils = 'host_cpu', dict(utils, host_cpu=host_share)
|
||||
return {'host_share': host_share,'peak_level': peak_l, 'peak_rps': agg[(series, config, peak_l)]['ok_rps'], 'knee_level': knee,
|
||||
'bottleneck': bottleneck, 'bottleneck_util': utils.get(bottleneck),
|
||||
'saturated': bool(bottleneck and utils[bottleneck] >= SAT_UTIL), 'utils': utils,
|
||||
'pool_empty_ratio': a['empty_acquire_ratio'], 'pool_wait_ms': a['acquire_wait_ms']}
|
||||
@@ -235,7 +265,7 @@ def main():
|
||||
outdir.mkdir(parents=True, exist_ok=True)
|
||||
|
||||
headers = ['series', 'config', 'c', 'repeats', 'ok_rps', 'rps_min', 'rps_max', 'write_rps', 'read_rps', 'p50_ms',
|
||||
'p95_ms', 'p99_ms', 'err', 'util_api', 'util_pg', 'util_redis', 'util_lb', 'pool_empty', 'pool_wait_ms', 'pg_active']
|
||||
'p95_ms', 'p99_ms', 'err', 'util_api', 'util_pg', 'util_redis', 'util_lb', 'host_cores', 'pool_empty', 'pool_wait_ms', 'pg_active']
|
||||
csv_rows = []
|
||||
for s, c in order:
|
||||
for l in levels_of(agg, s, c):
|
||||
@@ -243,7 +273,8 @@ def main():
|
||||
csv_rows.append([s, c, l, a['repeats'], fmt(a['ok_rps']), fmt(a['ok_rps_min']), fmt(a['ok_rps_max']),
|
||||
fmt(a['write_rps']), fmt(a['read_rps']), fmt(a['p50'], 2), fmt(a['p95'], 2), fmt(a['p99'], 2),
|
||||
fmt(a['error_ratio'], 4), fmt(a['util_api'], 2), fmt(a['util_postgres'], 2),
|
||||
fmt(a['util_redis'], 2), fmt(a['util_lb'], 2), fmt(a['empty_acquire_ratio'], 3),
|
||||
fmt(a['util_redis'], 2), fmt(a['util_lb'], 2),
|
||||
'%s/%s' % (fmt(a['host_cores'], 2), a['host_cpus']), fmt(a['empty_acquire_ratio'], 3),
|
||||
fmt(a['acquire_wait_ms'], 2), fmt(a['pg_active_max'], 0)])
|
||||
with (outdir / 'summary.csv').open('w', newline='', encoding='utf-8') as f:
|
||||
csv.writer(f).writerows([headers] + csv_rows)
|
||||
@@ -264,17 +295,18 @@ def main():
|
||||
line_chart('p95 задержки, мс', xl, [(c, get(c, 'p95')) for c in cfgs[:4]], 'мс')))
|
||||
sat_rows = []
|
||||
md += ['## %s — %s' % (name, meta['title']), '', '**Гипотеза:** ' + meta['hypothesis'], '',
|
||||
'| config | пик RPS | c пика | c насыщения | узкое место (util) | pool empty / wait ms |', '|---|---|---|---|---|---|']
|
||||
'| config | пик RPS | c пика | c насыщения | узкое место (util) | CPU хоста | pool empty / wait ms |', '|---|---|---|---|---|---|---|']
|
||||
base_peak = None
|
||||
for c in cfgs:
|
||||
st = saturation(agg, name, c)
|
||||
base_peak = base_peak or st['peak_rps']
|
||||
bn = '%s (%s)%s' % (st['bottleneck'], fmt(st['bottleneck_util'], 2), ' — насыщена' if st['saturated'] else '')
|
||||
pool = '%s / %s' % (fmt(st['pool_empty_ratio'], 3), fmt(st['pool_wait_ms'], 2))
|
||||
md.append('| %s | %s | %s | %s | %s | %s |' % (c, fmt(st['peak_rps']), st['peak_level'], st['knee_level'], bn, pool))
|
||||
hs = fmt(100 * st['host_share'], 0) + '%' if st['host_share'] is not None else '—'
|
||||
md.append('| %s | %s | %s | %s | %s | %s | %s |' % (c, fmt(st['peak_rps']), st['peak_level'], st['knee_level'], bn, hs, pool))
|
||||
sat_rows.append([c, fmt(st['peak_rps']), '%.2f×' % (st['peak_rps'] / base_peak) if base_peak else '—',
|
||||
st['peak_level'], st['knee_level'], bn, pool])
|
||||
body.append(table(['config', 'пик RPS', 'к первой', 'c пика', 'c насыщения', 'узкое место', 'pool empty / wait ms'], sat_rows))
|
||||
st['peak_level'], st['knee_level'], bn, hs, pool])
|
||||
body.append(table(['config', 'пик RPS', 'к первой', 'c пика', 'c насыщения', 'узкое место', 'CPU хоста', 'pool empty / wait ms'], sat_rows))
|
||||
if name.startswith('D') and cfgs:
|
||||
baseline = cfgs[0]
|
||||
from_level = saturation(agg, name, baseline)['knee_level']
|
||||
|
||||
Reference in New Issue
Block a user