lab3: харнесс экспериментов (k6, сэмплер, анализ) и операторские цели Makefile

- scripts/load/common.js + write-ladder.js + write-steady.js: лестница плоских
  полок constant-arrival-rate, пошаговые счётчики/тренды (k6 не создаёт
  подметрики произвольных тегов), подготовка синтетических пользователей и
  чатов, сводка JSON в stdout без файлов из контейнера; MODE=write|read.
- scripts/lab3/lab3.py (stdlib): stand, check (spread/instances/idempotency),
  run, sweep, growth, failover, rolling-update, ab, analyze, quiesce, track1.
  Сэмплер: docker stats (--no-stream, поток склеивает JSON и печатает ANSI),
  HAProxy stats CSV (заголовок помечен '#'), /internal/metrics каждой реплики,
  pg_stat_database/pg_stat_activity/pg_stat_statements, фон хоста. raw:
  <label>.k6.json, <label>.samples.jsonl.gz, <label>.manifest.json.
- Анализ: таблицы по каждому прогону, серия A, диагностика, рост, A/B и
  графики (throughput, latency/errors, VU генератора, CPU контейнеров во
  времени, распределение по слотам LB, рост, A/B с min..max).

Проверено: analyze на пустом каталоге не падает; повторный analyze даёт те же
числа; прогон run --label smoke-p-a (30 s, 100 req/s) — 100.03 достигнутых
req/s, 0 ошибок, 795 сэмплов, графики и таблицы непустые.
This commit is contained in:
2026-10-15 21:25:03 +03:00
parent 917ed1a734
commit 410e1ea3ad
14 changed files with 2776 additions and 0 deletions
Binary file not shown.

After

Width:  |  Height:  |  Size: 100 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 28 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 26 KiB

+36
View File
@@ -0,0 +1,36 @@
{
"base_url": "http://haproxy:8080",
"checks": {
"fails": 0,
"passes": 0
},
"dropped_iterations": 0,
"exit_code": 0,
"http_req_duration_p95": 7.45,
"http_reqs": 3031,
"iterations": 3001,
"kind": "steady",
"label": "smoke-p-a",
"mode": "write",
"profile": "spread",
"stderr_tail": [
"Container mtusi-lab3-loadgen-run-c39106373eec Creating ",
" Container mtusi-lab3-loadgen-run-c39106373eec Created"
],
"steps": [
{
"achieved_rps": 100.03,
"avg": 5.02,
"duration_s": 30,
"failed": 0,
"max": 49.32,
"p50": 4.7,
"p95": 7.43,
"p99": 9.18,
"rate": 100,
"requests": 3001,
"vus_active": 1
}
],
"vus_max": 60
}
@@ -0,0 +1,83 @@
{
"commit": "917ed1a734565cd6ef0a9ef5a7e58e55dc36cbbf",
"dataset": {
"chat_members": 397,
"chats": 137,
"idempotency_keys": 8248,
"messages": 8248,
"users": 43
},
"finished_at": "2026-10-15T18:24:19Z",
"host": {
"background": {
"load_average": [
3.93,
4.06,
4.14
],
"mem_available_mib": 4547,
"mem_total_mib": 15771,
"quiesced": false
},
"cpus": 8
},
"kind": "steady",
"label": "smoke-p-a",
"mode": "write",
"phases": {},
"profile": "spread",
"quiesce": null,
"replicas": {
"4579bce31e8d": {
"container": "4579bce31e8d",
"cpus": 1.5,
"image_id": "sha256:009e36e05eb149dc11222453ff740b9654aaaac40282037279b74eab8d9a7c86",
"memory_mb": 768,
"name": "mtusi-lab3-api-1",
"started_at": "2026-10-15T18:20:38.061888309Z"
},
"77b49a240814": {
"container": "77b49a240814",
"cpus": 1.5,
"image_id": "sha256:009e36e05eb149dc11222453ff740b9654aaaac40282037279b74eab8d9a7c86",
"memory_mb": 768,
"name": "mtusi-lab3-api-2",
"started_at": "2026-10-15T18:20:38.216722318Z"
}
},
"sample_count": 795,
"sampler_errors": [],
"stand": {
"API_CPUS_PER_REPLICA": "1.5",
"API_IMAGE": "mtusi-messenger:lab3",
"API_MEMORY_PER_REPLICA": "768m",
"API_REPLICAS": "2",
"API_TOTAL_CPUS": "3.0",
"API_TOTAL_MEMORY_MB": "1536",
"BUILD_ID": "base",
"DATABASE_POOL_MAX": "10",
"LB_CPUS": "0.25",
"LB_MEMORY": "128m",
"LOADGEN_CPUS": "1.5",
"LOADGEN_MEMORY": "256m",
"PG_CPUS": "1.5",
"PG_MEMORY": "512m",
"REDIS_CPUS": "0.25",
"REDIS_MEMORY": "128m"
},
"started_at": "2026-10-15T18:23:47Z",
"step_seconds": 30,
"steps": [
100
],
"versions": {
"haproxy": "haproxy:3.2-alpine",
"haproxy_runtime": "HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/",
"k6": "k6 v0.54.0 (commit/baba871c8a, go1.23.1, linux/amd64)",
"node_host": "v25.7.0",
"postgres": "postgres:16.4-alpine",
"postgres_runtime": "postgres (PostgreSQL) 16.4",
"redis": "redis:7.4.2-alpine",
"redis_runtime": "Redis server v=7.4.2 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=9d14eaf5f599583e"
}
}
Binary file not shown.
+3
View File
@@ -0,0 +1,3 @@
# Диагностика: горячий чат и путь чтения
+3
View File
@@ -0,0 +1,3 @@
# Серия роста ресурсов
Нет прогонов growth.
+29
View File
@@ -0,0 +1,29 @@
# Разбор каждого прогона
## smoke-p-a (1 прогонов, steady)
| темп, req/s | достигнуто RPS | min..max | p95, ms | ошибок | VU | dropped |
| --- | --- | --- | --- | --- | --- | --- |
| 100 | 100.03 | 100.03..100.03 | 7.43 | 0.0 | 1.0 | 0 |
Лимиты: реплик 2, API 1.5 CPU / 768m, PG 1.5 CPU, LB 0.25 CPU, пул 10, образ mtusi-messenger:lab3 (BUILD_ID base).
| контейнер | CPU средний, % | CPU пик, % | RAM средняя, MiB | RAM пик, MiB | лимит, MiB |
| --- | --- | --- | --- | --- | --- |
| mtusi-lab3-api-1 | 15.33 | 25.84 | 99.6 | 100.5 | 768.0 |
| mtusi-lab3-api-2 | 14.8 | 26.7 | 99.2 | 99.5 | 768.0 |
| mtusi-lab3-haproxy-1 | 2.47 | 4.2 | 28.5 | 30.9 | 128.0 |
| mtusi-lab3-loadgen-run-c39106373eec | 8.94 | 16.29 | 34.8 | 36.8 | 256.0 |
| mtusi-lab3-postgres-1 | 23.17 | 33.51 | 49.7 | 53.7 | 512.0 |
| mtusi-lab3-redis-1 | 1.94 | 5.45 | 3.8 | 3.9 | 128.0 |
PostgreSQL: 295.9 xact/s, откатов 0.0/s, hit ratio 1.0, ожиданий блокировок пик 0, активных сессий пик 2, соединений пик 10, deadlocks 0, messages 2.0 MiB.
LB: 3031 запросов (94.72 req/s), ошибок 0, очередь пик 0.
- LB слот api1: 1516 запросов (47.38 req/s), ошибок 0, очередь пик 0, статусы ['UP'], адрес ['172.30.0.5:8080'].
- LB слот api2: 1515 запросов (47.34 req/s), ошибок 0, очередь пик 0, статусы ['UP'], адрес ['172.30.0.4:8080'].
- реплика 4579bce31e8d (build unknown, контейнер 4579bce31e8d): {"chats.findForUser": 1500, "health.database": 6, "idempotency.claim": 1500, "messages.write": 1500, "redis.get": 1512, "redis.ping": 6, "redis.set": 3, "request_count": 1597, "session_get": 1512, "session_set": 3, "users.findById": 1512, "users.findByUsername": 3}; latency p95 6.288069000001997 ms.
- реплика 77b49a240814 (build unknown, контейнер 77b49a240814): {"chats.findForUser": 1501, "health.database": 6, "idempotency.claim": 1501, "messages.write": 1501, "redis.get": 1513, "redis.ping": 6, "request_count": 1598, "session_get": 1513, "users.findById": 1513, "users.insert": 3}; latency p95 6.355360000015935 ms.
+5
View File
@@ -0,0 +1,5 @@
# Серия A: 1/2/4 реплики при фиксированном бюджете
## Точки сатурации
+2286
View File
File diff suppressed because it is too large Load Diff
+241
View File
@@ -0,0 +1,241 @@
// Общие части профилей нагрузки: подготовка синтетических данных, разбор
// лестницы темпов, пошаговые метрики и сводка в stdout.
//
// Темп задаётся исполнителем constant-arrival-rate: k6 не интерполирует темп
// внутри сценария, поэтому каждый шаг лестницы — отдельный сценарий со своим
// временем старта и плоской полкой. Метрики каждого шага собираются отдельными
// объектами (k6 не создаёт подметрики для произвольных тегов), а сводка
// печатается JSON в stdout: файлов из контейнера генератор не создаёт.
import encoding from 'k6/encoding';
import exec from 'k6/execution';
import http from 'k6/http';
import { Counter, Gauge, Trend } from 'k6/metrics';
export const BASE_URL = (__ENV.BASE_URL || 'http://haproxy:8080').replace(
/\/+$/u,
'',
);
const CHAT_COUNT = Number(__ENV.CHATS || 24);
const LOAD_USERS = 3;
// Бюджет VU: на 1100 req/s при p95 около 25 ms достаточно около 30 активных VU;
// 60 предвыделенных и 200 максимальных оставляют запас, чтобы узкое место
// оказалось на сервере, а не в генераторе.
export const VUS = { preAllocated: 60, max: 200 };
export function ratesFromEnv(fallback) {
const raw = __ENV.LADDER;
if (!raw) return fallback;
const parsed = raw
.split(',')
.map((value) => Number(value.trim()))
.filter((value) => Number.isFinite(value) && value > 0);
return parsed.length > 0 ? parsed : fallback;
}
export function stepMetrics(rates, keyBuilder) {
const metrics = {};
for (const rate of rates) {
metrics[keyBuilder(rate)] = {
rate,
requests: new Counter(`step_${rate}_requests`),
failed: new Counter(`step_${rate}_failed`),
duration: new Trend(`step_${rate}_duration`, true),
vus: new Gauge(`step_${rate}_vus`),
};
}
return metrics;
}
export function ladderScenarios(rates, stepSeconds) {
const scenarios = {};
rates.forEach((rate, index) => {
scenarios[`step_${rate}`] = {
executor: 'constant-arrival-rate',
exec: 'run',
rate,
timeUnit: '1s',
duration: `${stepSeconds}s`,
startTime: `${index * stepSeconds}s`,
preAllocatedVUs: VUS.preAllocated,
maxVUs: VUS.max,
tags: { rate: String(rate) },
};
});
return scenarios;
}
export function steadyScenarios(rate, seconds) {
return {
steady: {
executor: 'constant-arrival-rate',
exec: 'run',
rate,
timeUnit: '1s',
duration: `${seconds}s`,
preAllocatedVUs: VUS.preAllocated,
maxVUs: VUS.max,
tags: { rate: String(rate) },
},
};
}
// Идентификаторы не обязаны быть криптостойкими: нужна уникальность ключа
// идемпотентности на итерацию и уникальность синтетических пользователей.
function token(size) {
return Math.random().toString(36).slice(2, 2 + size);
}
export function setup() {
const runId = token(8);
const users = [];
for (let index = 0; index < LOAD_USERS; index += 1) {
const username = `k6_${runId}_${index}`;
const password = `k6-pass-${runId}-${index}`;
const registered = http.post(
`${BASE_URL}/api/v1/users`,
JSON.stringify({
username,
display_name: `k6 ${index}`,
password,
}),
{ headers: { 'content-type': 'application/json' } },
);
if (registered.status !== 201)
throw new Error(
`cannot register ${username}: ${registered.status} ${registered.body}`,
);
const user = JSON.parse(registered.body);
const session = http.post(
`${BASE_URL}/api/v1/auth/sessions`,
null,
{
headers: {
authorization: `Basic ${encoding.b64encode(`${username}:${password}`)}`,
},
},
);
if (session.status !== 201)
throw new Error(
`cannot create session for ${username}: ${session.status} ${session.body}`,
);
users.push({
id: user.id,
token: JSON.parse(session.body).token,
username,
});
}
const chats = [];
for (let index = 0; index < CHAT_COUNT; index += 1) {
const created = http.post(
`${BASE_URL}/api/v1/chats`,
JSON.stringify({
title: `k6 ${runId} chat ${index}`,
member_ids: users.map((user) => user.id),
}),
{
headers: {
'content-type': 'application/json',
authorization: `Bearer ${users[0].token}`,
},
},
);
if (created.status !== 201)
throw new Error(
`cannot create chat ${index}: ${created.status} ${created.body}`,
);
chats.push(JSON.parse(created.body).id);
}
return { runId, users, chats, profile: __ENV.PROFILE || 'spread' };
}
function chatFor(data) {
if (data.profile === 'hot') return data.chats[0];
return data.chats[(exec.vu.idInTest * 7 + exec.vu.iterationInInstance) % data.chats.length];
}
function actorFor(data) {
return data.users[exec.vu.idInTest % data.users.length];
}
export function writeIteration(data, metrics) {
const step = metrics[exec.scenario.name];
const actor = actorFor(data);
const key = `k6-${Date.now().toString(36)}-${token(12)}-${exec.vu.idInTest}`;
const response = http.post(
`${BASE_URL}/api/v1/chats/${chatFor(data)}/messages`,
JSON.stringify({ text: `k6 ${data.runId} ${key}` }),
{
headers: {
'content-type': 'application/json',
authorization: `Bearer ${actor.token}`,
'idempotency-key': key,
},
tags: { rate: String(step.rate) },
},
);
step.requests.add(1);
step.duration.add(response.timings.duration);
if (response.status !== 201) step.failed.add(1);
step.vus.add(exec.instance.vusActive);
}
export function readIteration(data, metrics) {
const step = metrics[exec.scenario.name];
const actor = actorFor(data);
const response = http.get(
`${BASE_URL}/api/v1/chats/${chatFor(data)}/messages?limit=50`,
{
headers: { authorization: `Bearer ${actor.token}` },
tags: { rate: String(step.rate) },
},
);
step.requests.add(1);
step.duration.add(response.timings.duration);
if (response.status !== 200) step.failed.add(1);
step.vus.add(exec.instance.vusActive);
}
function round(value, digits) {
const factor = 10 ** digits;
return Math.round(value * factor) / factor;
}
export function summaryJson(data, metrics, rates, kind, stepSeconds) {
const steps = rates.map((rate) => {
const name = `step_${rate}`;
const values = data.metrics[`${name}_duration`]?.values ?? {};
const requests = data.metrics[`${name}_requests`]?.values?.count ?? 0;
return {
rate,
duration_s: stepSeconds,
requests,
achieved_rps: round(requests / stepSeconds, 2),
failed: data.metrics[`${name}_failed`]?.values?.count ?? 0,
p50: round(values['p(50)'] ?? 0, 2),
p95: round(values['p(95)'] ?? 0, 2),
p99: round(values['p(99)'] ?? 0, 2),
avg: round(values.avg ?? 0, 2),
max: round(values.max ?? 0, 2),
vus_active: data.metrics[`${name}_vus`]?.values?.value ?? 0,
};
});
const global = data.metrics.http_req_duration?.values ?? {};
return {
label: __ENV.LABEL || 'unlabelled',
profile: __ENV.PROFILE || 'spread',
mode: __ENV.MODE || 'write',
kind,
base_url: BASE_URL,
steps,
http_reqs: data.metrics.http_reqs?.values?.count ?? 0,
iterations: data.metrics.iterations?.values?.count ?? 0,
dropped_iterations: data.metrics.dropped_iterations?.values?.count ?? 0,
vus_max: data.metrics.vus_max?.values?.value ?? 0,
http_req_duration_p95: round(global['p(95)'] ?? 0, 2),
checks: {
passes: data.metrics.checks?.values?.passes ?? 0,
fails: data.metrics.checks?.values?.fails ?? 0,
},
};
}
+47
View File
@@ -0,0 +1,47 @@
// Основной профиль трека 1: лестница из плоских полок по 15 s.
//
// MODE=write (по умолчанию) — POST сообщения, SPREAD=hot пишет в один чат
// MODE=read — GET истории (limit=50), измеряет путь чтения и LB
//
// ENV: BASE_URL, LADDER (темпы через запятую), STEP_SECONDS, PROFILE=spread|hot,
// MODE=write|read, CHATS, LABEL.
//
// Самостоятельный запуск:
// docker compose --profile load run --rm -e LABEL=manual loadgen run /load/write-ladder.js
import {
ladderScenarios,
ratesFromEnv,
readIteration,
setup,
stepMetrics,
summaryJson,
writeIteration,
} from './common.js';
const STEP_SECONDS = Number(__ENV.STEP_SECONDS || 15);
// Лестница профиля p-a (spread, запись): измеряемая база трека.
const RATES = ratesFromEnv([100, 200, 300, 400, 550, 700, 900, 1100]);
const METRICS = stepMetrics(RATES, (rate) => `step_${rate}`);
export const options = {
setupTimeout: '3m',
scenarios: ladderScenarios(RATES, STEP_SECONDS),
summaryTrendStats: ['avg', 'min', 'med', 'p(50)', 'p(90)', 'p(95)', 'p(99)', 'max'],
};
export { setup };
export function run(data) {
return __ENV.MODE === 'read'
? readIteration(data, METRICS)
: writeIteration(data, METRICS);
}
export function handleSummary(data) {
return {
stdout:
JSON.stringify(
summaryJson(data, METRICS, RATES, 'ladder', STEP_SECONDS),
) + '\n',
};
}
+43
View File
@@ -0,0 +1,43 @@
// Фиксированный темп одной полкой: A/B-сравнение образов и серии роста ресурсов.
//
// MODE=write (по умолчанию) — POST сообщения
// MODE=read — GET истории (limit=50)
//
// ENV: BASE_URL, RATE (req/s), DURATION (s), PROFILE=spread|hot, MODE, LABEL.
import {
ratesFromEnv,
readIteration,
setup,
steadyScenarios,
stepMetrics,
summaryJson,
writeIteration,
} from './common.js';
const RATE = Number(__ENV.RATE || ratesFromEnv([200])[0]);
const DURATION_SECONDS = Number(__ENV.DURATION || 60);
const RATES = [RATE];
const METRICS = stepMetrics(RATES, () => 'steady');
export const options = {
setupTimeout: '3m',
scenarios: steadyScenarios(RATE, DURATION_SECONDS),
summaryTrendStats: ['avg', 'min', 'med', 'p(50)', 'p(90)', 'p(95)', 'p(99)', 'max'],
};
export { setup };
export function run(data) {
return __ENV.MODE === 'read'
? readIteration(data, METRICS)
: writeIteration(data, METRICS);
}
export function handleSummary(data) {
return {
stdout:
JSON.stringify(
summaryJson(data, METRICS, RATES, 'steady', DURATION_SECONDS),
) + '\n',
};
}