docs(evidence): baseline load before experiments

This commit is contained in:
Голиков Maximillian Антон
2026-10-07 17:22:58 +03:00
parent a5b668c31c
commit 320d797554
4 changed files with 336 additions and 0 deletions
+158
View File
@@ -0,0 +1,158 @@
{
"metrics": {
"iteration_duration": {
"min": 2.7143,
"med": 3.96935,
"max": 11.377,
"p(90)": 4.80631,
"p(95)": 5.273655,
"avg": 4.148489466666667
},
"data_received": {
"count": 673708,
"rate": 21268.63445048648
},
"http_req_blocked": {
"p(95)": 0,
"avg": 0.015508649367930803,
"min": 0,
"med": 0,
"max": 10.3133,
"p(90)": 0
},
"iterations": {
"count": 1500,
"rate": 47.35427169594204
},
"http_req_duration": {
"med": 3.9578,
"max": 889.562,
"p(90)": 4.75692,
"p(95)": 5.063949999999999,
"avg": 5.203563073852293,
"min": 2.7143
},
"checks": {
"passes": 3000,
"fails": 0,
"value": 1
},
"write_latency_ms": {
"p(95)": 5.046234999999999,
"avg": 4.107610933333333,
"min": 2.7143,
"med": 3.9565,
"max": 11.2309,
"p(90)": 4.75412
},
"data_sent": {
"count": 473946,
"rate": 14962.24510213663
},
"http_req_duration{expected_response:true}": {
"avg": 5.203563073852293,
"min": 2.7143,
"med": 3.9578,
"max": 889.562,
"p(90)": 4.75692,
"p(95)": 5.063949999999999
},
"http_req_connecting": {
"avg": 0.007103393213572853,
"min": 0,
"med": 0,
"max": 1.3121,
"p(90)": 0,
"p(95)": 0
},
"http_req_sending": {
"p(90)": 0,
"p(95)": 0,
"avg": 0.0032186959414504325,
"min": 0,
"med": 0,
"max": 1.0038
},
"write_total": {
"rate": 47.35427169594204,
"count": 1500
},
"http_req_receiving": {
"avg": 0.01398117099135063,
"min": 0,
"med": 0,
"max": 1.0235,
"p(90)": 0,
"p(95)": 0
},
"write_errors": {
"passes": 0,
"fails": 1500,
"thresholds": {
"rate<0.01": false
},
"value": 0
},
"http_req_waiting": {
"avg": 5.186363206919492,
"min": 2.7128,
"med": 3.9517,
"max": 889.562,
"p(90)": 4.725820000000001,
"p(95)": 5.00228
},
"vus_max": {
"value": 100,
"min": 100,
"max": 100
},
"http_req_failed": {
"passes": 0,
"fails": 1503,
"value": 0
},
"vus": {
"value": 0,
"min": 0,
"max": 0
},
"http_reqs": {
"count": 1503,
"rate": 47.44898023933392
},
"http_req_tls_handshaking": {
"p(95)": 0,
"avg": 0,
"min": 0,
"med": 0,
"max": 0,
"p(90)": 0
}
},
"setup_data": {
"chatId": "97d84ac4-969c-42aa-97d7-f49264e23135",
"token": "REDACTED"
},
"root_group": {
"groups": {},
"checks": {
"status is 201": {
"name": "status is 201",
"path": "::status is 201",
"id": "ec8c9afd59577ad0eb26fbf150ecf791",
"passes": 1500,
"fails": 0
},
"has message id": {
"name": "has message id",
"path": "::has message id",
"id": "b68aced36d580a28d7f34396032f1650",
"passes": 1500,
"fails": 0
}
},
"name": "",
"path": "",
"id": "d41d8cd98f00b204e9800998ecf8427e"
}
}
+100
View File
@@ -0,0 +1,100 @@
# Baseline k6 — open-loop нагрузка на POST /messages
- Дата: 2026-10-08
- Хост: Windows 10, Docker Desktop (бэкенд WSL2)
- Коммит: a5b668c31c18fc92e6c6620fa353d70d2083127b
- Скрипт: `student-tests/load-k6.js`
- Профиль: `constant-arrival-rate`, RATE=50, DURATION=30s, maxVUs=100
- Стенд: 2 × api (0.5 CPU / 256 MiB), postgres (1 CPU / 1 GiB), redis (0.5 CPU / 256 MiB), nginx LB
## Назначение
Отправная точка для сравнения до и после rolling update и для
экспериментов трека 1. В отличие от `tests/load.py`, k6 работает в
open-loop режиме: интенсивность задаётся в RPS, k6 сам подбирает число
VU, и снижение пропускной способности сервера не приводит к снижению
частоты запросов. Это устраняет coordinated omission и даёт честные
p95/p99.
`write_latency_ms` считает только POST /messages, без setup-запросов
регистрации/логина, поэтому метрика не размывается первичным
`setup()`.
## Команда
k6 run -e RATE=50 -e DURATION=30s \
--summary-export evidence/k6-baseline.json \
student-tests/load-k6.js
## Консольный вывод
█ THRESHOLDS
write_errors
✓ 'rate<0.01' rate=0.00%
█ TOTAL RESULTS
checks_total.......: 3000 94.708543/s
checks_succeeded...: 100.00% 3000 out of 3000
checks_failed......: 0.00% 0 out of 3000
✓ status is 201
✓ has message id
CUSTOM
write_errors...................: 0.00% 0 out of 1500
write_latency_ms...............: avg=4.1ms min=2.71ms med=3.95ms max=11.23ms p(90)=4.75ms p(95)=5.04ms
write_total....................: 1500 47.354272/s
HTTP
http_req_duration..............: avg=5.2ms min=2.71ms med=3.95ms max=889.56ms p(90)=4.75ms p(95)=5.06ms
http_req_failed................: 0.00% 0 out of 1503
http_reqs......................: 1503 47.44898/s
EXECUTION
iteration_duration.............: avg=4.14ms min=2.71ms med=3.96ms max=11.37ms p(90)=4.8ms p(95)=5.27ms
iterations.....................: 1500 47.354272/s
vus_max........................: 100 min=100 max=100
NETWORK
data_received..................: 674 kB 21 kB/s
data_sent......................: 474 kB 15 kB/s
## Итоговые метрики
| Метрика | Значение |
| --- | --- |
| Фактический RPS POST | 47.45 |
| Всего записей (write_total) | 1500 |
| Ошибок (write_errors) | 0 (0.00%) |
| write_latency_ms p50 | 3.96 ms |
| write_latency_ms p90 | 4.75 ms |
| write_latency_ms p95 | 5.05 ms |
| write_latency_ms max | 11.23 ms |
| Checks passed | 3000 / 3000 |
`http_req_duration.max = 889.56 ms` — единичный выброс в самом начале
прогона: первый запрос на свежую реплику, прогрев pgx pool и Go runtime.
На p95/p99 не влияет, поэтому не искажает картину.
## Замечание про поля `passes/fails/value` в k6 summary
В JSON у метрик `write_errors` и `http_req_failed`:
"write_errors": {
"passes": 0,
"fails": 1500,
"value": 0
}
`fails: 1500` здесь - не ошибки, а количество событий, у которых
значение метрики было `false` (`status !== 201` → ложь для всех
успешных). Итоговое значение метрики — `value: 0` (0% ошибок), что
совпадает с `✓ 'rate<0.01' rate=0.00%` в консольном выводе.
Это стандартное поведение k6 для `Rate`
## Связанные файлы
- `evidence/k6-baseline.json` — полный JSON summary (session token замаскирован)
- `evidence/load-py-baseline.md` — closed-loop аналог для сравнения
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 3,
"workload": "закрытый цикл POST /messages; без автоматических повторов",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.108,
"concurrency": 4,
"successful_requests": 10726,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 356.248,
"successful_latency_ms": {
"p50": 7.475,
"p95": 26.506,
"p99": 53.035
},
"note": "Процентили latency покрывают только успешные запросы. Таймауты и ошибки учитываются отдельно; closed-loop страдает coordinated omission и содержит накладные расходы клиента."
}
+61
View File
@@ -0,0 +1,61 @@
# Baseline load.py — closed-loop
- Дата: 2026-10-08
- Хост: Windows 10, Docker Desktop (бэкенд WSL2)
- Коммит: a5b668c31c18fc92e6c6620fa353d70d2083127b
- Скрипт: `tests/load.py` (публичный, из scaffold)
- Профиль: closed-loop, 4 конкурентных воркера, 30 секунд
- Лимиты стенда: 2 × api (0.5 CPU / 256 MiB), postgres (1 CPU / 1 GiB), redis (0.5 CPU / 256 MiB), nginx LB
## Назначение
Точка отсчёта для сравнения с open-loop k6. `load.py` использует
closed-loop модель: следующий запрос отправляется сразу после ответа на
предыдущий, поэтому фактический RPS зависит от latency сервера. Это
означает **coordinated omission**: если сервер начнёт тормозить, RPS
упадёт, и пострадавшая latency окажется заниженной. Для заявлений о
максимальной пропускной способности нужен open-loop k6.
## Команда
python3 tests/load.py --duration 30 --concurrency 4 \
--output evidence/load-py-baseline.json
## Результат
{
"lab": 3,
"workload": "закрытый цикл POST /messages; без автоматических повторов",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.108,
"concurrency": 4,
"successful_requests": 10726,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 356.248,
"successful_latency_ms": {
"p50": 7.475,
"p95": 26.506,
"p99": 53.035
},
"note": "Процентили latency покрывают только успешные запросы. Таймауты и ошибки учитываются отдельно; closed-loop страдает coordinated omission и содержит накладные расходы клиента."
}
## Что показывают цифры
- **356 RPS при 4 воркерах** — стек выдерживает несколько сотен
последовательных POST. Это не предел: closed-loop насыщает клиент
и сервер одновременно, цифра зависит от того, кто первым стал
bottleneck.
- **p50 = 7.5 ms, p95 = 26.5 ms, p99 = 53.0 ms** — хвосты растут
заметно по сравнению с open-loop k6 на 50 RPS (там p95 = 5.05 ms).
Ожидаемо: 4 воркера держат в полёте несколько запросов
одновременно, latency включает очередь на стороне API и Postgres.
- **failed_requests = 0** — на этом уровне ошибок нет.
- Сравнение с k6-базой не «кто быстрее», а «как меняется картина
при разных моделях нагрузки». Closed-loop даёт завышенный RPS и
заниженную latency хвостов из-за coordinated omission.
## Связанные файлы
- `evidence/load-py-baseline.json` — сырой JSON, сохранённый скриптом
- `evidence/k6-baseline.md` — open-loop аналог для сравнения