docs(evidence): baseline load before experiments
This commit is contained in:
@@ -0,0 +1,158 @@
|
||||
{
|
||||
"metrics": {
|
||||
"iteration_duration": {
|
||||
"min": 2.7143,
|
||||
"med": 3.96935,
|
||||
"max": 11.377,
|
||||
"p(90)": 4.80631,
|
||||
"p(95)": 5.273655,
|
||||
"avg": 4.148489466666667
|
||||
},
|
||||
"data_received": {
|
||||
"count": 673708,
|
||||
"rate": 21268.63445048648
|
||||
},
|
||||
"http_req_blocked": {
|
||||
"p(95)": 0,
|
||||
"avg": 0.015508649367930803,
|
||||
"min": 0,
|
||||
"med": 0,
|
||||
"max": 10.3133,
|
||||
"p(90)": 0
|
||||
},
|
||||
"iterations": {
|
||||
"count": 1500,
|
||||
"rate": 47.35427169594204
|
||||
},
|
||||
"http_req_duration": {
|
||||
"med": 3.9578,
|
||||
"max": 889.562,
|
||||
"p(90)": 4.75692,
|
||||
"p(95)": 5.063949999999999,
|
||||
"avg": 5.203563073852293,
|
||||
"min": 2.7143
|
||||
},
|
||||
"checks": {
|
||||
"passes": 3000,
|
||||
"fails": 0,
|
||||
"value": 1
|
||||
},
|
||||
"write_latency_ms": {
|
||||
"p(95)": 5.046234999999999,
|
||||
"avg": 4.107610933333333,
|
||||
"min": 2.7143,
|
||||
"med": 3.9565,
|
||||
"max": 11.2309,
|
||||
"p(90)": 4.75412
|
||||
},
|
||||
"data_sent": {
|
||||
"count": 473946,
|
||||
"rate": 14962.24510213663
|
||||
},
|
||||
"http_req_duration{expected_response:true}": {
|
||||
"avg": 5.203563073852293,
|
||||
"min": 2.7143,
|
||||
"med": 3.9578,
|
||||
"max": 889.562,
|
||||
"p(90)": 4.75692,
|
||||
"p(95)": 5.063949999999999
|
||||
},
|
||||
"http_req_connecting": {
|
||||
"avg": 0.007103393213572853,
|
||||
"min": 0,
|
||||
"med": 0,
|
||||
"max": 1.3121,
|
||||
"p(90)": 0,
|
||||
"p(95)": 0
|
||||
},
|
||||
"http_req_sending": {
|
||||
"p(90)": 0,
|
||||
"p(95)": 0,
|
||||
"avg": 0.0032186959414504325,
|
||||
"min": 0,
|
||||
"med": 0,
|
||||
"max": 1.0038
|
||||
},
|
||||
"write_total": {
|
||||
"rate": 47.35427169594204,
|
||||
"count": 1500
|
||||
},
|
||||
"http_req_receiving": {
|
||||
"avg": 0.01398117099135063,
|
||||
"min": 0,
|
||||
"med": 0,
|
||||
"max": 1.0235,
|
||||
"p(90)": 0,
|
||||
"p(95)": 0
|
||||
},
|
||||
"write_errors": {
|
||||
"passes": 0,
|
||||
"fails": 1500,
|
||||
"thresholds": {
|
||||
"rate<0.01": false
|
||||
},
|
||||
"value": 0
|
||||
},
|
||||
"http_req_waiting": {
|
||||
"avg": 5.186363206919492,
|
||||
"min": 2.7128,
|
||||
"med": 3.9517,
|
||||
"max": 889.562,
|
||||
"p(90)": 4.725820000000001,
|
||||
"p(95)": 5.00228
|
||||
},
|
||||
"vus_max": {
|
||||
"value": 100,
|
||||
"min": 100,
|
||||
"max": 100
|
||||
},
|
||||
"http_req_failed": {
|
||||
"passes": 0,
|
||||
"fails": 1503,
|
||||
"value": 0
|
||||
},
|
||||
"vus": {
|
||||
"value": 0,
|
||||
"min": 0,
|
||||
"max": 0
|
||||
},
|
||||
"http_reqs": {
|
||||
"count": 1503,
|
||||
"rate": 47.44898023933392
|
||||
},
|
||||
"http_req_tls_handshaking": {
|
||||
"p(95)": 0,
|
||||
"avg": 0,
|
||||
"min": 0,
|
||||
"med": 0,
|
||||
"max": 0,
|
||||
"p(90)": 0
|
||||
}
|
||||
},
|
||||
"setup_data": {
|
||||
"chatId": "97d84ac4-969c-42aa-97d7-f49264e23135",
|
||||
"token": "REDACTED"
|
||||
},
|
||||
"root_group": {
|
||||
"groups": {},
|
||||
"checks": {
|
||||
"status is 201": {
|
||||
"name": "status is 201",
|
||||
"path": "::status is 201",
|
||||
"id": "ec8c9afd59577ad0eb26fbf150ecf791",
|
||||
"passes": 1500,
|
||||
"fails": 0
|
||||
},
|
||||
"has message id": {
|
||||
"name": "has message id",
|
||||
"path": "::has message id",
|
||||
"id": "b68aced36d580a28d7f34396032f1650",
|
||||
"passes": 1500,
|
||||
"fails": 0
|
||||
}
|
||||
},
|
||||
"name": "",
|
||||
"path": "",
|
||||
"id": "d41d8cd98f00b204e9800998ecf8427e"
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,100 @@
|
||||
# Baseline k6 — open-loop нагрузка на POST /messages
|
||||
|
||||
- Дата: 2026-10-08
|
||||
- Хост: Windows 10, Docker Desktop (бэкенд WSL2)
|
||||
- Коммит: a5b668c31c18fc92e6c6620fa353d70d2083127b
|
||||
- Скрипт: `student-tests/load-k6.js`
|
||||
- Профиль: `constant-arrival-rate`, RATE=50, DURATION=30s, maxVUs=100
|
||||
- Стенд: 2 × api (0.5 CPU / 256 MiB), postgres (1 CPU / 1 GiB), redis (0.5 CPU / 256 MiB), nginx LB
|
||||
|
||||
## Назначение
|
||||
|
||||
Отправная точка для сравнения до и после rolling update и для
|
||||
экспериментов трека 1. В отличие от `tests/load.py`, k6 работает в
|
||||
open-loop режиме: интенсивность задаётся в RPS, k6 сам подбирает число
|
||||
VU, и снижение пропускной способности сервера не приводит к снижению
|
||||
частоты запросов. Это устраняет coordinated omission и даёт честные
|
||||
p95/p99.
|
||||
|
||||
`write_latency_ms` считает только POST /messages, без setup-запросов
|
||||
регистрации/логина, поэтому метрика не размывается первичным
|
||||
`setup()`.
|
||||
|
||||
## Команда
|
||||
|
||||
k6 run -e RATE=50 -e DURATION=30s \
|
||||
--summary-export evidence/k6-baseline.json \
|
||||
student-tests/load-k6.js
|
||||
|
||||
## Консольный вывод
|
||||
|
||||
█ THRESHOLDS
|
||||
|
||||
write_errors
|
||||
✓ 'rate<0.01' rate=0.00%
|
||||
|
||||
█ TOTAL RESULTS
|
||||
|
||||
checks_total.......: 3000 94.708543/s
|
||||
checks_succeeded...: 100.00% 3000 out of 3000
|
||||
checks_failed......: 0.00% 0 out of 3000
|
||||
|
||||
✓ status is 201
|
||||
✓ has message id
|
||||
|
||||
CUSTOM
|
||||
write_errors...................: 0.00% 0 out of 1500
|
||||
write_latency_ms...............: avg=4.1ms min=2.71ms med=3.95ms max=11.23ms p(90)=4.75ms p(95)=5.04ms
|
||||
write_total....................: 1500 47.354272/s
|
||||
|
||||
HTTP
|
||||
http_req_duration..............: avg=5.2ms min=2.71ms med=3.95ms max=889.56ms p(90)=4.75ms p(95)=5.06ms
|
||||
http_req_failed................: 0.00% 0 out of 1503
|
||||
http_reqs......................: 1503 47.44898/s
|
||||
|
||||
EXECUTION
|
||||
iteration_duration.............: avg=4.14ms min=2.71ms med=3.96ms max=11.37ms p(90)=4.8ms p(95)=5.27ms
|
||||
iterations.....................: 1500 47.354272/s
|
||||
vus_max........................: 100 min=100 max=100
|
||||
|
||||
NETWORK
|
||||
data_received..................: 674 kB 21 kB/s
|
||||
data_sent......................: 474 kB 15 kB/s
|
||||
|
||||
## Итоговые метрики
|
||||
|
||||
| Метрика | Значение |
|
||||
| --- | --- |
|
||||
| Фактический RPS POST | 47.45 |
|
||||
| Всего записей (write_total) | 1500 |
|
||||
| Ошибок (write_errors) | 0 (0.00%) |
|
||||
| write_latency_ms p50 | 3.96 ms |
|
||||
| write_latency_ms p90 | 4.75 ms |
|
||||
| write_latency_ms p95 | 5.05 ms |
|
||||
| write_latency_ms max | 11.23 ms |
|
||||
| Checks passed | 3000 / 3000 |
|
||||
|
||||
`http_req_duration.max = 889.56 ms` — единичный выброс в самом начале
|
||||
прогона: первый запрос на свежую реплику, прогрев pgx pool и Go runtime.
|
||||
На p95/p99 не влияет, поэтому не искажает картину.
|
||||
|
||||
## Замечание про поля `passes/fails/value` в k6 summary
|
||||
|
||||
В JSON у метрик `write_errors` и `http_req_failed`:
|
||||
|
||||
"write_errors": {
|
||||
"passes": 0,
|
||||
"fails": 1500,
|
||||
"value": 0
|
||||
}
|
||||
|
||||
`fails: 1500` здесь - не ошибки, а количество событий, у которых
|
||||
значение метрики было `false` (`status !== 201` → ложь для всех
|
||||
успешных). Итоговое значение метрики — `value: 0` (0% ошибок), что
|
||||
совпадает с `✓ 'rate<0.01' rate=0.00%` в консольном выводе.
|
||||
Это стандартное поведение k6 для `Rate`
|
||||
|
||||
## Связанные файлы
|
||||
|
||||
- `evidence/k6-baseline.json` — полный JSON summary (session token замаскирован)
|
||||
- `evidence/load-py-baseline.md` — closed-loop аналог для сравнения
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 3,
|
||||
"workload": "закрытый цикл POST /messages; без автоматических повторов",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.108,
|
||||
"concurrency": 4,
|
||||
"successful_requests": 10726,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 356.248,
|
||||
"successful_latency_ms": {
|
||||
"p50": 7.475,
|
||||
"p95": 26.506,
|
||||
"p99": 53.035
|
||||
},
|
||||
"note": "Процентили latency покрывают только успешные запросы. Таймауты и ошибки учитываются отдельно; closed-loop страдает coordinated omission и содержит накладные расходы клиента."
|
||||
}
|
||||
@@ -0,0 +1,61 @@
|
||||
# Baseline load.py — closed-loop
|
||||
|
||||
- Дата: 2026-10-08
|
||||
- Хост: Windows 10, Docker Desktop (бэкенд WSL2)
|
||||
- Коммит: a5b668c31c18fc92e6c6620fa353d70d2083127b
|
||||
- Скрипт: `tests/load.py` (публичный, из scaffold)
|
||||
- Профиль: closed-loop, 4 конкурентных воркера, 30 секунд
|
||||
- Лимиты стенда: 2 × api (0.5 CPU / 256 MiB), postgres (1 CPU / 1 GiB), redis (0.5 CPU / 256 MiB), nginx LB
|
||||
|
||||
## Назначение
|
||||
|
||||
Точка отсчёта для сравнения с open-loop k6. `load.py` использует
|
||||
closed-loop модель: следующий запрос отправляется сразу после ответа на
|
||||
предыдущий, поэтому фактический RPS зависит от latency сервера. Это
|
||||
означает **coordinated omission**: если сервер начнёт тормозить, RPS
|
||||
упадёт, и пострадавшая latency окажется заниженной. Для заявлений о
|
||||
максимальной пропускной способности нужен open-loop k6.
|
||||
|
||||
## Команда
|
||||
|
||||
python3 tests/load.py --duration 30 --concurrency 4 \
|
||||
--output evidence/load-py-baseline.json
|
||||
|
||||
## Результат
|
||||
|
||||
{
|
||||
"lab": 3,
|
||||
"workload": "закрытый цикл POST /messages; без автоматических повторов",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.108,
|
||||
"concurrency": 4,
|
||||
"successful_requests": 10726,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 356.248,
|
||||
"successful_latency_ms": {
|
||||
"p50": 7.475,
|
||||
"p95": 26.506,
|
||||
"p99": 53.035
|
||||
},
|
||||
"note": "Процентили latency покрывают только успешные запросы. Таймауты и ошибки учитываются отдельно; closed-loop страдает coordinated omission и содержит накладные расходы клиента."
|
||||
}
|
||||
## Что показывают цифры
|
||||
|
||||
- **356 RPS при 4 воркерах** — стек выдерживает несколько сотен
|
||||
последовательных POST. Это не предел: closed-loop насыщает клиент
|
||||
и сервер одновременно, цифра зависит от того, кто первым стал
|
||||
bottleneck.
|
||||
- **p50 = 7.5 ms, p95 = 26.5 ms, p99 = 53.0 ms** — хвосты растут
|
||||
заметно по сравнению с open-loop k6 на 50 RPS (там p95 = 5.05 ms).
|
||||
Ожидаемо: 4 воркера держат в полёте несколько запросов
|
||||
одновременно, latency включает очередь на стороне API и Postgres.
|
||||
- **failed_requests = 0** — на этом уровне ошибок нет.
|
||||
- Сравнение с k6-базой не «кто быстрее», а «как меняется картина
|
||||
при разных моделях нагрузки». Closed-loop даёт завышенный RPS и
|
||||
заниженную latency хвостов из-за coordinated omission.
|
||||
|
||||
## Связанные файлы
|
||||
|
||||
- `evidence/load-py-baseline.json` — сырой JSON, сохранённый скриптом
|
||||
- `evidence/k6-baseline.md` — open-loop аналог для сравнения
|
||||
Reference in New Issue
Block a user