diff --git a/evidence/k6-baseline.json b/evidence/k6-baseline.json new file mode 100644 index 00000000..46ffa38b --- /dev/null +++ b/evidence/k6-baseline.json @@ -0,0 +1,158 @@ +{ + "metrics": { + "iteration_duration": { + "min": 2.7143, + "med": 3.96935, + "max": 11.377, + "p(90)": 4.80631, + "p(95)": 5.273655, + "avg": 4.148489466666667 + }, + "data_received": { + "count": 673708, + "rate": 21268.63445048648 + }, + "http_req_blocked": { + "p(95)": 0, + "avg": 0.015508649367930803, + "min": 0, + "med": 0, + "max": 10.3133, + "p(90)": 0 + }, + "iterations": { + "count": 1500, + "rate": 47.35427169594204 + }, + "http_req_duration": { + "med": 3.9578, + "max": 889.562, + "p(90)": 4.75692, + "p(95)": 5.063949999999999, + "avg": 5.203563073852293, + "min": 2.7143 + }, + "checks": { + "passes": 3000, + "fails": 0, + "value": 1 + }, + "write_latency_ms": { + "p(95)": 5.046234999999999, + "avg": 4.107610933333333, + "min": 2.7143, + "med": 3.9565, + "max": 11.2309, + "p(90)": 4.75412 + }, + "data_sent": { + "count": 473946, + "rate": 14962.24510213663 + }, + "http_req_duration{expected_response:true}": { + "avg": 5.203563073852293, + "min": 2.7143, + "med": 3.9578, + "max": 889.562, + "p(90)": 4.75692, + "p(95)": 5.063949999999999 + }, + "http_req_connecting": { + "avg": 0.007103393213572853, + "min": 0, + "med": 0, + "max": 1.3121, + "p(90)": 0, + "p(95)": 0 + }, + "http_req_sending": { + "p(90)": 0, + "p(95)": 0, + "avg": 0.0032186959414504325, + "min": 0, + "med": 0, + "max": 1.0038 + }, + "write_total": { + "rate": 47.35427169594204, + "count": 1500 + }, + "http_req_receiving": { + "avg": 0.01398117099135063, + "min": 0, + "med": 0, + "max": 1.0235, + "p(90)": 0, + "p(95)": 0 + }, + "write_errors": { + "passes": 0, + "fails": 1500, + "thresholds": { + "rate<0.01": false + }, + "value": 0 + }, + "http_req_waiting": { + "avg": 5.186363206919492, + "min": 2.7128, + "med": 3.9517, + "max": 889.562, + "p(90)": 4.725820000000001, + "p(95)": 5.00228 + }, + "vus_max": { + "value": 100, + "min": 100, + "max": 100 + }, + "http_req_failed": { + "passes": 0, + "fails": 1503, + "value": 0 + }, + "vus": { + "value": 0, + "min": 0, + "max": 0 + }, + "http_reqs": { + "count": 1503, + "rate": 47.44898023933392 + }, + "http_req_tls_handshaking": { + "p(95)": 0, + "avg": 0, + "min": 0, + "med": 0, + "max": 0, + "p(90)": 0 + } + }, + "setup_data": { + "chatId": "97d84ac4-969c-42aa-97d7-f49264e23135", + "token": "REDACTED" + }, + "root_group": { + "groups": {}, + "checks": { + "status is 201": { + "name": "status is 201", + "path": "::status is 201", + "id": "ec8c9afd59577ad0eb26fbf150ecf791", + "passes": 1500, + "fails": 0 + }, + "has message id": { + "name": "has message id", + "path": "::has message id", + "id": "b68aced36d580a28d7f34396032f1650", + "passes": 1500, + "fails": 0 + } + }, + "name": "", + "path": "", + "id": "d41d8cd98f00b204e9800998ecf8427e" + } +} \ No newline at end of file diff --git a/evidence/k6-baseline.md b/evidence/k6-baseline.md new file mode 100644 index 00000000..460ddea0 --- /dev/null +++ b/evidence/k6-baseline.md @@ -0,0 +1,100 @@ +# Baseline k6 — open-loop нагрузка на POST /messages + +- Дата: 2026-10-08 +- Хост: Windows 10, Docker Desktop (бэкенд WSL2) +- Коммит: a5b668c31c18fc92e6c6620fa353d70d2083127b +- Скрипт: `student-tests/load-k6.js` +- Профиль: `constant-arrival-rate`, RATE=50, DURATION=30s, maxVUs=100 +- Стенд: 2 × api (0.5 CPU / 256 MiB), postgres (1 CPU / 1 GiB), redis (0.5 CPU / 256 MiB), nginx LB + +## Назначение + +Отправная точка для сравнения до и после rolling update и для +экспериментов трека 1. В отличие от `tests/load.py`, k6 работает в +open-loop режиме: интенсивность задаётся в RPS, k6 сам подбирает число +VU, и снижение пропускной способности сервера не приводит к снижению +частоты запросов. Это устраняет coordinated omission и даёт честные +p95/p99. + +`write_latency_ms` считает только POST /messages, без setup-запросов +регистрации/логина, поэтому метрика не размывается первичным +`setup()`. + +## Команда + + k6 run -e RATE=50 -e DURATION=30s \ + --summary-export evidence/k6-baseline.json \ + student-tests/load-k6.js + +## Консольный вывод + + █ THRESHOLDS + + write_errors + ✓ 'rate<0.01' rate=0.00% + + █ TOTAL RESULTS + + checks_total.......: 3000 94.708543/s + checks_succeeded...: 100.00% 3000 out of 3000 + checks_failed......: 0.00% 0 out of 3000 + + ✓ status is 201 + ✓ has message id + + CUSTOM + write_errors...................: 0.00% 0 out of 1500 + write_latency_ms...............: avg=4.1ms min=2.71ms med=3.95ms max=11.23ms p(90)=4.75ms p(95)=5.04ms + write_total....................: 1500 47.354272/s + + HTTP + http_req_duration..............: avg=5.2ms min=2.71ms med=3.95ms max=889.56ms p(90)=4.75ms p(95)=5.06ms + http_req_failed................: 0.00% 0 out of 1503 + http_reqs......................: 1503 47.44898/s + + EXECUTION + iteration_duration.............: avg=4.14ms min=2.71ms med=3.96ms max=11.37ms p(90)=4.8ms p(95)=5.27ms + iterations.....................: 1500 47.354272/s + vus_max........................: 100 min=100 max=100 + + NETWORK + data_received..................: 674 kB 21 kB/s + data_sent......................: 474 kB 15 kB/s + +## Итоговые метрики + +| Метрика | Значение | +| --- | --- | +| Фактический RPS POST | 47.45 | +| Всего записей (write_total) | 1500 | +| Ошибок (write_errors) | 0 (0.00%) | +| write_latency_ms p50 | 3.96 ms | +| write_latency_ms p90 | 4.75 ms | +| write_latency_ms p95 | 5.05 ms | +| write_latency_ms max | 11.23 ms | +| Checks passed | 3000 / 3000 | + +`http_req_duration.max = 889.56 ms` — единичный выброс в самом начале +прогона: первый запрос на свежую реплику, прогрев pgx pool и Go runtime. +На p95/p99 не влияет, поэтому не искажает картину. + +## Замечание про поля `passes/fails/value` в k6 summary + +В JSON у метрик `write_errors` и `http_req_failed`: + + "write_errors": { + "passes": 0, + "fails": 1500, + "value": 0 + } + +`fails: 1500` здесь - не ошибки, а количество событий, у которых +значение метрики было `false` (`status !== 201` → ложь для всех +успешных). Итоговое значение метрики — `value: 0` (0% ошибок), что +совпадает с `✓ 'rate<0.01' rate=0.00%` в консольном выводе. +Это стандартное поведение k6 для `Rate` + +## Связанные файлы + +- `evidence/k6-baseline.json` — полный JSON summary (session token замаскирован) +- `evidence/load-py-baseline.md` — closed-loop аналог для сравнения \ No newline at end of file diff --git a/evidence/load-py-baseline.json b/evidence/load-py-baseline.json new file mode 100644 index 00000000..b6020f6e --- /dev/null +++ b/evidence/load-py-baseline.json @@ -0,0 +1,17 @@ +{ + "lab": 3, + "workload": "закрытый цикл POST /messages; без автоматических повторов", + "requested_duration_seconds": 30.0, + "elapsed_seconds": 30.108, + "concurrency": 4, + "successful_requests": 10726, + "failed_requests": 0, + "error_ratio": 0.0, + "successful_rps": 356.248, + "successful_latency_ms": { + "p50": 7.475, + "p95": 26.506, + "p99": 53.035 + }, + "note": "Процентили latency покрывают только успешные запросы. Таймауты и ошибки учитываются отдельно; closed-loop страдает coordinated omission и содержит накладные расходы клиента." +} \ No newline at end of file diff --git a/evidence/load-py-baseline.md b/evidence/load-py-baseline.md new file mode 100644 index 00000000..1cb29b49 --- /dev/null +++ b/evidence/load-py-baseline.md @@ -0,0 +1,61 @@ +# Baseline load.py — closed-loop + +- Дата: 2026-10-08 +- Хост: Windows 10, Docker Desktop (бэкенд WSL2) +- Коммит: a5b668c31c18fc92e6c6620fa353d70d2083127b +- Скрипт: `tests/load.py` (публичный, из scaffold) +- Профиль: closed-loop, 4 конкурентных воркера, 30 секунд +- Лимиты стенда: 2 × api (0.5 CPU / 256 MiB), postgres (1 CPU / 1 GiB), redis (0.5 CPU / 256 MiB), nginx LB + +## Назначение + +Точка отсчёта для сравнения с open-loop k6. `load.py` использует +closed-loop модель: следующий запрос отправляется сразу после ответа на +предыдущий, поэтому фактический RPS зависит от latency сервера. Это +означает **coordinated omission**: если сервер начнёт тормозить, RPS +упадёт, и пострадавшая latency окажется заниженной. Для заявлений о +максимальной пропускной способности нужен open-loop k6. + +## Команда + + python3 tests/load.py --duration 30 --concurrency 4 \ + --output evidence/load-py-baseline.json + +## Результат + + { + "lab": 3, + "workload": "закрытый цикл POST /messages; без автоматических повторов", + "requested_duration_seconds": 30.0, + "elapsed_seconds": 30.108, + "concurrency": 4, + "successful_requests": 10726, + "failed_requests": 0, + "error_ratio": 0.0, + "successful_rps": 356.248, + "successful_latency_ms": { + "p50": 7.475, + "p95": 26.506, + "p99": 53.035 + }, + "note": "Процентили latency покрывают только успешные запросы. Таймауты и ошибки учитываются отдельно; closed-loop страдает coordinated omission и содержит накладные расходы клиента." + } +## Что показывают цифры + +- **356 RPS при 4 воркерах** — стек выдерживает несколько сотен + последовательных POST. Это не предел: closed-loop насыщает клиент + и сервер одновременно, цифра зависит от того, кто первым стал + bottleneck. +- **p50 = 7.5 ms, p95 = 26.5 ms, p99 = 53.0 ms** — хвосты растут + заметно по сравнению с open-loop k6 на 50 RPS (там p95 = 5.05 ms). + Ожидаемо: 4 воркера держат в полёте несколько запросов + одновременно, latency включает очередь на стороне API и Postgres. +- **failed_requests = 0** — на этом уровне ошибок нет. +- Сравнение с k6-базой не «кто быстрее», а «как меняется картина + при разных моделях нагрузки». Closed-loop даёт завышенный RPS и + заниженную latency хвостов из-за coordinated omission. + +## Связанные файлы + +- `evidence/load-py-baseline.json` — сырой JSON, сохранённый скриптом +- `evidence/k6-baseline.md` — open-loop аналог для сравнения \ No newline at end of file