lab3: доказательства уровня 4 и контроль пробы на финальной сборке, документация

This commit is contained in:
2026-10-16 22:44:22 +03:00
parent 1b4aac7587
commit 91de084d7a
76 changed files with 2493 additions and 2484 deletions
+2 -2
View File
@@ -4,7 +4,7 @@
Целевая оценка (3/4/5): 5
Трек: 1 «Цена масштабирования»
Что реализовано и что перенесено: Стенд целиком в `compose.yaml`: HAProxy 3.2 (server-template + Docker DNS, проба `/internal/lb-check`, roundrobin), API × N без публикации портов, общие PostgreSQL 16.4 и Redis 7.4 (сессии + AOF), миграции отдельным сервисом `migrate`, лимиты CPU/RAM у всех сервисов, `container_name` не задан нигде. Из lab2 перенесены без изменений: регистрация с Argon2id, Basic→Bearer-сессии в общем Redis, чаты с атомарным созданием, keyset-пагинация `(created_at, id)`, версионированный кэш истории, `/health/live`, `/health/ready`, `/internal/metrics`, `X-Request-Id`. Добавлено в lab3: `X-Instance-Id` = hostname реплики (в успешных ответах и в ошибках), проба LB, не зависящая от БД/Redis, общая идемпотентность `POST /chats/{id}/messages` (обязательный `Idempotency-Key`, сквозь реплики, атомарная заявка и тело ответа одним оператором, TTL и фоновый GC), дрейн по SIGTERM до закрытия пулов, транзиентные коды PostgreSQL → `503 unavailable`. Инструменты: `scripts/lab3/lab3.py` (стенд, прогоны, отказы, rolling update, анализ, графики), профили k6 в `scripts/load/`, хуки `scripts/stop-one.sh`, `scripts/start-replica.sh`, `scripts/restart.sh`, `scripts/quiesce.sh`. Трек 1: серия A (1/2/4 реплики при фиксированном бюджете), VU-своп, серия роста ресурсов на 900 req/s с проверкой фактических квот через `docker inspect`, блок «почему» на 1500 req/s, A/B до/после оптимизации пути записи и контрольная серия на бюджете по умолчанию; доказательства, сводки и графики — в `evidence/track1/`.
Что реализовано и что перенесено: Стенд целиком в `compose.yaml`: HAProxy 3.2 (server-template + Docker DNS, проба готовности `/health/ready` с `timeout check 500ms`, roundrobin), API × N без публикации портов, общие PostgreSQL 16.4 и Redis 7.4 (сессии + AOF), миграции отдельным сервисом `migrate`, лимиты CPU/RAM у всех сервисов, `container_name` не задан нигде. Из lab2 перенесены без изменений: регистрация с Argon2id, Basic→Bearer-сессии в общем Redis, чаты с атомарным созданием, keyset-пагинация `(created_at, id)`, версионированный кэш истории, `/health/live`, `/health/ready`, `/internal/metrics`, `X-Request-Id`. Добавлено в lab3: `X-Instance-Id` = hostname реплики (в успешных ответах и в ошибках), проба LB `/health/ready`: PostgreSQL проверяется по отдельному соединению (занятый пул не делает реплику неготовой), весь ответ ограничен общим дедлайном `HEALTH_TIMEOUT_MS=400`, Redis — обязательная зависимость готовности; общая идемпотентность `POST /chats/{id}/messages` (обязательный `Idempotency-Key`, сквозь реплики, атомарная заявка и тело ответа одним оператором, TTL и фоновый GC), дрейн по SIGTERM до закрытия пулов, транзиентные коды PostgreSQL → `503 unavailable`. Инструменты: `scripts/lab3/lab3.py` (стенд, прогоны, отказы, rolling update, анализ, графики), профили k6 в `scripts/load/`, хуки `scripts/stop-one.sh`, `scripts/start-replica.sh`, `scripts/restart.sh`, `scripts/quiesce.sh`. Трек 1: серия A (1/2/4 реплики при фиксированном бюджете), VU-своп, блок «почему» на 1500 req/s (он же серия роста ресурсов, контроль `why#n4`, точки сопоставлены по манифестам, фактические квоты проверены через `docker inspect`), A/B до/после оптимизации пути записи и контрольная серия на бюджете по умолчанию; доказательства, сводки и графики — в `evidence/track1/`.
Команды запуска из чистого clone:
@@ -24,7 +24,7 @@ python3 scripts/lab3/lab3.py analyze
Результаты проверок и ссылка на REPORT.md: `make check` — PASS, `make test` — PASS через LB, `make test-e2e` — 14 passed / 3 skipped, `test-persistence` и `test-failover` — PASS, `test-dependencies` — PASS; доказательства уровня 3/4 — `evidence/level3/`, `evidence/level4/`, трека 1 — `evidence/track1/` (raw + сводки + графики). Полные таблицы, гипотезы, статус гипотез и ограничения — в `REPORT.md`.
Ограничения / известные ошибки: один docker-хост; PostgreSQL, Redis и HAProxy не реплицированы (трек 2 не заявлен), бэкапа тома PostgreSQL нет; путь чтения измерялся с `MAX_VUS=200`, поэтому его потолок — нижняя оценка; абсолютные значения трека сравнимы только внутри серии/блока (разные сборки и растущий датасет); серии трека, где меняются лимиты (рост ресурсов, VU-своп, блок 1500), сняты по одному прогону на точку с проверкой квот через `docker inspect`.
Ограничения / известные ошибки: один docker-хост; PostgreSQL, Redis и HAProxy не реплицированы (трек 2 не заявлен), бэкапа тома PostgreSQL нет; путь чтения измерялся с `MAX_VUS=200`, поэтому его потолок — нижняя оценка; абсолютные значения трека сравнимы только внутри серии/блока (разные сборки и растущий датасет); серии трека, где меняются лимиты (серия роста = блок 1500, VU-своп), сняты по одному прогону на точку с проверкой квот через `docker inspect`; серии трека 1 сняты с пробой LB, проверявшей только процесс и флаг дрейна, а контрольный прогон 1500 req/s на финальной сборке показал слоты LB всё время `UP`.
Источники: контракт `contracts/openapi.json` и `contracts/README.md`, публичные проверки `tests/`, документация HAProxy 3.2, Docker Compose, k6 0.54, NestJS/Fastify, `pg` и `redis`. Все числа в отчёте получены прогонами на описанном стенде и лежат в `evidence/`.
+140 -91
View File
@@ -33,6 +33,7 @@ make stand-up # docker compose up -d --build --wait: postgres, redis, m
make wait-ready # GET /health/ready через LB
make test # публичный smoke lab3 (через LB, BASE_URL=http://localhost:8080)
make test-e2e # black-box набор приложения (нужны loopback-порты PG/Redis из compose.yaml)
make test-analytics # регрессия аналитики трека 1: оффлайн, без стенда
```
Проверки отказов и сохранности (требуют управления контейнерами):
@@ -61,18 +62,18 @@ python3 scripts/lab3/lab3.py analyze # таблицы и графики
```text
клиент ──► HAProxy :8080 ──► api-1 ─┐
(проба /internal/lb-check) ├──► PostgreSQL (источник истины)
(проба /health/ready) ├──► PostgreSQL (источник истины)
api-2 ─┘ └──► Redis (сессии, кэш истории)
api-N
```
| Роль | Service | Образ | Готовность | Тома/порты |
| ------------- | ---------- | ------------------------------------ | ---------------------------------------- | ----------------------------------- |
| Балансировщик | `haproxy` | `haproxy:3.2-alpine` | проба backend `GET /internal/lb-check` | `8080`, статистика `127.0.0.1:8404` |
| API ×N | `api` | сборка `Dockerfile` (`${API_IMAGE}`) | `/health/ready` (healthcheck контейнера) | портов нет |
| Миграции | `migrate` | тот же образ | `service_completed_successfully` | — |
| PostgreSQL | `postgres` | `postgres:16.4-alpine` | `pg_isready` | `postgres-data`, loopback:5432 |
| Redis | `redis` | `redis:7.4.2-alpine` | `redis-cli ping` | `redis-data`, loopback:6379 |
| Роль | Service | Образ | Готовность | Тома/порты |
| ------------- | ---------- | ------------------------------------ | ------------------------------------------------ | ----------------------------------- |
| Балансировщик | `haproxy` | `haproxy:3.2-alpine` | проба backend `GET /health/ready`, `timeout check 500ms` | `8080`, статистика `127.0.0.1:8404` |
| API ×N | `api` | сборка `Dockerfile` (`${API_IMAGE}`) | `/health/ready` (healthcheck контейнера) | портов нет |
| Миграции | `migrate` | тот же образ | `service_completed_successfully` | — |
| PostgreSQL | `postgres` | `postgres:16.4-alpine` | `pg_isready` | `postgres-data`, loopback:5432 |
| Redis | `redis` | `redis:7.4.2-alpine` | `redis-cli ping` | `redis-data`, loopback:6379 |
**Источник истины и транзакционные границы.** Пользователи, чаты, членство,
сообщения и журнал идемпотентности живут в PostgreSQL. Redis хранит сессии
@@ -90,8 +91,13 @@ Argon2id, Basic→Bearer-сессии в общем Redis, чаты, keyset-па
отказе зависимостей, миграции отдельным сервисом. Изменено: (1) `X-Instance-Id`
больше не случайный UUID, а `INSTANCE_ID`/hostname — по нему реплика
сопоставляется контейнеру; он же ставится в ответах об ошибках, которые
формируются фильтром раньше интерсептора; (2) появилась проба LB
`/internal/lb-check`, не зависящая от БД и Redis; (3) добавлена общая
формируются фильтром раньше интерсептора; (2) **проба LB — та же
`/health/ready`**, что и healthcheck контейнера: реплика, потерявшая свой путь к
общей БД или Redis, выходит из ротации, а не отвечает клиенту `503`, оставаясь в
ней. Проверка PostgreSQL идёт по отдельному соединению (пул из одного клиента), а не
из общего пула, поэтому занятый пул не делает реплику неготовой; весь ответ
ограничен общим дедлайном `HEALTH_TIMEOUT_MS=400` (меньше `timeout check 500ms`);
(3) добавлена общая
идемпотентность отправки сообщения (таблица `idempotency_keys`, миграция 003);
(4) порядок остановки по `SIGTERM` вынесен в `main.ts`: дрейн → закрытие
сервера и пулов (стандартный порядок Nest закрывает пулы раньше дрейна);
@@ -109,7 +115,8 @@ Argon2id, Basic→Bearer-сессии в общем Redis, чаты, keyset-па
**Соответствие `.env.example` ↔ фактическая конфигурация.** Приложение читает
`APP_*`, `SESSION_TTL_SECONDS`, `DATABASE_*`, `REDIS_URL`, `CACHE_*`,
`METRICS_TOKEN`, `DRAIN_DELAY_MS`, `INSTANCE_ID`, `IDEMPOTENCY_TTL_SECONDS`
`METRICS_TOKEN`, `HEALTH_TIMEOUT_MS` (бюджет пробы зависимостей в
`/health/ready`), `DRAIN_DELAY_MS`, `INSTANCE_ID`, `IDEMPOTENCY_TTL_SECONDS`
(`app/src/config/app-config.schema.ts`); стенд читает `API_TOTAL_CPUS`,
`API_TOTAL_MEMORY_MB` (делятся на `API_REPLICAS` → `API_CPUS_PER_REPLICA` /
`API_MEMORY_PER_REPLICA`), `PG_*`, `REDIS_*`, `LB_*`, `LOADGEN_*`, `API_IMAGE`,
@@ -132,13 +139,13 @@ Argon2id, Basic→Bearer-сессии в общем Redis, чаты, keyset-па
| Остановка любой одной реплики; записи продолжаются | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (по разу на реплику) | `observed_instances_before=2`, 130 успешных записей во время отказа, 0 потерянных подтверждений, `first_recovery_seconds≈3.3`, остановленный контейнер виден в `docker ps` до/после, HAProxy помечает слот `DOWN` (L7STS) через ≈1 s | `evidence/level3/failover-mtusi-lab3-api-1.txt`, `…-api-2.txt` |
| Сохранность данных и сессии при рестарте | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | `PASS`; перезапущены postgres, redis, api ×2, haproxy (StartedAt до/после), токен и подтверждённые сообщения живы | `evidence/level3/persistence.txt` |
| Идемпотентность, в том числе конкурентная | `python3 scripts/lab3/lab3.py check idempotency` | 4/4 теста: неверный/отсутствующий ключ → 400; повтор → тот же JSON; другое тело → 409; 8 параллельных POST с одним ключом → ровно одно сообщение; ключ не конфликтует между пользователями и чатами | `evidence/level4/idempotency-concurrency.txt` |
| Health/readiness, LB исключает недоступный backend | `python3 scripts/lab3/lab3.py watch` во время failover | HAProxy: `apiN UP → UP 1/2 (L7STS) → DOWN → MAINT (resolution)`; период проверки 500 ms, `fall 2` ⇒ обнаружение 1–2 s (api-1 — 1 s, api-2 — 2 s) ≪ дрейн 3 s | `evidence/level3/failover-*.txt` |
| Последовательная остановка каждой реплики под нагрузкой: RPS, ошибки, восстановление | `python3 scripts/lab3/lab3.py failover --replicas all --rate 200 --duration 60` | по каждой реплике: 0 ошибок у клиента и 0 ошибок уровня LB (`ereq`/`dresp`), 0 дублей и 0 потерь, реплика возвращается за ≈3 s; k6 держит 200 req/s без dropped. Оговорка: `ereq` — это ошибки обработки запроса балансировщиком, они не считают ответы 5xx приложения; чтобы такие ответы были видны, сэмплер теперь пишет `hrsp_2xx/4xx/5xx` и `dresp` по каждому слоту, а профиль k6 — классы ответов по каждому шагу (`summary-mechanism.md`) | `evidence/level4/failover-sweep.json`, `.md` |
| Health/readiness, LB исключает недоступный backend | `python3 scripts/lab3/lab3.py watch` во время failover | HAProxy: `apiN UP → UP 1/2 (L7STS) → DOWN → MAINT (resolution)` ≈1 s после того, как дреин сделал пробу `/health/ready` неуспешной; период проверки 500 ms, `fall 2` ⇒ обнаружение 1–2 s (api-1 — 1 s, api-2 — 2 s) ≪ дрейн 3 s. Ту же ручку использует контейнерный healthcheck. Под насыщением пула слоты остаются `UP` (e2e-тест; контрольный прогон 1500 req/s — `evidence/track1/summary-probe-check.md`) | `evidence/level3/failover-*.txt` |
| Последовательная остановка каждой реплики под нагрузкой: RPS, ошибки, восстановление | `python3 scripts/lab3/lab3.py failover --replicas all --rate 200 --duration 60` | по каждой реплике: 0 ошибок у клиента и 0 ошибок уровня LB (`ereq`/`dresp`), 0 дублей и 0 потерь, реплика возвращается за 3.4–3.9 s; k6 держит 200 req/s без dropped. Оговорка: `ereq` — это ошибки обработки запроса балансировщиком, они не считают ответы 5xx приложения; чтобы такие ответы были видны, сэмплер теперь пишет `hrsp_2xx/4xx/5xx` и `dresp` по каждому слоту, а профиль k6 — классы ответов по каждому шагу (`summary-mechanism.md`) | `evidence/level4/failover-sweep.json`, `.md` |
| Лимиты CPU/RAM, отсутствие портов API, отсутствие `container_name`, секреты | `docker inspect`, `docker compose ps/config` | у api `NanoCpus`/`Memory` = лимитам конфигурации, `bindings=map[]`; суммарные лимиты стенда 2304 MiB; `container_name` отсутствует; пароль БД и токен метрик в трекаемых файлах не встречаются | `evidence/level4/limits-and-ports.txt` |
| Rolling update под нагрузкой, миграции однократно (совместимость DDL с работающей версией — ограничение в разделе «Ограничения») | `python3 scripts/lab3/lab3.py rolling-update --under-load --rate 200 --build-id …` | реплики заменяются по одной, `BUILD_ID` и image id меняются, 0 ответов 5xx из 889 попыток, `migrate` не перезапускался | `evidence/level4/rolling-update.json`, `.md` |
| Rolling update под нагрузкой, миграции однократно (совместимость DDL с работающей версией — ограничение в разделе «Ограничения») | `python3 scripts/lab3/lab3.py rolling-update --under-load --rate 200 --build-id …` | реплики заменяются по одной, `BUILD_ID` и image id меняются, 0 ответов 5xx из 884 попыток, `migrate` не перезапускался | `evidence/level4/rolling-update.json`, `.md` |
| Идемпотентность: удаление просроченных ключей | `docker compose --env-file .env exec -T api node dist/messages/idempotency/idempotency-gc.cli.js` (или `npm run idempotency:gc`) | GC удаляет ровно просроченную запись (created_at = now() − 2 суток): `Purged 1`, `expired_left=0`, свежая запись не тронута (`fresh_left=1`) | `evidence/level4/idempotency-gc.txt` |
| Отказы зависимостей | `make test-dependencies` | 2/2: bounded `503 unavailable` с `request_id` для Redis и PostgreSQL, запрос без сессии остаётся `401`, после возврата зависимости данные и сессия целы | `evidence/level4/dependency-faults.txt` |
| Трек 1: цена масштабирования | `python3 scripts/lab3/lab3.py sweep/growth/ab/analyze` | серия 1/2/4 реплики, точки сатурации, серия роста ресурсов, подтверждённое улучшение | `evidence/track1/summary-*.md`, `evidence/track1/graphs/*.png`, `evidence/track1/raw/` |
| Отказы зависимостей | `make test-dependencies` | 4/4: (1) отказ Redis и (2) отказ PostgreSQL — реплика отвечает ограниченным `503 unavailable` с `request_id`, неготовыми становятся все реплики, HAProxy выводит их из ротации и отвечает своим `503`, запрос без сессии остаётся `401`; (3) локальный отказ БД у одной реплики — из ротации уходит только она, здоровая обслуживает 16/16 чтений; (4) насыщение пула (60 параллельных записей в заблокированный чат) — слоты остаются `UP`, все записи `201`; после возврата зависимости данные и сессия целы | `evidence/level4/dependency-faults.txt` |
| Трек 1: цена масштабирования | `python3 scripts/lab3/lab3.py sweep/track1-extras/ab/analyze` | серия 1/2/4 реплики, точки сатурации, серия роста ресурсов, подтверждённое улучшение | `evidence/track1/summary-*.md`, `evidence/track1/graphs/*.png`, `evidence/track1/raw/` |
| Воспроизводимость с чистого clone | `git clone -b lab3 … /tmp/lab3-clean` → `cp .env.example .env` → `docker compose down -v` → `make stand-up && make test && make test-persistence && make test-failover` | `PASS`: миграции применяются с пустого тома, smoke, сохранность и отказ реплики проходят без правок репозитория | `evidence/level3/clean-clone.txt` |
## Эксперименты и отказы
@@ -170,7 +177,11 @@ Argon2id, Basic→Bearer-сессии в общем Redis, чаты, keyset-па
сэмплером харнесса: `docker stats` (CPU/RAM контейнеров, 1.5 s),
статистика HAProxy (0.5 s), `/internal/metrics` каждой реплики (2 s),
`pg_stat_database`/`pg_stat_activity`/`pg_stat_statements` (2 s / 10 s) и фон
хоста. Профили: p-a (spread, POST) 100…1100 req/s, p-b (hot, один чат) 50…400
хоста. Профиль k6 считает классы ответов по каждому шагу, а сводка публикует две
частоты: **успешную** (`successful_rps`, ответы ожидаемого класса — рабочая
величина) и **частоту ответов** (`attempted_rps`, все полученные ответы —
диагностика); сатурация, потолок, Δ A/B и сравнение роста считаются только по
успешной. Профили: p-a (spread, POST) 100…1100 req/s, p-b (hot, один чат) 50…400
req/s, p-c (read, GET истории limit=50) 200…3000 req/s; шаг 15 s, прогрев — отдельный
прогон 30 s на первом темпе (в анализ не входит). Перед серией посторонние
контейнеры хоста останавливаются (`scripts/quiesce.sh`, состояние фиксируется в
@@ -191,7 +202,7 @@ host на момент серии — 8 логических CPU, ≈6.6 GiB д
1.5 CPU, LB 0.25 CPU, генератор 1.5 CPU), поэтому реплика получает 3/N CPU и 1536/N MiB.
Профиль p-a (24 чата, POST), 7 прогонов: N=1 и N=4 по два повтора, N=2 — три.
| темп, req/s | N=1: достигнуто (2 повтора) | N=2: достигнуто (3 повтора) | N=4: достигнуто (2 повтора) |
| темп, req/s | N=1: успешный RPS (2 повтора) | N=2: успешный RPS (3 повтора) | N=4: успешный RPS (2 повтора) |
| ----------- | -------------------------------- | -------------------------------------------- | -------------------------------- |
| 100 | 100 / 100 | 100 / 100 / 100 | 100 / 100 |
| 200 | 200 / 200 | 200 / 200 / 200 | 200 / 200 |
@@ -215,7 +226,7 @@ host на момент серии — 8 логических CPU, ≈6.6 GiB д
тестом, что потолок задаёт именно квота CPU PostgreSQL).
- Реплики добавляют собственную накладную нагрузку: при N=4 квота 0.75 CPU на
реплику удерживает p95 в районе 850–990 ms там, где N=1 с квотой 3.0 CPU даёт
360–515 ms при большем достигнутом RPS. Это и есть «цена масштабирования»:
360–515 ms при большем успешном RPS. Это и есть «цена масштабирования»:
сублинейный (здесь — отрицательный) эффект при неизменном бюджете.
- Генератор в серии A загружен умеренно (средняя 26–31 % ядра, пики 45–123 % при
квоте 150 %), но на верхних шагах упирается в свой пул VU (200, `Insufficient VUs`
@@ -242,7 +253,7 @@ host на момент серии — 8 логических CPU, ≈6.6 GiB д
PG 1.5, пул 10, LB 0.25, генератор 1.5 CPU), меняется только `MAX_VUS`; лестница
700/900/1100 req/s, по одному прогону на точку:
| `MAX_VUS` | N=1: достигнуто при 900 / 1100 | N=4: достигнуто при 900 / 1100 |
| `MAX_VUS` | N=1: успешный RPS при 900 / 1100 | N=4: успешный RPS при 900 / 1100 |
| --------- | ------------------------------ | ------------------------------ |
| 200 | 892.3 / 946.1 | 890.5 / 927.2 |
| 900 | 895.1 / 1009.9 | 893.2 / 953.1 |
@@ -268,7 +279,7 @@ PG 1.5, пул 10, LB 0.25, генератор 1.5 CPU), меняется тол
### Диагностика: горячий чат и путь чтения
**Горячий чат (p-b, N=4, все записи в один чат).** Потолок наступает раньше и
падает: до 200 req/s достигнутый темп равен предложенному (p95 9–14 ms), на 250
падает: до 200 req/s успешный RPS равен предложенному (p95 9–14 ms), на 250
— 189 req/s (p95 2.2 s), на 300–400 — 79–104 req/s при p95 3.3–4.3 s, генератор
упирается в свои 200 VU, а сервер стоит в очереди за строкой чата. PostgreSQL в
этом прогоне: 39 ожидающих блокировку сессий (в серии A пик 2–18 в зависимости от
@@ -296,41 +307,36 @@ knee на 1500 req/s, p95 растёт с 24 ms (1000 req/s) до 241–399 ms;
### Серия роста ресурсов
Каждая точка отличается от базовой конфигурации (N=4: API total 3.0 CPU — 0.75 CPU на
реплику, PostgreSQL 1.5 CPU, пул 10, LB 0.25 CPU) **ровно одним** ресурсом. После
пересъёмки все приведённые точки измерены на одном темпе (900 req/s), в одном
временном окне и на одном датасете, по одному прогону на точку; базовая точка — из
блока 900 (2 повтора). Основной вывод о «почему» даёт блок 1500 ниже, где рычаг
действительно срабатывает.
Серия роста — блок `why#` на **1500 req/s** (за коленом): одно временное окно, один
коммит (`6cced49`), `MAX_VUS=900`, генератор 1.5 CPU / 1 GiB. Контроль — `why#n4`
(N=4: API total 3.0 CPU — 0.75 CPU на реплику, PostgreSQL 1.5 CPU, пул 10, LB
0.25 CPU). Каждая точка отличается от контроля одним ключом бюджета; сопоставимость
проверена по манифестам прогонов (темп, профиль, режим, коммит, образ, параметры
генератора и остальные ключи бюджета), фактические квоты сверены с `docker inspect`.
Точки — одиночные прогоны: различия меньше ±8 % не интерпретируются. Таблица
построена `analyse_growth` (`evidence/track1/summary-growth.md`, `growth.png`).
Все точки серии измерены на темпе 900 req/s в одном временном окне, конфигурация
каждой применяется харнессом и сверяется с `docker inspect` — фактические квоты
CPU/RAM и размер пула записаны в манифест (`observed_stand`). Контрольная точка на
560 req/s (80 % колена, API ×2) держит предложенный темп (559.0 при p95 8.8 ms), как
и все конфигурации ниже колена (VU-своп: 698–700 при предложенных 700).
| Точка | Что изменено | успешный RPS | Δ к контролю, % | p95, ms | 5xx | dropped | VU пик / бюджет | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | вывод |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| why#n4 | контроль N=4 | 943.02 | — | 1196 | 0 | 33 420 | 900 / 900 | 74 % от 0.75 | 152 | контроль |
| why#n4-api6 | API ×2 (6.0 CPU) | 891.38 | −5.5 | 1363 | 0 | 36 519 | 900 / 900 | 48 % от 1.5 | 155 | в пределах разброса |
| why#n4-pg3 | PostgreSQL ×2 (3.0 CPU) | **1480.45** | **+57.0** | **291** | 0 | 1 174 | 516 / 900 | 83 % от 0.75 | **261** | рычаг поднимает потолок |
| why#n4-pool20 | пул 20 | 852.68 | −9.6 | 1321 | 0 | 38 839 | 900 / 900 | 75 % от 0.75 | 155 | ухудшает |
| why#n4-lb1 | LB ×4 (1.0 CPU) | 922.25 | −2.2 | 1196 | 0 | 34 667 | 900 / 900 | 64 % от 0.75 | 153 | в пределах разброса |
| Точка (все на 900 req/s) | достигнуто, req/s | p95, ms | dropped | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра |
| --------------------------------- | ----------------- | ------- | ------- | -------------------------------- | ------------------ |
| базовая N=4 (block#n4, 2 повтора) | 893.0 | 290 | 0 | 72 % от 0.75 | 157 |
| API ×2 (6.0 CPU) | 884.8 | 605 | 913 | 42 % от 1.5 | 155 |
| PostgreSQL ×2 (3.0 CPU) | 897.0 | **33** | 180 | 81 % от 0.75 | 158 |
| API ×2 + PostgreSQL ×2 | 898.2 | 20 | 107 | 46 % от 1.5 | 171 |
| пул 5 (20 соединений) | 896.6 | **56** | 203 | 80 % от 0.75 | 149 |
| пул 20 (80 соединений) | 880.9 | 272 | 1150 | 74 % от 0.75 | 157 |
Пул 5 на этом темпе не снимался (`why#n4-pool5` в разделе «Вне сравнения» таблицы
`summary-growth.md`); точек, исключённых проверкой сопоставимости, нет.
Выводы:
Выводы — только из колонки «вывод»:
- **Около колена (900 req/s) ни один рычаг не меняет пропускную способность**:
881–898 req/s, разброс ±1 % — система близка к текущему потолку, но ещё держит
темп. Отличается хвост: у PG ×2 и пула 5 p95 падает до 20–56 ms против 240–605 ms
у остальных, то есть при том же темпе меньше очередь за строкой чата и за WAL.
- **Пул 20 — единственная точка, которая хуже базовой** и по пропускной способности
(881), и по p95 (272 ms при 1150 отброшенных итерациях): больше соединений —
больше конкуренции за строку чата.
- **PostgreSQL ×2 — единственный рычаг, поднимающий потолок**: +57.0 % (1480.45 из
1500 предложенных), p95 291 против 1196 ms, PostgreSQL использует 261 % ядра.
- **API ×2 (−5.5 %) и LB ×4 (−2.2 %) — в пределах разброса**: пропускную
способность не меняют.
- **Пул 20 ухудшает** (−9.6 %, p95 1321 ms): больше соединений — больше конкуренции за
строку чата (механизм — блок 1500 ниже: 55 ожидающих лок против 21).
- **H4 (пул) отклонена в первоначальном виде**: рост пула не помогает, а за коленом
измеримо вредит (см. блок 1500 ниже: 853 req/s, 55 ожидающих лок).
- Рычаг, который действительно поднимает потолок, — CPU общего PostgreSQL: ниже
показано +57 % от его удвоения.
измеримо вредит; уменьшение пула в серии не проверялось.
### Почему рост реплик перестаёт помогать: разрез по времени выполнения
@@ -345,8 +351,8 @@ CPU/RAM и размер пула записаны в манифест (`observed
**Контроль вблизи колена (900 req/s, 2 повтора).** Блок из трёх конфигураций
(N=1, N=4, N=4 + API ×2) держит 94.8–99.6 % предложенного темпа, 0 ответов 5xx,
887–894 req/s при p95 240–664 ms, то есть у колена ни одна из них не насыщена;
рычаги PG и пула на этом темпе проверены серией роста выше (там же и контрольный
N=4). Искать ограничитель нужно выше по темпу — это и делает блок 1500.
N=4 (`block#n4`) — контроль только этого блока. Рычаги PG и пула проверяются в блоке
1500 (он же серия роста). Искать ограничитель нужно выше по темпу — это и делает блок 1500.
**Блок 1500 req/s (по 1 прогону на конфигурацию, 900 VU, 0 ответов 5xx).**
Здесь система насыщена, и ограничитель виден напрямую:
@@ -430,20 +436,24 @@ API total 6.0 CPU на 4 реплики, PostgreSQL 3.0 CPU, пул 20, LB 0.25
собирается одной командой: `make lab3-before-image` (архив дерева `e9cd28d` +
тот же Dockerfile, тег `mtusi-messenger:lab3-before`).
| темп, req/s | A: RPS (min..max) | p95 A, ms | B: RPS (min..max) | p95 B, ms | Δ, % | вывод |
| ----------- | ----------------------- | ------------ | ----------------------- | --------- | ---------- | --------------- |
| 50 | 50.0 (50.0..50.07) | 9.5 | 50.07 (50.0..50.07) | 7.9 | +0.1 | не подтверждено |
| 100 | 100.07 (100.0..100.07) | 9.4 | 100.0 (100.0..100.07) | 6.7 | −0.1 | не подтверждено |
| 150 | 150.07 (150.07..150.07) | 10.1 | 150.07 (150.0..150.07) | 7.1 | 0.0 | не подтверждено |
| 200 | 200.07 (200.07..200.07) | 9.7 | 200.0 (198.93..200.07) | 7.8 | −0.0 | не подтверждено |
| 250 | 250.07 (250.07..250.07) | 11.2 | 250.07 (250.0..250.07) | 7.5 | 0.0 | не подтверждено |
| 300 | 257.8 (243.87..261.87) | **5200.9** | 300.07 (300.07..300.07) | 8.2 | **+16.4** | подтверждено |
| 350 | 188.33 (187.93..210.07) | **10 991.9** | 348.6 (348.13..350.07) | 29.3 | **+85.1** | подтверждено |
| 400 | 171.73 (167.07..226.73) | **10 816.3** | 400.07 (399.93..400.07) | 24.4 | **+133.0** | подтверждено |
| темп, req/s | A: успешный RPS (min..max) | A: ответов RPS | p95 A, ms | B: успешный RPS (min..max) | p95 B, ms | Δ успешных, % | вывод |
| ----------- | -------------------------- | -------------- | ----------- | -------------------------- | --------- | ------------- | --------------- |
| 50 | 50.0 (50.0..50.07) | 50.0 | 9.5 | 50.07 (50.0..50.07) | 7.9 | +0.1 | не подтверждено |
| 100 | 100.07 (100.0..100.07) | 100.07 | 9.4 | 100.0 (100.0..100.07) | 6.7 | −0.1 | не подтверждено |
| 150 | 150.07 (150.07..150.07) | 150.07 | 10.1 | 150.07 (150.0..150.07) | 7.1 | 0.0 | не подтверждено |
| 200 | 200.07 (200.07..200.07) | 200.07 | 9.7 | 200.0 (198.93..200.07) | 7.8 | −0.0 | не подтверждено |
| 250 | 250.07 (250.07..250.07) | 250.07 | 11.2 | 250.07 (250.0..250.07) | 7.5 | 0.0 | не подтверждено |
| 300 | 257.8 (243.87..261.87) | 257.8 | **5200.9** | 300.07 (300.07..300.07) | 8.2 | **+16.4** | подтверждено |
| 350 | 127.4 (98.8..182.07) | **188.33** | **10 991.9** | 348.6 (348.13..350.07) | 29.3 | **+173.6** | подтверждено |
| 400 | 106.53 (102.27..124.4) | **171.73** | **10 816.3** | 400.07 (399.93..400.07) | 24.4 | **+275.6** | подтверждено |
**Потолок: A ≈ 258 req/s, B ≥ 400 req/s** (правило подтверждения: медиана меняется
≥5 % и диапазоны min/max повторов не перекрываются; ниже 300 req/s обе стороны
работают без насыщения, поэтому различие там и не должно было проявиться).
**Потолок: A ≈ 258 req/s, B ≥ 400 req/s** (правило подтверждения: медиана
успешного RPS меняется ≥5 % и диапазоны min/max повторов не перекрываются; ниже
300 req/s обе стороны работают без насыщения, поэтому различие там и не должно
было проявиться). Все числа таблицы — **успешные ответы** (`201`); колонка
«ответов RPS» показывает, сколько запросов сторона A вообще довела до ответа: на
350/400 req/s это 188.33/171.73 при полезных 127.4/106.53 — разница и есть
клиентские отказы (таблица ниже).
**Уровень SQL подтверждает механизм.** Среднее время горячего оператора в
`pg_stat_statements` при одном и том же предложенном темпе: у A `UPDATE chats` —
@@ -454,7 +464,8 @@ API total 6.0 CPU на 4 реплики, PostgreSQL 3.0 CPU, пул 20, LB 0.25
До насыщения обе версии одинаковы (различие ≤0.1 %): один оператор не меняет
семантику, он меняет только время удержания блокировки строки чата и число круглых
поездок. После насыщения разница радикальна: у A очередь за строкой чата даёт p95
5–11 секунд и падение пропускной способности до 172 req/s на 400 req/s предложенных,
5–11 секунд и падение успешной пропускной способности до 106.5 req/s на 400 req/s
предложенных (при 171.7 доведённых до ответа — остальное отказы 503),
у B на 400 req/s p95 равен 24 ms, а отброшенных итераций 29 на 18 000. Это и есть
подтверждённое улучшение трека 1: сокращение критической секции (вместо проверки
чата, BEGIN, claim, проверки членства, INSERT, UPDATE версии, store и COMMIT —
@@ -473,23 +484,26 @@ API total 6.0 CPU на 4 реплики, PostgreSQL 3.0 CPU, пул 20, LB 0.25
1.5 CPU / 1 GiB), профиль тот же (p-b, горячий чат). Профиль k6 пишет классы ответов,
а сэмплер — `hrsp_*`/`dresp` каждого backend-слота.
| темп, req/s | A: RPS (min..max) | p95 A, ms | 5xx A за 3 повтора | B: RPS (min..max) | p95 B, ms | 5xx B | Δ, % | вывод |
| ----------- | ----------------------- | ------------ | ------------------ | ----------------------- | --------- | ----- | ---------- | --------------- |
| 50 | 50.07 (50.07..50.07) | 9.3 | 0 | 50.07 (50.07..50.07) | 7.2 | 0 | 0.0 | не подтверждено |
| 100 | 100.07 (100.07..100.07) | 7.9 | 0 | 100.07 (100.07..100.07) | 6.6 | 0 | 0.0 | не подтверждено |
| 150 | 150.07 (150.07..150.07) | 11.0 | 0 | 150.07 (150.07..150.07) | 5.5 | 0 | 0.0 | не подтверждено |
| 200 | 200.07 (200.07..200.07) | 9.2 | 0 | 200.07 (200.07..200.07) | 6.6 | 0 | 0.0 | не подтверждено |
| 250 | 250.0 (249.2..250.07) | 11.0 | 0 | 250.07 (250.07..250.07) | 7.0 | 0 | 0.03 | не подтверждено |
| 300 | 231.5 (228.3..244.7) | **7272.7** | 4 | 300.0 (299.4..300.07) | 7.6 | 0 | **+29.6** | подтверждено |
| 350 | 108.5 (107.4..108.7) | **12 121.9** | 894 | 349.8 (348.7..350.07) | 21.8 | 0 | **+222.3** | подтверждено |
| 400 | 132.7 (131.9..148.5) | **12 234.0** | 2813 | 398.7 (397.6..400.07) | 59.7 | 0 | **+200.4** | подтверждено |
| темп, req/s | A: успешный RPS (min..max) | A: ответов RPS | p95 A, ms | 5xx A за 3 повтора | B: успешный RPS (min..max) | p95 B, ms | 5xx B | Δ успешных, % | вывод |
| ----------- | -------------------------- | -------------- | ------------ | ------------------ | -------------------------- | --------- | ----- | ------------- | --------------- |
| 50 | 50.07 (50.07..50.07) | 50.07 | 9.3 | 0 | 50.07 (50.07..50.07) | 7.2 | 0 | 0.0 | не подтверждено |
| 100 | 100.07 (100.07..100.07) | 100.07 | 7.9 | 0 | 100.07 (100.07..100.07) | 6.6 | 0 | 0.0 | не подтверждено |
| 150 | 150.07 (150.07..150.07) | 150.07 | 11.0 | 0 | 150.07 (150.07..150.07) | 5.5 | 0 | 0.0 | не подтверждено |
| 200 | 200.07 (200.07..200.07) | 200.07 | 9.2 | 0 | 200.07 (200.07..200.07) | 6.6 | 0 | 0.0 | не подтверждено |
| 250 | 250.0 (249.2..250.07) | 250.0 | 11.0 | 0 | 250.07 (250.07..250.07) | 7.0 | 0 | 0.03 | не подтверждено |
| 300 | 231.5 (228.3..244.5) | 231.5 | **7272.7** | 4 | 300.0 (299.4..300.07) | 7.6 | 0 | **+29.6** | подтверждено |
| 350 | 86.7 (85.0..93.3) | **108.5** | **12 121.9** | 894 | 349.8 (348.7..350.07) | 21.8 | 0 | **+303.3** | подтверждено |
| 400 | 68.3 (56.9..100.4) | **132.7** | **12 234.0** | 2813 | 398.7 (397.6..400.07) | 59.7 | 0 | **+484.0** | подтверждено |
**Потолок: A 250 req/s (249.2..250.07), B 398.7 req/s (397.6..400.07)** — на бюджете
по умолчанию разрыв ещё больше, чем в первой серии (там A доходил до 258 при
удвоенных ресурсах). Разбор отказов: у A на 300/350/400 req/s клиент получил (суммарно по трём
повторам) 4, 894 и 2813 ответов класса 5xx (все — `503 unavailable`: срабатывает
`statement_timeout` 5 s, код `57014` переводится фильтром в ограниченный 503, а не
в 500), у B — ни одного 5xx и ни одного 4xx. То есть выигрыш C2 не только в
в 500), у B — ни одного 5xx и ни одного 4xx. Полезная работа стороны A при этом
падает сильнее, чем частота ответов: на 400 req/s из 132.7 ответов в секунду
успешны 68.3 (56.9–100.4 по повторам) — сравнение по частоте ответов показало бы
+200 %, по выполненной работе — **+484 %**. То есть выигрыш C2 не только в
пропускной способности: при том же бюджете версия C1 под затором на строке чата
начинает отказывать, а C2 держит темп. Сводка и вердикт —
`evidence/track1/summary-ab-abdiag.md`, `ab-verdict-abdiag.json`; классы ответов
@@ -518,10 +532,14 @@ claim, проверка членства, store, COMMIT) в выборку top-1
102 ms против 2.35 ms на запись.
**Ответы стороны A, а не только их количество.** На 350/400 req/s клиент A насчитал
2671 и 3485 ответов «не 201». Профиль k6 считает классы `2xx/4xx/5xx/other` по
каждому шагу, а сэмплер пишет `hrsp_1xx..5xx` и `dresp` каждого backend-слота; в
контрольной серии `abdiag` (тот же профиль, бюджет по умолчанию, 3+3 повтора) по
ним видно, что все отказы стороны A — это `503 unavailable` (раздел ниже).
2671 и 3485 ответов «не 201» (в абсолюте за 3 повтора). Профиль k6 считает классы
`2xx/4xx/5xx/other` по каждому шагу, а сэмплер пишет `hrsp_1xx..5xx` и `dresp`
каждого backend-слота; в контрольной серии `abdiag` (тот же профиль, бюджет по
умолчанию, 3+3 повтора) по ним видно, что все отказы стороны A — это
`503 unavailable` (раздел ниже). Публикуемая пропускная способность сведена к
**успешным** ответам: `summaryJson` пишет `successful_rps` (ответы ожидаемого
класса) и `attempted_rps` (все ответы), а сатурация, потолок и Δ A/B считаются
только по успешным; частота ответов остаётся отдельной диагностической колонкой.
### Воспроизводимость прогонов трека
@@ -554,7 +572,10 @@ python3 scripts/lab3/lab3.py track1-extras --part abdiag --ab-reps 3 --loadgen-m
# колено на текущей сборке и точки роста
python3 scripts/lab3/lab3.py run --no-warmup --profile p-a --replicas 1 --ladder 900,1200,1500,1800,2200 \
--label knee#n1 --max-vus 900 --loadgen-memory 1024m
python3 scripts/lab3/lab3.py growth --series pg --rate 900 --suffix=-900 --duration 60
python3 scripts/lab3/lab3.py track1-extras --part why --loadgen-memory 1024m # блок 1500 req/s = серия роста
python3 scripts/lab3/lab3.py run --label 'probecheck#n4#rep1' --profile p-a --peak 1500 --duration 60 \
--replicas 4 --api-total-cpus 3.0 --pg-cpus 1.5 --pool 10 --lb-cpus 0.25 \
--loadgen-cpus 1.5 --loadgen-memory 1024m --max-vus 900 --pre-vus 60 --no-warmup
# агрегаты и графики
python3 scripts/lab3/lab3.py analyze
```
@@ -566,11 +587,12 @@ python3 scripts/lab3/lab3.py analyze
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| ---------------------------------------------------------------------------- | -------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | -------------------------------------------------------------------------------------------------------------------------- |
| `SIGTERM` одной API-реплике (`scripts/stop-one.sh`, `docker stop --time 10`) | LB исключает узел, клиент продолжает работать; подтверждённые записи целы | HAProxy: `UP → 1/2 → DOWN (L7STS) → MAINT (resolution)` ≈1 s после начала остановки; k6 держит 200 req/s без dropped и ошибок; проба клиента: 0 ошибок, 0 дублей, 0 потерь (293/293 и 288/288 подтверждены); в окне остановки и дрейна (3.3–3.5 s) клиент держал ≈4.9–5.0 req/s и не получил ни одной ошибки | реплика возвращается за ≈3 s (`scripts/start-replica.sh`); потерь нет |
| `SIGTERM` одной API-реплике (`scripts/stop-one.sh`, `docker stop --time 10`) | LB исключает узел, клиент продолжает работать; подтверждённые записи целы | HAProxy: `UP → 1/2 → DOWN (L7STS) → MAINT (resolution)` ≈1 s после начала остановки; k6 держит 200 req/s без dropped и ошибок; проба клиента: 0 ошибок, 0 дублей, 0 потерь (295/295 и 294/294 подтверждены); в окне остановки и дрейна (3.25–3.3 s) клиент держал ≈4.9–5.0 req/s и не получил ни одной ошибки | реплика возвращается за 3.4–3.9 s (`scripts/start-replica.sh`); потерь нет |
| Рестарт всего стенда (`scripts/restart.sh`) | данные и сессии сохраняются, повторный вход не нужен | `make test-persistence` PASS; StartedAt всех контейнеровобновились, токен и сообщения живы | ≈8 s до `/health/ready`; потерь нет |
| Rolling update под нагрузкой (замена реплик по одной) | нет 5xx, миграции не перезапускаются | 0 ответов 5xx из 889 попыток при 200 req/s; `BUILD_ID` меняется по шагам; `migrate` StartedAt не изменился | замена реплики занимает 9.4–9.5 s (`docker stop` → `rm` → создание → healthy, измерено харнессом), стенд не теряет запросы |
| Отказ Redis (`docker compose stop redis`) | ограниченный 503, без 500 и без утечки деталей драйвера; анонимный запрос остаётся 401 | `make test-dependencies` PASS | зависимость возвращается за ≈2 s, сессия сохраняется (AOF) |
| Rolling update под нагрузкой (замена реплик по одной) | нет 5xx, миграции не перезапускаются | 0 ответов 5xx из 884 попыток при 200 req/s; `BUILD_ID` меняется по шагам (`final-1b4aac7`); `migrate` StartedAt не изменился | замена реплики занимает 9.75–9.76 s (`docker stop` → `rm` → создание → healthy, измерено харнессом), стенд не теряет запросы |
| Отказ Redis (`docker compose stop redis`) | реплики становятся неготовыми, LB исключает все backend, клиент не получает успешных ответов; анонимный запрос остаётся 401 | `make test-dependencies` PASS (4/4 теста); `/health/live` реплики `200`, `/health/ready` и бизнес-запросы — ограниченный `503 unavailable` с `request_id`, после дрейна всех слотов LB отвечает своим `503` | зависимость возвращается за ≈2 s, сессия сохраняется (AOF) |
| Отказ PostgreSQL (`docker compose stop postgres`) | то же; после возврата данные целы | PASS, подтверждённые сообщения и сессия на месте | ≈6 s до `/health/ready` |
| Локальный отказ PostgreSQL у одной реплики (reject в `pg_hba.conf` для её адреса + разрыв соединений) | из ротации уходит только затронутая реплика, здоровая продолжает обслуживать | выбранная реплика: `/health/ready=503` (ограниченное тело с `request_id`), её слот HAProxy `UP → UP 1/2 (L7STS) → DOWN`; здоровая: `200` и `UP`; 16 чтений через LB — все `200`, ни одно не обслужено выбранной репликой; время до `DOWN` — менее 3 s (проверяется e2e-тестом; 0.66 s при ручной проверке); до `DOWN` выбранная реплика ещё получает запросы и отвечает ограниченным `503` — это окно `fall 2`; после восстановления `pg_hba.conf` (в `finally`) реплика возвращается в ротацию и снова получает запросы | правило снимается в `finally`; потерь данных нет |
## Ограничения и следующие шаги
@@ -582,9 +604,20 @@ python3 scripts/lab3/lab3.py analyze
- Рестарт всего стенда: данные PostgreSQL и сессии в Redis (AOF) сохраняются,
повторный вход не нужен.
- Rolling update: поочерёдная замена реплик под нагрузкой без ответов 5xx.
- Отказ Redis и PostgreSQL: ограниченный `503 unavailable` с `request_id`, без
`500` и без деталей драйвера; анонимный запрос остаётся `401`; после возврата
зависимости подтверждённые данные и сессия целы.
- Отказ Redis и PostgreSQL: реплика отвечает ограниченным `503 unavailable` с
`request_id`, без `500` и без деталей драйвера (проверяется изнутри реплики);
анонимный запрос остаётся `401`; после возврата зависимости подтверждённые данные
и сессия целы.
- Отказ общей зависимости для всех реплик: каждая становится неготовой, LB выводит
их из ротации и отвечает **своим** `503` (без тела API и `request_id`) — это
сознательный выбор в пользу честного «готовых узлов нет» вместо реплик в ротации,
которые не могут обслужить запрос. `/health/live` при этом отвечает `200`, то есть
процесс виден и отличим от «все backends мертвы». Локальный отказ зависимости у
одной реплики (её адрес отвергается в `pg_hba.conf`) выводит из ротации только её:
16/16 чтений через LB обслужила здоровая реплика. Redis — обязательная зависимость
готовности: Bearer-сессии хранятся только в Redis, без него аутентифицированный
запрос невозможен; кэш истории деградирует на PostgreSQL, но это не спасает
аутентификацию.
**Чего доказательство не покрывает:** «миграции однократны» проверено (отдельный сервис
`migrate` + `service_completed_successfully`, при rolling update контейнер миграций не
@@ -636,6 +669,21 @@ python3 scripts/lab3/lab3.py analyze
- Первая серия A/B шла на унаследованном бюджете (API 6.0 CPU, PG 3.0, пул 20,
генератор 2.0); её числа сравнимы только внутри себя. Контрольная серия `abdiag`
повторяет сравнение на бюджете по умолчанию — см. раздел «A/B улучшения».
- **Метрика трека 1 — успешный RPS.** `summaryJson` считает `successful_rps`
(ответы ожидаемого класса) и `attempted_rps` (все ответы); сатурация, потолок,
Δ A/B и сравнение роста используют только успешный RPS, иначе отказы под нагрузкой
выглядят как выполненная работа (пример: `abdiag#A` на 400 req/s — 68.3 успешных
против 132.7 полученных ответов в секунду). В сводках, снятых до введения полей,
`successful_rps`/`attempted_rps` вычислены из счётчиков той же сводки
(`status.ok`, `requests`, длительность ступени); новые прогоны пишут их сразу.
Инвариант закреплён тестом `tests/test_lab3_analytics.py` (`make test-analytics`).
- **Проба LB в сериях трека 1.** Серии трека 1 (A, p-b, p-c, VU-своп, knee, блоки
block#/why#, ab, abdiag) сняты с пробой LB, проверявшей только процесс и флаг
дреина (коммиты `e38795d`, `6cced49`). Текущая проба тоже не зависит от нагрузки
(отдельное соединение, общий дедлайн). Контрольный прогон на `1b4aac7` при
1500 req/s: слоты всё время `UP`, 0 ответов 5xx, Δ −7.1 % к why#n4 (в пределах
разброса ±8 %; в БД 3.63 млн сообщений против 2.64 млн у why#n4) —
`evidence/track1/summary-probe-check.md`. Уровень 4 переснят на `1b4aac7`.
**Что подтверждено измерением:** сокращение пути записи до одного оператора (коммит C2) поднимает потолок горячего чата с ≈258 до ≥400 req/s и снижает p95 с 5–11 s до 8–29 ms при том же бюджете ресурсов (A/B, 3+3 повтора, `evidence/track1/summary-ab.md`). Статус гипотез:
@@ -652,8 +700,9 @@ python3 scripts/lab3/lab3.py analyze
853 req/s, 55 ожидающих лок и 52.8 ms на горячем операторе против 943, 21 и 15.3 ms
у базовой N=4.
- **H5 подтверждена**: A/B (C1 против C2) — потолок горячего чата 258 → ≥400 req/s,
p95 5–11 s → 8–29 ms; контрольная серия `abdiag` на бюджете по умолчанию
подтверждает разрыв (A 250, B 398.7 req/s).
p95 5–11 s → 8–29 ms; на 400 req/s сторона A обслуживала успешно 106.5 req/s из
171.7 полученных ответов, сторона B — 400.07. Контрольная серия `abdiag` на бюджете
по умолчанию подтверждает разрыв (A 250, B 398.7 успешных req/s).
**Что подтверждено отдельным экспериментом (механизм):** блок 1500 req/s (один темп,
одно временное окно, одинаковый пул VU = 900) показывает, что удвоение CPU API не
+6 -4
View File
@@ -245,9 +245,11 @@ scripts/start-replica.sh # вернуть остано
- **Проба LB — тот же `/health/ready`**, что и healthcheck контейнера: реплика,
потерявшая обязательную зависимость (свой путь к PostgreSQL или Redis),
выходит из ротации, и трафик уходит на здоровые реплики. Проба с зависимостями
ограничена `HEALTH_TIMEOUT_MS=400` на реплику (per-query `query_timeout` для
`SELECT 1` и `AbortSignal.timeout` для `PING`), поэтому она укладывается в
`timeout check 500ms` HAProxy. Когда недоступна общая для всех зависимость,
ограничена общим дедлайном `HEALTH_TIMEOUT_MS=400` на реплику; проверка
PostgreSQL (`SELECT 1`) идёт по отдельному соединению, а не из общего пула
бизнес-запросов, а для `PING` Redis стоит `AbortSignal.timeout`, поэтому проба
укладывается в `timeout check 500ms` HAProxy и не реагирует на перегрузку.
Когда недоступна общая для всех зависимость,
неготовыми становятся все реплики, и клиент получает `503` от самого LB: это
честный ответ «готовых узлов нет» вместо маскировки отказа.
- `/health/live` зависимостей не касается: он отвечает `200`, пока жив процесс,
@@ -288,7 +290,7 @@ PostgreSQL (`57014`, `40001`, `40P01`) и обрывы соединения от
## Харнесс экспериментов
Уровни 3/4 и трек 1 обслуживает `../scripts/lab3/lab3.py` (только stdlib) и
профили k6 в `../scripts/load/`: `run`, `sweep`, `growth`, `failover`,
профили k6 в `../scripts/load/`: `run`, `sweep`, `track1-extras`, `failover`,
`rolling-update`, `ab`, `analyze`, `watch`, `check`, `quiesce`, `track1`.
Сырые результаты прогонов, манифесты условий измерения и графики складываются в
`../evidence/track1/`. Подробности — в `../REPORT.md` и
-16
View File
@@ -56,7 +56,6 @@ const runId = randomUUID().replaceAll('-', '').slice(0, 12);
// timeout, so every outage step costs up to DATABASE_CONNECTION_TIMEOUT_MS.
const outagedRequestBudgetMs = 180_000;
const slotBudgetMs = 20_000;
// Rotation is checked with HTTP reads through the LB, not with check counters.
const readyReads = 16;
const saturatingWrites = 60; // больше, чем replicas × DATABASE_POOL_MAX (2 × 10)
@@ -173,8 +172,6 @@ async function waitFor(
}
}
// Contract of the bounded unavailable error, checked both on the API replica
// (JSON body with request_id) and through the load balancer.
function expectBoundedError(
status: number,
text: string,
@@ -485,7 +482,6 @@ describe.skipIf(!enabled)('dependency outages', () => {
expect(sent.response.status).toBe(201);
message = sent.body;
replicas = await apiContainers();
// Partial removal from rotation needs a healthy peer to compare with.
expect(replicas.length).toBeGreaterThanOrEqual(2);
await waitForSlot(
(slots) => upSlots(slots).length === replicas.length,
@@ -555,9 +551,6 @@ describe.skipIf(!enabled)('dependency outages', () => {
await compose('stop', redisService);
const replica = replicas[0];
// The replica itself stays bounded: liveness is unaffected, readiness
// and business requests report the missing dependency with an API
// error body.
expect((await probeReplica(replica, '/health/live')).status).toBe(
200,
);
@@ -584,9 +577,6 @@ describe.skipIf(!enabled)('dependency outages', () => {
(JSON.parse(anonymous.text) as ApiErrorBody).error.code,
).toBe('unauthorized');
// The shared dependency is missing for every replica: a client keeps
// getting 503 (from a replica first, then from the LB itself), and
// once all backends have left rotation the answer is the LB's own.
expectUnavailableThroughLb(
await request<ApiErrorBody>('/api/v1/users/me', {
headers: bearer(token),
@@ -676,8 +666,6 @@ describe.skipIf(!enabled)('dependency outages', () => {
registration.requestId,
);
// Every replica loses the shared database; a client keeps getting 503,
// first from a replica and then from the LB itself.
expectUnavailableThroughLb(
await request<ApiErrorBody>('/api/v1/users/me', {
headers: bearer(token),
@@ -740,7 +728,6 @@ describe.skipIf(!enabled)('dependency outages', () => {
await applyReplicaDatabaseReject(selectedIp);
const faultAt = Date.now();
// The selected replica reports the loss, the healthy one does not.
await waitForReplicaReadiness(selected, 503, 30_000);
expect(
(await probeReplica(healthy, '/health/ready')).status,
@@ -766,8 +753,6 @@ describe.skipIf(!enabled)('dependency outages', () => {
slots.find((slot) => slot.addr === selectedAddress)?.status,
).toBe('DOWN');
// Traffic through the LB stays on the healthy replica: no errors
// and no request served by the replica that lost its database.
const served = new Set<string>();
for (let index = 0; index < readyReads; index += 1) {
const read = await historyOf(chat.id, token);
@@ -782,7 +767,6 @@ describe.skipIf(!enabled)('dependency outages', () => {
await restoreDatabaseAccess();
}
// The restored replica answers again and returns to rotation.
await waitForReplicaReadiness(selected, 200, 30_000);
await waitForSlot(
(slots) =>
+21 -13
View File
@@ -24,10 +24,10 @@
| --- | --- | --- |
| `level4/spread.json` | один токен обслуживается двумя репликами (20/20 запросов), карта `X-Instance-Id` → контейнер | `python3 scripts/lab3/lab3.py check spread --requests 40` |
| `level4/idempotency-concurrency.txt` | 4 теста идемпотентности, включая 8 параллельных POST с одним ключом через LB: одно сообщение, один id; другой body → 409; без ключа → 400 | `python3 scripts/lab3/lab3.py check idempotency` |
| `level4/failover-sweep.json`, `.md` | отказ каждой реплики под нагрузкой 200 req/s: 0 ошибок клиента и LB, 0 дублей, 0 потерянных подтверждений, реплика возвращается за ≈3 s, HAProxy помечает узел `DOWN` | `python3 scripts/lab3/lab3.py failover --replicas all --rate 200 --duration 60` |
| `level4/rolling-update.json`, `.md` | поочерёдная замена реплик под нагрузкой: `BUILD_ID`/image id меняются по шагам, 0 ответов 5xx из 889 попыток, `migrate` не перезапускался (обновляется перезамером на финальной сборке) | `python3 scripts/lab3/lab3.py rolling-update --under-load --rate 200 --build-id <id>` |
| `level4/failover-sweep.json`, `.md` | отказ каждой реплики под нагрузкой 200 req/s: 0 ошибок клиента и LB, 0 дублей, 0 потерянных подтверждений, реплика возвращается за 3.4–3.9 s, HAProxy помечает узел `DOWN` | `python3 scripts/lab3/lab3.py failover --replicas all --rate 200 --duration 60` |
| `level4/rolling-update.json`, `.md` | поочерёдная замена реплик под нагрузкой: `BUILD_ID`/image id меняются по шагам, 0 ответов 5xx из 884 попыток, `migrate` не перезапускался | `python3 scripts/lab3/lab3.py rolling-update --under-load --rate 200 --build-id <id>` |
| `level4/idempotency-gc.txt` | операторский GC удаляет ровно просроченную запись журнала идемпотентности и не трогает свежую | `docker compose --env-file .env exec -T api node dist/messages/idempotency/idempotency-gc.cli.js` |
| `level4/dependency-faults.txt` | bounded `503 unavailable` (с `request_id`, без деталей драйвера) при отказе Redis и PostgreSQL, `401` без сессии остаётся, после возврата зависимости данные и сессия целы | `make test-dependencies` |
| `level4/dependency-faults.txt` | четыре сценария: общий отказ Redis и PostgreSQL (реплика отвечает ограниченным `503 unavailable` с `request_id`, неготовыми становятся все реплики, LB выводит их из ротации и отвечает своим `503`, `401` без сессии остаётся), локальный отказ БД у одной реплики (из ротации уходит только она, `DOWN` менее чем за 3 s), насыщение пула (слоты остаются `UP`, все записи `201`); после возврата зависимости данные и сессия целы | `make test-dependencies` |
| `level4/limits-and-ports.txt` | лимиты CPU/RAM каждого контейнера, отсутствие опубликованных портов у реплик API, отсутствие `container_name`, отсутствие секретов в трекаемых файлах | см. команды внутри файла |
## Трек 1 (`track1/`)
@@ -36,18 +36,20 @@
| Файл | Содержимое |
| --- | --- |
| `<label>.k6.json` | сводка генератора: по каждому шагу лестницы предложенный/достигнутый темп, ошибки, p50/p95/p99, активные VU, `dropped_iterations` |
| `<label>.k6.json` | сводка генератора: по каждому шагу предложенный темп, **успешный RPS** (`successful_rps` — ответы ожидаемого класса) и частота ответов (`attempted_rps` — все ответы, включая ошибки), классы `2xx/4xx/5xx/other`, p50/p95/p99, активные VU, `dropped_iterations` |
| `<label>.samples.jsonl.gz` | поток наблюдений: `docker stats` (CPU/RAM контейнеров), статистика HAProxy (запросы, очередь, статусы слотов с отметками времени), `/internal/metrics` каждой реплики, `pg_stat_database`/`pg_stat_activity`/`pg_stat_statements`, фон хоста |
| `<label>.manifest.json` | условия измерения: лимиты, число реплик, образ и его id, `X-Instance-Id` → контейнер, версии образов и рантаймов, объём данных, состояния томов, фон хоста, commit |
| `<label>.phases.json` | временные метки фаз (для отказов и rolling update) |
Метки: `p-a#nN#repR` — серия A (профиль p-a, N реплик, повтор R); `p-b#n4` — горячий
чат; `p-c#lbX` — путь чтения при лимите LB X CPU; `growth#…` — серия роста
ресурсов; `ab#A#repR` / `ab#B#repR` — A/B двух образов; `abdiag#A#repR` /
чат; `p-c#lbX` — путь чтения при лимите LB X CPU; `ab#A#repR` / `ab#B#repR` — A/B
двух образов; `abdiag#A#repR` /
`abdiag#B#repR` — контрольный A/B на бюджете по умолчанию; `vuswap#nN-vuM` —
проверка потолка генератора (та же конфигурация, другой `MAX_VUS`); `block#…#repR`
(900 req/s) и `why#…#repR` (1500 req/s) — блок «почему»: один темп, разные
распределения того же бюджета; `knee#nN` — лестница 900–2200 req/s на текущей
(900 req/s) — блок «почему» около колена; `why#…#repR` (1500 req/s) — блок «почему»
и серия роста ресурсов: один темп, разные распределения того же бюджета;
`probecheck#n4#rep1` — контроль пробы готовности под перегрузкой; `knee#nN` —
лестница 900–2200 req/s на текущей
сборке; `failover#<instance>`, `rolling` — сценарии отказов.
Сводные документы (пересобираются из raw командой
@@ -56,11 +58,12 @@
| Файл | Содержимое |
| --- | --- |
| `track1/summary-runs.md` | разбор каждого прогона: шаги, ресурсы контейнеров, PostgreSQL, LB, счётчики реплик |
| `track1/summary-series-a.md` | серия 1/2/4 реплики: достигнутый RPS, латентность, точки сатурации, ресурсы при разных конфигурациях |
| `track1/summary-series-a.md` | серия 1/2/4 реплики: успешный RPS, частота ответов, латентность, точки сатурации, ресурсы при разных конфигурациях |
| `track1/summary-diagnostics.md` | горячий чат (p-b) и путь чтения (p-c) при разных лимитах LB |
| `track1/summary-growth.md` | серия роста ресурсов: что именно является ограничителем |
| `track1/summary-ab.md`, `track1/summary-ab-abdiag.md` | A/B до/после оптимизации: медианы, разброс по повторам, вывод «подтверждено/не подтверждено»; `abdiag` — контрольная серия на бюджете по умолчанию (бюджет записан в `ab-verdict*.json`) |
| `track1/ab-verdict.json`, `track1/ab-verdict-abdiag.json` | вердикт A/B по шагам, бюджет серии, хеш коммита, образы сторон |
| `track1/summary-growth.md` | серия роста ресурсов — блок `why#` на 1500 req/s: контроль `why#n4`, Δ каждой точки и вердикт; несопоставимые по манифестам точки — в разделе «Вне сравнения» с причиной |
| `track1/summary-probe-check.md` | проба готовности под перегрузкой: контрольный прогон `probecheck#n4` против `why#n4`, статусы слотов LB, 5xx, Δ успешного RPS |
| `track1/summary-ab.md`, `track1/summary-ab-abdiag.md` | A/B до/после оптимизации: медианы успешного RPS, разброс по повторам, частота ответов как диагностика, вывод «подтверждено/не подтверждено»; `abdiag` — контрольная серия на бюджете по умолчанию (бюджет записан в `ab-verdict*.json`) |
| `track1/ab-verdict.json`, `track1/ab-verdict-abdiag.json` | вердикт A/B по шагам (успешный RPS, min/max, частота ответов, классы отказов по сторонам), бюджет серии, хеш коммита, образы сторон |
| `track1/summary-mechanism.md` | разрез «почему»: один темп, разные конфигурации/число реплик, ожидания сессий PostgreSQL (`Lock`/`tuple`/`transactionid`), дельты `pg_stat_statements` по операторам, CPU контейнеров, пер-реплики латентности |
| `track1/statement-deltas.md` | доказательство «8 → 1 обращение»: дельта вызовов и времени по операторам за прогон (A: три оператора ×18 629 вызовов, 95 ms среднего на `UPDATE chats`; B: один составной оператор, 2.35 ms) |
| `track1/graphs/*.png` | графики: пропускная способность, латентность и ошибки, занятость генератора, CPU контейнеров во времени, распределение по слотам LB, рост ресурсов, A/B |
@@ -68,4 +71,9 @@
Правила интерпретации: `dropped_iterations > 0` вместе с ростом p95 означает
перегрузку сервера; `dropped_iterations > 0` при низком p95 и упоре генератора в
свой CPU-лимит означает, что узкое место — генератор, а не стенд (занятость
генератора видна на `graphs/*vus*.png` и в CPU `loadgen`).
генератора видна на `graphs/*vus*.png` и в CPU `loadgen`). Пропускная способность
сравнивается по **успешному** RPS: частота ответов (`attempted_rps`) растёт и тогда,
когда сервис отвечает отказами, поэтому она годится только как диагностика.
Регрессия аналитики (успешный RPS не подменяется частотой ответов; рост сравнивается
только внутри одного блока `why#` на одном темпе) лежит в `tests/test_lab3_analytics.py` и запускается
`make test-analytics` без стенда.
+26 -12
View File
@@ -1,6 +1,6 @@
=== make test-dependencies (отказы Redis и PostgreSQL)
captured_at 2026-10-15T23:58:47Z
commit: e38795d0a39c20960049f84bf6b301832804964d
=== make test-dependencies (отказы Redis и PostgreSQL; общая зависимость, локальный путь к БД у одной реплики, насыщение пула)
captured_at 2026-10-16T19:18:14Z
commit: 1b4aac7
cd app && E2E_COMPOSE_DIR="/home/tomato/Projects/VP/mtusi2026lab3" E2E_COMPOSE_ENV_FILE=".env" npm run test:dependencies
@@ -13,14 +13,28 @@ The plugin "vite-tsconfig-paths" is detected. Vite now supports tsconfig paths r
Test Files 1 passed (1)
Tests 2 passed (2)
Start at 02:58:48
Duration 35.18s (transform 30ms, setup 0ms, import 43ms, tests 35.04s, environment 0ms)
Tests 4 passed (4)
Start at 22:18:15
Duration 38.20s (transform 80ms, setup 0ms, import 95ms, tests 38.01s, environment 0ms)
--- docker compose ps после теста:
api mtusi-lab3-api-3 Up About a minute (healthy)
api mtusi-lab3-api-4 Up About a minute (healthy)
haproxy mtusi-lab3-haproxy-1 Up 4 hours
postgres mtusi-lab3-postgres-1 Up 1 second (health: starting)
redis mtusi-lab3-redis-1 Up 32 seconds (healthy)
--- docker compose ps после теста (все реплики вернулись, зависимости снова работают):
api mtusi-lab3-api-3 running healthy
api mtusi-lab3-api-4 running healthy
haproxy mtusi-lab3-haproxy-1 running
postgres mtusi-lab3-postgres-1 running healthy
redis mtusi-lab3-redis-1 running healthy
--- слоты HAProxy после теста (проверка GET /health/ready, timeout check 500 ms):
api1 172.30.0.5:8080 status=UP L7OK 200 last_chk=
api2 172.30.0.4:8080 status=UP L7OK 200 last_chk=
--- pg_hba.conf после теста (временная reject-строка снята, владелец и режим не менялись):
-rw------- 1 postgres postgres 5743 Oct 16 19:18 /var/lib/postgresql/data/pg_hba.conf
ls: /var/lib/postgresql/data/pg_hba.conf.lab3-partial-fault.bak: No such file or directory
--- HEALTH_TIMEOUT_MS действующей реплики (бюджет пробы готовности):
HEALTH_TIMEOUT_MS=400 DRAIN_DELAY_MS=3000
11:# пула) меньше timeout check 500 ms, который равен интервалу inter. Обнаружение
50: option httpchk GET /health/ready
52: timeout check 500ms
File diff suppressed because it is too large Load Diff
+3 -3
View File
@@ -1,9 +1,9 @@
# Отказ каждой реплики под нагрузкой
| реплика | контейнер | попыток пробы | успешных | ошибок в отказе | остановка контейнера, s | первый успех после остановки, s | реплика вернулась, s | LB DOWN | RPS до | RPS в окне остановки | ошибок в окне | RPS без реплики | RPS после | k6 RPS | k6 ошибок | дубли | потери |
| реплика | контейнер | попыток пробы | успешных | ошибок в отказе | остановка контейнера, s | первый успех после остановки, s | реплика вернулась, s | LB DOWN | RPS до | RPS в окне остановки | ошибок в окне | RPS без реплики | RPS после | k6 успешный RPS | k6 ошибок | дубли | потери |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 3ae9682cb023 | 3ae9682cb023 | 293 | 293 | 0 | 3.26 | 0.2 | 3.29 | 22:47:06 | 4.87 | 4.9 | 0 | 4.89 | 4.88 | 200.02 | 0 | 0 | 0 |
| 93d6ac125b68 | 93d6ac125b68 | 288 | 288 | 0 | 3.29 | 0.1 | 3.83 | 22:48:08 | 4.87 | 5.02 | 0 | 9.66 | 4.76 | 200.02 | 0 | 0 | 0 |
| 18e28d666159 | 18e28d666159 | 295 | 295 | 0 | 3.25 | 0.21 | 3.92 | 19:19:07 | 4.87 | 4.91 | 0 | 4.87 | 4.85 | 200 | 0 | 0 | 0 |
| ec6ad0632ac0 | ec6ad0632ac0 | 294 | 294 | 0 | 3.3 | 0.1 | 3.4 | 19:20:13 | 4.87 | 5.0 | 0 | 10.09 | 4.84 | 200.02 | 0 | 0 | 0 |
Проба: последовательные POST с интервалом 0.2 s, при неопределённом результате повтор с тем же Idempotency-Key (как у реального клиента). «Окно остановки» — от команды docker stop до первого успеха после выхода контейнера (сюда попадает дрейн); «RPS без реплики» — от выхода контейнера до первого успеха после него, при корректном дреине это доли секунды. Ошибок не должно быть ни в одном из окон, потери и дубли проверяются по истории чата.
+28 -27
View File
@@ -1,54 +1,55 @@
{
"build_id": "20261015T224901Z",
"build_id": "final-1b4aac7",
"build_stderr_tail": [
"#15 unpacking to docker.io/library/mtusi-messenger:lab3",
"#15 unpacking to docker.io/library/mtusi-messenger:lab3 1.7s done",
"#15 DONE 4.4s"
"#15 unpacking to docker.io/library/mtusi-messenger:lab3 1.8s done",
"#15 DONE 5.0s"
],
"captured_at": "2026-10-15T22:52:27Z",
"commit": "e38795d0a39c20960049f84bf6b301832804964d",
"captured_at": "2026-10-16T19:24:40Z",
"commit": "1b4aac7587d3dd849f4d18bcdfac456ef2338376",
"image": "mtusi-messenger:lab3",
"image_id": "sha256:bbc50564882f52c3d4517c00247e7c78909c7bce347e8f118dec802f4a4e5960",
"image_id": "sha256:21532b582a7b906713e3b25e3dcb3d0dbc3c4915638167bb6d4c6306896b12de",
"k6": {
"achieved_rps": 200.01,
"failed": 0
"attempted_rps": 200,
"failed": 0,
"successful_rps": 200
},
"migrate": {
"after": "2026-10-15T20:25:35.507925216Z",
"before": "2026-10-15T20:25:35.507925216Z",
"after": "2026-10-16T19:18:16.162376367Z",
"before": "2026-10-16T19:18:16.162376367Z",
"restarted": false
},
"probe": {
"attempts": 889,
"attempts": 884,
"failures": 0,
"server_5xx": 0
},
"replacement_seconds": [
9.52,
9.41
9.76,
9.75
],
"replicas": 2,
"steps": [
{
"migrate_started_at": "2026-10-15T20:25:35.507925216Z",
"new_build_id": "20261015T224901Z",
"new_container": "4c55a7f513fe",
"new_instance": "4c55a7f513fe",
"migrate_started_at": "2026-10-16T19:18:16.162376367Z",
"new_build_id": "final-1b4aac7",
"new_container": "040cce950896",
"new_instance": "040cce950896",
"old_build_id": "unknown",
"old_container": "3ae9682cb023",
"old_instance": "3ae9682cb023",
"replacement_seconds": 9.52,
"old_container": "18e28d666159",
"old_instance": "18e28d666159",
"replacement_seconds": 9.76,
"step": 1
},
{
"migrate_started_at": "2026-10-15T20:25:35.507925216Z",
"new_build_id": "20261015T224901Z",
"new_container": "0586345a8b3e",
"new_instance": "0586345a8b3e",
"migrate_started_at": "2026-10-16T19:18:16.162376367Z",
"new_build_id": "final-1b4aac7",
"new_container": "0f36b6480431",
"new_instance": "0f36b6480431",
"old_build_id": "unknown",
"old_container": "93d6ac125b68",
"old_instance": "93d6ac125b68",
"replacement_seconds": 9.41,
"old_container": "ec6ad0632ac0",
"old_instance": "ec6ad0632ac0",
"replacement_seconds": 9.75,
"step": 2
}
],
+3 -3
View File
@@ -2,8 +2,8 @@
| шаг | было | BUILD_ID до | стало | BUILD_ID после | замена, s |
| --- | --- | --- | --- | --- | --- |
| 1 | 3ae9682cb023 | unknown | 4c55a7f513fe | 20261015T224901Z | 9.52 |
| 2 | 93d6ac125b68 | unknown | 0586345a8b3e | 20261015T224901Z | 9.41 |
| 1 | 18e28d666159 | unknown | 040cce950896 | final-1b4aac7 | 9.76 |
| 2 | ec6ad0632ac0 | unknown | 0f36b6480431 | final-1b4aac7 | 9.75 |
5xx от API во время rolling update: 0 из 889 попыток
5xx от API во время rolling update: 0 из 884 попыток
Миграции перезапускались: False
+181 -5
View File
@@ -17,56 +17,232 @@
"REDIS_CPUS": "0.25",
"REDIS_MEMORY": "128m"
},
"captured_at": "2026-10-15T23:22:01Z",
"captured_at": "2026-10-16T19:27:06Z",
"ceiling": {
"A": 250.0,
"B": 398.67
},
"commit": "e38795d0a39c20960049f84bf6b301832804964d",
"commit": "1b4aac7587d3dd849f4d18bcdfac456ef2338376",
"images": {
"A": "mtusi-messenger:lab3-before",
"B": "mtusi-messenger:lab3-after"
},
"prefix": "abdiag",
"rule": "медиана меняется ≥5 % и диапазоны min/max повторов не пересекаются",
"rule": "медиана успешного RPS меняется ≥5 % и диапазоны min/max повторов не пересекаются",
"verdicts": [
{
"a": {
"attempted_rps": 50.07,
"failed": 0.0,
"p95": 9.34,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 50.07,
"successful_min": 50.07,
"successful_rps": 50.07
},
"b": {
"attempted_rps": 50.07,
"failed": 0.0,
"p95": 7.18,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 50.07,
"successful_min": 50.07,
"successful_rps": 50.07
},
"change_percent": 0.0,
"confirmed": false,
"rate": 50
},
{
"a": {
"attempted_rps": 100.07,
"failed": 0.0,
"p95": 7.9,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 100.07,
"successful_min": 100.07,
"successful_rps": 100.07
},
"b": {
"attempted_rps": 100.07,
"failed": 0.0,
"p95": 6.63,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 100.07,
"successful_min": 100.07,
"successful_rps": 100.07
},
"change_percent": 0.0,
"confirmed": false,
"rate": 100
},
{
"a": {
"attempted_rps": 150.07,
"failed": 0.0,
"p95": 10.96,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 150.07,
"successful_min": 150.07,
"successful_rps": 150.07
},
"b": {
"attempted_rps": 150.07,
"failed": 0.0,
"p95": 5.53,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 150.07,
"successful_min": 150.07,
"successful_rps": 150.07
},
"change_percent": 0.0,
"confirmed": false,
"rate": 150
},
{
"a": {
"attempted_rps": 200.07,
"failed": 0.0,
"p95": 9.2,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 200.07,
"successful_min": 200.07,
"successful_rps": 200.07
},
"b": {
"attempted_rps": 200.07,
"failed": 0.0,
"p95": 6.64,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 200.07,
"successful_min": 200.07,
"successful_rps": 200.07
},
"change_percent": 0.0,
"confirmed": false,
"rate": 200
},
{
"a": {
"attempted_rps": 250.0,
"failed": 0.0,
"p95": 11.01,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 250.07,
"successful_min": 249.2,
"successful_rps": 250.0
},
"b": {
"attempted_rps": 250.07,
"failed": 0.0,
"p95": 7.03,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 250.07,
"successful_min": 250.07,
"successful_rps": 250.07
},
"change_percent": 0.03,
"confirmed": false,
"rate": 250
},
{
"a": {
"attempted_rps": 231.47,
"failed": 4.0,
"p95": 7272.68,
"reps": 3,
"status_4xx": 0,
"status_5xx": 4,
"successful_max": 244.47,
"successful_min": 228.27,
"successful_rps": 231.47
},
"b": {
"attempted_rps": 300.0,
"failed": 0.0,
"p95": 7.62,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 300.07,
"successful_min": 299.4,
"successful_rps": 300.0
},
"change_percent": 29.61,
"confirmed": true,
"rate": 300
},
{
"change_percent": 222.31,
"a": {
"attempted_rps": 108.53,
"failed": 894.0,
"p95": 12121.91,
"reps": 3,
"status_4xx": 0,
"status_5xx": 356,
"successful_max": 93.33,
"successful_min": 85.0,
"successful_rps": 86.73
},
"b": {
"attempted_rps": 349.8,
"failed": 0.0,
"p95": 21.8,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 350.07,
"successful_min": 348.67,
"successful_rps": 349.8
},
"change_percent": 303.32,
"confirmed": true,
"rate": 350
},
{
"change_percent": 200.36,
"a": {
"attempted_rps": 132.73,
"failed": 2813.0,
"p95": 12234.0,
"reps": 3,
"status_4xx": 0,
"status_5xx": 1125,
"successful_max": 100.4,
"successful_min": 56.87,
"successful_rps": 68.27
},
"b": {
"attempted_rps": 398.67,
"failed": 0.0,
"p95": 59.72,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 400.07,
"successful_min": 397.6,
"successful_rps": 398.67
},
"change_percent": 483.96,
"confirmed": true,
"rate": 400
}
+181 -5
View File
@@ -17,56 +17,232 @@
"REDIS_CPUS": "0.25",
"REDIS_MEMORY": "128m"
},
"captured_at": "2026-10-16T13:10:00Z",
"captured_at": "2026-10-16T19:27:06Z",
"ceiling": {
"A": 257.8,
"B": 400.07
},
"commit": "6cced49486011d9a8fe15628944e331edb700bcd",
"commit": "1b4aac7587d3dd849f4d18bcdfac456ef2338376",
"images": {
"A": "mtusi-messenger:lab3-before",
"B": "mtusi-messenger:lab3-after"
},
"prefix": "ab",
"rule": "медиана меняется ≥5 % и диапазоны min/max повторов не пересекаются",
"rule": "медиана успешного RPS меняется ≥5 % и диапазоны min/max повторов не пересекаются",
"verdicts": [
{
"a": {
"attempted_rps": 50.0,
"failed": 0.0,
"p95": 9.54,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 50.07,
"successful_min": 50.0,
"successful_rps": 50.0
},
"b": {
"attempted_rps": 50.07,
"failed": 0.0,
"p95": 7.86,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 50.07,
"successful_min": 50.0,
"successful_rps": 50.07
},
"change_percent": 0.14,
"confirmed": false,
"rate": 50
},
{
"a": {
"attempted_rps": 100.07,
"failed": 0.0,
"p95": 9.38,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 100.07,
"successful_min": 100.0,
"successful_rps": 100.07
},
"b": {
"attempted_rps": 100.0,
"failed": 0.0,
"p95": 6.7,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 100.07,
"successful_min": 100.0,
"successful_rps": 100.0
},
"change_percent": -0.07,
"confirmed": false,
"rate": 100
},
{
"a": {
"attempted_rps": 150.07,
"failed": 0.0,
"p95": 10.05,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 150.07,
"successful_min": 150.07,
"successful_rps": 150.07
},
"b": {
"attempted_rps": 150.07,
"failed": 0.0,
"p95": 7.08,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 150.07,
"successful_min": 150.0,
"successful_rps": 150.07
},
"change_percent": 0.0,
"confirmed": false,
"rate": 150
},
{
"a": {
"attempted_rps": 200.07,
"failed": 0.0,
"p95": 9.65,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 200.07,
"successful_min": 200.07,
"successful_rps": 200.07
},
"b": {
"attempted_rps": 200.0,
"failed": 0.0,
"p95": 7.78,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 200.07,
"successful_min": 198.93,
"successful_rps": 200.0
},
"change_percent": -0.03,
"confirmed": false,
"rate": 200
},
{
"a": {
"attempted_rps": 250.07,
"failed": 0.0,
"p95": 11.16,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 250.07,
"successful_min": 250.07,
"successful_rps": 250.07
},
"b": {
"attempted_rps": 250.07,
"failed": 0.0,
"p95": 7.53,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 250.07,
"successful_min": 250.0,
"successful_rps": 250.07
},
"change_percent": 0.0,
"confirmed": false,
"rate": 250
},
{
"a": {
"attempted_rps": 257.8,
"failed": 0.0,
"p95": 5200.88,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 261.87,
"successful_min": 243.87,
"successful_rps": 257.8
},
"b": {
"attempted_rps": 300.07,
"failed": 0.0,
"p95": 8.21,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 300.07,
"successful_min": 300.07,
"successful_rps": 300.07
},
"change_percent": 16.4,
"confirmed": true,
"rate": 300
},
{
"change_percent": 85.1,
"a": {
"attempted_rps": 188.33,
"failed": 2671.0,
"p95": 10991.88,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 182.07,
"successful_min": 98.8,
"successful_rps": 127.4
},
"b": {
"attempted_rps": 348.6,
"failed": 0.0,
"p95": 29.31,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 350.07,
"successful_min": 348.13,
"successful_rps": 348.6
},
"change_percent": 173.63,
"confirmed": true,
"rate": 350
},
{
"change_percent": 132.96,
"a": {
"attempted_rps": 171.73,
"failed": 3485.0,
"p95": 10816.26,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 124.4,
"successful_min": 102.27,
"successful_rps": 106.53
},
"b": {
"attempted_rps": 400.07,
"failed": 0.0,
"p95": 24.4,
"reps": 3,
"status_4xx": 0,
"status_5xx": 0,
"successful_max": 400.07,
"successful_min": 399.93,
"successful_rps": 400.07
},
"change_percent": 275.55,
"confirmed": true,
"rate": 400
}
Binary file not shown.

After

Width:  |  Height:  |  Size: 112 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 116 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 126 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 120 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 115 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 99 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 115 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 104 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 127 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 136 KiB

After

Width:  |  Height:  |  Size: 132 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 106 KiB

After

Width:  |  Height:  |  Size: 108 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 48 KiB

After

Width:  |  Height:  |  Size: 70 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 140 KiB

After

Width:  |  Height:  |  Size: 168 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 46 KiB

After

Width:  |  Height:  |  Size: 45 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 50 KiB

After

Width:  |  Height:  |  Size: 42 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 116 KiB

After

Width:  |  Height:  |  Size: 98 KiB

@@ -5,33 +5,34 @@
"passes": 0
},
"dropped_iterations": 0,
"http_req_duration_p95": 36.27,
"http_reqs": 11631,
"iterations": 11601,
"http_req_duration_p95": 7.62,
"http_reqs": 11630,
"iterations": 11600,
"kind": "steady",
"label": "failover#93d6ac125b68",
"label": "failover#18e28d666159",
"mode": "write",
"profile": "spread",
"seed_messages_per_chat": 0,
"steps": [
{
"attempted_rps": 200.02,
"avg": 8.08,
"attempted_rps": 200,
"avg": 4.56,
"duration_s": 58,
"failed": 0,
"max": 308.1,
"p50": 3.6,
"p95": 36.08,
"p99": 82.1,
"max": 66.36,
"p50": 3.98,
"p95": 7.6,
"p99": 10.24,
"rate": 200,
"requests": 11601,
"requests": 11600,
"status": {
"client_4xx": 0,
"ok": 11601,
"ok": 11600,
"other": 0,
"server_5xx": 0
},
"successful_rps": 200.02,
"vus_active": 0
"successful_rps": 200,
"vus_active": 11
}
],
"vus_configured": {
@@ -0,0 +1,162 @@
{
"commit": "1b4aac7587d3dd849f4d18bcdfac456ef2338376",
"dataset": {
"chat_members": 6529,
"chats": 2223,
"idempotency_keys": 3532839,
"messages": 3532839,
"users": 408
},
"finished_at": "2026-10-16T19:20:00Z",
"generator": {
"cpus": "1.5",
"max_vus": "200",
"memory": "256m",
"pre_vus": "60"
},
"host": {
"background": {
"load_average": [
4.96,
3.96,
3.67
],
"mem_available_mib": 3278,
"mem_total_mib": 15771,
"quiesced": true
},
"cpus": 8
},
"kind": "steady",
"label": "failover#18e28d666159",
"mode": "write",
"observed_stand": {
"api": [
{
"container": "ec6ad0632ac0",
"cpus": 1.5,
"image_id": "sha256:3d79ee4716aa6c715e76f57525646d1c09d291a37542f3d5f96b50df5775cb06",
"memory_bytes": 805306368,
"name": "mtusi-lab3-api-4",
"pool_max": 10
},
{
"container": "18e28d666159",
"cpus": 1.5,
"image_id": "sha256:3d79ee4716aa6c715e76f57525646d1c09d291a37542f3d5f96b50df5775cb06",
"memory_bytes": 805306368,
"name": "mtusi-lab3-api-3",
"pool_max": 10
}
],
"haproxy": [
{
"container": "ec593c7cf5e2",
"cpus": 0.25,
"image_id": "sha256:254e6370f01cd654e0744edf607c67f33777c1b6a9dc0d4b28bcba7171460122",
"memory_bytes": 134217728,
"name": "mtusi-lab3-haproxy-1"
}
],
"postgres": [
{
"container": "33188a3c1da2",
"cpus": 1.5,
"image_id": "sha256:5660c2cbfea50c7a9127d17dc4e48543eedd3d7a41a595a2dfa572471e37e64c",
"memory_bytes": 536870912,
"name": "mtusi-lab3-postgres-1"
}
],
"redis": [
{
"container": "cca316e66b57",
"cpus": 0.25,
"image_id": "sha256:02419de7eddf55aa5bcf49efb74e88fa8d931b4d77c07eff8a6b2144472b6952",
"memory_bytes": 134217728,
"name": "mtusi-lab3-redis-1"
}
]
},
"phases": {
"absent_window_seconds": 0.21,
"first_success_after_exit_s": 0.21,
"lb_down_at": "2026-10-16T19:19:07Z",
"probe_offsets": {
"container_exit": 11.25,
"last_sample": 60.76,
"restore_command": 31.46,
"stop_command": 8.0
},
"replica_rejoined_s": 3.92,
"restore_at": "2026-10-16T19:19:30Z",
"stop_command_at": "2026-10-16T19:19:10Z",
"stop_command_took_s": 3.25,
"stop_exit_code": 0,
"stop_window_seconds": 3.46
},
"profile": "spread",
"quiesce": {
"started_at": "2026-10-16T19:09:39Z",
"stopped": [
"omniroute",
"lampa",
"caddy",
"redis",
"sql-lab-db-1",
"redis-lab-redis-1"
]
},
"replicas": {
"18e28d666159": {
"container": "18e28d666159",
"cpus": 1.5,
"image_id": "sha256:3d79ee4716aa6c715e76f57525646d1c09d291a37542f3d5f96b50df5775cb06",
"memory_mb": 768,
"name": "mtusi-lab3-api-3",
"started_at": "2026-10-16T19:19:30.740779431Z"
},
"ec6ad0632ac0": {
"container": "ec6ad0632ac0",
"cpus": 1.5,
"image_id": "sha256:3d79ee4716aa6c715e76f57525646d1c09d291a37542f3d5f96b50df5775cb06",
"memory_mb": 768,
"name": "mtusi-lab3-api-4",
"started_at": "2026-10-16T19:10:09.935927544Z"
}
},
"sample_count": 1414,
"sampler_errors": [],
"stand": {
"API_CPUS_PER_REPLICA": "1.5",
"API_IMAGE": "mtusi-messenger:lab3",
"API_MEMORY_PER_REPLICA": "768m",
"API_REPLICAS": "2",
"API_TOTAL_CPUS": "3.0",
"API_TOTAL_MEMORY_MB": "1536",
"BUILD_ID": "base",
"DATABASE_POOL_MAX": "10",
"LB_CPUS": "0.25",
"LB_MEMORY": "128m",
"LOADGEN_CPUS": "1.5",
"LOADGEN_MEMORY": "256m",
"PG_CPUS": "1.5",
"PG_MEMORY": "512m",
"REDIS_CPUS": "0.25",
"REDIS_MEMORY": "128m"
},
"started_at": "2026-10-16T19:18:59Z",
"step_seconds": 58,
"steps": [
200
],
"versions": {
"haproxy": "haproxy:3.2-alpine",
"haproxy_runtime": "HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/",
"k6": "k6 v0.54.0 (commit/baba871c8a, go1.23.1, linux/amd64)",
"node_host": "v25.7.0",
"postgres": "postgres:16.4-alpine",
"postgres_runtime": "postgres (PostgreSQL) 16.4",
"redis": "redis:7.4.2-alpine",
"redis_runtime": "Redis server v=7.4.2 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=9d14eaf5f599583e"
}
}
@@ -0,0 +1,17 @@
{
"absent_window_seconds": 0.21,
"first_success_after_exit_s": 0.21,
"lb_down_at": "2026-10-16T19:19:07Z",
"probe_offsets": {
"container_exit": 11.25,
"last_sample": 60.76,
"restore_command": 31.46,
"stop_command": 8.0
},
"replica_rejoined_s": 3.92,
"restore_at": "2026-10-16T19:19:30Z",
"stop_command_at": "2026-10-16T19:19:10Z",
"stop_command_took_s": 3.25,
"stop_exit_code": 0,
"stop_window_seconds": 3.46
}
@@ -1,36 +0,0 @@
{
"base_url": "http://haproxy:8080",
"checks": {
"fails": 0,
"passes": 0
},
"dropped_iterations": 0,
"http_req_duration_p95": 6.74,
"http_reqs": 11631,
"iterations": 11601,
"kind": "steady",
"label": "failover#3adeb4c637a0",
"mode": "write",
"profile": "spread",
"steps": [
{
"attempted_rps": 200.02,
"avg": 4,
"duration_s": 58,
"failed": 0,
"max": 69.68,
"p50": 3.48,
"p95": 6.71,
"p99": 8.95,
"rate": 200,
"requests": 11601,
"successful_rps": 200.02,
"vus_active": 1
}
],
"vus_configured": {
"max": 200,
"preAllocated": 60
},
"vus_max": 60
}
@@ -1,101 +0,0 @@
{
"commit": "eabb1d2909a02aa6020694769ca1304cd3de63a5",
"dataset": {
"chat_members": 84,
"chats": 33,
"idempotency_keys": 11906,
"messages": 11906,
"users": 18
},
"finished_at": "2026-10-15T20:19:31Z",
"generator": {
"cpus": 1.5,
"max_vus": "200",
"memory": "256m",
"pre_vus": "60"
},
"host": {
"background": {
"load_average": [
4.19,
4.91,
6.42
],
"mem_available_mib": 4944,
"mem_total_mib": 15771,
"quiesced": false
},
"cpus": 8
},
"kind": "steady",
"label": "failover#3adeb4c637a0",
"mode": "write",
"phases": {
"first_success_after_exit_s": 0.2,
"lb_down_at": "2026-10-15T20:18:39Z",
"probe_offsets": {
"container_exit": 11.22,
"last_sample": 60.48,
"restore_command": 31.42,
"stop_command": 8.0
},
"replica_rejoined_s": 2.84,
"restore_at": "2026-10-15T20:19:02Z",
"stop_command_at": "2026-10-15T20:18:41Z",
"stop_command_took_s": 3.22,
"stop_exit_code": 0
},
"profile": "spread",
"quiesce": null,
"replicas": {
"3adeb4c637a0": {
"container": "3adeb4c637a0",
"cpus": 1.5,
"image_id": "sha256:b57c58f89a8839b6803a4e815b505a5138a2390173a87ba597d4614e30245c5b",
"memory_mb": 768,
"name": "mtusi-lab3-api-2",
"started_at": "2026-10-15T20:19:02.244821917Z"
},
"e4b62a206858": {
"container": "e4b62a206858",
"cpus": 1.5,
"image_id": "sha256:b57c58f89a8839b6803a4e815b505a5138a2390173a87ba597d4614e30245c5b",
"memory_mb": 768,
"name": "mtusi-lab3-api-1",
"started_at": "2026-10-15T20:18:23.977538795Z"
}
},
"sample_count": 1503,
"sampler_errors": [],
"stand": {
"API_IMAGE": "mtusi-messenger:lab3",
"API_REPLICAS": 2,
"API_TOTAL_CPUS": 3.0,
"API_TOTAL_MEMORY_MB": 1536,
"BUILD_ID": "base",
"DATABASE_POOL_MAX": 10,
"LB_CPUS": 0.25,
"LB_MEMORY": "128m",
"LOADGEN_CPUS": 1.5,
"LOADGEN_MEMORY": "256m",
"PG_CPUS": 1.5,
"PG_MEMORY": "512m",
"REDIS_CPUS": 0.25,
"REDIS_MEMORY": "128m"
},
"started_at": "2026-10-15T20:18:30Z",
"step_seconds": 58,
"steps": [
200
],
"versions": {
"haproxy": "haproxy:3.2-alpine",
"haproxy_runtime": "HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/",
"k6": "k6 v0.54.0 (commit/baba871c8a, go1.23.1, linux/amd64)",
"node_host": "v25.7.0",
"postgres": "postgres:16.4-alpine",
"postgres_runtime": "postgres (PostgreSQL) 16.4",
"redis": "redis:7.4.2-alpine",
"redis_runtime": "Redis server v=7.4.2 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=9d14eaf5f599583e"
}
}
@@ -1,15 +0,0 @@
{
"first_success_after_exit_s": 0.2,
"lb_down_at": "2026-10-15T20:18:39Z",
"probe_offsets": {
"container_exit": 11.22,
"last_sample": 60.48,
"restore_command": 31.42,
"stop_command": 8.0
},
"replica_rejoined_s": 2.84,
"restore_at": "2026-10-15T20:19:02Z",
"stop_command_at": "2026-10-15T20:18:41Z",
"stop_command_took_s": 3.22,
"stop_exit_code": 0
}
@@ -1,105 +0,0 @@
{
"commit": "e38795d0a39c20960049f84bf6b301832804964d",
"dataset": {
"chat_members": 1748,
"chats": 591,
"idempotency_keys": 959301,
"messages": 959301,
"users": 98
},
"finished_at": "2026-10-15T22:47:58Z",
"generator": {
"cpus": "1.5",
"max_vus": "200",
"memory": "256m",
"pre_vus": "60"
},
"host": {
"background": {
"load_average": [
4.53,
7.39,
8.21
],
"mem_available_mib": 4696,
"mem_total_mib": 15771,
"quiesced": false
},
"cpus": 8
},
"kind": "steady",
"label": "failover#3ae9682cb023",
"mode": "write",
"phases": {
"absent_window_seconds": 0.2,
"first_success_after_exit_s": 0.2,
"lb_down_at": "2026-10-15T22:47:06Z",
"probe_offsets": {
"container_exit": 11.27,
"last_sample": 60.05,
"restore_command": 31.47,
"stop_command": 8.0
},
"replica_rejoined_s": 3.29,
"restore_at": "2026-10-15T22:47:29Z",
"stop_command_at": "2026-10-15T22:47:09Z",
"stop_command_took_s": 3.26,
"stop_exit_code": 0,
"stop_window_seconds": 3.47
},
"profile": "spread",
"quiesce": null,
"replicas": {
"3ae9682cb023": {
"container": "3ae9682cb023",
"cpus": 1.5,
"image_id": "sha256:2ff9aa617ac17b3454a138b81320470fbed2a70ce9ea0d9fb9914b2ffb5461ab",
"memory_mb": 768,
"name": "mtusi-lab3-api-1",
"started_at": "2026-10-15T22:47:29.548874355Z"
},
"93d6ac125b68": {
"container": "93d6ac125b68",
"cpus": 1.5,
"image_id": "sha256:2ff9aa617ac17b3454a138b81320470fbed2a70ce9ea0d9fb9914b2ffb5461ab",
"memory_mb": 768,
"name": "mtusi-lab3-api-2",
"started_at": "2026-10-15T22:45:14.135109905Z"
}
},
"sample_count": 1490,
"sampler_errors": [],
"stand": {
"API_CPUS_PER_REPLICA": "1.5",
"API_IMAGE": "mtusi-messenger:lab3",
"API_MEMORY_PER_REPLICA": "768m",
"API_REPLICAS": "2",
"API_TOTAL_CPUS": "3.0",
"API_TOTAL_MEMORY_MB": "1536",
"BUILD_ID": "base",
"DATABASE_POOL_MAX": "10",
"LB_CPUS": "0.25",
"LB_MEMORY": "128m",
"LOADGEN_CPUS": "1.5",
"LOADGEN_MEMORY": "256m",
"PG_CPUS": "1.5",
"PG_MEMORY": "512m",
"REDIS_CPUS": "0.25",
"REDIS_MEMORY": "128m"
},
"started_at": "2026-10-15T22:46:57Z",
"step_seconds": 58,
"steps": [
200
],
"versions": {
"haproxy": "haproxy:3.2-alpine",
"haproxy_runtime": "HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/",
"k6": "k6 v0.54.0 (commit/baba871c8a, go1.23.1, linux/amd64)",
"node_host": "v25.7.0",
"postgres": "postgres:16.4-alpine",
"postgres_runtime": "postgres (PostgreSQL) 16.4",
"redis": "redis:7.4.2-alpine",
"redis_runtime": "Redis server v=7.4.2 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=9d14eaf5f599583e"
}
}
@@ -1,17 +0,0 @@
{
"absent_window_seconds": 0.2,
"first_success_after_exit_s": 0.2,
"lb_down_at": "2026-10-15T22:47:06Z",
"probe_offsets": {
"container_exit": 11.27,
"last_sample": 60.05,
"restore_command": 31.47,
"stop_command": 8.0
},
"replica_rejoined_s": 3.29,
"restore_at": "2026-10-15T22:47:29Z",
"stop_command_at": "2026-10-15T22:47:09Z",
"stop_command_took_s": 3.26,
"stop_exit_code": 0,
"stop_window_seconds": 3.47
}
@@ -1,32 +0,0 @@
{
"base_url": "http://haproxy:8080",
"checks": {
"fails": 0,
"passes": 0
},
"dropped_iterations": 0,
"http_req_duration_p95": 9.22,
"http_reqs": 11631,
"iterations": 11601,
"kind": "steady",
"label": "failover#438cdb0e0de6",
"mode": "write",
"profile": "spread",
"steps": [
{
"attempted_rps": 200.02,
"avg": 5.57,
"duration_s": 58,
"failed": 0,
"max": 101.75,
"p50": 4.39,
"p95": 9.21,
"p99": 24.44,
"rate": 200,
"requests": 11601,
"successful_rps": 200.02,
"vus_active": 1
}
],
"vus_max": 60
}
@@ -1,95 +0,0 @@
{
"commit": "410e1ea3ad1b12b1bc650484c3531e6bf76479be",
"dataset": {
"chat_members": 858,
"chats": 301,
"idempotency_keys": 67594,
"messages": 67594,
"users": 99
},
"finished_at": "2026-10-15T18:37:53Z",
"host": {
"background": {
"load_average": [
5.96,
5.42,
4.78
],
"mem_available_mib": 6399,
"mem_total_mib": 15771,
"quiesced": false
},
"cpus": 8
},
"kind": "steady",
"label": "failover#438cdb0e0de6",
"mode": "write",
"phases": {
"first_success_after_exit_s": 0.2,
"lb_down_at": "2026-10-15T18:37:03Z",
"probe_offsets": {
"container_exit": 11.25,
"last_sample": 59.74,
"restore_command": 31.45,
"stop_command": 8.01
},
"replica_rejoined_s": 3.34,
"restore_at": "2026-10-15T18:37:25Z",
"stop_command_at": "2026-10-15T18:37:05Z",
"stop_command_took_s": 3.23,
"stop_exit_code": 0
},
"profile": "spread",
"quiesce": null,
"replicas": {
"438cdb0e0de6": {
"container": "438cdb0e0de6",
"cpus": 1.5,
"image_id": "sha256:009e36e05eb149dc11222453ff740b9654aaaac40282037279b74eab8d9a7c86",
"memory_mb": 768,
"name": "mtusi-lab3-api-1",
"started_at": "2026-10-15T18:37:25.672670868Z"
},
"63edcffba23f": {
"container": "63edcffba23f",
"cpus": 1.5,
"image_id": "sha256:009e36e05eb149dc11222453ff740b9654aaaac40282037279b74eab8d9a7c86",
"memory_mb": 768,
"name": "mtusi-lab3-api-2",
"started_at": "2026-10-15T18:36:46.992567624Z"
}
},
"sample_count": 1488,
"sampler_errors": [],
"stand": {
"API_IMAGE": "mtusi-messenger:lab3",
"API_REPLICAS": 2,
"API_TOTAL_CPUS": 3.0,
"API_TOTAL_MEMORY_MB": 1536,
"BUILD_ID": "base",
"DATABASE_POOL_MAX": 10,
"LB_CPUS": 0.25,
"LB_MEMORY": "128m",
"LOADGEN_CPUS": 1.5,
"LOADGEN_MEMORY": "256m",
"PG_CPUS": 1.5,
"PG_MEMORY": "512m",
"REDIS_CPUS": 0.25,
"REDIS_MEMORY": "128m"
},
"started_at": "2026-10-15T18:36:54Z",
"step_seconds": 58,
"steps": [
200
],
"versions": {
"haproxy": "haproxy:3.2-alpine",
"haproxy_runtime": "HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/",
"k6": "k6 v0.54.0 (commit/baba871c8a, go1.23.1, linux/amd64)",
"node_host": "v25.7.0",
"postgres": "postgres:16.4-alpine",
"postgres_runtime": "postgres (PostgreSQL) 16.4",
"redis": "redis:7.4.2-alpine",
"redis_runtime": "Redis server v=7.4.2 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=9d14eaf5f599583e"
}
}
@@ -1,15 +0,0 @@
{
"first_success_after_exit_s": 0.2,
"lb_down_at": "2026-10-15T18:37:03Z",
"probe_offsets": {
"container_exit": 11.25,
"last_sample": 59.74,
"restore_command": 31.45,
"stop_command": 8.01
},
"replica_rejoined_s": 3.34,
"restore_at": "2026-10-15T18:37:25Z",
"stop_command_at": "2026-10-15T18:37:05Z",
"stop_command_took_s": 3.23,
"stop_exit_code": 0
}
@@ -1,32 +0,0 @@
{
"base_url": "http://haproxy:8080",
"checks": {
"fails": 0,
"passes": 0
},
"dropped_iterations": 0,
"http_req_duration_p95": 8.39,
"http_reqs": 11631,
"iterations": 11601,
"kind": "steady",
"label": "failover#63edcffba23f",
"mode": "write",
"profile": "spread",
"steps": [
{
"attempted_rps": 200.02,
"avg": 4.67,
"duration_s": 58,
"failed": 0,
"max": 72.49,
"p50": 4.02,
"p95": 8.38,
"p99": 10.34,
"rate": 200,
"requests": 11601,
"successful_rps": 200.02,
"vus_active": 1
}
],
"vus_max": 60
}
@@ -1,95 +0,0 @@
{
"commit": "410e1ea3ad1b12b1bc650484c3531e6bf76479be",
"dataset": {
"chat_members": 931,
"chats": 326,
"idempotency_keys": 79485,
"messages": 79485,
"users": 103
},
"finished_at": "2026-10-15T18:38:55Z",
"host": {
"background": {
"load_average": [
5.3,
5.37,
4.81
],
"mem_available_mib": 6254,
"mem_total_mib": 15771,
"quiesced": false
},
"cpus": 8
},
"kind": "steady",
"label": "failover#63edcffba23f",
"mode": "write",
"phases": {
"first_success_after_exit_s": 0.2,
"lb_down_at": "2026-10-15T18:38:04Z",
"probe_offsets": {
"container_exit": 11.24,
"last_sample": 59.66,
"restore_command": 31.44,
"stop_command": 8.0
},
"replica_rejoined_s": 2.84,
"restore_at": "2026-10-15T18:38:27Z",
"stop_command_at": "2026-10-15T18:38:07Z",
"stop_command_took_s": 3.24,
"stop_exit_code": 0
},
"profile": "spread",
"quiesce": null,
"replicas": {
"438cdb0e0de6": {
"container": "438cdb0e0de6",
"cpus": 1.5,
"image_id": "sha256:009e36e05eb149dc11222453ff740b9654aaaac40282037279b74eab8d9a7c86",
"memory_mb": 768,
"name": "mtusi-lab3-api-1",
"started_at": "2026-10-15T18:37:25.672670868Z"
},
"63edcffba23f": {
"container": "63edcffba23f",
"cpus": 1.5,
"image_id": "sha256:009e36e05eb149dc11222453ff740b9654aaaac40282037279b74eab8d9a7c86",
"memory_mb": 768,
"name": "mtusi-lab3-api-2",
"started_at": "2026-10-15T18:38:27.383729729Z"
}
},
"sample_count": 1488,
"sampler_errors": [],
"stand": {
"API_IMAGE": "mtusi-messenger:lab3",
"API_REPLICAS": 2,
"API_TOTAL_CPUS": 3.0,
"API_TOTAL_MEMORY_MB": 1536,
"BUILD_ID": "base",
"DATABASE_POOL_MAX": 10,
"LB_CPUS": 0.25,
"LB_MEMORY": "128m",
"LOADGEN_CPUS": 1.5,
"LOADGEN_MEMORY": "256m",
"PG_CPUS": 1.5,
"PG_MEMORY": "512m",
"REDIS_CPUS": 0.25,
"REDIS_MEMORY": "128m"
},
"started_at": "2026-10-15T18:37:55Z",
"step_seconds": 58,
"steps": [
200
],
"versions": {
"haproxy": "haproxy:3.2-alpine",
"haproxy_runtime": "HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/",
"k6": "k6 v0.54.0 (commit/baba871c8a, go1.23.1, linux/amd64)",
"node_host": "v25.7.0",
"postgres": "postgres:16.4-alpine",
"postgres_runtime": "postgres (PostgreSQL) 16.4",
"redis": "redis:7.4.2-alpine",
"redis_runtime": "Redis server v=7.4.2 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=9d14eaf5f599583e"
}
}
@@ -1,15 +0,0 @@
{
"first_success_after_exit_s": 0.2,
"lb_down_at": "2026-10-15T18:38:04Z",
"probe_offsets": {
"container_exit": 11.24,
"last_sample": 59.66,
"restore_command": 31.44,
"stop_command": 8.0
},
"replica_rejoined_s": 2.84,
"restore_at": "2026-10-15T18:38:27Z",
"stop_command_at": "2026-10-15T18:38:07Z",
"stop_command_took_s": 3.24,
"stop_exit_code": 0
}
@@ -1,105 +0,0 @@
{
"commit": "e38795d0a39c20960049f84bf6b301832804964d",
"dataset": {
"chat_members": 1833,
"chats": 626,
"idempotency_keys": 971200,
"messages": 971200,
"users": 120
},
"finished_at": "2026-10-15T22:49:00Z",
"generator": {
"cpus": "1.5",
"max_vus": "200",
"memory": "256m",
"pre_vus": "60"
},
"host": {
"background": {
"load_average": [
4.7,
6.9,
7.99
],
"mem_available_mib": 4736,
"mem_total_mib": 15771,
"quiesced": false
},
"cpus": 8
},
"kind": "steady",
"label": "failover#93d6ac125b68",
"mode": "write",
"phases": {
"absent_window_seconds": 0.1,
"first_success_after_exit_s": 0.1,
"lb_down_at": "2026-10-15T22:48:08Z",
"probe_offsets": {
"container_exit": 11.29,
"last_sample": 60.16,
"restore_command": 31.39,
"stop_command": 8.0
},
"replica_rejoined_s": 3.83,
"restore_at": "2026-10-15T22:48:31Z",
"stop_command_at": "2026-10-15T22:48:11Z",
"stop_command_took_s": 3.29,
"stop_exit_code": 0,
"stop_window_seconds": 3.39
},
"profile": "spread",
"quiesce": null,
"replicas": {
"3ae9682cb023": {
"container": "3ae9682cb023",
"cpus": 1.5,
"image_id": "sha256:2ff9aa617ac17b3454a138b81320470fbed2a70ce9ea0d9fb9914b2ffb5461ab",
"memory_mb": 768,
"name": "mtusi-lab3-api-1",
"started_at": "2026-10-15T22:47:29.548874355Z"
},
"93d6ac125b68": {
"container": "93d6ac125b68",
"cpus": 1.5,
"image_id": "sha256:2ff9aa617ac17b3454a138b81320470fbed2a70ce9ea0d9fb9914b2ffb5461ab",
"memory_mb": 768,
"name": "mtusi-lab3-api-2",
"started_at": "2026-10-15T22:48:31.599002589Z"
}
},
"sample_count": 1488,
"sampler_errors": [],
"stand": {
"API_CPUS_PER_REPLICA": "1.5",
"API_IMAGE": "mtusi-messenger:lab3",
"API_MEMORY_PER_REPLICA": "768m",
"API_REPLICAS": "2",
"API_TOTAL_CPUS": "3.0",
"API_TOTAL_MEMORY_MB": "1536",
"BUILD_ID": "base",
"DATABASE_POOL_MAX": "10",
"LB_CPUS": "0.25",
"LB_MEMORY": "128m",
"LOADGEN_CPUS": "1.5",
"LOADGEN_MEMORY": "256m",
"PG_CPUS": "1.5",
"PG_MEMORY": "512m",
"REDIS_CPUS": "0.25",
"REDIS_MEMORY": "128m"
},
"started_at": "2026-10-15T22:48:00Z",
"step_seconds": 58,
"steps": [
200
],
"versions": {
"haproxy": "haproxy:3.2-alpine",
"haproxy_runtime": "HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/",
"k6": "k6 v0.54.0 (commit/baba871c8a, go1.23.1, linux/amd64)",
"node_host": "v25.7.0",
"postgres": "postgres:16.4-alpine",
"postgres_runtime": "postgres (PostgreSQL) 16.4",
"redis": "redis:7.4.2-alpine",
"redis_runtime": "Redis server v=7.4.2 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=9d14eaf5f599583e"
}
}
@@ -1,17 +0,0 @@
{
"absent_window_seconds": 0.1,
"first_success_after_exit_s": 0.1,
"lb_down_at": "2026-10-15T22:48:08Z",
"probe_offsets": {
"container_exit": 11.29,
"last_sample": 60.16,
"restore_command": 31.39,
"stop_command": 8.0
},
"replica_rejoined_s": 3.83,
"restore_at": "2026-10-15T22:48:31Z",
"stop_command_at": "2026-10-15T22:48:11Z",
"stop_command_took_s": 3.29,
"stop_exit_code": 0,
"stop_window_seconds": 3.39
}
@@ -1,36 +0,0 @@
{
"base_url": "http://haproxy:8080",
"checks": {
"fails": 0,
"passes": 0
},
"dropped_iterations": 0,
"http_req_duration_p95": 6.05,
"http_reqs": 11631,
"iterations": 11601,
"kind": "steady",
"label": "failover#e4b62a206858",
"mode": "write",
"profile": "spread",
"steps": [
{
"attempted_rps": 200.02,
"avg": 3.8,
"duration_s": 58,
"failed": 0,
"max": 80.8,
"p50": 3.43,
"p95": 6.02,
"p99": 7.83,
"rate": 200,
"requests": 11601,
"successful_rps": 200.02,
"vus_active": 1
}
],
"vus_configured": {
"max": 200,
"preAllocated": 60
},
"vus_max": 60
}
@@ -1,101 +0,0 @@
{
"commit": "eabb1d2909a02aa6020694769ca1304cd3de63a5",
"dataset": {
"chat_members": 157,
"chats": 58,
"idempotency_keys": 23800,
"messages": 23800,
"users": 22
},
"finished_at": "2026-10-15T20:20:33Z",
"generator": {
"cpus": 1.5,
"max_vus": "200",
"memory": "256m",
"pre_vus": "60"
},
"host": {
"background": {
"load_average": [
4.31,
4.79,
6.28
],
"mem_available_mib": 4928,
"mem_total_mib": 15771,
"quiesced": false
},
"cpus": 8
},
"kind": "steady",
"label": "failover#e4b62a206858",
"mode": "write",
"phases": {
"first_success_after_exit_s": 0.2,
"lb_down_at": "2026-10-15T20:19:41Z",
"probe_offsets": {
"container_exit": 11.2,
"last_sample": 60.0,
"restore_command": 31.4,
"stop_command": 8.0
},
"replica_rejoined_s": 3.86,
"restore_at": "2026-10-15T20:20:04Z",
"stop_command_at": "2026-10-15T20:19:44Z",
"stop_command_took_s": 3.2,
"stop_exit_code": 0
},
"profile": "spread",
"quiesce": null,
"replicas": {
"3adeb4c637a0": {
"container": "3adeb4c637a0",
"cpus": 1.5,
"image_id": "sha256:b57c58f89a8839b6803a4e815b505a5138a2390173a87ba597d4614e30245c5b",
"memory_mb": 768,
"name": "mtusi-lab3-api-2",
"started_at": "2026-10-15T20:19:02.244821917Z"
},
"e4b62a206858": {
"container": "e4b62a206858",
"cpus": 1.5,
"image_id": "sha256:b57c58f89a8839b6803a4e815b505a5138a2390173a87ba597d4614e30245c5b",
"memory_mb": 768,
"name": "mtusi-lab3-api-1",
"started_at": "2026-10-15T20:20:04.61530436Z"
}
},
"sample_count": 1491,
"sampler_errors": [],
"stand": {
"API_IMAGE": "mtusi-messenger:lab3",
"API_REPLICAS": 2,
"API_TOTAL_CPUS": 3.0,
"API_TOTAL_MEMORY_MB": 1536,
"BUILD_ID": "base",
"DATABASE_POOL_MAX": 10,
"LB_CPUS": 0.25,
"LB_MEMORY": "128m",
"LOADGEN_CPUS": 1.5,
"LOADGEN_MEMORY": "256m",
"PG_CPUS": 1.5,
"PG_MEMORY": "512m",
"REDIS_CPUS": 0.25,
"REDIS_MEMORY": "128m"
},
"started_at": "2026-10-15T20:19:33Z",
"step_seconds": 58,
"steps": [
200
],
"versions": {
"haproxy": "haproxy:3.2-alpine",
"haproxy_runtime": "HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/",
"k6": "k6 v0.54.0 (commit/baba871c8a, go1.23.1, linux/amd64)",
"node_host": "v25.7.0",
"postgres": "postgres:16.4-alpine",
"postgres_runtime": "postgres (PostgreSQL) 16.4",
"redis": "redis:7.4.2-alpine",
"redis_runtime": "Redis server v=7.4.2 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=9d14eaf5f599583e"
}
}
@@ -1,15 +0,0 @@
{
"first_success_after_exit_s": 0.2,
"lb_down_at": "2026-10-15T20:19:41Z",
"probe_offsets": {
"container_exit": 11.2,
"last_sample": 60.0,
"restore_command": 31.4,
"stop_command": 8.0
},
"replica_rejoined_s": 3.86,
"restore_at": "2026-10-15T20:20:04Z",
"stop_command_at": "2026-10-15T20:19:44Z",
"stop_command_took_s": 3.2,
"stop_exit_code": 0
}
@@ -5,23 +5,24 @@
"passes": 0
},
"dropped_iterations": 0,
"http_req_duration_p95": 6.29,
"http_req_duration_p95": 7.91,
"http_reqs": 11631,
"iterations": 11601,
"kind": "steady",
"label": "failover#3ae9682cb023",
"label": "failover#ec6ad0632ac0",
"mode": "write",
"profile": "spread",
"seed_messages_per_chat": 0,
"steps": [
{
"attempted_rps": 200.02,
"avg": 3.85,
"avg": 4.92,
"duration_s": 58,
"failed": 0,
"max": 49.94,
"p50": 3.41,
"p95": 6.28,
"p99": 7.82,
"max": 75.81,
"p50": 4.12,
"p95": 7.9,
"p99": 12.76,
"rate": 200,
"requests": 11601,
"status": {
@@ -31,7 +32,7 @@
"server_5xx": 0
},
"successful_rps": 200.02,
"vus_active": 0
"vus_active": 15
}
],
"vus_configured": {
@@ -0,0 +1,162 @@
{
"commit": "1b4aac7587d3dd849f4d18bcdfac456ef2338376",
"dataset": {
"chat_members": 6602,
"chats": 2248,
"idempotency_keys": 3544734,
"messages": 3544734,
"users": 412
},
"finished_at": "2026-10-16T19:21:06Z",
"generator": {
"cpus": "1.5",
"max_vus": "200",
"memory": "256m",
"pre_vus": "60"
},
"host": {
"background": {
"load_average": [
5.86,
4.37,
3.83
],
"mem_available_mib": 3197,
"mem_total_mib": 15771,
"quiesced": true
},
"cpus": 8
},
"kind": "steady",
"label": "failover#ec6ad0632ac0",
"mode": "write",
"observed_stand": {
"api": [
{
"container": "ec6ad0632ac0",
"cpus": 1.5,
"image_id": "sha256:3d79ee4716aa6c715e76f57525646d1c09d291a37542f3d5f96b50df5775cb06",
"memory_bytes": 805306368,
"name": "mtusi-lab3-api-4",
"pool_max": 10
},
{
"container": "18e28d666159",
"cpus": 1.5,
"image_id": "sha256:3d79ee4716aa6c715e76f57525646d1c09d291a37542f3d5f96b50df5775cb06",
"memory_bytes": 805306368,
"name": "mtusi-lab3-api-3",
"pool_max": 10
}
],
"haproxy": [
{
"container": "ec593c7cf5e2",
"cpus": 0.25,
"image_id": "sha256:254e6370f01cd654e0744edf607c67f33777c1b6a9dc0d4b28bcba7171460122",
"memory_bytes": 134217728,
"name": "mtusi-lab3-haproxy-1"
}
],
"postgres": [
{
"container": "33188a3c1da2",
"cpus": 1.5,
"image_id": "sha256:5660c2cbfea50c7a9127d17dc4e48543eedd3d7a41a595a2dfa572471e37e64c",
"memory_bytes": 536870912,
"name": "mtusi-lab3-postgres-1"
}
],
"redis": [
{
"container": "cca316e66b57",
"cpus": 0.25,
"image_id": "sha256:02419de7eddf55aa5bcf49efb74e88fa8d931b4d77c07eff8a6b2144472b6952",
"memory_bytes": 134217728,
"name": "mtusi-lab3-redis-1"
}
]
},
"phases": {
"absent_window_seconds": 0.1,
"first_success_after_exit_s": 0.1,
"lb_down_at": "2026-10-16T19:20:13Z",
"probe_offsets": {
"container_exit": 11.3,
"last_sample": 60.61,
"restore_command": 31.4,
"stop_command": 8.0
},
"replica_rejoined_s": 3.4,
"restore_at": "2026-10-16T19:20:36Z",
"stop_command_at": "2026-10-16T19:20:16Z",
"stop_command_took_s": 3.3,
"stop_exit_code": 0,
"stop_window_seconds": 3.4
},
"profile": "spread",
"quiesce": {
"started_at": "2026-10-16T19:09:39Z",
"stopped": [
"omniroute",
"lampa",
"caddy",
"redis",
"sql-lab-db-1",
"redis-lab-redis-1"
]
},
"replicas": {
"18e28d666159": {
"container": "18e28d666159",
"cpus": 1.5,
"image_id": "sha256:3d79ee4716aa6c715e76f57525646d1c09d291a37542f3d5f96b50df5775cb06",
"memory_mb": 768,
"name": "mtusi-lab3-api-3",
"started_at": "2026-10-16T19:19:30.740779431Z"
},
"ec6ad0632ac0": {
"container": "ec6ad0632ac0",
"cpus": 1.5,
"image_id": "sha256:3d79ee4716aa6c715e76f57525646d1c09d291a37542f3d5f96b50df5775cb06",
"memory_mb": 768,
"name": "mtusi-lab3-api-4",
"started_at": "2026-10-16T19:20:36.458762178Z"
}
},
"sample_count": 1404,
"sampler_errors": [],
"stand": {
"API_CPUS_PER_REPLICA": "1.5",
"API_IMAGE": "mtusi-messenger:lab3",
"API_MEMORY_PER_REPLICA": "768m",
"API_REPLICAS": "2",
"API_TOTAL_CPUS": "3.0",
"API_TOTAL_MEMORY_MB": "1536",
"BUILD_ID": "base",
"DATABASE_POOL_MAX": "10",
"LB_CPUS": "0.25",
"LB_MEMORY": "128m",
"LOADGEN_CPUS": "1.5",
"LOADGEN_MEMORY": "256m",
"PG_CPUS": "1.5",
"PG_MEMORY": "512m",
"REDIS_CPUS": "0.25",
"REDIS_MEMORY": "128m"
},
"started_at": "2026-10-16T19:20:04Z",
"step_seconds": 58,
"steps": [
200
],
"versions": {
"haproxy": "haproxy:3.2-alpine",
"haproxy_runtime": "HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/",
"k6": "k6 v0.54.0 (commit/baba871c8a, go1.23.1, linux/amd64)",
"node_host": "v25.7.0",
"postgres": "postgres:16.4-alpine",
"postgres_runtime": "postgres (PostgreSQL) 16.4",
"redis": "redis:7.4.2-alpine",
"redis_runtime": "Redis server v=7.4.2 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=9d14eaf5f599583e"
}
}
@@ -0,0 +1,17 @@
{
"absent_window_seconds": 0.1,
"first_success_after_exit_s": 0.1,
"lb_down_at": "2026-10-16T19:20:13Z",
"probe_offsets": {
"container_exit": 11.3,
"last_sample": 60.61,
"restore_command": 31.4,
"stop_command": 8.0
},
"replica_rejoined_s": 3.4,
"restore_at": "2026-10-16T19:20:36Z",
"stop_command_at": "2026-10-16T19:20:16Z",
"stop_command_took_s": 3.3,
"stop_exit_code": 0,
"stop_window_seconds": 3.4
}
@@ -0,0 +1,49 @@
{
"base_url": "http://haproxy:8080",
"checks": {
"fails": 0,
"passes": 0
},
"dropped_iterations": 37439,
"exit_code": 0,
"http_req_duration_p95": 1291.91,
"http_reqs": 52593,
"iterations": 52563,
"kind": "steady",
"label": "probecheck#n4#rep1",
"mode": "write",
"profile": "spread",
"seed_messages_per_chat": 0,
"stderr_tail": [
"Container mtusi-lab3-loadgen-run-a0246658ac24 Creating ",
" Container mtusi-lab3-loadgen-run-a0246658ac24 Created ",
"time=\"2026-10-16T19:25:08Z\" level=warning msg=\"Insufficient VUs, reached 900 active VUs and cannot initialize more\" executor=constant-arrival-rate scenario=steady"
],
"steps": [
{
"attempted_rps": 876.05,
"avg": 984.52,
"duration_s": 60,
"failed": 0,
"max": 1688.88,
"p50": 995.05,
"p95": 1291.97,
"p99": 1447.6,
"rate": 1500,
"requests": 52563,
"status": {
"client_4xx": 0,
"ok": 52563,
"other": 0,
"server_5xx": 0
},
"successful_rps": 876.05,
"vus_active": 900
}
],
"vus_configured": {
"max": 900,
"preAllocated": 60
},
"vus_max": 900
}
@@ -0,0 +1,178 @@
{
"commit": "1b4aac7587d3dd849f4d18bcdfac456ef2338376",
"dataset": {
"chat_members": 6747,
"chats": 2297,
"idempotency_keys": 3634181,
"messages": 3634181,
"users": 419
},
"finished_at": "2026-10-16T19:26:05Z",
"generator": {
"cpus": "1.5",
"max_vus": "900",
"memory": "1024m",
"pre_vus": "60"
},
"host": {
"background": {
"load_average": [
13.79,
7.46,
5.17
],
"mem_available_mib": 3579,
"mem_total_mib": 15771,
"quiesced": true
},
"cpus": 8
},
"kind": "steady",
"label": "probecheck#n4#rep1",
"mode": "write",
"observed_stand": {
"api": [
{
"container": "135a92cbd311",
"cpus": 0.75,
"image_id": "sha256:21532b582a7b906713e3b25e3dcb3d0dbc3c4915638167bb6d4c6306896b12de",
"memory_bytes": 402653184,
"name": "mtusi-lab3-api-7",
"pool_max": 10
},
{
"container": "4ed5c00cf89a",
"cpus": 0.75,
"image_id": "sha256:21532b582a7b906713e3b25e3dcb3d0dbc3c4915638167bb6d4c6306896b12de",
"memory_bytes": 402653184,
"name": "mtusi-lab3-api-8",
"pool_max": 10
},
{
"container": "70a46599f05b",
"cpus": 0.75,
"image_id": "sha256:21532b582a7b906713e3b25e3dcb3d0dbc3c4915638167bb6d4c6306896b12de",
"memory_bytes": 402653184,
"name": "mtusi-lab3-api-6",
"pool_max": 10
},
{
"container": "69350bc49918",
"cpus": 0.75,
"image_id": "sha256:21532b582a7b906713e3b25e3dcb3d0dbc3c4915638167bb6d4c6306896b12de",
"memory_bytes": 402653184,
"name": "mtusi-lab3-api-5",
"pool_max": 10
}
],
"haproxy": [
{
"container": "ec593c7cf5e2",
"cpus": 0.25,
"image_id": "sha256:254e6370f01cd654e0744edf607c67f33777c1b6a9dc0d4b28bcba7171460122",
"memory_bytes": 134217728,
"name": "mtusi-lab3-haproxy-1"
}
],
"postgres": [
{
"container": "33188a3c1da2",
"cpus": 1.5,
"image_id": "sha256:5660c2cbfea50c7a9127d17dc4e48543eedd3d7a41a595a2dfa572471e37e64c",
"memory_bytes": 536870912,
"name": "mtusi-lab3-postgres-1"
}
],
"redis": [
{
"container": "cca316e66b57",
"cpus": 0.25,
"image_id": "sha256:02419de7eddf55aa5bcf49efb74e88fa8d931b4d77c07eff8a6b2144472b6952",
"memory_bytes": 134217728,
"name": "mtusi-lab3-redis-1"
}
]
},
"phases": {},
"profile": "spread",
"quiesce": {
"started_at": "2026-10-16T19:09:39Z",
"stopped": [
"omniroute",
"lampa",
"caddy",
"redis",
"sql-lab-db-1",
"redis-lab-redis-1"
]
},
"replicas": {
"135a92cbd311": {
"container": "135a92cbd311",
"cpus": 0.75,
"image_id": "sha256:21532b582a7b906713e3b25e3dcb3d0dbc3c4915638167bb6d4c6306896b12de",
"memory_mb": 384,
"name": "mtusi-lab3-api-7",
"started_at": "2026-10-16T19:24:54.105163407Z"
},
"4ed5c00cf89a": {
"container": "4ed5c00cf89a",
"cpus": 0.75,
"image_id": "sha256:21532b582a7b906713e3b25e3dcb3d0dbc3c4915638167bb6d4c6306896b12de",
"memory_mb": 384,
"name": "mtusi-lab3-api-8",
"started_at": "2026-10-16T19:24:54.252921456Z"
},
"69350bc49918": {
"container": "69350bc49918",
"cpus": 0.75,
"image_id": "sha256:21532b582a7b906713e3b25e3dcb3d0dbc3c4915638167bb6d4c6306896b12de",
"memory_mb": 384,
"name": "mtusi-lab3-api-5",
"started_at": "2026-10-16T19:24:54.496158842Z"
},
"70a46599f05b": {
"container": "70a46599f05b",
"cpus": 0.75,
"image_id": "sha256:21532b582a7b906713e3b25e3dcb3d0dbc3c4915638167bb6d4c6306896b12de",
"memory_mb": 384,
"name": "mtusi-lab3-api-6",
"started_at": "2026-10-16T19:24:54.371092691Z"
}
},
"sample_count": 1575,
"sampler_errors": [],
"stand": {
"API_CPUS_PER_REPLICA": "0.75",
"API_IMAGE": "mtusi-messenger:lab3",
"API_MEMORY_PER_REPLICA": "384m",
"API_REPLICAS": "4",
"API_TOTAL_CPUS": "3.0",
"API_TOTAL_MEMORY_MB": "1536",
"BUILD_ID": "base",
"DATABASE_POOL_MAX": "10",
"LB_CPUS": "0.25",
"LB_MEMORY": "128m",
"LOADGEN_CPUS": "1.5",
"LOADGEN_MEMORY": "1024m",
"PG_CPUS": "1.5",
"PG_MEMORY": "512m",
"REDIS_CPUS": "0.25",
"REDIS_MEMORY": "128m"
},
"started_at": "2026-10-16T19:25:00Z",
"step_seconds": 60,
"steps": [
1500
],
"versions": {
"haproxy": "haproxy:3.2-alpine",
"haproxy_runtime": "HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/",
"k6": "k6 v0.54.0 (commit/baba871c8a, go1.23.1, linux/amd64)",
"node_host": "v25.7.0",
"postgres": "postgres:16.4-alpine",
"postgres_runtime": "postgres (PostgreSQL) 16.4",
"redis": "redis:7.4.2-alpine",
"redis_runtime": "Redis server v=7.4.2 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=9d14eaf5f599583e"
}
}
+14 -13
View File
@@ -5,33 +5,34 @@
"passes": 0
},
"dropped_iterations": 0,
"http_req_duration_p95": 6.12,
"http_reqs": 36031,
"iterations": 36001,
"http_req_duration_p95": 7.4,
"http_reqs": 36030,
"iterations": 36000,
"kind": "steady",
"label": "rolling",
"mode": "write",
"profile": "spread",
"seed_messages_per_chat": 0,
"steps": [
{
"attempted_rps": 200.01,
"avg": 4.05,
"attempted_rps": 200,
"avg": 4.64,
"duration_s": 180,
"failed": 0,
"max": 202.84,
"p50": 3.41,
"p95": 6.11,
"p99": 8.97,
"max": 116.53,
"p50": 4.01,
"p95": 7.4,
"p99": 10.25,
"rate": 200,
"requests": 36001,
"requests": 36000,
"status": {
"client_4xx": 0,
"ok": 36001,
"ok": 36000,
"other": 0,
"server_5xx": 0
},
"successful_rps": 200.01,
"vus_active": 0
"successful_rps": 200,
"vus_active": 20
}
],
"vus_configured": {
+96 -39
View File
@@ -1,13 +1,13 @@
{
"commit": "e38795d0a39c20960049f84bf6b301832804964d",
"commit": "1b4aac7587d3dd849f4d18bcdfac456ef2338376",
"dataset": {
"chat_members": 1906,
"chats": 651,
"idempotency_keys": 1008090,
"messages": 1008090,
"users": 124
"chat_members": 6675,
"chats": 2273,
"idempotency_keys": 3581618,
"messages": 3581618,
"users": 416
},
"finished_at": "2026-10-15T22:52:27Z",
"finished_at": "2026-10-16T19:24:40Z",
"generator": {
"cpus": "1.5",
"max_vus": "200",
@@ -17,66 +17,123 @@
"host": {
"background": {
"load_average": [
4.06,
5.65,
7.28
5.68,
5.4,
4.4
],
"mem_available_mib": 4914,
"mem_available_mib": 3697,
"mem_total_mib": 15771,
"quiesced": false
"quiesced": true
},
"cpus": 8
},
"kind": "steady",
"label": "rolling",
"mode": "write",
"observed_stand": {
"api": [
{
"container": "0f36b6480431",
"cpus": 1.5,
"image_id": "sha256:21532b582a7b906713e3b25e3dcb3d0dbc3c4915638167bb6d4c6306896b12de",
"memory_bytes": 805306368,
"name": "mtusi-lab3-api-6",
"pool_max": 10
},
{
"container": "040cce950896",
"cpus": 1.5,
"image_id": "sha256:21532b582a7b906713e3b25e3dcb3d0dbc3c4915638167bb6d4c6306896b12de",
"memory_bytes": 805306368,
"name": "mtusi-lab3-api-5",
"pool_max": 10
}
],
"haproxy": [
{
"container": "ec593c7cf5e2",
"cpus": 0.25,
"image_id": "sha256:254e6370f01cd654e0744edf607c67f33777c1b6a9dc0d4b28bcba7171460122",
"memory_bytes": 134217728,
"name": "mtusi-lab3-haproxy-1"
}
],
"postgres": [
{
"container": "33188a3c1da2",
"cpus": 1.5,
"image_id": "sha256:5660c2cbfea50c7a9127d17dc4e48543eedd3d7a41a595a2dfa572471e37e64c",
"memory_bytes": 536870912,
"name": "mtusi-lab3-postgres-1"
}
],
"redis": [
{
"container": "cca316e66b57",
"cpus": 0.25,
"image_id": "sha256:02419de7eddf55aa5bcf49efb74e88fa8d931b4d77c07eff8a6b2144472b6952",
"memory_bytes": 134217728,
"name": "mtusi-lab3-redis-1"
}
]
},
"phases": {
"steps": [
{
"migrate_started_at": "2026-10-15T20:25:35.507925216Z",
"new_build_id": "20261015T224901Z",
"new_container": "4c55a7f513fe",
"new_instance": "4c55a7f513fe",
"migrate_started_at": "2026-10-16T19:18:16.162376367Z",
"new_build_id": "final-1b4aac7",
"new_container": "040cce950896",
"new_instance": "040cce950896",
"old_build_id": "unknown",
"old_container": "3ae9682cb023",
"old_instance": "3ae9682cb023",
"replacement_seconds": 9.52,
"old_container": "18e28d666159",
"old_instance": "18e28d666159",
"replacement_seconds": 9.76,
"step": 1
},
{
"migrate_started_at": "2026-10-15T20:25:35.507925216Z",
"new_build_id": "20261015T224901Z",
"new_container": "0586345a8b3e",
"new_instance": "0586345a8b3e",
"migrate_started_at": "2026-10-16T19:18:16.162376367Z",
"new_build_id": "final-1b4aac7",
"new_container": "0f36b6480431",
"new_instance": "0f36b6480431",
"old_build_id": "unknown",
"old_container": "93d6ac125b68",
"old_instance": "93d6ac125b68",
"replacement_seconds": 9.41,
"old_container": "ec6ad0632ac0",
"old_instance": "ec6ad0632ac0",
"replacement_seconds": 9.75,
"step": 2
}
]
},
"profile": "spread",
"quiesce": null,
"quiesce": {
"started_at": "2026-10-16T19:09:39Z",
"stopped": [
"omniroute",
"lampa",
"caddy",
"redis",
"sql-lab-db-1",
"redis-lab-redis-1"
]
},
"replicas": {
"0586345a8b3e": {
"container": "0586345a8b3e",
"040cce950896": {
"container": "040cce950896",
"cpus": 1.5,
"image_id": "sha256:bbc50564882f52c3d4517c00247e7c78909c7bce347e8f118dec802f4a4e5960",
"image_id": "sha256:21532b582a7b906713e3b25e3dcb3d0dbc3c4915638167bb6d4c6306896b12de",
"memory_mb": 768,
"name": "mtusi-lab3-api-4",
"started_at": "2026-10-15T22:49:40.009317038Z"
"name": "mtusi-lab3-api-5",
"started_at": "2026-10-16T19:21:42.05254266Z"
},
"4c55a7f513fe": {
"container": "4c55a7f513fe",
"0f36b6480431": {
"container": "0f36b6480431",
"cpus": 1.5,
"image_id": "sha256:bbc50564882f52c3d4517c00247e7c78909c7bce347e8f118dec802f4a4e5960",
"image_id": "sha256:21532b582a7b906713e3b25e3dcb3d0dbc3c4915638167bb6d4c6306896b12de",
"memory_mb": 768,
"name": "mtusi-lab3-api-3",
"started_at": "2026-10-15T22:49:28.56080638Z"
"name": "mtusi-lab3-api-6",
"started_at": "2026-10-16T19:21:53.839279716Z"
}
},
"sample_count": 4554,
"sample_count": 4246,
"sampler_errors": [],
"stand": {
"API_CPUS_PER_REPLICA": "1.5",
@@ -96,7 +153,7 @@
"REDIS_CPUS": "0.25",
"REDIS_MEMORY": "128m"
},
"started_at": "2026-10-15T22:49:24Z",
"started_at": "2026-10-16T19:21:37Z",
"step_seconds": 180,
"steps": [
200
+14 -14
View File
@@ -1,25 +1,25 @@
{
"steps": [
{
"migrate_started_at": "2026-10-15T20:25:35.507925216Z",
"new_build_id": "20261015T224901Z",
"new_container": "4c55a7f513fe",
"new_instance": "4c55a7f513fe",
"migrate_started_at": "2026-10-16T19:18:16.162376367Z",
"new_build_id": "final-1b4aac7",
"new_container": "040cce950896",
"new_instance": "040cce950896",
"old_build_id": "unknown",
"old_container": "3ae9682cb023",
"old_instance": "3ae9682cb023",
"replacement_seconds": 9.52,
"old_container": "18e28d666159",
"old_instance": "18e28d666159",
"replacement_seconds": 9.76,
"step": 1
},
{
"migrate_started_at": "2026-10-15T20:25:35.507925216Z",
"new_build_id": "20261015T224901Z",
"new_container": "0586345a8b3e",
"new_instance": "0586345a8b3e",
"migrate_started_at": "2026-10-16T19:18:16.162376367Z",
"new_build_id": "final-1b4aac7",
"new_container": "0f36b6480431",
"new_instance": "0f36b6480431",
"old_build_id": "unknown",
"old_container": "93d6ac125b68",
"old_instance": "93d6ac125b68",
"replacement_seconds": 9.41,
"old_container": "ec6ad0632ac0",
"old_instance": "ec6ad0632ac0",
"replacement_seconds": 9.75,
"step": 2
}
]
Binary file not shown.
+21 -20
View File
@@ -1,25 +1,26 @@
# A/B: подтверждённое улучшение (abdiag)
50 req/s: A 50.07 [50.07; 50.07] vs B 50.07 [50.07; 50.07] -> 0.0% (не подтверждено)
100 req/s: A 100.07 [100.07; 100.07] vs B 100.07 [100.07; 100.07] -> 0.0% (не подтверждено)
150 req/s: A 150.07 [150.07; 150.07] vs B 150.07 [150.07; 150.07] -> 0.0% (не подтверждено)
200 req/s: A 200.07 [200.07; 200.07] vs B 200.07 [200.07; 200.07] -> 0.0% (не подтверждено)
250 req/s: A 250.0 [249.2; 250.07] vs B 250.07 [250.07; 250.07] -> 0.03% (не подтверждено)
300 req/s: A 231.47 [228.27; 244.73] vs B 300.0 [299.4; 300.07] -> 29.61% (подтверждено)
350 req/s: A 108.53 [107.4; 108.73] vs B 349.8 [348.67; 350.07] -> 222.31% (подтверждено)
400 req/s: A 132.73 [131.87; 148.47] vs B 398.67 [397.6; 400.07] -> 200.36% (подтверждено)
50 req/s: A 50.07 успешных [50.07; 50.07] (всего ответов 50.07) vs B 50.07 [50.07; 50.07] (всего ответов 50.07) -> 0.0% (не подтверждено)
100 req/s: A 100.07 успешных [100.07; 100.07] (всего ответов 100.07) vs B 100.07 [100.07; 100.07] (всего ответов 100.07) -> 0.0% (не подтверждено)
150 req/s: A 150.07 успешных [150.07; 150.07] (всего ответов 150.07) vs B 150.07 [150.07; 150.07] (всего ответов 150.07) -> 0.0% (не подтверждено)
200 req/s: A 200.07 успешных [200.07; 200.07] (всего ответов 200.07) vs B 200.07 [200.07; 200.07] (всего ответов 200.07) -> 0.0% (не подтверждено)
250 req/s: A 250.0 успешных [249.2; 250.07] (всего ответов 250.0) vs B 250.07 [250.07; 250.07] (всего ответов 250.07) -> 0.03% (не подтверждено)
300 req/s: A 231.47 успешных [228.27; 244.47] (всего ответов 231.47) vs B 300.0 [299.4; 300.07] (всего ответов 300.0) -> 29.61% (подтверждено)
350 req/s: A 86.73 успешных [85.0; 93.33] (всего ответов 108.53) vs B 349.8 [348.67; 350.07] (всего ответов 349.8) -> 303.32% (подтверждено)
400 req/s: A 68.27 успешных [56.87; 100.4] (всего ответов 132.73) vs B 398.67 [397.6; 400.07] (всего ответов 398.67) -> 483.96% (подтверждено)
| шаг | образ A: RPS (min..max) | p95 A | образ B: RPS (min..max) | p95 B | Δ, % | вывод |
| --- | --- | --- | --- | --- | --- | --- |
| 50 | 50.07 (50.07..50.07) | 9.34 | 50.07 (50.07..50.07) | 7.18 | 0.0 | не подтверждено |
| 100 | 100.07 (100.07..100.07) | 7.9 | 100.07 (100.07..100.07) | 6.63 | 0.0 | не подтверждено |
| 150 | 150.07 (150.07..150.07) | 10.96 | 150.07 (150.07..150.07) | 5.53 | 0.0 | не подтверждено |
| 200 | 200.07 (200.07..200.07) | 9.2 | 200.07 (200.07..200.07) | 6.64 | 0.0 | не подтверждено |
| 250 | 250.0 (249.2..250.07) | 11.01 | 250.07 (250.07..250.07) | 7.03 | 0.03 | не подтверждено |
| 300 | 231.47 (228.27..244.73) | 7272.68 | 300.0 (299.4..300.07) | 7.62 | 29.61 | подтверждено |
| 350 | 108.53 (107.4..108.73) | 12121.91 | 349.8 (348.67..350.07) | 21.8 | 222.31 | подтверждено |
| 400 | 132.73 (131.87..148.47) | 12234.0 | 398.67 (397.6..400.07) | 59.72 | 200.36 | подтверждено |
| шаг, req/s | A: успешный RPS (min..max) | A: p95, ms | A: ответов RPS | B: успешный RPS (min..max) | B: p95, ms | B: ответов RPS | Δ успешных, % | вывод |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 50 | 50.07 (50.07..50.07) | 9.34 | 50.07 | 50.07 (50.07..50.07) | 7.18 | 50.07 | 0.0 | не подтверждено |
| 100 | 100.07 (100.07..100.07) | 7.9 | 100.07 | 100.07 (100.07..100.07) | 6.63 | 100.07 | 0.0 | не подтверждено |
| 150 | 150.07 (150.07..150.07) | 10.96 | 150.07 | 150.07 (150.07..150.07) | 5.53 | 150.07 | 0.0 | не подтверждено |
| 200 | 200.07 (200.07..200.07) | 9.2 | 200.07 | 200.07 (200.07..200.07) | 6.64 | 200.07 | 0.0 | не подтверждено |
| 250 | 250.0 (249.2..250.07) | 11.01 | 250.0 | 250.07 (250.07..250.07) | 7.03 | 250.07 | 0.03 | не подтверждено |
| 300 | 231.47 (228.27..244.47) | 7272.68 | 231.47 | 300.0 (299.4..300.07) | 7.62 | 300.0 | 29.61 | подтверждено |
| 350 | 86.73 (85.0..93.33) | 12121.91 | 108.53 | 349.8 (348.67..350.07) | 21.8 | 349.8 | 303.32 | подтверждено |
| 400 | 68.27 (56.87..100.4) | 12234.0 | 132.73 | 398.67 (397.6..400.07) | 59.72 | 398.67 | 483.96 | подтверждено |
Потолок A: 250.0 req/s, потолок B: 398.67 req/s
Потолок A: 250.0 успешных req/s, потолок B: 398.67 успешных req/s
Правило подтверждения: медиана меняется ≥5 % и диапазоны min/max повторов не перекрываются.
Δ = (B − A) / A по медиане успешного RPS; «ответов RPS» — частота всех полученных ответов, диагностическая величина (на насыщении она растёт, хотя полезная работа падает).
Правило подтверждения: медиана успешного RPS меняется ≥5 % и диапазоны min/max повторов не перекрываются.
+21 -20
View File
@@ -1,25 +1,26 @@
# A/B: подтверждённое улучшение (ab)
50 req/s: A 50.0 [50.0; 50.07] vs B 50.07 [50.0; 50.07] -> 0.14% (не подтверждено)
100 req/s: A 100.07 [100.0; 100.07] vs B 100.0 [100.0; 100.07] -> -0.07% (не подтверждено)
150 req/s: A 150.07 [150.07; 150.07] vs B 150.07 [150.0; 150.07] -> 0.0% (не подтверждено)
200 req/s: A 200.07 [200.07; 200.07] vs B 200.0 [198.93; 200.07] -> -0.03% (не подтверждено)
250 req/s: A 250.07 [250.07; 250.07] vs B 250.07 [250.0; 250.07] -> 0.0% (не подтверждено)
300 req/s: A 257.8 [243.87; 261.87] vs B 300.07 [300.07; 300.07] -> 16.4% (подтверждено)
350 req/s: A 188.33 [187.93; 210.07] vs B 348.6 [348.13; 350.07] -> 85.1% (подтверждено)
400 req/s: A 171.73 [167.07; 226.73] vs B 400.07 [399.93; 400.07] -> 132.96% (подтверждено)
50 req/s: A 50.0 успешных [50.0; 50.07] (всего ответов 50.0) vs B 50.07 [50.0; 50.07] (всего ответов 50.07) -> 0.14% (не подтверждено)
100 req/s: A 100.07 успешных [100.0; 100.07] (всего ответов 100.07) vs B 100.0 [100.0; 100.07] (всего ответов 100.0) -> -0.07% (не подтверждено)
150 req/s: A 150.07 успешных [150.07; 150.07] (всего ответов 150.07) vs B 150.07 [150.0; 150.07] (всего ответов 150.07) -> 0.0% (не подтверждено)
200 req/s: A 200.07 успешных [200.07; 200.07] (всего ответов 200.07) vs B 200.0 [198.93; 200.07] (всего ответов 200.0) -> -0.03% (не подтверждено)
250 req/s: A 250.07 успешных [250.07; 250.07] (всего ответов 250.07) vs B 250.07 [250.0; 250.07] (всего ответов 250.07) -> 0.0% (не подтверждено)
300 req/s: A 257.8 успешных [243.87; 261.87] (всего ответов 257.8) vs B 300.07 [300.07; 300.07] (всего ответов 300.07) -> 16.4% (подтверждено)
350 req/s: A 127.4 успешных [98.8; 182.07] (всего ответов 188.33) vs B 348.6 [348.13; 350.07] (всего ответов 348.6) -> 173.63% (подтверждено)
400 req/s: A 106.53 успешных [102.27; 124.4] (всего ответов 171.73) vs B 400.07 [399.93; 400.07] (всего ответов 400.07) -> 275.55% (подтверждено)
| шаг | образ A: RPS (min..max) | p95 A | образ B: RPS (min..max) | p95 B | Δ, % | вывод |
| --- | --- | --- | --- | --- | --- | --- |
| 50 | 50.0 (50.0..50.07) | 9.54 | 50.07 (50.0..50.07) | 7.86 | 0.14 | не подтверждено |
| 100 | 100.07 (100.0..100.07) | 9.38 | 100.0 (100.0..100.07) | 6.7 | -0.07 | не подтверждено |
| 150 | 150.07 (150.07..150.07) | 10.05 | 150.07 (150.0..150.07) | 7.08 | 0.0 | не подтверждено |
| 200 | 200.07 (200.07..200.07) | 9.65 | 200.0 (198.93..200.07) | 7.78 | -0.03 | не подтверждено |
| 250 | 250.07 (250.07..250.07) | 11.16 | 250.07 (250.0..250.07) | 7.53 | 0.0 | не подтверждено |
| 300 | 257.8 (243.87..261.87) | 5200.88 | 300.07 (300.07..300.07) | 8.21 | 16.4 | подтверждено |
| 350 | 188.33 (187.93..210.07) | 10991.88 | 348.6 (348.13..350.07) | 29.31 | 85.1 | подтверждено |
| 400 | 171.73 (167.07..226.73) | 10816.26 | 400.07 (399.93..400.07) | 24.4 | 132.96 | подтверждено |
| шаг, req/s | A: успешный RPS (min..max) | A: p95, ms | A: ответов RPS | B: успешный RPS (min..max) | B: p95, ms | B: ответов RPS | Δ успешных, % | вывод |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 50 | 50.0 (50.0..50.07) | 9.54 | 50.0 | 50.07 (50.0..50.07) | 7.86 | 50.07 | 0.14 | не подтверждено |
| 100 | 100.07 (100.0..100.07) | 9.38 | 100.07 | 100.0 (100.0..100.07) | 6.7 | 100.0 | -0.07 | не подтверждено |
| 150 | 150.07 (150.07..150.07) | 10.05 | 150.07 | 150.07 (150.0..150.07) | 7.08 | 150.07 | 0.0 | не подтверждено |
| 200 | 200.07 (200.07..200.07) | 9.65 | 200.07 | 200.0 (198.93..200.07) | 7.78 | 200.0 | -0.03 | не подтверждено |
| 250 | 250.07 (250.07..250.07) | 11.16 | 250.07 | 250.07 (250.0..250.07) | 7.53 | 250.07 | 0.0 | не подтверждено |
| 300 | 257.8 (243.87..261.87) | 5200.88 | 257.8 | 300.07 (300.07..300.07) | 8.21 | 300.07 | 16.4 | подтверждено |
| 350 | 127.4 (98.8..182.07) | 10991.88 | 188.33 | 348.6 (348.13..350.07) | 29.31 | 348.6 | 173.63 | подтверждено |
| 400 | 106.53 (102.27..124.4) | 10816.26 | 171.73 | 400.07 (399.93..400.07) | 24.4 | 400.07 | 275.55 | подтверждено |
Потолок A: 257.8 req/s, потолок B: 400.07 req/s
Потолок A: 257.8 успешных req/s, потолок B: 400.07 успешных req/s
Правило подтверждения: медиана меняется ≥5 % и диапазоны min/max повторов не перекрываются.
Δ = (B − A) / A по медиане успешного RPS; «ответов RPS» — частота всех полученных ответов, диагностическая величина (на насыщении она растёт, хотя полезная работа падает).
Правило подтверждения: медиана успешного RPS меняется ≥5 % и диапазоны min/max повторов не перекрываются.
+40 -40
View File
@@ -2,14 +2,14 @@
## p-b#after-ext (темпы 400..800 req/s)
| темп | достигнуто RPS | p95, ms | ошибок |
| --- | --- | --- | --- |
| 400 | 399.87 | 64.84 | 0.0 |
| 500 | 495.33 | 276.36 | 0.0 |
| 600 | 559.27 | 1205.1 | 0.0 |
| 800 | 529.2 | 3112.68 | 0.0 |
| темп | успешный RPS | ответов RPS | p95, ms | ошибок |
| --- | --- | --- | --- | --- |
| 400 | 399.87 | 399.87 | 64.84 | 0.0 |
| 500 | 495.33 | 495.33 | 276.36 | 0.0 |
| 600 | 559.27 | 559.27 | 1205.1 | 0.0 |
| 800 | 529.2 | 529.2 | 3112.68 | 0.0 |
Потолок 559.27 req/s, knee на 600 req/s. Лимиты: LB 0.25 CPU, API 1.5 CPU / 384m, PG 3.0 CPU.
Потолок 559.27 успешных req/s, knee на 600 req/s. Лимиты: LB 0.25 CPU, API 1.5 CPU / 384m, PG 3.0 CPU.
PostgreSQL: 920.0 xact/s, ожиданий блокировок пик 39, активных сессий пик 41, hit ratio 0.834.
@@ -24,18 +24,18 @@ HAProxy: CPU средний 7.42%, пик 12.66%, RAM пик 39.1 MiB из 128.0
## p-b#n4 (темпы 50..400 req/s)
| темп | достигнуто RPS | p95, ms | ошибок |
| --- | --- | --- | --- |
| 50 | 50.07 | 14.49 | 0.0 |
| 100 | 100.07 | 10.15 | 0.0 |
| 150 | 150.0 | 9.66 | 0.0 |
| 200 | 200.07 | 9.27 | 0.0 |
| 250 | 188.73 | 2183.07 | 0.0 |
| 300 | 104.0 | 3344.58 | 0.0 |
| 350 | 79.47 | 4293.71 | 0.0 |
| 400 | 102.0 | 4067.34 | 0.0 |
| темп | успешный RPS | ответов RPS | p95, ms | ошибок |
| --- | --- | --- | --- | --- |
| 50 | 50.07 | 50.07 | 14.49 | 0.0 |
| 100 | 100.07 | 100.07 | 10.15 | 0.0 |
| 150 | 150.0 | 150.0 | 9.66 | 0.0 |
| 200 | 200.07 | 200.07 | 9.27 | 0.0 |
| 250 | 188.73 | 188.73 | 2183.07 | 0.0 |
| 300 | 104.0 | 104.0 | 3344.58 | 0.0 |
| 350 | 79.47 | 79.47 | 4293.71 | 0.0 |
| 400 | 102.0 | 102.0 | 4067.34 | 0.0 |
Потолок 200.07 req/s, knee на 250 req/s. Лимиты: LB 0.25 CPU, API 0.75 CPU / 384m, PG 1.5 CPU.
Потолок 200.07 успешных req/s, knee на 250 req/s. Лимиты: LB 0.25 CPU, API 0.75 CPU / 384m, PG 1.5 CPU.
PostgreSQL: 355.8 xact/s, ожиданий блокировок пик 39, активных сессий пик 41, hit ratio 0.8526.
@@ -50,18 +50,18 @@ HAProxy: CPU средний 3.01%, пик 6.09%, RAM пик 21.2 MiB из 128.0.
## p-c#gen2.0 (темпы 200..3000 req/s)
| темп | достигнуто RPS | p95, ms | ошибок |
| --- | --- | --- | --- |
| 200 | 200.07 | 6.94 | 0.0 |
| 400 | 400.07 | 8.28 | 0.0 |
| 700 | 700.07 | 23.94 | 0.0 |
| 1000 | 991.0 | 62.24 | 0.0 |
| 1500 | 1358.4 | 295.15 | 0.0 |
| 2000 | 1275.47 | 354.79 | 0.0 |
| 2500 | 1271.53 | 368.66 | 0.0 |
| 3000 | 1301.27 | 399.29 | 0.0 |
| темп | успешный RPS | ответов RPS | p95, ms | ошибок |
| --- | --- | --- | --- | --- |
| 200 | 200.07 | 200.07 | 6.94 | 0.0 |
| 400 | 400.07 | 400.07 | 8.28 | 0.0 |
| 700 | 700.07 | 700.07 | 23.94 | 0.0 |
| 1000 | 991.0 | 991.0 | 62.24 | 0.0 |
| 1500 | 1358.4 | 1358.4 | 295.15 | 0.0 |
| 2000 | 1275.47 | 1275.47 | 354.79 | 0.0 |
| 2500 | 1271.53 | 1271.53 | 368.66 | 0.0 |
| 3000 | 1301.27 | 1301.27 | 399.29 | 0.0 |
Потолок 1358.4 req/s, knee на 1500 req/s. Лимиты: LB 0.25 CPU, API 0.75 CPU / 384m, PG 1.5 CPU.
Потолок 1358.4 успешных req/s, knee на 1500 req/s. Лимиты: LB 0.25 CPU, API 0.75 CPU / 384m, PG 1.5 CPU.
PostgreSQL: 2742.5 xact/s, ожиданий блокировок пик 0, активных сессий пик 15, hit ratio 0.7739.
@@ -75,18 +75,18 @@ HAProxy: CPU средний 8.54%, пик 13.18%, RAM пик 12.5 MiB из 128.0
## p-c#lb0.25 (темпы 200..3000 req/s)
| темп | достигнуто RPS | p95, ms | ошибок |
| --- | --- | --- | --- |
| 200 | 200.07 | 4.4 | 0.0 |
| 400 | 400.07 | 5.45 | 0.0 |
| 700 | 700.07 | 8.59 | 0.0 |
| 1000 | 999.67 | 23.72 | 0.0 |
| 1500 | 1419.2 | 241.48 | 0.0 |
| 2000 | 1274.2 | 375.88 | 0.0 |
| 2500 | 1331.13 | 317.72 | 0.0 |
| 3000 | 1267.67 | 378.63 | 0.0 |
| темп | успешный RPS | ответов RPS | p95, ms | ошибок |
| --- | --- | --- | --- | --- |
| 200 | 200.07 | 200.07 | 4.4 | 0.0 |
| 400 | 400.07 | 400.07 | 5.45 | 0.0 |
| 700 | 700.07 | 700.07 | 8.59 | 0.0 |
| 1000 | 999.67 | 999.67 | 23.72 | 0.0 |
| 1500 | 1419.2 | 1419.2 | 241.48 | 0.0 |
| 2000 | 1274.2 | 1274.2 | 375.88 | 0.0 |
| 2500 | 1331.13 | 1331.13 | 317.72 | 0.0 |
| 3000 | 1267.67 | 1267.67 | 378.63 | 0.0 |
Потолок 1419.2 req/s, knee на 1500 req/s. Лимиты: LB 0.25 CPU, API 0.75 CPU / 384m, PG 1.5 CPU.
Потолок 1419.2 успешных req/s, knee на 1500 req/s. Лимиты: LB 0.25 CPU, API 0.75 CPU / 384m, PG 1.5 CPU.
PostgreSQL: 2779.9 xact/s, ожиданий блокировок пик 0, активных сессий пик 15, hit ratio 0.8865.
+14 -10
View File
@@ -1,14 +1,18 @@
# Серия роста ресурсов
Ориентир по колену (серия A, N=4, темп 900 req/s, сборка C1, MAX_VUS=200): **611.8 req/s**, p95 907.68 ms — генератор был ограничен пулом VU.
Контроль на том же темпе, MAX_VUS=900 (block#n4, 2 повтора): **892.96 req/s**, p95 289.56 ms.
Блок 1500 req/s, N=4, одно временное окно, MAX_VUS=900, коммит `6cced49`. Каждая точка отличается от контроля одним ключом бюджета; сопоставимость проверена по манифестам.
| точка | темп | достигнуто RPS | p95, ms | ошибок | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра |
| --- | --- | --- | --- | --- | --- | --- |
| growth#api-total-6 | 560 | 558.97 | 8.75 | 0 | 34.42 | 100.3 |
| growth#api-total-6-900 | 900 | 884.82 | 604.71 | 0 | 42.43 | 154.8 |
| growth#api6-pg3-900 | 900 | 898.23 | 20.37 | 0 | 45.93 | 171.07 |
| growth#pg-3.0-900 | 900 | 897.02 | 32.62 | 0 | 81.0 | 158.0 |
| growth#pool-20-900 | 900 | 880.85 | 271.81 | 0 | 73.61 | 156.91 |
| growth#pool-5-900 | 900 | 896.63 | 56.14 | 0 | 79.6 | 149.29 |
| точка | что изменено | успешный RPS (min..max) | Δ к контролю, % | p95, ms | 5xx | dropped | VU пик / бюджет | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | вывод |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| why#n4 | контроль N=4 | 943.02 (943.02..943.02) | — | 1196.17 | 0 | 33420 | 900 / 900 | 73.72 | 151.59 | контроль |
| why#n4-api6 | API ×2 (6.0 CPU) | 891.38 (891.38..891.38) | -5.5 | 1362.61 | 0 | 36519 | 900 / 900 | 48.36 | 155.21 | в пределах разброса |
| why#n4-pg3 | PostgreSQL ×2 (3.0 CPU) | 1480.45 (1480.45..1480.45) | +57.0 | 291.25 | 0 | 1174 | 516 / 900 | 82.73 | 260.88 | рычаг поднимает потолок |
| why#n4-pool20 | пул 20 | 852.68 (852.68..852.68) | -9.6 | 1321.36 | 0 | 38839 | 900 / 900 | 75.33 | 154.87 | ухудшает |
| why#n4-lb1 | LB ×4 (1.0 CPU) | 922.25 (922.25..922.25) | -2.2 | 1196.43 | 0 | 34667 | 900 / 900 | 63.67 | 152.91 | в пределах разброса |
Одиночные прогоны: различия меньше ±8 % не интерпретируются.
Вне сравнения:
- `why#n4-pool5` (пул 5): не снята на этом темпе
+9 -9
View File
@@ -7,7 +7,7 @@
## block#n1 (2 повторов)
| достигнуто RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| успешный RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 889.85 | 267.26 | 0 | 53391 | 0 | 0 | 0 | 28.95 | 150.59 | 55.47 |
@@ -28,7 +28,7 @@
## block#n4 (2 повторов)
| достигнуто RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| успешный RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 893.92 | 240.5 | 0 | 53635 | 0 | 0 | 0 | 72.12 | 156.79 | 44.74 |
@@ -52,7 +52,7 @@
## block#n4-api6 (2 повторов)
| достигнуто RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| успешный RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 886.72 | 663.87 | 0 | 53203 | 0 | 0 | 0 | 40.27 | 155.3 | 51.66 |
@@ -76,7 +76,7 @@
## why#n1 (1 повторов)
| достигнуто RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| успешный RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 1035.37 | 1090.72 | 0 | 62122 | 0 | 0 | 0 | 35.32 | 150.87 | 71.86 |
@@ -94,7 +94,7 @@
## why#n4 (1 повторов)
| достигнуто RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| успешный RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 943.02 | 1196.17 | 0 | 56581 | 0 | 0 | 0 | 73.72 | 151.59 | 69.99 |
@@ -115,7 +115,7 @@
## why#n4-api6 (1 повторов)
| достигнуто RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| успешный RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 891.38 | 1362.61 | 0 | 53483 | 0 | 0 | 0 | 48.36 | 155.21 | 80.4 |
@@ -136,7 +136,7 @@
## why#n4-lb1 (1 повторов)
| достигнуто RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| успешный RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 922.25 | 1196.43 | 0 | 55335 | 0 | 0 | 0 | 63.67 | 152.91 | 73.49 |
@@ -157,7 +157,7 @@
## why#n4-pg3 (1 повторов)
| достигнуто RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| успешный RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 1480.45 | 291.25 | 0 | 88827 | 0 | 0 | 0 | 82.73 | 260.88 | 78.23 |
@@ -178,7 +178,7 @@
## why#n4-pool20 (1 повторов)
| достигнуто RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| успешный RPS | p95, ms | failed | 2xx | 4xx | 5xx | прочее | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | CPU ген. пик, % ядра |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 852.68 | 1321.36 | 0 | 51161 | 0 | 0 | 0 | 75.33 | 154.87 | 75.78 |
+12
View File
@@ -0,0 +1,12 @@
# Проба готовности под перегрузкой
| прогон | коммит | проба LB | успешный RPS | p95, ms | 5xx | dropped | сообщений в БД | статусы слотов LB |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| why#n4#rep1 | 6cced49 | /internal/lb-check | 943.02 | 1196.17 | 0 | 33420 | 2639395 | UP |
| probecheck#n4#rep1 | 1b4aac7 | /health/ready | 876.05 | 1291.97 | 0 | 37439 | 3634181 | UP |
Слоты LB всё время UP: да
Δ успешного RPS к why#n4: -7.1 % (порог разброса ±8 %)
5xx на probecheck#n4: 0
File diff suppressed because it is too large Load Diff
+36 -36
View File
@@ -2,18 +2,18 @@
## p-a#n1 (2 повторов)
| темп, req/s | достигнуто RPS | min..max | p95, ms | p95 max | ошибок | VU |
| --- | --- | --- | --- | --- | --- | --- |
| 100 | 100.07 | 100.07..100.07 | 8.79 | 9.2 | 0.0 | 2.0 |
| 200 | 200.07 | 200.07..200.07 | 4.96 | 5.09 | 0.0 | 3.0 |
| 300 | 300.03 | 300.0..300.07 | 8.01 | 8.49 | 0.0 | 3.0 |
| 400 | 400.07 | 400.07..400.07 | 8.09 | 8.26 | 0.0 | 6.0 |
| 550 | 550.07 | 550.07..550.07 | 7.82 | 8.34 | 0.0 | 6.0 |
| 700 | 700.07 | 700.07..700.07 | 32.67 | 42.57 | 0.0 | 33.0 |
| 900 | 780.7 | 754.4..807.0 | 395.8 | 432.04 | 0.0 | 129.0 |
| 1100 | 720.63 | 680.2..761.07 | 437.55 | 515.3 | 0.0 | 1.0 |
| темп, req/s | успешный RPS | min..max | ответов RPS | p95, ms | p95 max | ошибок | VU |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 100 | 100.07 | 100.07..100.07 | 100.07 | 8.79 | 9.2 | 0.0 | 2.0 |
| 200 | 200.07 | 200.07..200.07 | 200.07 | 4.96 | 5.09 | 0.0 | 3.0 |
| 300 | 300.03 | 300.0..300.07 | 300.03 | 8.01 | 8.49 | 0.0 | 3.0 |
| 400 | 400.07 | 400.07..400.07 | 400.07 | 8.09 | 8.26 | 0.0 | 6.0 |
| 550 | 550.07 | 550.07..550.07 | 550.07 | 7.82 | 8.34 | 0.0 | 6.0 |
| 700 | 700.07 | 700.07..700.07 | 700.07 | 32.67 | 42.57 | 0.0 | 33.0 |
| 900 | 780.7 | 754.4..807.0 | 780.7 | 395.8 | 432.04 | 0.0 | 129.0 |
| 1100 | 720.63 | 680.2..761.07 | 720.63 | 437.55 | 515.3 | 0.0 | 1.0 |
Потолок: **780.7 req/s**; сатурация: 900 req/s (достигнуто 780.7 req/s).
Потолок: **780.7 успешных req/s**; сатурация: 900 req/s (достигнуто 780.7 успешных req/s).
Ресурсы представительного прогона `p-a#n1#rep2` (лимиты 3.0 CPU / 1536m на реплику):
@@ -33,18 +33,18 @@ PostgreSQL: 1371.9 xact/s, откатов 0.0/s, hit ratio 0.9406, ожидан
## p-a#n2 (3 повторов)
| темп, req/s | достигнуто RPS | min..max | p95, ms | p95 max | ошибок | VU |
| --- | --- | --- | --- | --- | --- | --- |
| 100 | 100.07 | 100.0..100.07 | 8.18 | 8.74 | 0.0 | 2.0 |
| 200 | 200.07 | 200.07..200.07 | 7.5 | 8.92 | 0.0 | 5.0 |
| 300 | 300.0 | 300.0..300.2 | 8.05 | 8.97 | 0.0 | 6.0 |
| 400 | 400.07 | 400.07..400.07 | 7.07 | 7.22 | 0.0 | 6.0 |
| 550 | 550.0 | 549.87..550.07 | 9.42 | 40.1 | 0.0 | 6.0 |
| 700 | 692.4 | 690.2..699.53 | 152.48 | 170.61 | 0.0 | 70.0 |
| 900 | 614.13 | 538.0..650.2 | 501.68 | 692.55 | 0.0 | 136.0 |
| 1100 | 578.13 | 532.2..590.2 | 603.91 | 609.41 | 0.0 | 1.0 |
| темп, req/s | успешный RPS | min..max | ответов RPS | p95, ms | p95 max | ошибок | VU |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 100 | 100.07 | 100.0..100.07 | 100.07 | 8.18 | 8.74 | 0.0 | 2.0 |
| 200 | 200.07 | 200.07..200.07 | 200.07 | 7.5 | 8.92 | 0.0 | 5.0 |
| 300 | 300.0 | 300.0..300.2 | 300.0 | 8.05 | 8.97 | 0.0 | 6.0 |
| 400 | 400.07 | 400.07..400.07 | 400.07 | 7.07 | 7.22 | 0.0 | 6.0 |
| 550 | 550.0 | 549.87..550.07 | 550.0 | 9.42 | 40.1 | 0.0 | 6.0 |
| 700 | 692.4 | 690.2..699.53 | 692.4 | 152.48 | 170.61 | 0.0 | 70.0 |
| 900 | 614.13 | 538.0..650.2 | 614.13 | 501.68 | 692.55 | 0.0 | 136.0 |
| 1100 | 578.13 | 532.2..590.2 | 578.13 | 603.91 | 609.41 | 0.0 | 1.0 |
Потолок: **692.4 req/s**; сатурация: 900 req/s (достигнуто 614.13 req/s).
Потолок: **692.4 успешных req/s**; сатурация: 900 req/s (достигнуто 614.13 успешных req/s).
Ресурсы представительного прогона `p-a#n2#rep3` (лимиты 1.5 CPU / 768m на реплику):
@@ -66,18 +66,18 @@ PostgreSQL: 1268.1 xact/s, откатов 0.0/s, hit ratio 0.948, ожидани
## p-a#n4 (2 повторов)
| темп, req/s | достигнуто RPS | min..max | p95, ms | p95 max | ошибок | VU |
| --- | --- | --- | --- | --- | --- | --- |
| 100 | 100.03 | 100.0..100.07 | 8.36 | 8.79 | 0.0 | 3.0 |
| 200 | 200.03 | 200.0..200.07 | 9.58 | 9.67 | 0.0 | 4.0 |
| 300 | 300.07 | 300.07..300.07 | 8.98 | 9.46 | 0.0 | 4.0 |
| 400 | 399.3 | 398.6..400.0 | 14.68 | 20.68 | 0.0 | 4.0 |
| 550 | 545.54 | 541.0..550.07 | 117.49 | 209.54 | 0.0 | 6.0 |
| 700 | 674.47 | 653.33..695.6 | 320.94 | 511.18 | 0.0 | 159.0 |
| 900 | 611.8 | 586.93..636.67 | 907.68 | 963.94 | 0.0 | 189.0 |
| 1100 | 588.16 | 566.73..609.6 | 929.03 | 992.29 | 0.0 | 1.0 |
| темп, req/s | успешный RPS | min..max | ответов RPS | p95, ms | p95 max | ошибок | VU |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 100 | 100.03 | 100.0..100.07 | 100.03 | 8.36 | 8.79 | 0.0 | 3.0 |
| 200 | 200.03 | 200.0..200.07 | 200.03 | 9.58 | 9.67 | 0.0 | 4.0 |
| 300 | 300.07 | 300.07..300.07 | 300.07 | 8.98 | 9.46 | 0.0 | 4.0 |
| 400 | 399.3 | 398.6..400.0 | 399.3 | 14.68 | 20.68 | 0.0 | 4.0 |
| 550 | 545.54 | 541.0..550.07 | 545.54 | 117.49 | 209.54 | 0.0 | 6.0 |
| 700 | 674.47 | 653.33..695.6 | 674.47 | 320.94 | 511.18 | 0.0 | 159.0 |
| 900 | 611.8 | 586.93..636.67 | 611.8 | 907.68 | 963.94 | 0.0 | 189.0 |
| 1100 | 588.16 | 566.73..609.6 | 588.16 | 929.03 | 992.29 | 0.0 | 1.0 |
Потолок: **674.47 req/s**; сатурация: 900 req/s (достигнуто 611.8 req/s).
Потолок: **674.47 успешных req/s**; сатурация: 900 req/s (достигнуто 611.8 успешных req/s).
Ресурсы представительного прогона `p-a#n4#rep1` (лимиты 0.75 CPU / 384m на реплику):
@@ -103,7 +103,7 @@ PostgreSQL: 1269.5 xact/s, откатов 0.07/s, hit ratio 0.9956, ожидан
## Точки сатурации
- p-a#n1: knee на 900 req/s (достигнуто 780.7 req/s), потолок 780.7 req/s.
- p-a#n2: knee на 900 req/s (достигнуто 614.13 req/s), потолок 692.4 req/s.
- p-a#n4: knee на 900 req/s (достигнуто 611.8 req/s), потолок 674.47 req/s.
- p-a#n1: knee на 900 req/s (достигнуто 780.7 успешных req/s), потолок 780.7 успешных req/s.
- p-a#n2: knee на 900 req/s (достигнуто 614.13 успешных req/s), потолок 692.4 успешных req/s.
- p-a#n4: knee на 900 req/s (достигнуто 611.8 успешных req/s), потолок 674.47 успешных req/s.
+5 -3
View File
@@ -23,9 +23,11 @@ build-контекста (`.dockerignore`). Пароль БД и токен ме
- **Проба backend — `GET /health/ready`**, та же ручка, что у healthcheck
контейнера: реплика, потерявшая обязательную зависимость (свой путь к общей
БД или Redis), исключается из ротации, а трафик уходит на здоровые. Проба
ограничена на стороне API (`HEALTH_TIMEOUT_MS=400`: `query_timeout` для
`SELECT 1`, `AbortSignal.timeout` для `PING`) и укладывается в `timeout check
БД или Redis), исключается из ротации, а трафик уходит на здоровые. Проверка
PostgreSQL идёт по отдельному соединению (пул из одного клиента), а не из общего
пула бизнес-запросов: занятый пул — это перегрузка, а не потеря зависимости.
Весь ответ ограничен общим дедлайном API `HEALTH_TIMEOUT_MS=400`
(`AbortSignal.timeout` для `PING` Redis) и укладывается в `timeout check
500ms`. Когда недоступна общая для всех зависимость, неготовыми становятся все
реплики, и клиент получает `503` от самого балансировщика — честный признак
отсутствия готовых узлов; `/health/live` при этом остаётся `200`.
+5 -1
View File
@@ -2675,7 +2675,11 @@ def analyse_probe_check(groups: dict) -> None:
step = (summary or {}).get('steps', [None])[0]
if step is None:
continue
slots = {name: value for name, value in haproxy_stats(samples).items() if value['requests'] > 0}
slots = {
name: value
for name, value in haproxy_stats(samples).items()
if name.startswith('api') and name[3:].isdigit() and value['requests'] > 0
}
statuses = sorted({status for value in slots.values() for status in value['statuses']})
five_xx = (step.get('status') or {}).get('server_5xx') or 0
successful.setdefault(key, []).append(float(step['successful_rps']))
+4 -3
View File
@@ -56,9 +56,10 @@ python3 -m unittest discover -s tests -p 'test_*.py' -v
стенда, подставляет сырые сводки k6 фикстурами во временный каталог и проверяет,
что (а) пропускная способность считается по успешным ответам, а не по всем (шаг
`requests=1978, ok=853, failed=1125, duration=15` → 56.87 успешных против 131.87
ответов в секунду), (б) Δ A/B и потолок считаются по успешному RPS, (в) сравнение
роста ресурсов идёт только внутри одного темпа, а отсутствующий темп исключает
точку, а не подставляет чужую полку, и (г) сырые сводки в `evidence/track1/raw`
ответов в секунду), (б) Δ A/B и потолок считаются по успешному RPS, (в) серия роста —
блок `why#` на одном темпе: точка, отличающаяся от контроля больше чем одним ключом
бюджета (или другим `max_vus`) либо не снятая на этом темпе, исключается с причиной,
а не подставляется, и (г) сырые сводки в `evidence/track1/raw`
остаются в текущей схеме (`successful_rps`/`attempted_rps`, без `achieved_rps`).
## HTTPS, lab7