From 91de084d7ac60cb14a143177f343e29797bc7847 Mon Sep 17 00:00:00 2001 From: Ilya Date: Fri, 16 Oct 2026 22:44:22 +0300 Subject: [PATCH] =?UTF-8?q?lab3:=20=D0=B4=D0=BE=D0=BA=D0=B0=D0=B7=D0=B0?= =?UTF-8?q?=D1=82=D0=B5=D0=BB=D1=8C=D1=81=D1=82=D0=B2=D0=B0=20=D1=83=D1=80?= =?UTF-8?q?=D0=BE=D0=B2=D0=BD=D1=8F=204=20=D0=B8=20=D0=BA=D0=BE=D0=BD?= =?UTF-8?q?=D1=82=D1=80=D0=BE=D0=BB=D1=8C=20=D0=BF=D1=80=D0=BE=D0=B1=D1=8B?= =?UTF-8?q?=20=D0=BD=D0=B0=20=D1=84=D0=B8=D0=BD=D0=B0=D0=BB=D1=8C=D0=BD?= =?UTF-8?q?=D0=BE=D0=B9=20=D1=81=D0=B1=D0=BE=D1=80=D0=BA=D0=B5,=20=D0=B4?= =?UTF-8?q?=D0=BE=D0=BA=D1=83=D0=BC=D0=B5=D0=BD=D1=82=D0=B0=D1=86=D0=B8?= =?UTF-8?q?=D1=8F?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .github/pull_request_template.md | 4 +- REPORT.md | 231 +-- app/README.md | 10 +- app/test/dependency-failures.e2e-spec.ts | 16 - evidence/README.md | 34 +- evidence/level4/dependency-faults.txt | 38 +- evidence/level4/failover-sweep.json | 1410 +++++++++-------- evidence/level4/failover-sweep.md | 6 +- evidence/level4/rolling-update.json | 55 +- evidence/level4/rolling-update.md | 6 +- evidence/track1/ab-verdict-abdiag.json | 186 ++- evidence/track1/ab-verdict.json | 186 ++- .../container-cpu-failover_18e28d666159.png | Bin 0 -> 114569 bytes .../container-cpu-failover_3adeb4c637a0.png | Bin 118651 -> 0 bytes .../container-cpu-failover_3ae9682cb023.png | Bin 129009 -> 0 bytes .../container-cpu-failover_438cdb0e0de6.png | Bin 122603 -> 0 bytes .../container-cpu-failover_63edcffba23f.png | Bin 117759 -> 0 bytes .../container-cpu-failover_93d6ac125b68.png | Bin 101748 -> 0 bytes .../container-cpu-failover_e4b62a206858.png | Bin 118195 -> 0 bytes .../container-cpu-failover_ec6ad0632ac0.png | Bin 0 -> 106505 bytes .../container-cpu-probecheck_n4_rep1.png | Bin 0 -> 130288 bytes .../track1/graphs/container-cpu-rolling.png | Bin 138993 -> 134973 bytes evidence/track1/graphs/generator-vus.png | Bin 109090 -> 110477 bytes evidence/track1/graphs/growth.png | Bin 49228 -> 71220 bytes evidence/track1/graphs/latency-errors.png | Bin 143579 -> 171783 bytes .../track1/graphs/replica-distribution.png | Bin 46869 -> 46053 bytes evidence/track1/graphs/steady-throughput.png | Bin 50676 -> 43312 bytes evidence/track1/graphs/throughput.png | Bin 118526 -> 100579 bytes ....k6.json => failover#18e28d666159.k6.json} | 29 +- .../raw/failover#18e28d666159.manifest.json | 162 ++ .../raw/failover#18e28d666159.phases.json | 17 + .../failover#18e28d666159.samples.jsonl.gz | Bin 0 -> 20674 bytes .../track1/raw/failover#3adeb4c637a0.k6.json | 36 - .../raw/failover#3adeb4c637a0.manifest.json | 101 -- .../raw/failover#3adeb4c637a0.phases.json | 15 - .../failover#3adeb4c637a0.samples.jsonl.gz | Bin 15228 -> 0 bytes .../raw/failover#3ae9682cb023.manifest.json | 105 -- .../raw/failover#3ae9682cb023.phases.json | 17 - .../failover#3ae9682cb023.samples.jsonl.gz | Bin 19266 -> 0 bytes .../track1/raw/failover#438cdb0e0de6.k6.json | 32 - .../raw/failover#438cdb0e0de6.manifest.json | 95 -- .../raw/failover#438cdb0e0de6.phases.json | 15 - .../failover#438cdb0e0de6.samples.jsonl.gz | Bin 15191 -> 0 bytes .../track1/raw/failover#63edcffba23f.k6.json | 32 - .../raw/failover#63edcffba23f.manifest.json | 95 -- .../raw/failover#63edcffba23f.phases.json | 15 - .../failover#63edcffba23f.samples.jsonl.gz | Bin 15157 -> 0 bytes .../raw/failover#93d6ac125b68.manifest.json | 105 -- .../raw/failover#93d6ac125b68.phases.json | 17 - .../failover#93d6ac125b68.samples.jsonl.gz | Bin 19384 -> 0 bytes .../track1/raw/failover#e4b62a206858.k6.json | 36 - .../raw/failover#e4b62a206858.manifest.json | 101 -- .../raw/failover#e4b62a206858.phases.json | 15 - .../failover#e4b62a206858.samples.jsonl.gz | Bin 14957 -> 0 bytes ....k6.json => failover#ec6ad0632ac0.k6.json} | 17 +- .../raw/failover#ec6ad0632ac0.manifest.json | 162 ++ .../raw/failover#ec6ad0632ac0.phases.json | 17 + .../failover#ec6ad0632ac0.samples.jsonl.gz | Bin 0 -> 20633 bytes .../track1/raw/probecheck#n4#rep1.k6.json | 49 + .../raw/probecheck#n4#rep1.manifest.json | 178 +++ .../raw/probecheck#n4#rep1.samples.jsonl.gz | Bin 0 -> 28693 bytes evidence/track1/raw/rolling.k6.json | 27 +- evidence/track1/raw/rolling.manifest.json | 135 +- evidence/track1/raw/rolling.phases.json | 28 +- evidence/track1/raw/rolling.samples.jsonl.gz | Bin 59399 -> 60877 bytes evidence/track1/summary-ab-abdiag.md | 41 +- evidence/track1/summary-ab.md | 41 +- evidence/track1/summary-diagnostics.md | 80 +- evidence/track1/summary-growth.md | 24 +- evidence/track1/summary-mechanism.md | 18 +- evidence/track1/summary-probe-check.md | 12 + evidence/track1/summary-runs.md | 833 ++++------ evidence/track1/summary-series-a.md | 72 +- infra/README.md | 8 +- scripts/lab3/lab3.py | 6 +- tests/README.md | 7 +- 76 files changed, 2493 insertions(+), 2484 deletions(-) create mode 100644 evidence/track1/graphs/container-cpu-failover_18e28d666159.png delete mode 100644 evidence/track1/graphs/container-cpu-failover_3adeb4c637a0.png delete mode 100644 evidence/track1/graphs/container-cpu-failover_3ae9682cb023.png delete mode 100644 evidence/track1/graphs/container-cpu-failover_438cdb0e0de6.png delete mode 100644 evidence/track1/graphs/container-cpu-failover_63edcffba23f.png delete mode 100644 evidence/track1/graphs/container-cpu-failover_93d6ac125b68.png delete mode 100644 evidence/track1/graphs/container-cpu-failover_e4b62a206858.png create mode 100644 evidence/track1/graphs/container-cpu-failover_ec6ad0632ac0.png create mode 100644 evidence/track1/graphs/container-cpu-probecheck_n4_rep1.png rename evidence/track1/raw/{failover#93d6ac125b68.k6.json => failover#18e28d666159.k6.json} (54%) create mode 100644 evidence/track1/raw/failover#18e28d666159.manifest.json create mode 100644 evidence/track1/raw/failover#18e28d666159.phases.json create mode 100644 evidence/track1/raw/failover#18e28d666159.samples.jsonl.gz delete mode 100644 evidence/track1/raw/failover#3adeb4c637a0.k6.json delete mode 100644 evidence/track1/raw/failover#3adeb4c637a0.manifest.json delete mode 100644 evidence/track1/raw/failover#3adeb4c637a0.phases.json delete mode 100644 evidence/track1/raw/failover#3adeb4c637a0.samples.jsonl.gz delete mode 100644 evidence/track1/raw/failover#3ae9682cb023.manifest.json delete mode 100644 evidence/track1/raw/failover#3ae9682cb023.phases.json delete mode 100644 evidence/track1/raw/failover#3ae9682cb023.samples.jsonl.gz delete mode 100644 evidence/track1/raw/failover#438cdb0e0de6.k6.json delete mode 100644 evidence/track1/raw/failover#438cdb0e0de6.manifest.json delete mode 100644 evidence/track1/raw/failover#438cdb0e0de6.phases.json delete mode 100644 evidence/track1/raw/failover#438cdb0e0de6.samples.jsonl.gz delete mode 100644 evidence/track1/raw/failover#63edcffba23f.k6.json delete mode 100644 evidence/track1/raw/failover#63edcffba23f.manifest.json delete mode 100644 evidence/track1/raw/failover#63edcffba23f.phases.json delete mode 100644 evidence/track1/raw/failover#63edcffba23f.samples.jsonl.gz delete mode 100644 evidence/track1/raw/failover#93d6ac125b68.manifest.json delete mode 100644 evidence/track1/raw/failover#93d6ac125b68.phases.json delete mode 100644 evidence/track1/raw/failover#93d6ac125b68.samples.jsonl.gz delete mode 100644 evidence/track1/raw/failover#e4b62a206858.k6.json delete mode 100644 evidence/track1/raw/failover#e4b62a206858.manifest.json delete mode 100644 evidence/track1/raw/failover#e4b62a206858.phases.json delete mode 100644 evidence/track1/raw/failover#e4b62a206858.samples.jsonl.gz rename evidence/track1/raw/{failover#3ae9682cb023.k6.json => failover#ec6ad0632ac0.k6.json} (73%) create mode 100644 evidence/track1/raw/failover#ec6ad0632ac0.manifest.json create mode 100644 evidence/track1/raw/failover#ec6ad0632ac0.phases.json create mode 100644 evidence/track1/raw/failover#ec6ad0632ac0.samples.jsonl.gz create mode 100644 evidence/track1/raw/probecheck#n4#rep1.k6.json create mode 100644 evidence/track1/raw/probecheck#n4#rep1.manifest.json create mode 100644 evidence/track1/raw/probecheck#n4#rep1.samples.jsonl.gz create mode 100644 evidence/track1/summary-probe-check.md diff --git a/.github/pull_request_template.md b/.github/pull_request_template.md index 9a9b840..25a891f 100644 --- a/.github/pull_request_template.md +++ b/.github/pull_request_template.md @@ -4,7 +4,7 @@ Целевая оценка (3/4/5): 5 Трек: 1 «Цена масштабирования» -Что реализовано и что перенесено: Стенд целиком в `compose.yaml`: HAProxy 3.2 (server-template + Docker DNS, проба `/internal/lb-check`, roundrobin), API × N без публикации портов, общие PostgreSQL 16.4 и Redis 7.4 (сессии + AOF), миграции отдельным сервисом `migrate`, лимиты CPU/RAM у всех сервисов, `container_name` не задан нигде. Из lab2 перенесены без изменений: регистрация с Argon2id, Basic→Bearer-сессии в общем Redis, чаты с атомарным созданием, keyset-пагинация `(created_at, id)`, версионированный кэш истории, `/health/live`, `/health/ready`, `/internal/metrics`, `X-Request-Id`. Добавлено в lab3: `X-Instance-Id` = hostname реплики (в успешных ответах и в ошибках), проба LB, не зависящая от БД/Redis, общая идемпотентность `POST /chats/{id}/messages` (обязательный `Idempotency-Key`, сквозь реплики, атомарная заявка и тело ответа одним оператором, TTL и фоновый GC), дрейн по SIGTERM до закрытия пулов, транзиентные коды PostgreSQL → `503 unavailable`. Инструменты: `scripts/lab3/lab3.py` (стенд, прогоны, отказы, rolling update, анализ, графики), профили k6 в `scripts/load/`, хуки `scripts/stop-one.sh`, `scripts/start-replica.sh`, `scripts/restart.sh`, `scripts/quiesce.sh`. Трек 1: серия A (1/2/4 реплики при фиксированном бюджете), VU-своп, серия роста ресурсов на 900 req/s с проверкой фактических квот через `docker inspect`, блок «почему» на 1500 req/s, A/B до/после оптимизации пути записи и контрольная серия на бюджете по умолчанию; доказательства, сводки и графики — в `evidence/track1/`. +Что реализовано и что перенесено: Стенд целиком в `compose.yaml`: HAProxy 3.2 (server-template + Docker DNS, проба готовности `/health/ready` с `timeout check 500ms`, roundrobin), API × N без публикации портов, общие PostgreSQL 16.4 и Redis 7.4 (сессии + AOF), миграции отдельным сервисом `migrate`, лимиты CPU/RAM у всех сервисов, `container_name` не задан нигде. Из lab2 перенесены без изменений: регистрация с Argon2id, Basic→Bearer-сессии в общем Redis, чаты с атомарным созданием, keyset-пагинация `(created_at, id)`, версионированный кэш истории, `/health/live`, `/health/ready`, `/internal/metrics`, `X-Request-Id`. Добавлено в lab3: `X-Instance-Id` = hostname реплики (в успешных ответах и в ошибках), проба LB `/health/ready`: PostgreSQL проверяется по отдельному соединению (занятый пул не делает реплику неготовой), весь ответ ограничен общим дедлайном `HEALTH_TIMEOUT_MS=400`, Redis — обязательная зависимость готовности; общая идемпотентность `POST /chats/{id}/messages` (обязательный `Idempotency-Key`, сквозь реплики, атомарная заявка и тело ответа одним оператором, TTL и фоновый GC), дрейн по SIGTERM до закрытия пулов, транзиентные коды PostgreSQL → `503 unavailable`. Инструменты: `scripts/lab3/lab3.py` (стенд, прогоны, отказы, rolling update, анализ, графики), профили k6 в `scripts/load/`, хуки `scripts/stop-one.sh`, `scripts/start-replica.sh`, `scripts/restart.sh`, `scripts/quiesce.sh`. Трек 1: серия A (1/2/4 реплики при фиксированном бюджете), VU-своп, блок «почему» на 1500 req/s (он же серия роста ресурсов, контроль `why#n4`, точки сопоставлены по манифестам, фактические квоты проверены через `docker inspect`), A/B до/после оптимизации пути записи и контрольная серия на бюджете по умолчанию; доказательства, сводки и графики — в `evidence/track1/`. Команды запуска из чистого clone: @@ -24,7 +24,7 @@ python3 scripts/lab3/lab3.py analyze Результаты проверок и ссылка на REPORT.md: `make check` — PASS, `make test` — PASS через LB, `make test-e2e` — 14 passed / 3 skipped, `test-persistence` и `test-failover` — PASS, `test-dependencies` — PASS; доказательства уровня 3/4 — `evidence/level3/`, `evidence/level4/`, трека 1 — `evidence/track1/` (raw + сводки + графики). Полные таблицы, гипотезы, статус гипотез и ограничения — в `REPORT.md`. -Ограничения / известные ошибки: один docker-хост; PostgreSQL, Redis и HAProxy не реплицированы (трек 2 не заявлен), бэкапа тома PostgreSQL нет; путь чтения измерялся с `MAX_VUS=200`, поэтому его потолок — нижняя оценка; абсолютные значения трека сравнимы только внутри серии/блока (разные сборки и растущий датасет); серии трека, где меняются лимиты (рост ресурсов, VU-своп, блок 1500), сняты по одному прогону на точку с проверкой квот через `docker inspect`. +Ограничения / известные ошибки: один docker-хост; PostgreSQL, Redis и HAProxy не реплицированы (трек 2 не заявлен), бэкапа тома PostgreSQL нет; путь чтения измерялся с `MAX_VUS=200`, поэтому его потолок — нижняя оценка; абсолютные значения трека сравнимы только внутри серии/блока (разные сборки и растущий датасет); серии трека, где меняются лимиты (серия роста = блок 1500, VU-своп), сняты по одному прогону на точку с проверкой квот через `docker inspect`; серии трека 1 сняты с пробой LB, проверявшей только процесс и флаг дрейна, а контрольный прогон 1500 req/s на финальной сборке показал слоты LB всё время `UP`. Источники: контракт `contracts/openapi.json` и `contracts/README.md`, публичные проверки `tests/`, документация HAProxy 3.2, Docker Compose, k6 0.54, NestJS/Fastify, `pg` и `redis`. Все числа в отчёте получены прогонами на описанном стенде и лежат в `evidence/`. diff --git a/REPORT.md b/REPORT.md index 6ab5f41..8cb2594 100644 --- a/REPORT.md +++ b/REPORT.md @@ -33,6 +33,7 @@ make stand-up # docker compose up -d --build --wait: postgres, redis, m make wait-ready # GET /health/ready через LB make test # публичный smoke lab3 (через LB, BASE_URL=http://localhost:8080) make test-e2e # black-box набор приложения (нужны loopback-порты PG/Redis из compose.yaml) +make test-analytics # регрессия аналитики трека 1: оффлайн, без стенда ``` Проверки отказов и сохранности (требуют управления контейнерами): @@ -61,18 +62,18 @@ python3 scripts/lab3/lab3.py analyze # таблицы и графики ```text клиент ──► HAProxy :8080 ──► api-1 ─┐ - (проба /internal/lb-check) ├──► PostgreSQL (источник истины) + (проба /health/ready) ├──► PostgreSQL (источник истины) api-2 ─┘ └──► Redis (сессии, кэш истории) api-N ``` -| Роль | Service | Образ | Готовность | Тома/порты | -| ------------- | ---------- | ------------------------------------ | ---------------------------------------- | ----------------------------------- | -| Балансировщик | `haproxy` | `haproxy:3.2-alpine` | проба backend `GET /internal/lb-check` | `8080`, статистика `127.0.0.1:8404` | -| API ×N | `api` | сборка `Dockerfile` (`${API_IMAGE}`) | `/health/ready` (healthcheck контейнера) | портов нет | -| Миграции | `migrate` | тот же образ | `service_completed_successfully` | — | -| PostgreSQL | `postgres` | `postgres:16.4-alpine` | `pg_isready` | `postgres-data`, loopback:5432 | -| Redis | `redis` | `redis:7.4.2-alpine` | `redis-cli ping` | `redis-data`, loopback:6379 | +| Роль | Service | Образ | Готовность | Тома/порты | +| ------------- | ---------- | ------------------------------------ | ------------------------------------------------ | ----------------------------------- | +| Балансировщик | `haproxy` | `haproxy:3.2-alpine` | проба backend `GET /health/ready`, `timeout check 500ms` | `8080`, статистика `127.0.0.1:8404` | +| API ×N | `api` | сборка `Dockerfile` (`${API_IMAGE}`) | `/health/ready` (healthcheck контейнера) | портов нет | +| Миграции | `migrate` | тот же образ | `service_completed_successfully` | — | +| PostgreSQL | `postgres` | `postgres:16.4-alpine` | `pg_isready` | `postgres-data`, loopback:5432 | +| Redis | `redis` | `redis:7.4.2-alpine` | `redis-cli ping` | `redis-data`, loopback:6379 | **Источник истины и транзакционные границы.** Пользователи, чаты, членство, сообщения и журнал идемпотентности живут в PostgreSQL. Redis хранит сессии @@ -90,8 +91,13 @@ Argon2id, Basic→Bearer-сессии в общем Redis, чаты, keyset-па отказе зависимостей, миграции отдельным сервисом. Изменено: (1) `X-Instance-Id` больше не случайный UUID, а `INSTANCE_ID`/hostname — по нему реплика сопоставляется контейнеру; он же ставится в ответах об ошибках, которые -формируются фильтром раньше интерсептора; (2) появилась проба LB -`/internal/lb-check`, не зависящая от БД и Redis; (3) добавлена общая +формируются фильтром раньше интерсептора; (2) **проба LB — та же +`/health/ready`**, что и healthcheck контейнера: реплика, потерявшая свой путь к +общей БД или Redis, выходит из ротации, а не отвечает клиенту `503`, оставаясь в +ней. Проверка PostgreSQL идёт по отдельному соединению (пул из одного клиента), а не +из общего пула, поэтому занятый пул не делает реплику неготовой; весь ответ +ограничен общим дедлайном `HEALTH_TIMEOUT_MS=400` (меньше `timeout check 500ms`); +(3) добавлена общая идемпотентность отправки сообщения (таблица `idempotency_keys`, миграция 003); (4) порядок остановки по `SIGTERM` вынесен в `main.ts`: дрейн → закрытие сервера и пулов (стандартный порядок Nest закрывает пулы раньше дрейна); @@ -109,7 +115,8 @@ Argon2id, Basic→Bearer-сессии в общем Redis, чаты, keyset-па **Соответствие `.env.example` ↔ фактическая конфигурация.** Приложение читает `APP_*`, `SESSION_TTL_SECONDS`, `DATABASE_*`, `REDIS_URL`, `CACHE_*`, -`METRICS_TOKEN`, `DRAIN_DELAY_MS`, `INSTANCE_ID`, `IDEMPOTENCY_TTL_SECONDS` +`METRICS_TOKEN`, `HEALTH_TIMEOUT_MS` (бюджет пробы зависимостей в +`/health/ready`), `DRAIN_DELAY_MS`, `INSTANCE_ID`, `IDEMPOTENCY_TTL_SECONDS` (`app/src/config/app-config.schema.ts`); стенд читает `API_TOTAL_CPUS`, `API_TOTAL_MEMORY_MB` (делятся на `API_REPLICAS` → `API_CPUS_PER_REPLICA` / `API_MEMORY_PER_REPLICA`), `PG_*`, `REDIS_*`, `LB_*`, `LOADGEN_*`, `API_IMAGE`, @@ -132,13 +139,13 @@ Argon2id, Basic→Bearer-сессии в общем Redis, чаты, keyset-па | Остановка любой одной реплики; записи продолжаются | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (по разу на реплику) | `observed_instances_before=2`, 130 успешных записей во время отказа, 0 потерянных подтверждений, `first_recovery_seconds≈3.3`, остановленный контейнер виден в `docker ps` до/после, HAProxy помечает слот `DOWN` (L7STS) через ≈1 s | `evidence/level3/failover-mtusi-lab3-api-1.txt`, `…-api-2.txt` | | Сохранность данных и сессии при рестарте | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | `PASS`; перезапущены postgres, redis, api ×2, haproxy (StartedAt до/после), токен и подтверждённые сообщения живы | `evidence/level3/persistence.txt` | | Идемпотентность, в том числе конкурентная | `python3 scripts/lab3/lab3.py check idempotency` | 4/4 теста: неверный/отсутствующий ключ → 400; повтор → тот же JSON; другое тело → 409; 8 параллельных POST с одним ключом → ровно одно сообщение; ключ не конфликтует между пользователями и чатами | `evidence/level4/idempotency-concurrency.txt` | -| Health/readiness, LB исключает недоступный backend | `python3 scripts/lab3/lab3.py watch` во время failover | HAProxy: `apiN UP → UP 1/2 (L7STS) → DOWN → MAINT (resolution)`; период проверки 500 ms, `fall 2` ⇒ обнаружение 1–2 s (api-1 — 1 s, api-2 — 2 s) ≪ дрейн 3 s | `evidence/level3/failover-*.txt` | -| Последовательная остановка каждой реплики под нагрузкой: RPS, ошибки, восстановление | `python3 scripts/lab3/lab3.py failover --replicas all --rate 200 --duration 60` | по каждой реплике: 0 ошибок у клиента и 0 ошибок уровня LB (`ereq`/`dresp`), 0 дублей и 0 потерь, реплика возвращается за ≈3 s; k6 держит 200 req/s без dropped. Оговорка: `ereq` — это ошибки обработки запроса балансировщиком, они не считают ответы 5xx приложения; чтобы такие ответы были видны, сэмплер теперь пишет `hrsp_2xx/4xx/5xx` и `dresp` по каждому слоту, а профиль k6 — классы ответов по каждому шагу (`summary-mechanism.md`) | `evidence/level4/failover-sweep.json`, `.md` | +| Health/readiness, LB исключает недоступный backend | `python3 scripts/lab3/lab3.py watch` во время failover | HAProxy: `apiN UP → UP 1/2 (L7STS) → DOWN → MAINT (resolution)` ≈1 s после того, как дреин сделал пробу `/health/ready` неуспешной; период проверки 500 ms, `fall 2` ⇒ обнаружение 1–2 s (api-1 — 1 s, api-2 — 2 s) ≪ дрейн 3 s. Ту же ручку использует контейнерный healthcheck. Под насыщением пула слоты остаются `UP` (e2e-тест; контрольный прогон 1500 req/s — `evidence/track1/summary-probe-check.md`) | `evidence/level3/failover-*.txt` | +| Последовательная остановка каждой реплики под нагрузкой: RPS, ошибки, восстановление | `python3 scripts/lab3/lab3.py failover --replicas all --rate 200 --duration 60` | по каждой реплике: 0 ошибок у клиента и 0 ошибок уровня LB (`ereq`/`dresp`), 0 дублей и 0 потерь, реплика возвращается за 3.4–3.9 s; k6 держит 200 req/s без dropped. Оговорка: `ereq` — это ошибки обработки запроса балансировщиком, они не считают ответы 5xx приложения; чтобы такие ответы были видны, сэмплер теперь пишет `hrsp_2xx/4xx/5xx` и `dresp` по каждому слоту, а профиль k6 — классы ответов по каждому шагу (`summary-mechanism.md`) | `evidence/level4/failover-sweep.json`, `.md` | | Лимиты CPU/RAM, отсутствие портов API, отсутствие `container_name`, секреты | `docker inspect`, `docker compose ps/config` | у api `NanoCpus`/`Memory` = лимитам конфигурации, `bindings=map[]`; суммарные лимиты стенда 2304 MiB; `container_name` отсутствует; пароль БД и токен метрик в трекаемых файлах не встречаются | `evidence/level4/limits-and-ports.txt` | -| Rolling update под нагрузкой, миграции однократно (совместимость DDL с работающей версией — ограничение в разделе «Ограничения») | `python3 scripts/lab3/lab3.py rolling-update --under-load --rate 200 --build-id …` | реплики заменяются по одной, `BUILD_ID` и image id меняются, 0 ответов 5xx из 889 попыток, `migrate` не перезапускался | `evidence/level4/rolling-update.json`, `.md` | +| Rolling update под нагрузкой, миграции однократно (совместимость DDL с работающей версией — ограничение в разделе «Ограничения») | `python3 scripts/lab3/lab3.py rolling-update --under-load --rate 200 --build-id …` | реплики заменяются по одной, `BUILD_ID` и image id меняются, 0 ответов 5xx из 884 попыток, `migrate` не перезапускался | `evidence/level4/rolling-update.json`, `.md` | | Идемпотентность: удаление просроченных ключей | `docker compose --env-file .env exec -T api node dist/messages/idempotency/idempotency-gc.cli.js` (или `npm run idempotency:gc`) | GC удаляет ровно просроченную запись (created_at = now() − 2 суток): `Purged 1`, `expired_left=0`, свежая запись не тронута (`fresh_left=1`) | `evidence/level4/idempotency-gc.txt` | -| Отказы зависимостей | `make test-dependencies` | 2/2: bounded `503 unavailable` с `request_id` для Redis и PostgreSQL, запрос без сессии остаётся `401`, после возврата зависимости данные и сессия целы | `evidence/level4/dependency-faults.txt` | -| Трек 1: цена масштабирования | `python3 scripts/lab3/lab3.py sweep/growth/ab/analyze` | серия 1/2/4 реплики, точки сатурации, серия роста ресурсов, подтверждённое улучшение | `evidence/track1/summary-*.md`, `evidence/track1/graphs/*.png`, `evidence/track1/raw/` | +| Отказы зависимостей | `make test-dependencies` | 4/4: (1) отказ Redis и (2) отказ PostgreSQL — реплика отвечает ограниченным `503 unavailable` с `request_id`, неготовыми становятся все реплики, HAProxy выводит их из ротации и отвечает своим `503`, запрос без сессии остаётся `401`; (3) локальный отказ БД у одной реплики — из ротации уходит только она, здоровая обслуживает 16/16 чтений; (4) насыщение пула (60 параллельных записей в заблокированный чат) — слоты остаются `UP`, все записи `201`; после возврата зависимости данные и сессия целы | `evidence/level4/dependency-faults.txt` | +| Трек 1: цена масштабирования | `python3 scripts/lab3/lab3.py sweep/track1-extras/ab/analyze` | серия 1/2/4 реплики, точки сатурации, серия роста ресурсов, подтверждённое улучшение | `evidence/track1/summary-*.md`, `evidence/track1/graphs/*.png`, `evidence/track1/raw/` | | Воспроизводимость с чистого clone | `git clone -b lab3 … /tmp/lab3-clean` → `cp .env.example .env` → `docker compose down -v` → `make stand-up && make test && make test-persistence && make test-failover` | `PASS`: миграции применяются с пустого тома, smoke, сохранность и отказ реплики проходят без правок репозитория | `evidence/level3/clean-clone.txt` | ## Эксперименты и отказы @@ -170,7 +177,11 @@ Argon2id, Basic→Bearer-сессии в общем Redis, чаты, keyset-па сэмплером харнесса: `docker stats` (CPU/RAM контейнеров, 1.5 s), статистика HAProxy (0.5 s), `/internal/metrics` каждой реплики (2 s), `pg_stat_database`/`pg_stat_activity`/`pg_stat_statements` (2 s / 10 s) и фон -хоста. Профили: p-a (spread, POST) 100…1100 req/s, p-b (hot, один чат) 50…400 +хоста. Профиль k6 считает классы ответов по каждому шагу, а сводка публикует две +частоты: **успешную** (`successful_rps`, ответы ожидаемого класса — рабочая +величина) и **частоту ответов** (`attempted_rps`, все полученные ответы — +диагностика); сатурация, потолок, Δ A/B и сравнение роста считаются только по +успешной. Профили: p-a (spread, POST) 100…1100 req/s, p-b (hot, один чат) 50…400 req/s, p-c (read, GET истории limit=50) 200…3000 req/s; шаг 15 s, прогрев — отдельный прогон 30 s на первом темпе (в анализ не входит). Перед серией посторонние контейнеры хоста останавливаются (`scripts/quiesce.sh`, состояние фиксируется в @@ -191,7 +202,7 @@ host на момент серии — 8 логических CPU, ≈6.6 GiB д 1.5 CPU, LB 0.25 CPU, генератор 1.5 CPU), поэтому реплика получает 3/N CPU и 1536/N MiB. Профиль p-a (24 чата, POST), 7 прогонов: N=1 и N=4 по два повтора, N=2 — три. -| темп, req/s | N=1: достигнуто (2 повтора) | N=2: достигнуто (3 повтора) | N=4: достигнуто (2 повтора) | +| темп, req/s | N=1: успешный RPS (2 повтора) | N=2: успешный RPS (3 повтора) | N=4: успешный RPS (2 повтора) | | ----------- | -------------------------------- | -------------------------------------------- | -------------------------------- | | 100 | 100 / 100 | 100 / 100 / 100 | 100 / 100 | | 200 | 200 / 200 | 200 / 200 / 200 | 200 / 200 | @@ -215,7 +226,7 @@ host на момент серии — 8 логических CPU, ≈6.6 GiB д тестом, что потолок задаёт именно квота CPU PostgreSQL). - Реплики добавляют собственную накладную нагрузку: при N=4 квота 0.75 CPU на реплику удерживает p95 в районе 850–990 ms там, где N=1 с квотой 3.0 CPU даёт - 360–515 ms при большем достигнутом RPS. Это и есть «цена масштабирования»: + 360–515 ms при большем успешном RPS. Это и есть «цена масштабирования»: сублинейный (здесь — отрицательный) эффект при неизменном бюджете. - Генератор в серии A загружен умеренно (средняя 26–31 % ядра, пики 45–123 % при квоте 150 %), но на верхних шагах упирается в свой пул VU (200, `Insufficient VUs` @@ -242,7 +253,7 @@ host на момент серии — 8 логических CPU, ≈6.6 GiB д PG 1.5, пул 10, LB 0.25, генератор 1.5 CPU), меняется только `MAX_VUS`; лестница 700/900/1100 req/s, по одному прогону на точку: -| `MAX_VUS` | N=1: достигнуто при 900 / 1100 | N=4: достигнуто при 900 / 1100 | +| `MAX_VUS` | N=1: успешный RPS при 900 / 1100 | N=4: успешный RPS при 900 / 1100 | | --------- | ------------------------------ | ------------------------------ | | 200 | 892.3 / 946.1 | 890.5 / 927.2 | | 900 | 895.1 / 1009.9 | 893.2 / 953.1 | @@ -268,7 +279,7 @@ PG 1.5, пул 10, LB 0.25, генератор 1.5 CPU), меняется тол ### Диагностика: горячий чат и путь чтения **Горячий чат (p-b, N=4, все записи в один чат).** Потолок наступает раньше и -падает: до 200 req/s достигнутый темп равен предложенному (p95 9–14 ms), на 250 +падает: до 200 req/s успешный RPS равен предложенному (p95 9–14 ms), на 250 — 189 req/s (p95 2.2 s), на 300–400 — 79–104 req/s при p95 3.3–4.3 s, генератор упирается в свои 200 VU, а сервер стоит в очереди за строкой чата. PostgreSQL в этом прогоне: 39 ожидающих блокировку сессий (в серии A пик 2–18 в зависимости от @@ -296,41 +307,36 @@ knee на 1500 req/s, p95 растёт с 24 ms (1000 req/s) до 241–399 ms; ### Серия роста ресурсов -Каждая точка отличается от базовой конфигурации (N=4: API total 3.0 CPU — 0.75 CPU на -реплику, PostgreSQL 1.5 CPU, пул 10, LB 0.25 CPU) **ровно одним** ресурсом. После -пересъёмки все приведённые точки измерены на одном темпе (900 req/s), в одном -временном окне и на одном датасете, по одному прогону на точку; базовая точка — из -блока 900 (2 повтора). Основной вывод о «почему» даёт блок 1500 ниже, где рычаг -действительно срабатывает. +Серия роста — блок `why#` на **1500 req/s** (за коленом): одно временное окно, один +коммит (`6cced49`), `MAX_VUS=900`, генератор 1.5 CPU / 1 GiB. Контроль — `why#n4` +(N=4: API total 3.0 CPU — 0.75 CPU на реплику, PostgreSQL 1.5 CPU, пул 10, LB +0.25 CPU). Каждая точка отличается от контроля одним ключом бюджета; сопоставимость +проверена по манифестам прогонов (темп, профиль, режим, коммит, образ, параметры +генератора и остальные ключи бюджета), фактические квоты сверены с `docker inspect`. +Точки — одиночные прогоны: различия меньше ±8 % не интерпретируются. Таблица +построена `analyse_growth` (`evidence/track1/summary-growth.md`, `growth.png`). -Все точки серии измерены на темпе 900 req/s в одном временном окне, конфигурация -каждой применяется харнессом и сверяется с `docker inspect` — фактические квоты -CPU/RAM и размер пула записаны в манифест (`observed_stand`). Контрольная точка на -560 req/s (80 % колена, API ×2) держит предложенный темп (559.0 при p95 8.8 ms), как -и все конфигурации ниже колена (VU-своп: 698–700 при предложенных 700). +| Точка | Что изменено | успешный RPS | Δ к контролю, % | p95, ms | 5xx | dropped | VU пик / бюджет | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | вывод | +| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | +| why#n4 | контроль N=4 | 943.02 | — | 1196 | 0 | 33 420 | 900 / 900 | 74 % от 0.75 | 152 | контроль | +| why#n4-api6 | API ×2 (6.0 CPU) | 891.38 | −5.5 | 1363 | 0 | 36 519 | 900 / 900 | 48 % от 1.5 | 155 | в пределах разброса | +| why#n4-pg3 | PostgreSQL ×2 (3.0 CPU) | **1480.45** | **+57.0** | **291** | 0 | 1 174 | 516 / 900 | 83 % от 0.75 | **261** | рычаг поднимает потолок | +| why#n4-pool20 | пул 20 | 852.68 | −9.6 | 1321 | 0 | 38 839 | 900 / 900 | 75 % от 0.75 | 155 | ухудшает | +| why#n4-lb1 | LB ×4 (1.0 CPU) | 922.25 | −2.2 | 1196 | 0 | 34 667 | 900 / 900 | 64 % от 0.75 | 153 | в пределах разброса | -| Точка (все на 900 req/s) | достигнуто, req/s | p95, ms | dropped | CPU API: пик реплики, % её квоты | CPU PG пик, % ядра | -| --------------------------------- | ----------------- | ------- | ------- | -------------------------------- | ------------------ | -| базовая N=4 (block#n4, 2 повтора) | 893.0 | 290 | 0 | 72 % от 0.75 | 157 | -| API ×2 (6.0 CPU) | 884.8 | 605 | 913 | 42 % от 1.5 | 155 | -| PostgreSQL ×2 (3.0 CPU) | 897.0 | **33** | 180 | 81 % от 0.75 | 158 | -| API ×2 + PostgreSQL ×2 | 898.2 | 20 | 107 | 46 % от 1.5 | 171 | -| пул 5 (20 соединений) | 896.6 | **56** | 203 | 80 % от 0.75 | 149 | -| пул 20 (80 соединений) | 880.9 | 272 | 1150 | 74 % от 0.75 | 157 | +Пул 5 на этом темпе не снимался (`why#n4-pool5` в разделе «Вне сравнения» таблицы +`summary-growth.md`); точек, исключённых проверкой сопоставимости, нет. -Выводы: +Выводы — только из колонки «вывод»: -- **Около колена (900 req/s) ни один рычаг не меняет пропускную способность**: - 881–898 req/s, разброс ±1 % — система близка к текущему потолку, но ещё держит - темп. Отличается хвост: у PG ×2 и пула 5 p95 падает до 20–56 ms против 240–605 ms - у остальных, то есть при том же темпе меньше очередь за строкой чата и за WAL. -- **Пул 20 — единственная точка, которая хуже базовой** и по пропускной способности - (881), и по p95 (272 ms при 1150 отброшенных итерациях): больше соединений — - больше конкуренции за строку чата. +- **PostgreSQL ×2 — единственный рычаг, поднимающий потолок**: +57.0 % (1480.45 из + 1500 предложенных), p95 291 против 1196 ms, PostgreSQL использует 261 % ядра. +- **API ×2 (−5.5 %) и LB ×4 (−2.2 %) — в пределах разброса**: пропускную + способность не меняют. +- **Пул 20 ухудшает** (−9.6 %, p95 1321 ms): больше соединений — больше конкуренции за + строку чата (механизм — блок 1500 ниже: 55 ожидающих лок против 21). - **H4 (пул) отклонена в первоначальном виде**: рост пула не помогает, а за коленом - измеримо вредит (см. блок 1500 ниже: 853 req/s, 55 ожидающих лок). -- Рычаг, который действительно поднимает потолок, — CPU общего PostgreSQL: ниже - показано +57 % от его удвоения. + измеримо вредит; уменьшение пула в серии не проверялось. ### Почему рост реплик перестаёт помогать: разрез по времени выполнения @@ -345,8 +351,8 @@ CPU/RAM и размер пула записаны в манифест (`observed **Контроль вблизи колена (900 req/s, 2 повтора).** Блок из трёх конфигураций (N=1, N=4, N=4 + API ×2) держит 94.8–99.6 % предложенного темпа, 0 ответов 5xx, 887–894 req/s при p95 240–664 ms, то есть у колена ни одна из них не насыщена; -рычаги PG и пула на этом темпе проверены серией роста выше (там же и контрольный -N=4). Искать ограничитель нужно выше по темпу — это и делает блок 1500. +N=4 (`block#n4`) — контроль только этого блока. Рычаги PG и пула проверяются в блоке +1500 (он же серия роста). Искать ограничитель нужно выше по темпу — это и делает блок 1500. **Блок 1500 req/s (по 1 прогону на конфигурацию, 900 VU, 0 ответов 5xx).** Здесь система насыщена, и ограничитель виден напрямую: @@ -430,20 +436,24 @@ API total 6.0 CPU на 4 реплики, PostgreSQL 3.0 CPU, пул 20, LB 0.25 собирается одной командой: `make lab3-before-image` (архив дерева `e9cd28d` + тот же Dockerfile, тег `mtusi-messenger:lab3-before`). -| темп, req/s | A: RPS (min..max) | p95 A, ms | B: RPS (min..max) | p95 B, ms | Δ, % | вывод | -| ----------- | ----------------------- | ------------ | ----------------------- | --------- | ---------- | --------------- | -| 50 | 50.0 (50.0..50.07) | 9.5 | 50.07 (50.0..50.07) | 7.9 | +0.1 | не подтверждено | -| 100 | 100.07 (100.0..100.07) | 9.4 | 100.0 (100.0..100.07) | 6.7 | −0.1 | не подтверждено | -| 150 | 150.07 (150.07..150.07) | 10.1 | 150.07 (150.0..150.07) | 7.1 | 0.0 | не подтверждено | -| 200 | 200.07 (200.07..200.07) | 9.7 | 200.0 (198.93..200.07) | 7.8 | −0.0 | не подтверждено | -| 250 | 250.07 (250.07..250.07) | 11.2 | 250.07 (250.0..250.07) | 7.5 | 0.0 | не подтверждено | -| 300 | 257.8 (243.87..261.87) | **5200.9** | 300.07 (300.07..300.07) | 8.2 | **+16.4** | подтверждено | -| 350 | 188.33 (187.93..210.07) | **10 991.9** | 348.6 (348.13..350.07) | 29.3 | **+85.1** | подтверждено | -| 400 | 171.73 (167.07..226.73) | **10 816.3** | 400.07 (399.93..400.07) | 24.4 | **+133.0** | подтверждено | +| темп, req/s | A: успешный RPS (min..max) | A: ответов RPS | p95 A, ms | B: успешный RPS (min..max) | p95 B, ms | Δ успешных, % | вывод | +| ----------- | -------------------------- | -------------- | ----------- | -------------------------- | --------- | ------------- | --------------- | +| 50 | 50.0 (50.0..50.07) | 50.0 | 9.5 | 50.07 (50.0..50.07) | 7.9 | +0.1 | не подтверждено | +| 100 | 100.07 (100.0..100.07) | 100.07 | 9.4 | 100.0 (100.0..100.07) | 6.7 | −0.1 | не подтверждено | +| 150 | 150.07 (150.07..150.07) | 150.07 | 10.1 | 150.07 (150.0..150.07) | 7.1 | 0.0 | не подтверждено | +| 200 | 200.07 (200.07..200.07) | 200.07 | 9.7 | 200.0 (198.93..200.07) | 7.8 | −0.0 | не подтверждено | +| 250 | 250.07 (250.07..250.07) | 250.07 | 11.2 | 250.07 (250.0..250.07) | 7.5 | 0.0 | не подтверждено | +| 300 | 257.8 (243.87..261.87) | 257.8 | **5200.9** | 300.07 (300.07..300.07) | 8.2 | **+16.4** | подтверждено | +| 350 | 127.4 (98.8..182.07) | **188.33** | **10 991.9** | 348.6 (348.13..350.07) | 29.3 | **+173.6** | подтверждено | +| 400 | 106.53 (102.27..124.4) | **171.73** | **10 816.3** | 400.07 (399.93..400.07) | 24.4 | **+275.6** | подтверждено | -**Потолок: A ≈ 258 req/s, B ≥ 400 req/s** (правило подтверждения: медиана меняется -≥5 % и диапазоны min/max повторов не перекрываются; ниже 300 req/s обе стороны -работают без насыщения, поэтому различие там и не должно было проявиться). +**Потолок: A ≈ 258 req/s, B ≥ 400 req/s** (правило подтверждения: медиана +успешного RPS меняется ≥5 % и диапазоны min/max повторов не перекрываются; ниже +300 req/s обе стороны работают без насыщения, поэтому различие там и не должно +было проявиться). Все числа таблицы — **успешные ответы** (`201`); колонка +«ответов RPS» показывает, сколько запросов сторона A вообще довела до ответа: на +350/400 req/s это 188.33/171.73 при полезных 127.4/106.53 — разница и есть +клиентские отказы (таблица ниже). **Уровень SQL подтверждает механизм.** Среднее время горячего оператора в `pg_stat_statements` при одном и том же предложенном темпе: у A `UPDATE chats` — @@ -454,7 +464,8 @@ API total 6.0 CPU на 4 реплики, PostgreSQL 3.0 CPU, пул 20, LB 0.25 До насыщения обе версии одинаковы (различие ≤0.1 %): один оператор не меняет семантику, он меняет только время удержания блокировки строки чата и число круглых поездок. После насыщения разница радикальна: у A очередь за строкой чата даёт p95 -5–11 секунд и падение пропускной способности до 172 req/s на 400 req/s предложенных, +5–11 секунд и падение успешной пропускной способности до 106.5 req/s на 400 req/s +предложенных (при 171.7 доведённых до ответа — остальное отказы 503), у B на 400 req/s p95 равен 24 ms, а отброшенных итераций 29 на 18 000. Это и есть подтверждённое улучшение трека 1: сокращение критической секции (вместо проверки чата, BEGIN, claim, проверки членства, INSERT, UPDATE версии, store и COMMIT — @@ -473,23 +484,26 @@ API total 6.0 CPU на 4 реплики, PostgreSQL 3.0 CPU, пул 20, LB 0.25 1.5 CPU / 1 GiB), профиль тот же (p-b, горячий чат). Профиль k6 пишет классы ответов, а сэмплер — `hrsp_*`/`dresp` каждого backend-слота. -| темп, req/s | A: RPS (min..max) | p95 A, ms | 5xx A за 3 повтора | B: RPS (min..max) | p95 B, ms | 5xx B | Δ, % | вывод | -| ----------- | ----------------------- | ------------ | ------------------ | ----------------------- | --------- | ----- | ---------- | --------------- | -| 50 | 50.07 (50.07..50.07) | 9.3 | 0 | 50.07 (50.07..50.07) | 7.2 | 0 | 0.0 | не подтверждено | -| 100 | 100.07 (100.07..100.07) | 7.9 | 0 | 100.07 (100.07..100.07) | 6.6 | 0 | 0.0 | не подтверждено | -| 150 | 150.07 (150.07..150.07) | 11.0 | 0 | 150.07 (150.07..150.07) | 5.5 | 0 | 0.0 | не подтверждено | -| 200 | 200.07 (200.07..200.07) | 9.2 | 0 | 200.07 (200.07..200.07) | 6.6 | 0 | 0.0 | не подтверждено | -| 250 | 250.0 (249.2..250.07) | 11.0 | 0 | 250.07 (250.07..250.07) | 7.0 | 0 | 0.03 | не подтверждено | -| 300 | 231.5 (228.3..244.7) | **7272.7** | 4 | 300.0 (299.4..300.07) | 7.6 | 0 | **+29.6** | подтверждено | -| 350 | 108.5 (107.4..108.7) | **12 121.9** | 894 | 349.8 (348.7..350.07) | 21.8 | 0 | **+222.3** | подтверждено | -| 400 | 132.7 (131.9..148.5) | **12 234.0** | 2813 | 398.7 (397.6..400.07) | 59.7 | 0 | **+200.4** | подтверждено | +| темп, req/s | A: успешный RPS (min..max) | A: ответов RPS | p95 A, ms | 5xx A за 3 повтора | B: успешный RPS (min..max) | p95 B, ms | 5xx B | Δ успешных, % | вывод | +| ----------- | -------------------------- | -------------- | ------------ | ------------------ | -------------------------- | --------- | ----- | ------------- | --------------- | +| 50 | 50.07 (50.07..50.07) | 50.07 | 9.3 | 0 | 50.07 (50.07..50.07) | 7.2 | 0 | 0.0 | не подтверждено | +| 100 | 100.07 (100.07..100.07) | 100.07 | 7.9 | 0 | 100.07 (100.07..100.07) | 6.6 | 0 | 0.0 | не подтверждено | +| 150 | 150.07 (150.07..150.07) | 150.07 | 11.0 | 0 | 150.07 (150.07..150.07) | 5.5 | 0 | 0.0 | не подтверждено | +| 200 | 200.07 (200.07..200.07) | 200.07 | 9.2 | 0 | 200.07 (200.07..200.07) | 6.6 | 0 | 0.0 | не подтверждено | +| 250 | 250.0 (249.2..250.07) | 250.0 | 11.0 | 0 | 250.07 (250.07..250.07) | 7.0 | 0 | 0.03 | не подтверждено | +| 300 | 231.5 (228.3..244.5) | 231.5 | **7272.7** | 4 | 300.0 (299.4..300.07) | 7.6 | 0 | **+29.6** | подтверждено | +| 350 | 86.7 (85.0..93.3) | **108.5** | **12 121.9** | 894 | 349.8 (348.7..350.07) | 21.8 | 0 | **+303.3** | подтверждено | +| 400 | 68.3 (56.9..100.4) | **132.7** | **12 234.0** | 2813 | 398.7 (397.6..400.07) | 59.7 | 0 | **+484.0** | подтверждено | **Потолок: A 250 req/s (249.2..250.07), B 398.7 req/s (397.6..400.07)** — на бюджете по умолчанию разрыв ещё больше, чем в первой серии (там A доходил до 258 при удвоенных ресурсах). Разбор отказов: у A на 300/350/400 req/s клиент получил (суммарно по трём повторам) 4, 894 и 2813 ответов класса 5xx (все — `503 unavailable`: срабатывает `statement_timeout` 5 s, код `57014` переводится фильтром в ограниченный 503, а не -в 500), у B — ни одного 5xx и ни одного 4xx. То есть выигрыш C2 не только в +в 500), у B — ни одного 5xx и ни одного 4xx. Полезная работа стороны A при этом +падает сильнее, чем частота ответов: на 400 req/s из 132.7 ответов в секунду +успешны 68.3 (56.9–100.4 по повторам) — сравнение по частоте ответов показало бы ++200 %, по выполненной работе — **+484 %**. То есть выигрыш C2 не только в пропускной способности: при том же бюджете версия C1 под затором на строке чата начинает отказывать, а C2 держит темп. Сводка и вердикт — `evidence/track1/summary-ab-abdiag.md`, `ab-verdict-abdiag.json`; классы ответов @@ -518,10 +532,14 @@ claim, проверка членства, store, COMMIT) в выборку top-1 102 ms против 2.35 ms на запись. **Ответы стороны A, а не только их количество.** На 350/400 req/s клиент A насчитал -2671 и 3485 ответов «не 201». Профиль k6 считает классы `2xx/4xx/5xx/other` по -каждому шагу, а сэмплер пишет `hrsp_1xx..5xx` и `dresp` каждого backend-слота; в -контрольной серии `abdiag` (тот же профиль, бюджет по умолчанию, 3+3 повтора) по -ним видно, что все отказы стороны A — это `503 unavailable` (раздел ниже). +2671 и 3485 ответов «не 201» (в абсолюте за 3 повтора). Профиль k6 считает классы +`2xx/4xx/5xx/other` по каждому шагу, а сэмплер пишет `hrsp_1xx..5xx` и `dresp` +каждого backend-слота; в контрольной серии `abdiag` (тот же профиль, бюджет по +умолчанию, 3+3 повтора) по ним видно, что все отказы стороны A — это +`503 unavailable` (раздел ниже). Публикуемая пропускная способность сведена к +**успешным** ответам: `summaryJson` пишет `successful_rps` (ответы ожидаемого +класса) и `attempted_rps` (все ответы), а сатурация, потолок и Δ A/B считаются +только по успешным; частота ответов остаётся отдельной диагностической колонкой. ### Воспроизводимость прогонов трека @@ -554,7 +572,10 @@ python3 scripts/lab3/lab3.py track1-extras --part abdiag --ab-reps 3 --loadgen-m # колено на текущей сборке и точки роста python3 scripts/lab3/lab3.py run --no-warmup --profile p-a --replicas 1 --ladder 900,1200,1500,1800,2200 \ --label knee#n1 --max-vus 900 --loadgen-memory 1024m -python3 scripts/lab3/lab3.py growth --series pg --rate 900 --suffix=-900 --duration 60 +python3 scripts/lab3/lab3.py track1-extras --part why --loadgen-memory 1024m # блок 1500 req/s = серия роста +python3 scripts/lab3/lab3.py run --label 'probecheck#n4#rep1' --profile p-a --peak 1500 --duration 60 \ + --replicas 4 --api-total-cpus 3.0 --pg-cpus 1.5 --pool 10 --lb-cpus 0.25 \ + --loadgen-cpus 1.5 --loadgen-memory 1024m --max-vus 900 --pre-vus 60 --no-warmup # агрегаты и графики python3 scripts/lab3/lab3.py analyze ``` @@ -566,11 +587,12 @@ python3 scripts/lab3/lab3.py analyze | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | ---------------------------------------------------------------------------- | -------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | -------------------------------------------------------------------------------------------------------------------------- | -| `SIGTERM` одной API-реплике (`scripts/stop-one.sh`, `docker stop --time 10`) | LB исключает узел, клиент продолжает работать; подтверждённые записи целы | HAProxy: `UP → 1/2 → DOWN (L7STS) → MAINT (resolution)` ≈1 s после начала остановки; k6 держит 200 req/s без dropped и ошибок; проба клиента: 0 ошибок, 0 дублей, 0 потерь (293/293 и 288/288 подтверждены); в окне остановки и дрейна (3.3–3.5 s) клиент держал ≈4.9–5.0 req/s и не получил ни одной ошибки | реплика возвращается за ≈3 s (`scripts/start-replica.sh`); потерь нет | +| `SIGTERM` одной API-реплике (`scripts/stop-one.sh`, `docker stop --time 10`) | LB исключает узел, клиент продолжает работать; подтверждённые записи целы | HAProxy: `UP → 1/2 → DOWN (L7STS) → MAINT (resolution)` ≈1 s после начала остановки; k6 держит 200 req/s без dropped и ошибок; проба клиента: 0 ошибок, 0 дублей, 0 потерь (295/295 и 294/294 подтверждены); в окне остановки и дрейна (3.25–3.3 s) клиент держал ≈4.9–5.0 req/s и не получил ни одной ошибки | реплика возвращается за 3.4–3.9 s (`scripts/start-replica.sh`); потерь нет | | Рестарт всего стенда (`scripts/restart.sh`) | данные и сессии сохраняются, повторный вход не нужен | `make test-persistence` PASS; StartedAt всех контейнеровобновились, токен и сообщения живы | ≈8 s до `/health/ready`; потерь нет | -| Rolling update под нагрузкой (замена реплик по одной) | нет 5xx, миграции не перезапускаются | 0 ответов 5xx из 889 попыток при 200 req/s; `BUILD_ID` меняется по шагам; `migrate` StartedAt не изменился | замена реплики занимает 9.4–9.5 s (`docker stop` → `rm` → создание → healthy, измерено харнессом), стенд не теряет запросы | -| Отказ Redis (`docker compose stop redis`) | ограниченный 503, без 500 и без утечки деталей драйвера; анонимный запрос остаётся 401 | `make test-dependencies` PASS | зависимость возвращается за ≈2 s, сессия сохраняется (AOF) | +| Rolling update под нагрузкой (замена реплик по одной) | нет 5xx, миграции не перезапускаются | 0 ответов 5xx из 884 попыток при 200 req/s; `BUILD_ID` меняется по шагам (`final-1b4aac7`); `migrate` StartedAt не изменился | замена реплики занимает 9.75–9.76 s (`docker stop` → `rm` → создание → healthy, измерено харнессом), стенд не теряет запросы | +| Отказ Redis (`docker compose stop redis`) | реплики становятся неготовыми, LB исключает все backend, клиент не получает успешных ответов; анонимный запрос остаётся 401 | `make test-dependencies` PASS (4/4 теста); `/health/live` реплики `200`, `/health/ready` и бизнес-запросы — ограниченный `503 unavailable` с `request_id`, после дрейна всех слотов LB отвечает своим `503` | зависимость возвращается за ≈2 s, сессия сохраняется (AOF) | | Отказ PostgreSQL (`docker compose stop postgres`) | то же; после возврата данные целы | PASS, подтверждённые сообщения и сессия на месте | ≈6 s до `/health/ready` | +| Локальный отказ PostgreSQL у одной реплики (reject в `pg_hba.conf` для её адреса + разрыв соединений) | из ротации уходит только затронутая реплика, здоровая продолжает обслуживать | выбранная реплика: `/health/ready=503` (ограниченное тело с `request_id`), её слот HAProxy `UP → UP 1/2 (L7STS) → DOWN`; здоровая: `200` и `UP`; 16 чтений через LB — все `200`, ни одно не обслужено выбранной репликой; время до `DOWN` — менее 3 s (проверяется e2e-тестом; 0.66 s при ручной проверке); до `DOWN` выбранная реплика ещё получает запросы и отвечает ограниченным `503` — это окно `fall 2`; после восстановления `pg_hba.conf` (в `finally`) реплика возвращается в ротацию и снова получает запросы | правило снимается в `finally`; потерь данных нет | ## Ограничения и следующие шаги @@ -582,9 +604,20 @@ python3 scripts/lab3/lab3.py analyze - Рестарт всего стенда: данные PostgreSQL и сессии в Redis (AOF) сохраняются, повторный вход не нужен. - Rolling update: поочерёдная замена реплик под нагрузкой без ответов 5xx. -- Отказ Redis и PostgreSQL: ограниченный `503 unavailable` с `request_id`, без - `500` и без деталей драйвера; анонимный запрос остаётся `401`; после возврата - зависимости подтверждённые данные и сессия целы. +- Отказ Redis и PostgreSQL: реплика отвечает ограниченным `503 unavailable` с + `request_id`, без `500` и без деталей драйвера (проверяется изнутри реплики); + анонимный запрос остаётся `401`; после возврата зависимости подтверждённые данные + и сессия целы. +- Отказ общей зависимости для всех реплик: каждая становится неготовой, LB выводит + их из ротации и отвечает **своим** `503` (без тела API и `request_id`) — это + сознательный выбор в пользу честного «готовых узлов нет» вместо реплик в ротации, + которые не могут обслужить запрос. `/health/live` при этом отвечает `200`, то есть + процесс виден и отличим от «все backends мертвы». Локальный отказ зависимости у + одной реплики (её адрес отвергается в `pg_hba.conf`) выводит из ротации только её: + 16/16 чтений через LB обслужила здоровая реплика. Redis — обязательная зависимость + готовности: Bearer-сессии хранятся только в Redis, без него аутентифицированный + запрос невозможен; кэш истории деградирует на PostgreSQL, но это не спасает + аутентификацию. **Чего доказательство не покрывает:** «миграции однократны» проверено (отдельный сервис `migrate` + `service_completed_successfully`, при rolling update контейнер миграций не @@ -636,6 +669,21 @@ python3 scripts/lab3/lab3.py analyze - Первая серия A/B шла на унаследованном бюджете (API 6.0 CPU, PG 3.0, пул 20, генератор 2.0); её числа сравнимы только внутри себя. Контрольная серия `abdiag` повторяет сравнение на бюджете по умолчанию — см. раздел «A/B улучшения». +- **Метрика трека 1 — успешный RPS.** `summaryJson` считает `successful_rps` + (ответы ожидаемого класса) и `attempted_rps` (все ответы); сатурация, потолок, + Δ A/B и сравнение роста используют только успешный RPS, иначе отказы под нагрузкой + выглядят как выполненная работа (пример: `abdiag#A` на 400 req/s — 68.3 успешных + против 132.7 полученных ответов в секунду). В сводках, снятых до введения полей, + `successful_rps`/`attempted_rps` вычислены из счётчиков той же сводки + (`status.ok`, `requests`, длительность ступени); новые прогоны пишут их сразу. + Инвариант закреплён тестом `tests/test_lab3_analytics.py` (`make test-analytics`). +- **Проба LB в сериях трека 1.** Серии трека 1 (A, p-b, p-c, VU-своп, knee, блоки + block#/why#, ab, abdiag) сняты с пробой LB, проверявшей только процесс и флаг + дреина (коммиты `e38795d`, `6cced49`). Текущая проба тоже не зависит от нагрузки + (отдельное соединение, общий дедлайн). Контрольный прогон на `1b4aac7` при + 1500 req/s: слоты всё время `UP`, 0 ответов 5xx, Δ −7.1 % к why#n4 (в пределах + разброса ±8 %; в БД 3.63 млн сообщений против 2.64 млн у why#n4) — + `evidence/track1/summary-probe-check.md`. Уровень 4 переснят на `1b4aac7`. **Что подтверждено измерением:** сокращение пути записи до одного оператора (коммит C2) поднимает потолок горячего чата с ≈258 до ≥400 req/s и снижает p95 с 5–11 s до 8–29 ms при том же бюджете ресурсов (A/B, 3+3 повтора, `evidence/track1/summary-ab.md`). Статус гипотез: @@ -652,8 +700,9 @@ python3 scripts/lab3/lab3.py analyze 853 req/s, 55 ожидающих лок и 52.8 ms на горячем операторе против 943, 21 и 15.3 ms у базовой N=4. - **H5 подтверждена**: A/B (C1 против C2) — потолок горячего чата 258 → ≥400 req/s, - p95 5–11 s → 8–29 ms; контрольная серия `abdiag` на бюджете по умолчанию - подтверждает разрыв (A 250, B 398.7 req/s). + p95 5–11 s → 8–29 ms; на 400 req/s сторона A обслуживала успешно 106.5 req/s из + 171.7 полученных ответов, сторона B — 400.07. Контрольная серия `abdiag` на бюджете + по умолчанию подтверждает разрыв (A 250, B 398.7 успешных req/s). **Что подтверждено отдельным экспериментом (механизм):** блок 1500 req/s (один темп, одно временное окно, одинаковый пул VU = 900) показывает, что удвоение CPU API не diff --git a/app/README.md b/app/README.md index e43553f..b285bd3 100644 --- a/app/README.md +++ b/app/README.md @@ -245,9 +245,11 @@ scripts/start-replica.sh # вернуть остано - **Проба LB — тот же `/health/ready`**, что и healthcheck контейнера: реплика, потерявшая обязательную зависимость (свой путь к PostgreSQL или Redis), выходит из ротации, и трафик уходит на здоровые реплики. Проба с зависимостями - ограничена `HEALTH_TIMEOUT_MS=400` на реплику (per-query `query_timeout` для - `SELECT 1` и `AbortSignal.timeout` для `PING`), поэтому она укладывается в - `timeout check 500ms` HAProxy. Когда недоступна общая для всех зависимость, + ограничена общим дедлайном `HEALTH_TIMEOUT_MS=400` на реплику; проверка + PostgreSQL (`SELECT 1`) идёт по отдельному соединению, а не из общего пула + бизнес-запросов, а для `PING` Redis стоит `AbortSignal.timeout`, поэтому проба + укладывается в `timeout check 500ms` HAProxy и не реагирует на перегрузку. + Когда недоступна общая для всех зависимость, неготовыми становятся все реплики, и клиент получает `503` от самого LB: это честный ответ «готовых узлов нет» вместо маскировки отказа. - `/health/live` зависимостей не касается: он отвечает `200`, пока жив процесс, @@ -288,7 +290,7 @@ PostgreSQL (`57014`, `40001`, `40P01`) и обрывы соединения от ## Харнесс экспериментов Уровни 3/4 и трек 1 обслуживает `../scripts/lab3/lab3.py` (только stdlib) и -профили k6 в `../scripts/load/`: `run`, `sweep`, `growth`, `failover`, +профили k6 в `../scripts/load/`: `run`, `sweep`, `track1-extras`, `failover`, `rolling-update`, `ab`, `analyze`, `watch`, `check`, `quiesce`, `track1`. Сырые результаты прогонов, манифесты условий измерения и графики складываются в `../evidence/track1/`. Подробности — в `../REPORT.md` и diff --git a/app/test/dependency-failures.e2e-spec.ts b/app/test/dependency-failures.e2e-spec.ts index 2b8455e..fd2a4d8 100644 --- a/app/test/dependency-failures.e2e-spec.ts +++ b/app/test/dependency-failures.e2e-spec.ts @@ -56,7 +56,6 @@ const runId = randomUUID().replaceAll('-', '').slice(0, 12); // timeout, so every outage step costs up to DATABASE_CONNECTION_TIMEOUT_MS. const outagedRequestBudgetMs = 180_000; const slotBudgetMs = 20_000; -// Rotation is checked with HTTP reads through the LB, not with check counters. const readyReads = 16; const saturatingWrites = 60; // больше, чем replicas × DATABASE_POOL_MAX (2 × 10) @@ -173,8 +172,6 @@ async function waitFor( } } -// Contract of the bounded unavailable error, checked both on the API replica -// (JSON body with request_id) and through the load balancer. function expectBoundedError( status: number, text: string, @@ -485,7 +482,6 @@ describe.skipIf(!enabled)('dependency outages', () => { expect(sent.response.status).toBe(201); message = sent.body; replicas = await apiContainers(); - // Partial removal from rotation needs a healthy peer to compare with. expect(replicas.length).toBeGreaterThanOrEqual(2); await waitForSlot( (slots) => upSlots(slots).length === replicas.length, @@ -555,9 +551,6 @@ describe.skipIf(!enabled)('dependency outages', () => { await compose('stop', redisService); const replica = replicas[0]; - // The replica itself stays bounded: liveness is unaffected, readiness - // and business requests report the missing dependency with an API - // error body. expect((await probeReplica(replica, '/health/live')).status).toBe( 200, ); @@ -584,9 +577,6 @@ describe.skipIf(!enabled)('dependency outages', () => { (JSON.parse(anonymous.text) as ApiErrorBody).error.code, ).toBe('unauthorized'); - // The shared dependency is missing for every replica: a client keeps - // getting 503 (from a replica first, then from the LB itself), and - // once all backends have left rotation the answer is the LB's own. expectUnavailableThroughLb( await request('/api/v1/users/me', { headers: bearer(token), @@ -676,8 +666,6 @@ describe.skipIf(!enabled)('dependency outages', () => { registration.requestId, ); - // Every replica loses the shared database; a client keeps getting 503, - // first from a replica and then from the LB itself. expectUnavailableThroughLb( await request('/api/v1/users/me', { headers: bearer(token), @@ -740,7 +728,6 @@ describe.skipIf(!enabled)('dependency outages', () => { await applyReplicaDatabaseReject(selectedIp); const faultAt = Date.now(); - // The selected replica reports the loss, the healthy one does not. await waitForReplicaReadiness(selected, 503, 30_000); expect( (await probeReplica(healthy, '/health/ready')).status, @@ -766,8 +753,6 @@ describe.skipIf(!enabled)('dependency outages', () => { slots.find((slot) => slot.addr === selectedAddress)?.status, ).toBe('DOWN'); - // Traffic through the LB stays on the healthy replica: no errors - // and no request served by the replica that lost its database. const served = new Set(); for (let index = 0; index < readyReads; index += 1) { const read = await historyOf(chat.id, token); @@ -782,7 +767,6 @@ describe.skipIf(!enabled)('dependency outages', () => { await restoreDatabaseAccess(); } - // The restored replica answers again and returns to rotation. await waitForReplicaReadiness(selected, 200, 30_000); await waitForSlot( (slots) => diff --git a/evidence/README.md b/evidence/README.md index b967c71..1cd65b8 100644 --- a/evidence/README.md +++ b/evidence/README.md @@ -24,10 +24,10 @@ | --- | --- | --- | | `level4/spread.json` | один токен обслуживается двумя репликами (20/20 запросов), карта `X-Instance-Id` → контейнер | `python3 scripts/lab3/lab3.py check spread --requests 40` | | `level4/idempotency-concurrency.txt` | 4 теста идемпотентности, включая 8 параллельных POST с одним ключом через LB: одно сообщение, один id; другой body → 409; без ключа → 400 | `python3 scripts/lab3/lab3.py check idempotency` | -| `level4/failover-sweep.json`, `.md` | отказ каждой реплики под нагрузкой 200 req/s: 0 ошибок клиента и LB, 0 дублей, 0 потерянных подтверждений, реплика возвращается за ≈3 s, HAProxy помечает узел `DOWN` | `python3 scripts/lab3/lab3.py failover --replicas all --rate 200 --duration 60` | -| `level4/rolling-update.json`, `.md` | поочерёдная замена реплик под нагрузкой: `BUILD_ID`/image id меняются по шагам, 0 ответов 5xx из 889 попыток, `migrate` не перезапускался (обновляется перезамером на финальной сборке) | `python3 scripts/lab3/lab3.py rolling-update --under-load --rate 200 --build-id ` | +| `level4/failover-sweep.json`, `.md` | отказ каждой реплики под нагрузкой 200 req/s: 0 ошибок клиента и LB, 0 дублей, 0 потерянных подтверждений, реплика возвращается за 3.4–3.9 s, HAProxy помечает узел `DOWN` | `python3 scripts/lab3/lab3.py failover --replicas all --rate 200 --duration 60` | +| `level4/rolling-update.json`, `.md` | поочерёдная замена реплик под нагрузкой: `BUILD_ID`/image id меняются по шагам, 0 ответов 5xx из 884 попыток, `migrate` не перезапускался | `python3 scripts/lab3/lab3.py rolling-update --under-load --rate 200 --build-id ` | | `level4/idempotency-gc.txt` | операторский GC удаляет ровно просроченную запись журнала идемпотентности и не трогает свежую | `docker compose --env-file .env exec -T api node dist/messages/idempotency/idempotency-gc.cli.js` | -| `level4/dependency-faults.txt` | bounded `503 unavailable` (с `request_id`, без деталей драйвера) при отказе Redis и PostgreSQL, `401` без сессии остаётся, после возврата зависимости данные и сессия целы | `make test-dependencies` | +| `level4/dependency-faults.txt` | четыре сценария: общий отказ Redis и PostgreSQL (реплика отвечает ограниченным `503 unavailable` с `request_id`, неготовыми становятся все реплики, LB выводит их из ротации и отвечает своим `503`, `401` без сессии остаётся), локальный отказ БД у одной реплики (из ротации уходит только она, `DOWN` менее чем за 3 s), насыщение пула (слоты остаются `UP`, все записи `201`); после возврата зависимости данные и сессия целы | `make test-dependencies` | | `level4/limits-and-ports.txt` | лимиты CPU/RAM каждого контейнера, отсутствие опубликованных портов у реплик API, отсутствие `container_name`, отсутствие секретов в трекаемых файлах | см. команды внутри файла | ## Трек 1 (`track1/`) @@ -36,18 +36,20 @@ | Файл | Содержимое | | --- | --- | -| `