Зафиксировать чистые замеры трека 1 и уточнить отчёт.

Обновлены RPS при фиксированном бюджете CPU/RAM и grow-серия; failover evidence и run_track1 без агрессивного docker rm.
This commit is contained in:
Mlvn
2026-11-06 21:12:49 +03:00
parent b1972bcfd8
commit 0f93dd76f7
23 changed files with 232 additions and 196 deletions
+41 -36
View File
@@ -12,14 +12,15 @@
```sh
cp .env.example .env
bash scripts/up.sh
# build → migrate (один раз) → --scale api=${API_REPLICAS} → HAProxy :8080
# дождаться ready; внутри: build, migrate (один раз), --scale api=${API_REPLICAS}, LB на :8080
make test
make student-test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
# после failover восстановить реплику и повторить для второй:
bash scripts/restore-one.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
bash scripts/run_track1.sh # трек 5; долго
bash scripts/run_track1.sh # трек 5; долго, пересоздаёт/rescale стенд
```
Остановка без удаления данных: `docker compose --env-file .env stop`.
@@ -29,7 +30,9 @@ bash scripts/run_track1.sh # трек 5; долго
Соответствие `.env.example`: `API_REPLICAS` (по умолчанию 2), `API_CPUS`/`API_MEMORY` — лимиты **одной** реплики, `DB_MAX_CONNS` — пул на реплику, `IDEMPOTENCY_TTL_SECONDS=86400`. `DATABASE_URL`/`REDIS_URL` задаются контейнерам явно; `*_FILE` тоже читаются.
Миграции применяет одноразовый `docker compose run --rm migrate` (`/server -migrate`) из `scripts/up.sh` **до** старта API. Реплики API миграции не гоняют. Повторный migrate идемпотентен через `schema_migrations`.
Миграции применяет одноразовый сервис `migrate` (`/server -migrate`) до старта API. Реплики API миграции не гоняют (`RUN_MIGRATIONS` выключен). Повторный migrate идемпотентен через `schema_migrations`.
Инструкция по сдаче для себя: `SUBMISSION.md`.
## Архитектура и решения
@@ -39,56 +42,58 @@ bash scripts/run_track1.sh # трек 5; долго
Что добавлено в lab3:
1. **X-Instance-Id** — hostname контейнера (или `INSTANCE_ID`), стабилен на жизнь процесса.
2. **Idempotency-Key** на `POST .../messages` — область `(user_id, method, path, key)` в `idempotency_keys`. Сериализация конкурентов — `pg_advisory_xact_lock` + одна транзакция на INSERT message и ключа. Повтор с тем же телом → тот же 201/Message; другой body → 409. 5xx не фиксируются.
3. **Общие сессии** в Redis: sticky sessions не используются.
4. **LB healthcheck** `GET /health/ready` каждые 1 с, `fall 2` → обнаружение ~2 с; DNS hold valid 2 с. На SIGTERM реплика сразу отдаёт 503 ready (`BeginDrain`).
5. **Порты API наружу не публикуются**; наружу только `127.0.0.1:8080` у LB.
6. **CPU/RAM limits** на сервисах; `container_name` нет — `compose --scale api=N` работает.
7. **Rolling update**: `docker compose up -d --force-recreate --scale api=N --no-deps api` под нагрузкой (см. `evidence/rolling-update.txt`).
1. **X-Instance-Id** — hostname контейнера (или `INSTANCE_ID`), стабилен на жизнь процесса; виден в каждом ответе API.
2. **Idempotency-Key** на `POST .../messages` — область `(user_id, method, path, key)` в таблице `idempotency_keys`. Сериализация конкурентов — `pg_advisory_xact_lock` + одна транзакция на INSERT message и ключа. Повтор с тем же телом → тот же 201/Message; другой body → 409. 5xx не фиксируются.
3. **Общие сессии** в Redis: повторный вход при смене реплики не нужен. Sticky sessions не используются.
4. **LB healthcheck** `GET /health/ready` каждые 1 с, `fall 3` → обнаружение ~3 с; DNS hold valid 2 с. На SIGTERM реплика сразу отдаёт 503 ready (BeginDrain).
5. **Порты API наружу не публикуются**; наружу только `127.0.0.1:8080` у LB. Postgres/Redis на localhost — только для `student-tests`.
6. **CPU/RAM limits** на сервисах; `container_name` нет — `compose --scale api=N` работает. У API `restart: "no"`, иначе `docker stop` в failover-тесте может быть отменён демоном.
7. **Rolling update**: `docker compose up -d --scale api=N` / `scripts/restore-one.sh` поднимает недостающие реплики без `down -v`.
`scripts/stop-one.sh` сопоставляет `TARGET_INSTANCE_ID` с hostname контейнера сервиса `api` и делает `docker stop`.
`scripts/stop-one.sh` сопоставляет `TARGET_INSTANCE_ID` с hostname/`INSTANCE_ID` контейнера сервиса `api` и делает `docker stop`, оставляя реплику остановленной.
## Доказательства критериев
Стенд: macOS arm64, Docker Desktop, ~8 CPU / ~4 GiB RAM VM. Дата: 2026-11-06.
Стенд прогона: macOS (Darwin 24.6), Docker Desktop, Go 1.23+/1.27 host toolchain. Дата: 2026-11-06.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | `make test` | `PASS: lab3 public API scenario` | `evidence/smoke-pass.txt` |
| ≥2 реплики через LB | 40× `/health/live` | 2 разных `X-Instance-Id` | `evidence/instances.txt` |
| Публичный smoke | `make test` | PASS lab3 scenario (idempotency, instance id) | `evidence/smoke-pass.txt` |
| ≥2 реплики через LB | заголовки `X-Instance-Id` | ≥2 разных id | `evidence/instances.txt` |
| Persistence | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS | `evidence/persistence.txt` |
| Failover реплики A | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | PASS; recovery 2.658 s; 112 ok / 1 fail | `evidence/failover-1.txt` |
| Failover реплики B | `restore-one` + повтор | PASS; recovery 2.453 s; 114 ok / 1 fail | `evidence/failover-2.txt` |
| Идемпотентность / гонка | `make student-test` | replay=тот же id; 8 параллельных → 1 сообщение | `evidence/student-test.txt` |
| Лимиты / нет publish API | `compose.yaml` + inspect | api без host-ports; NanoCpus/Memory заданы | `evidence/limits.txt`, `evidence/ps.txt` |
| Rolling recreate | force-recreate api×2 under load | writes продолжаются (ошибки переходные) | `evidence/rolling-update.txt` |
| Трек 1 | `scripts/run_track1.sh` | сводка RPS 1/2/4 и grow | `evidence/track1/` |
| Failover одной реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | PASS, recovery ≈2.5 s | `evidence/failover-1.txt` |
| Failover второй реплики | restore + повтор failover | PASS, recovery ≈2.8 s | `evidence/failover-2.txt` |
| Идемпотентность / гонка ключа | `make student-test` | replay=тот же id; 8 параллельных → 1 сообщение | `evidence/student-test.txt` |
| Лимиты / нет publish API | `compose.yaml` + inspect | api Ports без HostPort; NanoCpus/Memory заданы; LB `:8080` | `evidence/ps.txt` |
| Трек 1 | `bash scripts/run_track1.sh` | сводка RPS 1/2/4 и grow | `evidence/track1/` |
## Эксперименты и отказы (трек 1)
**Гипотеза.** При фиксированном суммарном бюджете 2.0 CPU / 768 MiB на все API рост N=1→2 сохраняет RPS, а N=2→4 перестаёт помогать и ухудшает successful RPS из‑за дробления CPU, суммарного пула к Postgres и очереди у HAProxy.
**Гипотеза.** При фиксированном суммарном бюджете 2.0 CPU / 1024 MiB на все API рост N=1→2 повышает successful RPS; N=2→4 перестаёт помогать из‑за PostgreSQL/пула/LB.
**Методика.** Для N∈{1,2,4}: `API_CPUS=2/N`, `API_MEMORY=768/N MiB`, `DB_MAX_CONNS=5`. Прогрев, затем `tests/load.py --duration 30 --concurrency 8`. Затем серия N=2 с ростом CPU/RAM реплики (0.5/192 → 1.0/384 → 1.5/512). Повтор: `bash scripts/run_track1.sh`.
**Методика.** Bootstrap один раз; дальше rescale только `api`+`lb`. Для N∈{1,2,4}: `API_CPUS=2/N`, `API_MEMORY=1024/N MiB`, `DB_MAX_CONNS=5` на реплику. Прогрев до серии успешных `/health/ready`, затем `tests/load.py --duration 30 --concurrency 8`. Затем N=2 с ростом CPU/RAM реплики (0.5→1.0→1.5). Повтор: `bash scripts/run_track1.sh`. Сырые JSON — `evidence/track1/*.json`, сводка — `summary.md`.
**Результаты** (`evidence/track1/summary.md`):
**Наблюдения (закрытый цикл, successful RPS):**
| Конфиг | Successful RPS | error_ratio | Вывод |
| --- | ---: | ---: | --- |
| fixed N=1 (2.0 CPU / 768 MiB) | 587.2 | ~0 | база |
| fixed N=2 (1.0 / 384×2) | 583.8 | 0 | RPS ≈ N=1 при том же бюджете |
| fixed N=4 (0.5 / 192×4) | 191.0 | 0.95 | коллапс: реплики голодают по CPU |
| grow N=2 small (0.5 / 192) | 450.6 | 0.76 | мало ресурсов на реплику |
| grow N=2 medium (1.0 / 384) | 611.3 | 0 | лучший чистый RPS |
| grow N=2 large (1.5 / 512) | 547.7 | 0.19 | больше CPU API не помогло — упор вне реплик |
| Конфиг | RPS | err | p95 ms |
| --- | ---: | ---: | ---: |
| fixed_budget_n1 (2.0 CPU / 1024 MiB ×1) | **1274.5** | 0 | 11.4 |
| fixed_budget_n2 (1.0 / 512 ×2) | 803.2 | 0 | 21.0 |
| fixed_budget_n4 (0.5 / 256 ×4) | 1031.5 | 0 | 15.4 |
| grow_n2_small (0.5 / 256 ×2) | 898.8 | 0 | 22.0 |
| grow_n2_medium (1.0 / 512 ×2) | 1104.5 | 0 | 13.5 |
| grow_n2_large (1.5 / 768 ×2) | 1176.9 | 0 | 12.6 |
**Подтверждённое улучшение:** при фиксированном бюджете не масштабировать API выше 2 на этом стенде; рабочая точка — **N=2 при ~1.0 CPU на реплику**. N=4 при том же суммарном CPU ухудшает successful RPS в ~3 раза и даёт массовые ошибки.
**Вывод.** На этом стенде гипотеза «N=2 лучше N=1 при том же бюджете» **не подтвердилась**: один процесс с 2.0 CPU обогнал нарезку. N=4 при том же бюджете лучше N=2, но всё ещё ниже N=1. Узкое место — не «мало реплик», а координация (LB/DNS), суммарный пул к Postgres и closed-loop клиента (coordinated omission).
| Воздействие | Что ожидали | Что наблюдали | Время восстановления |
**Подтверждённое улучшение:** в серии grow при N=2 рост CPU/RAM 0.5→1.0 поднял RPS 898→1104 (**+23%**); 1.0→1.5 дал ещё +7% (1104→1177) — насыщение: добавление CPU репликам почти догоняет одиночный «толстый» процесс, но не обгоняет его на этом профиле.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| `scripts/restart.sh` | тот же токен/данные | PASS persistence | готовность после restart ≤90 с (тест) |
| `scripts/stop-one.sh` | запись через другую ≤10 с | recovery ≈2.5 с; дублей нет | краткие ошибки в окне healthcheck |
| `scripts/restart.sh` | рестарт postgres+redis+api+lb; тот же токен | PASS persistence | volumes на месте |
| `scripts/stop-one.sh` | одна реплика down; запись через другую ≤10с | PASS; first_recovery ≈2.4–2.8 с; 1 краткая ошибка | дублей нет |
| Stop второй после restore | то же | PASS | подтверждённые сообщения на месте |
## Ограничения и следующие шаги
Один Docker-host и один HAProxy/Postgres/Redis — SPOF узла. Отказ API-реплики закрыт; отказ БД/LB/host — нет. Redis AOF `everysec` может потерять ~1с сессий при kill -9. Closed-loop load страдает coordinated omission. На VM с ~4 GiB суммарный бюджет API взят 768 MiB (не 1024), иначе host OOM вместе с Postgres. Трек 2 (multi-node) не выполнялся.
Один Docker-host и один HAProxy/Postgres/Redis — SPOF узла. Отказ API-реплики закрыт; отказ БД/LB/host — нет. Redis AOF `everysec` может потерять ~1с сессий при kill -9. Closed-loop load страдает coordinated omission — RPS не open-loop capacity. Трек 2 (multi-node) не выполнялся. Цифры трека 1 — один прогон на локальном диске Docker Desktop, не распределённый бенчмарк.
+1 -1
View File
@@ -1,4 +1,4 @@
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 104, "failed_attempts": 1, "first_recovery_seconds": 2.45}
{"observed_instances_before": 2, "successful_writes": 112, "failed_attempts": 1, "first_recovery_seconds": 2.452}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
+1 -1
View File
@@ -1,4 +1,4 @@
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 94, "failed_attempts": 1, "first_recovery_seconds": 2.82}
{"observed_instances_before": 2, "successful_writes": 115, "failed_attempts": 1, "first_recovery_seconds": 2.45}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
+3 -3
View File
@@ -1,4 +1,4 @@
observed X-Instance-Id via LB:
5c2febc72d04
6f977988feb1
observed X-Instance-Id via LB /health/live (40 requests):
768d1d0dcfb6
ac070c8e5c53
count=2
+12 -6
View File
@@ -1,6 +1,12 @@
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi2026lab3-api-1 mtusi2026lab3-api "/server" api 7 seconds ago Up 5 seconds (health: starting) 8080/tcp
mtusi2026lab3-api-2 mtusi2026lab3-api "/server" api 7 seconds ago Up 5 seconds (health: starting) 8080/tcp
mtusi2026lab3-lb-1 haproxy:2.9.14-alpine "docker-entrypoint.s…" lb 34 seconds ago Up 32 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi2026lab3-postgres-1 postgres:16.6 "docker-entrypoint.s…" postgres 52 seconds ago Up 51 seconds (healthy) 127.0.0.1:5432->5432/tcp
mtusi2026lab3-redis-1 redis:7.4.1 "docker-entrypoint.s…" redis 52 seconds ago Up 51 seconds (healthy) 127.0.0.1:6379->6379/tcp
=== compose ps ===
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi2026lab3-api-1 mtusi2026lab3-api "/server" api 2 seconds ago Up 1 second (health: starting) 8080/tcp
mtusi2026lab3-api-2 mtusi2026lab3-api "/server" api 2 seconds ago Up Less than a second (health: starting) 8080/tcp
mtusi2026lab3-lb-1 haproxy:2.9.14-alpine "docker-entrypoint.s…" lb About a minute ago Up About a minute (healthy) 127.0.0.1:8080->8080/tcp
mtusi2026lab3-postgres-1 postgres:16.6 "docker-entrypoint.s…" postgres 6 minutes ago Up 6 minutes (healthy) 127.0.0.1:5432->5432/tcp
mtusi2026lab3-redis-1 redis:7.4.1 "docker-entrypoint.s…" redis 6 minutes ago Up 6 minutes (healthy) 127.0.0.1:6379->6379/tcp
=== api publish / limits ===
Name=/mtusi2026lab3-api-1 NanoCpus=500000000 Memory=268435456 Ports={"8080/tcp":null}
Name=/mtusi2026lab3-api-2 NanoCpus=500000000 Memory=268435456 Ports={"8080/tcp":null}
=== lb ===
Name=/mtusi2026lab3-lb-1 Ports={"8080/tcp":[{"HostIp":"127.0.0.1","HostPort":"8080"}]}
+10 -10
View File
@@ -2,16 +2,16 @@
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.007,
"concurrency": 8,
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead.",
"elapsed_seconds": 30.0,
"successful_requests": 17630,
"failed_requests": 2,
"error_ratio": 0.000113,
"successful_rps": 587.206,
"successful_requests": 38244,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 1274.523,
"successful_latency_ms": {
"p50": 7.806,
"p95": 43.069,
"p99": 70.326
}
"p50": 5.207,
"p95": 11.383,
"p99": 23.418
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+5
View File
@@ -0,0 +1,5 @@
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi2026lab3-api-1 mtusi2026lab3-api "/server" api 42 seconds ago Up 41 seconds (healthy) 8080/tcp
mtusi2026lab3-lb-1 haproxy:2.9.14-alpine "docker-entrypoint.s…" lb 41 seconds ago Up 40 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi2026lab3-postgres-1 postgres:16.6 "docker-entrypoint.s…" postgres 4 minutes ago Up 4 minutes (healthy) 127.0.0.1:5432->5432/tcp
mtusi2026lab3-redis-1 redis:7.4.1 "docker-entrypoint.s…" redis 4 minutes ago Up 4 minutes (healthy) 127.0.0.1:6379->6379/tcp
+4 -5
View File
@@ -1,5 +1,4 @@
mtusi2026lab3-lb-1 43.72% 10.45MiB / 128MiB
mtusi2026lab3-api-2 52.37% 66.08MiB / 512MiB
mtusi2026lab3-api-1 55.70% 66.15MiB / 512MiB
mtusi2026lab3-postgres-1 90.82% 63.12MiB / 512MiB
mtusi2026lab3-redis-1 7.32% 9.688MiB / 256MiB
mtusi2026lab3-lb-1 0.18% 12.72MiB / 128MiB
mtusi2026lab3-api-1 2.11% 34.25MiB / 1GiB
mtusi2026lab3-postgres-1 0.64% 169.6MiB / 512MiB
mtusi2026lab3-redis-1 0.67% 10.23MiB / 256MiB
+8 -8
View File
@@ -2,16 +2,16 @@
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.011,
"concurrency": 8,
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead.",
"elapsed_seconds": 30.0,
"successful_requests": 17519,
"successful_requests": 24105,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 583.75,
"successful_rps": 803.214,
"successful_latency_ms": {
"p50": 8.706,
"p95": 38.678,
"p99": 71.101
}
"p50": 6.762,
"p95": 21.044,
"p99": 57.587
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+5 -5
View File
@@ -1,6 +1,6 @@
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi2026lab3-api-1 mtusi2026lab3-api "/server" api 12 seconds ago Up 10 seconds (healthy) 8080/tcp
mtusi2026lab3-api-2 mtusi2026lab3-api "/server" api 12 seconds ago Up 10 seconds (healthy) 8080/tcp
mtusi2026lab3-lb-1 haproxy:2.9.14-alpine "docker-entrypoint.s…" lb 39 seconds ago Up 37 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi2026lab3-postgres-1 postgres:16.6 "docker-entrypoint.s…" postgres 57 seconds ago Up 56 seconds (healthy) 127.0.0.1:5432->5432/tcp
mtusi2026lab3-redis-1 redis:7.4.1 "docker-entrypoint.s…" redis 57 seconds ago Up 56 seconds (healthy) 127.0.0.1:6379->6379/tcp
mtusi2026lab3-api-1 mtusi2026lab3-api "/server" api 43 seconds ago Up 41 seconds (healthy) 8080/tcp
mtusi2026lab3-api-2 mtusi2026lab3-api "/server" api 43 seconds ago Up 41 seconds (healthy) 8080/tcp
mtusi2026lab3-lb-1 haproxy:2.9.14-alpine "docker-entrypoint.s…" lb 41 seconds ago Up 40 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi2026lab3-postgres-1 postgres:16.6 "docker-entrypoint.s…" postgres 5 minutes ago Up 5 minutes (healthy) 127.0.0.1:5432->5432/tcp
mtusi2026lab3-redis-1 redis:7.4.1 "docker-entrypoint.s…" redis 5 minutes ago Up 5 minutes (healthy) 127.0.0.1:6379->6379/tcp
+5 -5
View File
@@ -1,5 +1,5 @@
mtusi2026lab3-api-2 3.59% 79.73MiB / 256MiB
mtusi2026lab3-api-1 1.48% 80.56MiB / 256MiB
mtusi2026lab3-lb-1 5.31% 11.88MiB / 128MiB
mtusi2026lab3-postgres-1 0.19% 96.55MiB / 512MiB
mtusi2026lab3-redis-1 0.57% 9.75MiB / 256MiB
mtusi2026lab3-lb-1 0.35% 11.57MiB / 128MiB
mtusi2026lab3-api-2 4.60% 11.25MiB / 512MiB
mtusi2026lab3-api-1 4.82% 11.74MiB / 512MiB
mtusi2026lab3-postgres-1 16.66% 181.6MiB / 512MiB
mtusi2026lab3-redis-1 1.86% 10.24MiB / 256MiB
+8 -8
View File
@@ -2,16 +2,16 @@
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.033,
"elapsed_seconds": 30.007,
"concurrency": 8,
"successful_requests": 16449,
"failed_requests": 3820,
"error_ratio": 0.188465,
"successful_rps": 547.704,
"successful_requests": 35315,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 1176.901,
"successful_latency_ms": {
"p50": 7.773,
"p95": 33.441,
"p99": 61.507
"p50": 5.551,
"p95": 12.617,
"p99": 27.51
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+5 -5
View File
@@ -1,6 +1,6 @@
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi2026lab3-api-1 mtusi2026lab3-api "/server" api 28 seconds ago Up 26 seconds (healthy) 8080/tcp
mtusi2026lab3-api-2 mtusi2026lab3-api "/server" api 28 seconds ago Up 27 seconds (healthy) 8080/tcp
mtusi2026lab3-lb-1 haproxy:2.9.14-alpine "docker-entrypoint.s…" lb 27 seconds ago Up 25 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi2026lab3-postgres-1 postgres:16.6 "docker-entrypoint.s…" postgres 45 seconds ago Up 44 seconds (healthy) 127.0.0.1:5432->5432/tcp
mtusi2026lab3-redis-1 redis:7.4.1 "docker-entrypoint.s…" redis 45 seconds ago Up 44 seconds (healthy) 127.0.0.1:6379->6379/tcp
mtusi2026lab3-api-1 mtusi2026lab3-api "/server" api 41 seconds ago Up 40 seconds (healthy) 8080/tcp
mtusi2026lab3-api-2 mtusi2026lab3-api "/server" api 41 seconds ago Up 39 seconds (healthy) 8080/tcp
mtusi2026lab3-lb-1 haproxy:2.9.14-alpine "docker-entrypoint.s…" lb 40 seconds ago Up 38 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi2026lab3-postgres-1 postgres:16.6 "docker-entrypoint.s…" postgres 3 minutes ago Up 3 minutes (healthy) 127.0.0.1:5432->5432/tcp
mtusi2026lab3-redis-1 redis:7.4.1 "docker-entrypoint.s…" redis 3 minutes ago Up 3 minutes (healthy) 127.0.0.1:6379->6379/tcp
+5 -5
View File
@@ -1,5 +1,5 @@
mtusi2026lab3-lb-1 39.89% 12.01MiB / 128MiB
mtusi2026lab3-api-2 58.19% 29.21MiB / 512MiB
mtusi2026lab3-api-1 56.66% 31.08MiB / 512MiB
mtusi2026lab3-postgres-1 94.16% 89.26MiB / 512MiB
mtusi2026lab3-redis-1 7.38% 9.754MiB / 256MiB
mtusi2026lab3-lb-1 0.38% 11.92MiB / 128MiB
mtusi2026lab3-api-1 1.48% 29.01MiB / 768MiB
mtusi2026lab3-api-2 1.33% 15.62MiB / 768MiB
mtusi2026lab3-postgres-1 1.01% 180.4MiB / 512MiB
mtusi2026lab3-redis-1 2.30% 9.98MiB / 256MiB
+8 -8
View File
@@ -2,16 +2,16 @@
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.007,
"concurrency": 8,
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead.",
"elapsed_seconds": 30.013,
"successful_requests": 18347,
"successful_requests": 33143,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 611.308,
"successful_rps": 1104.515,
"successful_latency_ms": {
"p50": 8.447,
"p95": 37.298,
"p99": 68.98
}
"p50": 5.507,
"p95": 13.456,
"p99": 33.913
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+6
View File
@@ -0,0 +1,6 @@
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi2026lab3-api-1 mtusi2026lab3-api "/server" api 40 seconds ago Up 40 seconds (healthy) 8080/tcp
mtusi2026lab3-api-2 mtusi2026lab3-api "/server" api 40 seconds ago Up 40 seconds (healthy) 8080/tcp
mtusi2026lab3-lb-1 haproxy:2.9.14-alpine "docker-entrypoint.s…" lb 40 seconds ago Up 38 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi2026lab3-postgres-1 postgres:16.6 "docker-entrypoint.s…" postgres 3 minutes ago Up 3 minutes (healthy) 127.0.0.1:5432->5432/tcp
mtusi2026lab3-redis-1 redis:7.4.1 "docker-entrypoint.s…" redis 3 minutes ago Up 3 minutes (healthy) 127.0.0.1:6379->6379/tcp
+5
View File
@@ -0,0 +1,5 @@
mtusi2026lab3-lb-1 0.40% 13.71MiB / 128MiB
mtusi2026lab3-api-1 0.27% 30.51MiB / 512MiB
mtusi2026lab3-api-2 0.17% 13.12MiB / 512MiB
mtusi2026lab3-postgres-1 61.94% 200.2MiB / 512MiB
mtusi2026lab3-redis-1 0.66% 9.973MiB / 256MiB
+10 -10
View File
@@ -2,16 +2,16 @@
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.013,
"concurrency": 8,
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead.",
"elapsed_seconds": 30.0,
"successful_requests": 13521,
"failed_requests": 42384,
"error_ratio": 0.758143,
"successful_rps": 450.622,
"successful_requests": 26975,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 898.769,
"successful_latency_ms": {
"p50": 8.277,
"p95": 45.456,
"p99": 71.757
}
"p50": 5.925,
"p95": 21.961,
"p99": 56.599
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+6
View File
@@ -0,0 +1,6 @@
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi2026lab3-api-1 mtusi2026lab3-api "/server" api 40 seconds ago Up 39 seconds (healthy) 8080/tcp
mtusi2026lab3-api-2 mtusi2026lab3-api "/server" api 40 seconds ago Up 39 seconds (healthy) 8080/tcp
mtusi2026lab3-lb-1 haproxy:2.9.14-alpine "docker-entrypoint.s…" lb 39 seconds ago Up 37 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi2026lab3-postgres-1 postgres:16.6 "docker-entrypoint.s…" postgres 2 minutes ago Up 2 minutes (healthy) 127.0.0.1:5432->5432/tcp
mtusi2026lab3-redis-1 redis:7.4.1 "docker-entrypoint.s…" redis 2 minutes ago Up 2 minutes (healthy) 127.0.0.1:6379->6379/tcp
+5
View File
@@ -0,0 +1,5 @@
mtusi2026lab3-lb-1 0.48% 11.75MiB / 128MiB
mtusi2026lab3-api-1 0.38% 27.84MiB / 256MiB
mtusi2026lab3-api-2 0.22% 15.15MiB / 256MiB
mtusi2026lab3-postgres-1 0.69% 153.8MiB / 512MiB
mtusi2026lab3-redis-1 0.52% 9.75MiB / 256MiB
+48 -48
View File
@@ -2,75 +2,75 @@
"runs": [
{
"label": "fixed_budget_n1",
"successful_rps": 587.206,
"error_ratio": 0.000113,
"p50_ms": 7.806,
"p95_ms": 43.069,
"p99_ms": 70.326,
"successful_requests": 17630,
"failed_requests": 2,
"successful_rps": 1274.523,
"error_ratio": 0.0,
"p50_ms": 5.207,
"p95_ms": 11.383,
"p99_ms": 23.418,
"successful_requests": 38244,
"failed_requests": 0,
"concurrency": 8,
"elapsed_seconds": 30.0
"elapsed_seconds": 30.007
},
{
"label": "fixed_budget_n2",
"successful_rps": 583.75,
"successful_rps": 803.214,
"error_ratio": 0.0,
"p50_ms": 8.706,
"p95_ms": 38.678,
"p99_ms": 71.101,
"successful_requests": 17519,
"p50_ms": 6.762,
"p95_ms": 21.044,
"p99_ms": 57.587,
"successful_requests": 24105,
"failed_requests": 0,
"concurrency": 8,
"elapsed_seconds": 30.0
"elapsed_seconds": 30.011
},
{
"label": "fixed_budget_n4",
"successful_rps": 191.028,
"error_ratio": 0.946069,
"p50_ms": 7.41,
"p95_ms": 58.94,
"p99_ms": 209.114,
"successful_requests": 5853,
"failed_requests": 102674,
"successful_rps": 1031.514,
"error_ratio": 0.0,
"p50_ms": 5.836,
"p95_ms": 15.396,
"p99_ms": 33.891,
"successful_requests": 30969,
"failed_requests": 0,
"concurrency": 8,
"elapsed_seconds": 30.0
"elapsed_seconds": 30.023
},
{
"label": "grow_n2_small",
"successful_rps": 450.622,
"error_ratio": 0.758143,
"p50_ms": 8.277,
"p95_ms": 45.456,
"p99_ms": 71.757,
"successful_requests": 13521,
"failed_requests": 42384,
"concurrency": 8,
"elapsed_seconds": 30.0
},
{
"label": "grow_n2_medium",
"successful_rps": 611.308,
"successful_rps": 898.769,
"error_ratio": 0.0,
"p50_ms": 8.447,
"p95_ms": 37.298,
"p99_ms": 68.98,
"successful_requests": 18347,
"p50_ms": 5.925,
"p95_ms": 21.961,
"p99_ms": 56.599,
"successful_requests": 26975,
"failed_requests": 0,
"concurrency": 8,
"elapsed_seconds": 30.013
},
{
"label": "grow_n2_large",
"successful_rps": 547.704,
"error_ratio": 0.188465,
"p50_ms": 7.773,
"p95_ms": 33.441,
"p99_ms": 61.507,
"successful_requests": 16449,
"failed_requests": 3820,
"label": "grow_n2_medium",
"successful_rps": 1104.515,
"error_ratio": 0.0,
"p50_ms": 5.507,
"p95_ms": 13.456,
"p99_ms": 33.913,
"successful_requests": 33143,
"failed_requests": 0,
"concurrency": 8,
"elapsed_seconds": 30.033
"elapsed_seconds": 30.007
},
{
"label": "grow_n2_large",
"successful_rps": 1176.901,
"error_ratio": 0.0,
"p50_ms": 5.551,
"p95_ms": 12.617,
"p99_ms": 27.51,
"successful_requests": 35315,
"failed_requests": 0,
"concurrency": 8,
"elapsed_seconds": 30.007
}
]
}
+6 -6
View File
@@ -4,10 +4,10 @@ Closed-loop `tests/load.py` (duration=30, concurrency=8). RPS — только
| label | RPS | err_ratio | p50 ms | p95 ms | p99 ms | ok | fail |
| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
| fixed_budget_n1 | 587.206 | 0.000113 | 7.806 | 43.069 | 70.326 | 17630 | 2 |
| fixed_budget_n2 | 583.75 | 0.0 | 8.706 | 38.678 | 71.101 | 17519 | 0 |
| fixed_budget_n4 | 191.028 | 0.946069 | 7.41 | 58.94 | 209.114 | 5853 | 102674 |
| grow_n2_small | 450.622 | 0.758143 | 8.277 | 45.456 | 71.757 | 13521 | 42384 |
| grow_n2_medium | 611.308 | 0.0 | 8.447 | 37.298 | 68.98 | 18347 | 0 |
| grow_n2_large | 547.704 | 0.188465 | 7.773 | 33.441 | 61.507 | 16449 | 3820 |
| fixed_budget_n1 | 1274.523 | 0.0 | 5.207 | 11.383 | 23.418 | 38244 | 0 |
| fixed_budget_n2 | 803.214 | 0.0 | 6.762 | 21.044 | 57.587 | 24105 | 0 |
| fixed_budget_n4 | 1031.514 | 0.0 | 5.836 | 15.396 | 33.891 | 30969 | 0 |
| grow_n2_small | 898.769 | 0.0 | 5.925 | 21.961 | 56.599 | 26975 | 0 |
| grow_n2_medium | 1104.515 | 0.0 | 5.507 | 13.456 | 33.913 | 33143 | 0 |
| grow_n2_large | 1176.901 | 0.0 | 5.551 | 12.617 | 27.51 | 35315 | 0 |
+25 -26
View File
@@ -1,13 +1,13 @@
#!/bin/sh
# Трек 1 lab3: цена масштабирования при фиксированном суммарном CPU/RAM.
#
# Гипотеза: при фиксированном бюджете (2.0 CPU / 1024 MiB на все API) рост числа
# реплик 1→2 помогает за счёт параллелизма, а 2→4 упирается в PostgreSQL/пул/
# HAProxy и перестаёт давать прирост successful RPS.
# Гипотеза: при фиксированном бюджете (2.0 CPU / 1024 MiB на все API) рост N
# 1→2 помогает; 2→4 упирается в PostgreSQL/пул/LB. На практике на одном
# Docker-host один «толстый» процесс часто быстрее нарезки того же бюджета —
# это тоже результат эксперимента (см. evidence/track1/summary.md).
#
# Методика: для N=1,2,4 выставляем API_CPUS=2.0/N и API_MEMORY=$((1024/N))M,
# поднимаем стенд, ждём стабильный ready, гоняем tests/load.py 30с concurrency=8.
# Затем серия с ростом ресурсов (N=2 при 0.5→1.0→1.5 CPU на реплику).
# Методика: один bootstrap стенда, дальше только rescale api+lb (без down -v),
# стабильный ready, tests/load.py 30с concurrency=8. Затем grow при N=2.
set -eu
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
cd "$ROOT"
@@ -16,36 +16,32 @@ OUT=evidence/track1
mkdir -p "$OUT"
python3 -m pip install -q -r requirements-dev.txt >/dev/null 2>&1 || true
run_one() {
cp .env.example .env
docker compose --env-file .env down --remove-orphans >/dev/null 2>&1 || true
bash scripts/up.sh
rescale() {
n="$1"
cpus="$2"
mem="$3"
label="$4"
echo "=== track1 $label replicas=$n cpus_each=$cpus mem_each=$mem ==="
cp .env.example .env
tmp=$(mktemp)
sed -e "s/^API_REPLICAS=.*/API_REPLICAS=$n/" \
-e "s/^API_CPUS=.*/API_CPUS=$cpus/" \
-e "s/^API_MEMORY=.*/API_MEMORY=$mem/" \
-e "s/^DB_MAX_CONNS=.*/DB_MAX_CONNS=5/" \
.env > "$tmp"
.env.example > "$tmp"
mv "$tmp" .env
# Только compose down текущего проекта. НЕ docker rm -f по имени — это убивает
# параллельные прогоны и сам же стенд во время warmup.
docker compose --env-file .env down --remove-orphans >/dev/null 2>&1 || true
bash scripts/up.sh
# Стабильный ready: несколько успешных проб подряд.
docker compose --env-file .env stop api >/dev/null 2>&1 || true
docker compose --env-file .env rm -f api >/dev/null 2>&1 || true
docker compose --env-file .env up -d --no-deps --scale "api=${n}" api
docker compose --env-file .env up -d --no-deps --force-recreate lb
ok=0
tries=0
while [ "$ok" -lt 10 ]; do
tries=$((tries+1))
if [ "$tries" -gt 120 ]; then
echo "warmup timeout for $label" >&2
echo "warmup timeout n=$n" >&2
docker compose --env-file .env ps >&2 || true
docker compose --env-file .env logs --tail 40 >&2 || true
exit 1
fi
if curl -fsS "http://127.0.0.1:8080/health/ready" >/dev/null 2>&1; then
@@ -55,7 +51,15 @@ run_one() {
fi
sleep 0.5
done
}
run_one() {
n="$1"
cpus="$2"
mem="$3"
label="$4"
echo "=== track1 $label replicas=$n cpus_each=$cpus mem_each=$mem ==="
rescale "$n" "$cpus" "$mem"
out="$OUT/${label}.json"
python3 tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output "$out"
docker stats --no-stream --format '{{.Name}} {{.CPUPerc}} {{.MemUsage}}' > "$OUT/${label}.stats.txt" || true
@@ -63,19 +67,14 @@ run_one() {
echo "saved $out"
}
# Фиксированный суммарный бюджет 2.0 CPU / 1024 MiB.
run_one 1 2.00 1024M fixed_budget_n1
run_one 2 1.00 512M fixed_budget_n2
run_one 4 0.50 256M fixed_budget_n4
# Рост ресурсов при N=2.
run_one 2 0.50 256M grow_n2_small
run_one 2 1.00 512M grow_n2_medium
run_one 2 1.50 768M grow_n2_large
python3 scripts/summarize_track1.py
# Вернуть учебный стенд по умолчанию.
cp .env.example .env
bash scripts/up.sh >/dev/null
echo "track1 done → $OUT; stand restored to API_REPLICAS=2"