forked from mtusi2026/mtusi2026lab3
213 lines
16 KiB
Markdown
213 lines
16 KiB
Markdown
# Отчёт — лабораторная 3
|
||
|
||
- **Автор, группа:** Гуреев Дмитрий, БПИ2301
|
||
- **Целевая оценка:** 5
|
||
- **Выбранный трек 5:** Трек 1 — «Цена масштабирования»
|
||
- **PR:** **
|
||
- **Источники и ИИ:** документация Spring Boot 3, PostgreSQL 16, Redis 7, nginx, Flyway, k6; консультации ИИ по архитектуре multi-instance, health/readiness, идемпотентности и методике эксперимента.
|
||
|
||
---
|
||
|
||
## Запуск из чистого clone
|
||
|
||
**Стек:** Java 22 (Temurin), Spring Boot 3, PostgreSQL 16, Redis 7 (AOF), nginx 1.27, Docker Compose, Flyway (one-shot migrate).
|
||
|
||
```bash
|
||
git clone https://gitea.privcloud.tech/Dmitry/mtusi2026lab3
|
||
cd mtusi2026lab3 # корень репозитория
|
||
cd Lido # каталог приложения / compose
|
||
|
||
# Secrets (не коммитить): скопировать пример и при необходимости поменять пароли
|
||
cp .env.example .env # если файла нет — POSTGRES_USER/PASSWORD/DB как в compose
|
||
|
||
# Сборка и подъём (API масштабируется отдельно)
|
||
docker compose build
|
||
docker compose run --rm migrate # миграции один раз
|
||
docker compose up -d --scale api=3
|
||
|
||
# Готовность через LB
|
||
curl -sf http://127.0.0.1:8080/health/live
|
||
curl -sf http://127.0.0.1:8080/health/ready
|
||
|
||
# Публичные проверки (из корня репозитория, BASE_URL на nginx)
|
||
cd ..
|
||
make test BASE_URL=http://127.0.0.1:8080
|
||
# при наличии:
|
||
# make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||
|
||
# Безопасная остановка (volumes и учебные данные сохраняются)
|
||
cd Lido && docker compose stop
|
||
|
||
# Намеренное удаление учебных данных (volumes)
|
||
docker compose down -v
|
||
```
|
||
|
||
**Оператор:** порт **8080** — только nginx; API без publish на хост; БД на `5433` (или как в compose) для отладки; Redis AOF + named volume.
|
||
|
||
---
|
||
|
||
## Архитектура и решения
|
||
|
||
```text
|
||
Клиент → nginx:8080 → api×N :8080
|
||
↘ PostgreSQL (users, chats, members, messages, sessions, idempotency)
|
||
↘ Redis (кэш сессий, TTL; source of truth — PG)
|
||
migrate (one-shot Flyway) → PostgreSQL
|
||
```
|
||
|
||
| Решение | Смысл |
|
||
|--------|--------|
|
||
| **Источник истины** | PostgreSQL: пользователи, чаты, сообщения, **сессии**, ключи идемпотентности |
|
||
| **Redis** | Кэш `session:<tokenHash> → userId` с TTL; при недоступности — fallback на PG |
|
||
| **LB** | nginx, `least_conn`, `max_fails` / `fail_timeout`, `proxy_next_upstream` (в т.ч. 502/503) |
|
||
| **Health** | `/health/live` — процесс; `/health/ready` — флаг + проверка БД; при SIGTERM → `markNotReady` |
|
||
| **Идентичность** | `X-Request-Id`, `X-Instance-Id` (короткий id инстанса) |
|
||
| **Auth Lab3** | Basic → opaque Bearer; сессия в PG + Redis; logout инвалидирует оба |
|
||
| **Идемпотентность** | `Idempotency-Key` на POST messages; unique (user, chat, key); конфликт body → 409; запись в `REQUIRES_NEW` |
|
||
| **Транзакции** | Создание чата/участников, сообщений и idempotency — явные границы; гонка регистрации username → 409 |
|
||
| **Из lab2** | JPA, Flyway, auth/sessions, Redis-кэш сессий, курсорная выдача сообщений, Compose |
|
||
| **Новое в lab3** | Несколько api за nginx, readiness/graceful, instance id, scale, restart-hook, limits, rolling, трек 1 |
|
||
|
||
Переменные (`SPRING_DATASOURCE_*`, `SPRING_DATA_REDIS_*`, `SESSION_TTL_SECONDS`, `FLYWAY_ENABLED=false` на api) соответствуют `.env.example` / environment в compose.
|
||
|
||
---
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --------------- | ---------------- | --------------------- | ------------------- |
|
||
| Публичный smoke | `make test BASE_URL=http://127.0.0.1:8080` | PASS: lab public API scenario | вывод терминала / CI |
|
||
| Multi-instance + LB | `docker compose up -d --scale api=3` + curl через :8080 | Ответы с разными `X-Instance-Id` | `docker compose ps`, заголовки curl |
|
||
| live / ready | `curl /health/live`, `/health/ready` | 200 `{"status":"ok"}`; ready 503 при not ready / DB | HealthController |
|
||
| Persistence hook | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | restart db+api+redis **без** `-v`; данные и сессия живы | `scripts/restart.sh` |
|
||
| Идемпотентность | 20× POST один key + body; затем другой body | 20×201, **один** `message.id`; 409 на conflict | `/tmp/m*.json`, curl |
|
||
| Уровень 4: отказ реплики | stop api по одной под k6 | recovery LB live **3.8 / 4.4 / 7.2 s**; ~21% fail в окне отказа | k6 summary, таймстемпы |
|
||
| Уровень 4: limits / без publish api | compose: `mem_limit`/`cpus`, api без `ports`/`container_name` | `docker stats` с LIMITS; снаружи только 8080 | `docker-compose.yml` |
|
||
| Уровень 4: rolling | поочерёдный stop/rm + `up --scale api=3` под нагрузкой | live восстанавливается между шагами | методика + k6 |
|
||
| Migrate once | `FLYWAY_ENABLED=false` на api; сервис `migrate` | Миграции не на каждой реплике | compose |
|
||
| Трек 1 (оценка 5) | 1/2/4 api при Σ CPU/RAM; k6; до/после улучшения | полка RPS 2→4; узкое место БД/пул; +одно улучшение | раздел «Эксперименты» |
|
||
|
||
---
|
||
|
||
## Эксперименты и отказы
|
||
|
||
### Общие условия
|
||
|
||
- **Hardware:** MacBook, Docker Desktop, один хост (k6 и стек на одной машине).
|
||
- **Версии:** postgres:16-alpine, redis:7-alpine (AOF), nginx:1.27-alpine, app JRE 22.
|
||
- **Профиль (failover / B):** k6, 20 VU, 90 s, проверка `GET /health/live` через nginx.
|
||
- **Ограничения измерения:** synthetic load; live легче, чем POST messages; сеть localhost; соседство k6 и БД на одном CPU.
|
||
|
||
### Таблица отказов (уровень 4)
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| ----------- | ----------- | ------------- | ------------------------------------ |
|
||
| `docker stop` api-1 при scale=3 | LB на живые; краткие ошибки | ~21% failed live-checks в окне; RPS ~721/s | **~3.8 s** до стабильного live; **без** потери PG/Redis volumes |
|
||
| stop api-2 (api-1 поднят) | то же | то же по характеру | **~4.4 s** |
|
||
| stop api-3 | то же | то же | **~7.2 s** |
|
||
| Parallel POST, один Idempotency-Key | один message id | 20×201, id `d5a9890f-61cf-4bb9-90e2-18ecd5cf2fe4` | нет дублей логики ключа |
|
||
| Тот же key, другой body | 409 conflict | 409 после явной проверки с тем же KEY | данные не порчены |
|
||
| `scripts/restart.sh` | перезапуск процессов, volumes целы | сессия/данные после readiness | без `down -v` |
|
||
| SIGTERM / ready | ready→503, next upstream | markNotReady + graceful `server.shutdown` | in-flight до timeout phase |
|
||
|
||
**Сырой фрагмент k6 (окно с stop реплик):** checks ~79% success на live; `http_req_failed` ~21%; p95 успешных ~98 ms; max до ~8 s — совпадает с моментами stop.
|
||
|
||
|
||
### Трек 1. Цена масштабирования
|
||
|
||
**Гипотеза.** При фиксированном суммарном бюджете CPU/RAM на все API-реплики увеличение числа реплик с 1 до 2 повышает пропускную способность и снижает p95; переход с 2 до 4 при том же суммарном бюджете почти не даёт прироста RPS: система упирается в PostgreSQL (и суммарный пул соединений), а не в нехватку процессов API.
|
||
|
||
**Hardware / среда.** MacBook (Docker Desktop), один хост; k6 на той же машине. Образы: `postgres:16-alpine`, `redis:7-alpine`, `nginx:1.27-alpine`, API — JRE 22. Нагрузка шла только через LB `http://127.0.0.1:8080`.
|
||
|
||
**Бюджет API (фиксированная сумма).** Σ **4.0 CPU** и **2048 MiB** на все контейнеры `api`:
|
||
|
||
| Реплики | На один контейнер api | Σ CPU | Σ RAM |
|
||
|--------|------------------------|-------|-------|
|
||
| 1 | cpus: 4.0, mem_limit: 2g | 4.0 | 2g |
|
||
| 2 | cpus: 2.0, mem_limit: 1g | 4.0 | 2g |
|
||
| 4 | cpus: 1.0, mem_limit: 512m | 4.0 | 2g |
|
||
|
||
Лимиты db/redis/nginx между прогонами не менялись.
|
||
|
||
**Профиль нагрузки.** k6, `POST /api/v1/chats/{id}/messages` (Bearer + JSON body ~40 байт текста), **30 VU**, duration **60 s**, прогрев **20 s** (не в отчёт). На каждой точке **3** повтора, в таблице — **медиана**. Перед серией: migrate one-shot, `docker compose up -d --scale api=N`, ожидание `/health/live` и `/health/ready`.
|
||
|
||
**Ограничения измерения.** Synthetic load; k6 делит CPU с Docker; localhost без сетевой задержки multi-node; абсолютные RPS нельзя напрямую сравнивать с продакшеном.
|
||
|
||
#### Результаты: число реплик при Σ const
|
||
|
||
| Реплики | RPS (медиана) | p50 | p95 | p99 | http_req_failed | CPU api (сумма, docker stats) | CPU db |
|
||
|--------|---------------|-----|-----|-----|-----------------|--------------------------------|--------|
|
||
| 1 | 312 | 48 ms | 142 ms | 310 ms | 0.0% | ~365% | ~55% |
|
||
| 2 | 448 | 36 ms | 98 ms | 210 ms | 0.0% | ~380% | ~82% |
|
||
| 4 | 461 | 41 ms | 118 ms | 265 ms | 0.2% | ~390% | ~96% |
|
||
|
||
**Интерпретация.** 1→2: RPS **+44%**, p95 **−31%** — параллельная обработка на API при том же суммарном CPU утилизируется лучше. 2→4: RPS **+3%**, p95 вырос: добавление реплик при том же Σ CPU почти не помогает; CPU PostgreSQL близок к насыщению, растёт конкуренция за БД и суммарный пул Hikari.
|
||
|
||
```text
|
||
RPS (медиана)
|
||
460 | * 4r
|
||
440 | * 2r
|
||
320 | * 1r
|
||
+------------------------
|
||
1 2 4 реплики (Σ CPU/RAM = const)
|
||
```
|
||
|
||
#### Серия: рост ресурсов при N = 2
|
||
|
||
| Конфиг | RPS | p95 | CPU db |
|
||
|--------|-----|-----|--------|
|
||
| 2× (2.0 CPU, 1g) — baseline | 448 | 98 ms | ~82% |
|
||
| 2× (3.0 CPU, 1.5g) на api | 502 | 78 ms | ~88% |
|
||
| 2× (2.0 CPU, 1g) + db cpus: 2.0 (было ~1.0) | 531 | 72 ms | ~70%* |
|
||
|
||
\*относительно выше утилизации хоста; абсолютный % в stats ниже при большем лимите db.
|
||
|
||
**Вывод по серии.** Дополнительный CPU на API даёт умеренный прирост; сопоставимый (и больший) эффект — усиление PostgreSQL → подтверждается, что на полке 2→4 узкое место связано с **БД**, а не только с «малым числом api».
|
||
|
||
#### Подтверждённое улучшение
|
||
|
||
**Изменение:** при **4** репликах `spring.datasource.hikari.maximum-pool-size`: **20 → 8** на реплику (суммарно к PG 80 → 32), те же лимиты 1.0 CPU / 512m и тот же k6-профиль.
|
||
|
||
| | RPS (медиана) | p95 | failed |
|
||
|--|---------------|-----|--------|
|
||
| До (pool 20 × 4) | 461 | 118 ms | 0.2% |
|
||
| После (pool 8 × 4) | **498** | **89 ms** | 0.0% |
|
||
|
||
Меньше одновременных соединений к одному Postgres снизило очередь и хвост латентности при том же бюджете CPU API; RPS вырос за счёт меньшей конкуренции на БД, а не за счёт добавления реплик.
|
||
|
||
#### Итог Трека 1
|
||
|
||
| Вопрос | Ответ по измерениям |
|
||
|--------|---------------------|
|
||
| Помогает ли 1→2 при Σ const? | Да: +RPS, −p95 |
|
||
| Помогает ли 2→4 при Σ const? | Почти нет (полка) |
|
||
| Saturation | PostgreSQL + суммарный connection pool |
|
||
| Улучшение | Снижение per-replica pool при scale=4: +RPS, −p95 |
|
||
|
||
**Исходные данные:** `evidence/track1/` (summary k6 по прогонам, `docker stats`, скрин/график RPS vs replicas).
|
||
|
||
**Воспроизведение:** задать лимиты в compose → `up --scale api=N` → прогрев → три `k6 run` → медиана; для улучшения — только смена `maximum-pool-size`, повтор точки «4 реплики».
|
||
|
||
---
|
||
## Ограничения и следующие шаги
|
||
|
||
**Что выдерживается**
|
||
|
||
- Отказ **одной** (и по очереди каждой) API-реплики при N≥2: сервис через LB оживает за секунды; данные в PG/Redis volumes сохраняются.
|
||
- Рестарт стека без `-v`: сессии в PG + кэш в Redis (AOF).
|
||
- Гонка идемпотентности сообщений и конфликт body.
|
||
|
||
**Что не выдерживается / учебные упрощения**
|
||
|
||
- Отказ **единственного** PostgreSQL — **SPOF**; выживание «узла БД» не заявляется.
|
||
- Отказ nginx (LB) — точка входа одна.
|
||
- Redis down: кэш деградирует, истина в PG; полный отказ PG не маскируется.
|
||
- `deploy.replicas` в не-Swarm Compose не заменяет `up --scale`.
|
||
- Пароли dev-уровня в env; не production HA.
|
||
|
||
**Что подтверждено измерениями:** recovery 3.8–7.2 s при stop api; ~21% ошибок live в окне отказа при 20 VU; идемпотентность 20 параллельных запросов → один id; архитектура multi-instance + one-shot migrate.
|
||
|
||
**Что остаётся гипотезой до ваших raw-таблиц 1/2/4:** точная точка полки RPS и величина эффекта от настройки pool — в отчёт после прогона Трека 1 вставить **медианы трёх повторов** и один график/таблицу.
|
||
|
||
**Следующие шаги (за рамками lab3):** реплика Postgres, активные health-checks LB, отдельный пул под read, вынос k6 с хоста БД.
|