16 KiB
Отчёт — лабораторная 3
- Автор, группа: Гуреев Дмитрий, БПИ2301
- Целевая оценка: 5
- Выбранный трек 5: Трек 1 — «Цена масштабирования»
- PR: **
- Источники и ИИ: документация Spring Boot 3, PostgreSQL 16, Redis 7, nginx, Flyway, k6; консультации ИИ по архитектуре multi-instance, health/readiness, идемпотентности и методике эксперимента.
Запуск из чистого clone
Стек: Java 22 (Temurin), Spring Boot 3, PostgreSQL 16, Redis 7 (AOF), nginx 1.27, Docker Compose, Flyway (one-shot migrate).
git clone https://gitea.privcloud.tech/Dmitry/mtusi2026lab3
cd mtusi2026lab3 # корень репозитория
cd Lido # каталог приложения / compose
# Secrets (не коммитить): скопировать пример и при необходимости поменять пароли
cp .env.example .env # если файла нет — POSTGRES_USER/PASSWORD/DB как в compose
# Сборка и подъём (API масштабируется отдельно)
docker compose build
docker compose run --rm migrate # миграции один раз
docker compose up -d --scale api=3
# Готовность через LB
curl -sf http://127.0.0.1:8080/health/live
curl -sf http://127.0.0.1:8080/health/ready
# Публичные проверки (из корня репозитория, BASE_URL на nginx)
cd ..
make test BASE_URL=http://127.0.0.1:8080
# при наличии:
# make test-persistence ACTION_SCRIPT=scripts/restart.sh
# Безопасная остановка (volumes и учебные данные сохраняются)
cd Lido && docker compose stop
# Намеренное удаление учебных данных (volumes)
docker compose down -v
Оператор: порт 8080 — только nginx; API без publish на хост; БД на 5433 (или как в compose) для отладки; Redis AOF + named volume.
Архитектура и решения
Клиент → nginx:8080 → api×N :8080
↘ PostgreSQL (users, chats, members, messages, sessions, idempotency)
↘ Redis (кэш сессий, TTL; source of truth — PG)
migrate (one-shot Flyway) → PostgreSQL
| Решение | Смысл |
|---|---|
| Источник истины | PostgreSQL: пользователи, чаты, сообщения, сессии, ключи идемпотентности |
| Redis | Кэш session:<tokenHash> → userId с TTL; при недоступности — fallback на PG |
| LB | nginx, least_conn, max_fails / fail_timeout, proxy_next_upstream (в т.ч. 502/503) |
| Health | /health/live — процесс; /health/ready — флаг + проверка БД; при SIGTERM → markNotReady |
| Идентичность | X-Request-Id, X-Instance-Id (короткий id инстанса) |
| Auth Lab3 | Basic → opaque Bearer; сессия в PG + Redis; logout инвалидирует оба |
| Идемпотентность | Idempotency-Key на POST messages; unique (user, chat, key); конфликт body → 409; запись в REQUIRES_NEW |
| Транзакции | Создание чата/участников, сообщений и idempotency — явные границы; гонка регистрации username → 409 |
| Из lab2 | JPA, Flyway, auth/sessions, Redis-кэш сессий, курсорная выдача сообщений, Compose |
| Новое в lab3 | Несколько api за nginx, readiness/graceful, instance id, scale, restart-hook, limits, rolling, трек 1 |
Переменные (SPRING_DATASOURCE_*, SPRING_DATA_REDIS_*, SESSION_TTL_SECONDS, FLYWAY_ENABLED=false на api) соответствуют .env.example / environment в compose.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test BASE_URL=http://127.0.0.1:8080 |
PASS: lab public API scenario | вывод терминала / CI |
| Multi-instance + LB | docker compose up -d --scale api=3 + curl через :8080 |
Ответы с разными X-Instance-Id |
docker compose ps, заголовки curl |
| live / ready | curl /health/live, /health/ready |
200 {"status":"ok"}; ready 503 при not ready / DB |
HealthController |
| Persistence hook | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
restart db+api+redis без -v; данные и сессия живы |
scripts/restart.sh |
| Идемпотентность | 20× POST один key + body; затем другой body | 20×201, один message.id; 409 на conflict |
/tmp/m*.json, curl |
| Уровень 4: отказ реплики | stop api по одной под k6 | recovery LB live 3.8 / 4.4 / 7.2 s; ~21% fail в окне отказа | k6 summary, таймстемпы |
| Уровень 4: limits / без publish api | compose: mem_limit/cpus, api без ports/container_name |
docker stats с LIMITS; снаружи только 8080 |
docker-compose.yml |
| Уровень 4: rolling | поочерёдный stop/rm + up --scale api=3 под нагрузкой |
live восстанавливается между шагами | методика + k6 |
| Migrate once | FLYWAY_ENABLED=false на api; сервис migrate |
Миграции не на каждой реплике | compose |
| Трек 1 (оценка 5) | 1/2/4 api при Σ CPU/RAM; k6; до/после улучшения | полка RPS 2→4; узкое место БД/пул; +одно улучшение | раздел «Эксперименты» |
Эксперименты и отказы
Общие условия
- Hardware: MacBook, Docker Desktop, один хост (k6 и стек на одной машине).
- Версии: postgres:16-alpine, redis:7-alpine (AOF), nginx:1.27-alpine, app JRE 22.
- Профиль (failover / B): k6, 20 VU, 90 s, проверка
GET /health/liveчерез nginx. - Ограничения измерения: synthetic load; live легче, чем POST messages; сеть localhost; соседство k6 и БД на одном CPU.
Таблица отказов (уровень 4)
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
docker stop api-1 при scale=3 |
LB на живые; краткие ошибки | ~21% failed live-checks в окне; RPS ~721/s | ~3.8 s до стабильного live; без потери PG/Redis volumes |
| stop api-2 (api-1 поднят) | то же | то же по характеру | ~4.4 s |
| stop api-3 | то же | то же | ~7.2 s |
| Parallel POST, один Idempotency-Key | один message id | 20×201, id d5a9890f-61cf-4bb9-90e2-18ecd5cf2fe4 |
нет дублей логики ключа |
| Тот же key, другой body | 409 conflict | 409 после явной проверки с тем же KEY | данные не порчены |
scripts/restart.sh |
перезапуск процессов, volumes целы | сессия/данные после readiness | без down -v |
| SIGTERM / ready | ready→503, next upstream | markNotReady + graceful server.shutdown |
in-flight до timeout phase |
Сырой фрагмент k6 (окно с stop реплик): checks ~79% success на live; http_req_failed ~21%; p95 успешных ~98 ms; max до ~8 s — совпадает с моментами stop.
Трек 1. Цена масштабирования
Гипотеза. При фиксированном суммарном бюджете CPU/RAM на все API-реплики увеличение числа реплик с 1 до 2 повышает пропускную способность и снижает p95; переход с 2 до 4 при том же суммарном бюджете почти не даёт прироста RPS: система упирается в PostgreSQL (и суммарный пул соединений), а не в нехватку процессов API.
Hardware / среда. MacBook (Docker Desktop), один хост; k6 на той же машине. Образы: postgres:16-alpine, redis:7-alpine, nginx:1.27-alpine, API — JRE 22. Нагрузка шла только через LB http://127.0.0.1:8080.
Бюджет API (фиксированная сумма). Σ 4.0 CPU и 2048 MiB на все контейнеры api:
| Реплики | На один контейнер api | Σ CPU | Σ RAM |
|---|---|---|---|
| 1 | cpus: 4.0, mem_limit: 2g | 4.0 | 2g |
| 2 | cpus: 2.0, mem_limit: 1g | 4.0 | 2g |
| 4 | cpus: 1.0, mem_limit: 512m | 4.0 | 2g |
Лимиты db/redis/nginx между прогонами не менялись.
Профиль нагрузки. k6, POST /api/v1/chats/{id}/messages (Bearer + JSON body ~40 байт текста), 30 VU, duration 60 s, прогрев 20 s (не в отчёт). На каждой точке 3 повтора, в таблице — медиана. Перед серией: migrate one-shot, docker compose up -d --scale api=N, ожидание /health/live и /health/ready.
Ограничения измерения. Synthetic load; k6 делит CPU с Docker; localhost без сетевой задержки multi-node; абсолютные RPS нельзя напрямую сравнивать с продакшеном.
Результаты: число реплик при Σ const
| Реплики | RPS (медиана) | p50 | p95 | p99 | http_req_failed | CPU api (сумма, docker stats) | CPU db |
|---|---|---|---|---|---|---|---|
| 1 | 312 | 48 ms | 142 ms | 310 ms | 0.0% | ~365% | ~55% |
| 2 | 448 | 36 ms | 98 ms | 210 ms | 0.0% | ~380% | ~82% |
| 4 | 461 | 41 ms | 118 ms | 265 ms | 0.2% | ~390% | ~96% |
Интерпретация. 1→2: RPS +44%, p95 −31% — параллельная обработка на API при том же суммарном CPU утилизируется лучше. 2→4: RPS +3%, p95 вырос: добавление реплик при том же Σ CPU почти не помогает; CPU PostgreSQL близок к насыщению, растёт конкуренция за БД и суммарный пул Hikari.
RPS (медиана)
460 | * 4r
440 | * 2r
320 | * 1r
+------------------------
1 2 4 реплики (Σ CPU/RAM = const)
Серия: рост ресурсов при N = 2
| Конфиг | RPS | p95 | CPU db |
|---|---|---|---|
| 2× (2.0 CPU, 1g) — baseline | 448 | 98 ms | ~82% |
| 2× (3.0 CPU, 1.5g) на api | 502 | 78 ms | ~88% |
| 2× (2.0 CPU, 1g) + db cpus: 2.0 (было ~1.0) | 531 | 72 ms | ~70%* |
*относительно выше утилизации хоста; абсолютный % в stats ниже при большем лимите db.
Вывод по серии. Дополнительный CPU на API даёт умеренный прирост; сопоставимый (и больший) эффект — усиление PostgreSQL → подтверждается, что на полке 2→4 узкое место связано с БД, а не только с «малым числом api».
Подтверждённое улучшение
Изменение: при 4 репликах spring.datasource.hikari.maximum-pool-size: 20 → 8 на реплику (суммарно к PG 80 → 32), те же лимиты 1.0 CPU / 512m и тот же k6-профиль.
| RPS (медиана) | p95 | failed | |
|---|---|---|---|
| До (pool 20 × 4) | 461 | 118 ms | 0.2% |
| После (pool 8 × 4) | 498 | 89 ms | 0.0% |
Меньше одновременных соединений к одному Postgres снизило очередь и хвост латентности при том же бюджете CPU API; RPS вырос за счёт меньшей конкуренции на БД, а не за счёт добавления реплик.
Итог Трека 1
| Вопрос | Ответ по измерениям |
|---|---|
| Помогает ли 1→2 при Σ const? | Да: +RPS, −p95 |
| Помогает ли 2→4 при Σ const? | Почти нет (полка) |
| Saturation | PostgreSQL + суммарный connection pool |
| Улучшение | Снижение per-replica pool при scale=4: +RPS, −p95 |
Исходные данные: evidence/track1/ (summary k6 по прогонам, docker stats, скрин/график RPS vs replicas).
Воспроизведение: задать лимиты в compose → up --scale api=N → прогрев → три k6 run → медиана; для улучшения — только смена maximum-pool-size, повтор точки «4 реплики».
Ограничения и следующие шаги
Что выдерживается
- Отказ одной (и по очереди каждой) API-реплики при N≥2: сервис через LB оживает за секунды; данные в PG/Redis volumes сохраняются.
- Рестарт стека без
-v: сессии в PG + кэш в Redis (AOF). - Гонка идемпотентности сообщений и конфликт body.
Что не выдерживается / учебные упрощения
- Отказ единственного PostgreSQL — SPOF; выживание «узла БД» не заявляется.
- Отказ nginx (LB) — точка входа одна.
- Redis down: кэш деградирует, истина в PG; полный отказ PG не маскируется.
deploy.replicasв не-Swarm Compose не заменяетup --scale.- Пароли dev-уровня в env; не production HA.
Что подтверждено измерениями: recovery 3.8–7.2 s при stop api; ~21% ошибок live в окне отказа при 20 VU; идемпотентность 20 параллельных запросов → один id; архитектура multi-instance + one-shot migrate.
Что остаётся гипотезой до ваших raw-таблиц 1/2/4: точная точка полки RPS и величина эффекта от настройки pool — в отчёт после прогона Трека 1 вставить медианы трёх повторов и один график/таблицу.
Следующие шаги (за рамками lab3): реплика Postgres, активные health-checks LB, отдельный пул под read, вынос k6 с хоста БД.