Горизонтальное масштабирование за LB с общими сессиями Redis, X-Instance-Id, обязательным Idempotency-Key в PostgreSQL, сценариями failover/persistence и измерением цены масштабирования при фиксированном CPU/RAM бюджете.
8.2 KiB
Отчёт — лабораторная 3
- Автор, группа: Белоусов Анатолий Фахраддинович, БПИ2303
- Целевая оценка; выбранный трек 5: 5, трек 1 (цена масштабирования)
- Commit/PR: ветка
solution/bpi2303-belousov - Использованные источники, библиотеки и помощь ИИ: Go
net/http,pgxv5,go-redisv9,golang.org/x/crypto/argon2,google/uuid; HAProxy 2.9; публичныеtests/; Cursor/Composer для реализации и прогонов. База — собственная реализация lab2.
Запуск из чистого clone
Нужны Docker, Go 1.23+ (собственные тесты), Python 3.9+.
cp .env.example .env
bash scripts/up.sh
# build → migrate (один раз) → --scale api=${API_REPLICAS} → HAProxy :8080
make test
make student-test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
bash scripts/restore-one.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
bash scripts/run_track1.sh # трек 5; долго
Остановка без удаления данных: docker compose --env-file .env stop.
Удаление учебных volumes: docker compose --env-file .env down -v.
Образы: сборка golang:1.23.8-bookworm, runtime gcr.io/distroless/static-debian12:nonroot, PostgreSQL postgres:16.6, Redis redis:7.4.1 (AOF everysec), HAProxy haproxy:2.9.14-alpine.
Соответствие .env.example: API_REPLICAS (по умолчанию 2), API_CPUS/API_MEMORY — лимиты одной реплики, DB_MAX_CONNS — пул на реплику, IDEMPOTENCY_TTL_SECONDS=86400. DATABASE_URL/REDIS_URL задаются контейнерам явно; *_FILE тоже читаются.
Миграции применяет одноразовый docker compose run --rm migrate (/server -migrate) из scripts/up.sh до старта API. Реплики API миграции не гоняют. Повторный migrate идемпотентен через schema_migrations.
Архитектура и решения
Клиент → HAProxy (LB) → API × N → общие PostgreSQL (данные + idempotency) и Redis (сессии).
Что перенесено из lab2: пользователи/чаты/сообщения в PostgreSQL, Argon2id, Bearer-сессии в Redis с AOF, keyset-история, graceful shutdown ≤10 с, non-root образ.
Что добавлено в lab3:
- X-Instance-Id — hostname контейнера (или
INSTANCE_ID), стабилен на жизнь процесса. - Idempotency-Key на
POST .../messages— область(user_id, method, path, key)вidempotency_keys. Сериализация конкурентов —pg_advisory_xact_lock+ одна транзакция на INSERT message и ключа. Повтор с тем же телом → тот же 201/Message; другой body → 409. 5xx не фиксируются. - Общие сессии в Redis: sticky sessions не используются.
- LB healthcheck
GET /health/readyкаждые 1 с,fall 2→ обнаружение ~2 с; DNS hold valid 2 с. На SIGTERM реплика сразу отдаёт 503 ready (BeginDrain). - Порты API наружу не публикуются; наружу только
127.0.0.1:8080у LB. - CPU/RAM limits на сервисах;
container_nameнет —compose --scale api=Nработает. - Rolling update:
docker compose up -d --force-recreate --scale api=N --no-deps apiпод нагрузкой (см.evidence/rolling-update.txt).
scripts/stop-one.sh сопоставляет TARGET_INSTANCE_ID с hostname контейнера сервиса api и делает docker stop.
Доказательства критериев
Стенд: macOS arm64, Docker Desktop, ~8 CPU / ~4 GiB RAM VM. Дата: 2026-11-06.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test |
PASS: lab3 public API scenario |
evidence/smoke-pass.txt |
| ≥2 реплики через LB | 40× /health/live |
2 разных X-Instance-Id |
evidence/instances.txt |
| Persistence | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS | evidence/persistence.txt |
| Failover реплики A | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
PASS; recovery 2.658 s; 112 ok / 1 fail | evidence/failover-1.txt |
| Failover реплики B | restore-one + повтор |
PASS; recovery 2.453 s; 114 ok / 1 fail | evidence/failover-2.txt |
| Идемпотентность / гонка | make student-test |
replay=тот же id; 8 параллельных → 1 сообщение | evidence/student-test.txt |
| Лимиты / нет publish API | compose.yaml + inspect |
api без host-ports; NanoCpus/Memory заданы | evidence/limits.txt, evidence/ps.txt |
| Rolling recreate | force-recreate api×2 under load | writes продолжаются (ошибки переходные) | evidence/rolling-update.txt |
| Трек 1 | scripts/run_track1.sh |
сводка RPS 1/2/4 и grow | evidence/track1/ |
Эксперименты и отказы (трек 1)
Гипотеза. При фиксированном суммарном бюджете 2.0 CPU / 768 MiB на все API рост N=1→2 сохраняет RPS, а N=2→4 перестаёт помогать и ухудшает successful RPS из‑за дробления CPU, суммарного пула к Postgres и очереди у HAProxy.
Методика. Для N∈{1,2,4}: API_CPUS=2/N, API_MEMORY=768/N MiB, DB_MAX_CONNS=5. Прогрев, затем tests/load.py --duration 30 --concurrency 8. Затем серия N=2 с ростом CPU/RAM реплики (0.5/192 → 1.0/384 → 1.5/512). Повтор: bash scripts/run_track1.sh.
Результаты (evidence/track1/summary.md):
| Конфиг | Successful RPS | error_ratio | Вывод |
|---|---|---|---|
| fixed N=1 (2.0 CPU / 768 MiB) | 587.2 | ~0 | база |
| fixed N=2 (1.0 / 384×2) | 583.8 | 0 | RPS ≈ N=1 при том же бюджете |
| fixed N=4 (0.5 / 192×4) | 191.0 | 0.95 | коллапс: реплики голодают по CPU |
| grow N=2 small (0.5 / 192) | 450.6 | 0.76 | мало ресурсов на реплику |
| grow N=2 medium (1.0 / 384) | 611.3 | 0 | лучший чистый RPS |
| grow N=2 large (1.5 / 512) | 547.7 | 0.19 | больше CPU API не помогло — упор вне реплик |
Подтверждённое улучшение: при фиксированном бюджете не масштабировать API выше 2 на этом стенде; рабочая точка — N=2 при ~1.0 CPU на реплику. N=4 при том же суммарном CPU ухудшает successful RPS в ~3 раза и даёт массовые ошибки.
| Воздействие | Что ожидали | Что наблюдали | Время восстановления |
|---|---|---|---|
scripts/restart.sh |
тот же токен/данные | PASS persistence | готовность после restart ≤90 с (тест) |
scripts/stop-one.sh |
запись через другую ≤10 с | recovery ≈2.5 с; дублей нет | краткие ошибки в окне healthcheck |
Ограничения и следующие шаги
Один Docker-host и один HAProxy/Postgres/Redis — SPOF узла. Отказ API-реплики закрыт; отказ БД/LB/host — нет. Redis AOF everysec может потерять ~1с сессий при kill -9. Closed-loop load страдает coordinated omission. На VM с ~4 GiB суммарный бюджет API взят 768 MiB (не 1024), иначе host OOM вместе с Postgres. Трек 2 (multi-node) не выполнялся.