Files
mtusi2026lab3/REPORT.md
T
Mlvn b1972bcfd8 Реализовать lab3: HAProxy, API×N, идемпотентность и трек 1.
Горизонтальное масштабирование за LB с общими сессиями Redis, X-Instance-Id,
обязательным Idempotency-Key в PostgreSQL, сценариями failover/persistence и
измерением цены масштабирования при фиксированном CPU/RAM бюджете.
2026-11-06 21:07:00 +03:00

8.2 KiB
Raw Blame History

Отчёт — лабораторная 3

  • Автор, группа: Белоусов Анатолий Фахраддинович, БПИ2303
  • Целевая оценка; выбранный трек 5: 5, трек 1 (цена масштабирования)
  • Commit/PR: ветка solution/bpi2303-belousov
  • Использованные источники, библиотеки и помощь ИИ: Go net/http, pgx v5, go-redis v9, golang.org/x/crypto/argon2, google/uuid; HAProxy 2.9; публичные tests/; Cursor/Composer для реализации и прогонов. База — собственная реализация lab2.

Запуск из чистого clone

Нужны Docker, Go 1.23+ (собственные тесты), Python 3.9+.

cp .env.example .env
bash scripts/up.sh
# build → migrate (один раз) → --scale api=${API_REPLICAS} → HAProxy :8080
make test
make student-test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
bash scripts/restore-one.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
bash scripts/run_track1.sh   # трек 5; долго

Остановка без удаления данных: docker compose --env-file .env stop. Удаление учебных volumes: docker compose --env-file .env down -v.

Образы: сборка golang:1.23.8-bookworm, runtime gcr.io/distroless/static-debian12:nonroot, PostgreSQL postgres:16.6, Redis redis:7.4.1 (AOF everysec), HAProxy haproxy:2.9.14-alpine.

Соответствие .env.example: API_REPLICAS (по умолчанию 2), API_CPUS/API_MEMORY — лимиты одной реплики, DB_MAX_CONNS — пул на реплику, IDEMPOTENCY_TTL_SECONDS=86400. DATABASE_URL/REDIS_URL задаются контейнерам явно; *_FILE тоже читаются.

Миграции применяет одноразовый docker compose run --rm migrate (/server -migrate) из scripts/up.sh до старта API. Реплики API миграции не гоняют. Повторный migrate идемпотентен через schema_migrations.

Архитектура и решения

Клиент → HAProxy (LB) → API × N → общие PostgreSQL (данные + idempotency) и Redis (сессии).

Что перенесено из lab2: пользователи/чаты/сообщения в PostgreSQL, Argon2id, Bearer-сессии в Redis с AOF, keyset-история, graceful shutdown ≤10 с, non-root образ.

Что добавлено в lab3:

  1. X-Instance-Id — hostname контейнера (или INSTANCE_ID), стабилен на жизнь процесса.
  2. Idempotency-Key на POST .../messages — область (user_id, method, path, key) в idempotency_keys. Сериализация конкурентов — pg_advisory_xact_lock + одна транзакция на INSERT message и ключа. Повтор с тем же телом → тот же 201/Message; другой body → 409. 5xx не фиксируются.
  3. Общие сессии в Redis: sticky sessions не используются.
  4. LB healthcheck GET /health/ready каждые 1 с, fall 2 → обнаружение ~2 с; DNS hold valid 2 с. На SIGTERM реплика сразу отдаёт 503 ready (BeginDrain).
  5. Порты API наружу не публикуются; наружу только 127.0.0.1:8080 у LB.
  6. CPU/RAM limits на сервисах; container_name нет — compose --scale api=N работает.
  7. Rolling update: docker compose up -d --force-recreate --scale api=N --no-deps api под нагрузкой (см. evidence/rolling-update.txt).

scripts/stop-one.sh сопоставляет TARGET_INSTANCE_ID с hostname контейнера сервиса api и делает docker stop.

Доказательства критериев

Стенд: macOS arm64, Docker Desktop, ~8 CPU / ~4 GiB RAM VM. Дата: 2026-11-06.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test PASS: lab3 public API scenario evidence/smoke-pass.txt
≥2 реплики через LB 40× /health/live 2 разных X-Instance-Id evidence/instances.txt
Persistence make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS evidence/persistence.txt
Failover реплики A make test-failover ACTION_SCRIPT=scripts/stop-one.sh PASS; recovery 2.658 s; 112 ok / 1 fail evidence/failover-1.txt
Failover реплики B restore-one + повтор PASS; recovery 2.453 s; 114 ok / 1 fail evidence/failover-2.txt
Идемпотентность / гонка make student-test replay=тот же id; 8 параллельных → 1 сообщение evidence/student-test.txt
Лимиты / нет publish API compose.yaml + inspect api без host-ports; NanoCpus/Memory заданы evidence/limits.txt, evidence/ps.txt
Rolling recreate force-recreate api×2 under load writes продолжаются (ошибки переходные) evidence/rolling-update.txt
Трек 1 scripts/run_track1.sh сводка RPS 1/2/4 и grow evidence/track1/

Эксперименты и отказы (трек 1)

Гипотеза. При фиксированном суммарном бюджете 2.0 CPU / 768 MiB на все API рост N=1→2 сохраняет RPS, а N=2→4 перестаёт помогать и ухудшает successful RPS из‑за дробления CPU, суммарного пула к Postgres и очереди у HAProxy.

Методика. Для N∈{1,2,4}: API_CPUS=2/N, API_MEMORY=768/N MiB, DB_MAX_CONNS=5. Прогрев, затем tests/load.py --duration 30 --concurrency 8. Затем серия N=2 с ростом CPU/RAM реплики (0.5/192 → 1.0/384 → 1.5/512). Повтор: bash scripts/run_track1.sh.

Результаты (evidence/track1/summary.md):

Конфиг Successful RPS error_ratio Вывод
fixed N=1 (2.0 CPU / 768 MiB) 587.2 ~0 база
fixed N=2 (1.0 / 384×2) 583.8 0 RPS ≈ N=1 при том же бюджете
fixed N=4 (0.5 / 192×4) 191.0 0.95 коллапс: реплики голодают по CPU
grow N=2 small (0.5 / 192) 450.6 0.76 мало ресурсов на реплику
grow N=2 medium (1.0 / 384) 611.3 0 лучший чистый RPS
grow N=2 large (1.5 / 512) 547.7 0.19 больше CPU API не помогло — упор вне реплик

Подтверждённое улучшение: при фиксированном бюджете не масштабировать API выше 2 на этом стенде; рабочая точка — N=2 при ~1.0 CPU на реплику. N=4 при том же суммарном CPU ухудшает successful RPS в ~3 раза и даёт массовые ошибки.

Воздействие Что ожидали Что наблюдали Время восстановления
scripts/restart.sh тот же токен/данные PASS persistence готовность после restart ≤90 с (тест)
scripts/stop-one.sh запись через другую ≤10 с recovery ≈2.5 с; дублей нет краткие ошибки в окне healthcheck

Ограничения и следующие шаги

Один Docker-host и один HAProxy/Postgres/Redis — SPOF узла. Отказ API-реплики закрыт; отказ БД/LB/host — нет. Redis AOF everysec может потерять ~1с сессий при kill -9. Closed-loop load страдает coordinated omission. На VM с ~4 GiB суммарный бюджет API взят 768 MiB (не 1024), иначе host OOM вместе с Postgres. Трек 2 (multi-node) не выполнялся.