Files
mtusi2026lab3/REPORT.md
T

12 KiB
Raw Blame History

Отчёт — лабораторная 3

  • Автор, группа: Морару С. С., БПИ2303
  • Целевая оценка: 5, трек 1 «Цена масштабирования»
  • Commit/PR: ветка solution/bpi2303-moraru, https://gitea.privcloud.tech/s.s.moraru/mtusi2026lab3
  • Источники и ИИ: Node.js 24 (node:http, node:crypto), pg 8.23.1, HAProxy 3.2, k6 1.8.2. Код и отчёт подготовлены с помощью Claude Code (Anthropic), проверены запуском тестов.

Запуск из чистого clone

Prerequisites: Docker Engine + Compose v2, Python 3.9+ (тесты), OpenSSL. Образы: node:24.22.2-alpine3.24, postgres:18.6-alpine, haproxy:3.2.26-alpine, grafana/k6:1.8.2.

scripts/init-secrets.sh                              # .env из .env.example + случайный пароль БД в secrets/ (вне Git)
docker compose --env-file .env up -d --build         # postgres -> migrate (one-shot) -> api x2 -> lb
make test                                            # LB на 127.0.0.1:${LB_PORT:-8080}
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose start api                             # восстановить остановленную реплику
python3 student-tests/idempotency_race.py --base-url http://localhost:8080
docker compose stop                                  # безопасная остановка; удаление учебных данных: docker compose down -v

Типы: npm ci && npm run typecheck (Node 24 исполняет .ts напрямую через type stripping, сборки нет). На стенде автора 8080 был занят, использовался LB_PORT=8090 в .env.

Архитектура и решения

Клиент → lb (HAProxy, единственный опубликованный порт) → api × N (deploy.replicas, без container_name, без опубликованных портов) → postgres (volume pgdata).

  • Структура кода (src/), зависимости только сверху вниз, без циклов:
    • main.ts — точка входа: режим migrate или HTTP-сервер, graceful shutdown;
    • config.ts — переменные окружения и Docker secrets; db.ts — пул PostgreSQL и миграции;
    • app.ts — таблица маршрутов, health, общие заголовки X-Request-Id/X-Instance-Id, формат ошибок;
    • http/ — инфраструктура HTTP: ошибки контракта (errors.ts), разбор и проверка JSON (request.ts), keyset-пагинация (pagination.ts), типы обработчиков (context.ts);
    • modules/ — предметная логика: sessions.ts (вход, выход, Bearer), users.ts, chats.ts, messages.ts (идемпотентная отправка), passwords.ts (scrypt), model.ts (общая модель пользователя);
    • migrations/*.sql — схема БД.
  • Источник истины — PostgreSQL: пользователи, чаты, сообщения, сессии (хранится только sha256 токена) и ключи идемпотентности. В API нет локального состояния → любая реплика обслуживает любой запрос, sticky sessions нет.
  • Миграции: отдельный one-shot сервис migrate (depends_on: service_completed_successfully), pg_advisory_lock защищает от гонки при ручном повторе; таблица schema_migrations.
  • Идемпотентность: ключ (user + POST + путь чата + key) и сообщение вставляются одним SQL-оператором (CTE) → атомарно. Конкурентный дубль на другой реплике блокируется на PK ключа до COMMIT первого, затем отдаёт сохранённое сообщение (тот же 201) или 409 при другом теле. Ошибка БД ничего не фиксирует → повтор с тем же ключом безопасен.
  • Пароли: scrypt (N=2^14, r=8, p=1) из node:crypto; токен 256 бит.
  • X-Instance-Id = hostname контейнера (12 hex ID), scripts/stop-one.sh сопоставляет его с контейнером.
  • Readiness: /health/ready = процесс не завершается + SELECT 1 к PostgreSQL (единственная критичная зависимость).
  • SIGTERM: readiness → 503, Connection: close, 2.5 с drain (больше времени обнаружения LB), затем server.close() дожидается текущих запросов.
  • HAProxy: check /health/ready каждые 1 с (0.5 с при смене состояния), fall 2 rise 2, timeout check 1s; отказ соединения на живом трафике → DOWN сразу (observe layer4) + retry-on conn-failure с redispatch (повторяются только не дошедшие до backend запросы). Backends через Docker DNS (server-template api 8 api:8080), масштабирование без правки конфига. Макс. время обнаружения: graceful stop ≤ 1.5 с; падение процесса — первый же refused connect; зависание — ≤ 3.5 с.
  • Таймауты: HAProxy connect 1 с / server 10 с; Node headers 5 с, request 15 с; pg acquire 2 с (→ 503), statement_timeout 5 с.
  • Лимиты: api 1 CPU/256 MiB, postgres 2 CPU/1 GiB, lb 1 CPU/128 MiB. Сеть backend internal: API и БД недоступны с хоста. Секрет postgres_password только у postgres, database_url только у api/migrate.
  • .env.example: SESSION_TTL_SECONDS, API_REPLICAS, DATABASE_URL_FILE используются как есть; SESSION_STORE=postgres; CACHE_URL_FILE не используется (Redis нет); IDEMPOTENCY_TTL_SECONDS — ключи хранятся бессрочно (≥ 24 ч выполнено, очистка — ограничение).

Доказательства критериев

Критерий Команда Результат
Smoke make check, make test PASS lab3 public API scenario
Persistence make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS; StartedAt всех контейнеров (lb, api-1, api-2, postgres) изменился, токен прежний
Failover make test-failover ACTION_SCRIPT=scripts/stop-one.sh PASS дважды: 2 реплики до отказа, 131/132 успешных записей, 0 ошибок, запись продолжилась через ~3 с (длительность drain); docker compose ps -a показывает остановленный контейнер, в логах LB Server api/apiN is DOWN ... 503
Каждая реплика по очереди под нагрузкой scripts/failover-each.sh k6 300 RPS, 20 с: api-1 и api-2 остановлены по очереди (stop ≈ 3 с), 0 ошибок в обоих, 266/280 успешных RPS, p50 ≈ 4–6 мс; dropped iterations 407–678 из-за задержек p95 до 0.6–1.9 с в момент переключения. Вывод: evidence/level4/failover-each.txt
Конкурентная идемпотентность student-tests/idempotency_race.py --parallel 64 64 запроса с одним ключом через 2 реплики: 32×201 (одно и то же сообщение), 32×409 (другое тело), в истории ровно 1 сообщение
Rolling update scripts/rolling-update.sh под k6 300 RPS, 40 с обе реплики заменены (api-1/2 → api-3/4), 0 ошибок, 293.5 успешных RPS, p50 4.7 мс, p99 533 мс. Миграции выполняются один раз до замены и только добавляют схему (expand-only), поэтому совместимы с работающей версией. Вывод: evidence/level4/rolling-update.txt
Лимиты / порты / секреты compose.yaml см. выше

Трек 1. Цена масштабирования

Гипотеза. Node.js исполняет JS в одном потоке, поэтому одна реплика не использует >1 CPU; при фиксированном суммарном CPU API (2 CPU / 512 MiB) 2–4 реплики дадут больше, чем 1×2 CPU. Дальше рост реплик упрётся в PostgreSQL (2 CPU).

Методика (research/bench.sh, research/k6/messenger.js, research/report.py): k6 open model (constant-arrival-rate, без coordinated omission), 50% POST сообщения с новым ключом / 50% GET истории (limit 20), 20 пользователей в 10 чатах, ступени 400–2400 RPS по 15 с, CPU контейнеров — docker stats на 8-й секунде. DB 2 CPU, LB 1 CPU, k6 3 CPU, pool 8 на реплику. Hardware: Apple M3 Pro, 11 ядер, 18 GiB, OrbStack. Raw: evidence/track1/baseline/, evidence/track1/prepared/, таблицы *.md, график evidence/track1/throughput.svg.

Результаты (baseline, максимум успешных RPS):

Конфигурация Макс. успешные RPS CPU postgres на максимуме
1 × 2 CPU ~870 (api ≈ 120% — один event loop) ~165%
2 × 1 CPU ~1140 ~200%
4 × 0.5 CPU ~1220 ~217% (лимит)
4 × 1 CPU (рост ресурсов) ~1130 ~240% (лимит)
  • 1 реплика не может съесть 2 CPU — гипотеза подтверждена (+30–40% при переходе на 2–4 реплики при тех же ресурсах).
  • Saturation point — PostgreSQL: от 2 реплик CPU БД на лимите 2 CPU; удвоение CPU API (4×0.5 → 4×1) не увеличило пропускную способность. LB загружен ≤ 80% от 1 CPU и не узкое место.

Подтверждённое улучшение: именованные prepared statements на горячем пути (auth, member, send, history) — PostgreSQL не парсит/планирует запрос каждый раз. 2 × 1 CPU: максимум ~1140 → ~1390 RPS (+22%); при 1200 RPS p50 121 → 4.4 мс, p95 543 → 137 мс.

Ограничения. Один прогон на ступень (нет повторов и доверительных интервалов); на той же машине работали другие Docker-стенды пользователя — заметен шум (выброс 4×1 на 1200–1600 RPS, 4×0.5 после улучшения); k6 и стенд делят CPU; fsync на диск VM OrbStack. Вывод о DB-bottleneck устойчив (CPU БД на лимите во всех конфигурациях ≥ 2 реплик), абсолютные числа — нет.

Ограничения и следующие шаги

Выдерживается отказ одного процесса API. Не выдерживаются: отказ LB, PostgreSQL, хоста (один Docker-host, БД без реплики). Ключи идемпотентности не чистятся. Порядок истории по clock_timestamp() вставки: сообщение с меньшим временем может закоммититься позже уже прочитанной страницы. Дальше: повторы прогонов на изолированной машине, вынос чтений на реплику БД.