12 KiB
Отчёт — лабораторная 3
- Автор, группа: Морару С. С., БПИ2303
- Целевая оценка: 5, трек 1 «Цена масштабирования»
- Commit/PR: ветка
solution/bpi2303-moraru, https://gitea.privcloud.tech/s.s.moraru/mtusi2026lab3 - Источники и ИИ: Node.js 24 (
node:http,node:crypto),pg8.23.1, HAProxy 3.2, k6 1.8.2. Код и отчёт подготовлены с помощью Claude Code (Anthropic), проверены запуском тестов.
Запуск из чистого clone
Prerequisites: Docker Engine + Compose v2, Python 3.9+ (тесты), OpenSSL. Образы: node:24.22.2-alpine3.24, postgres:18.6-alpine, haproxy:3.2.26-alpine, grafana/k6:1.8.2.
scripts/init-secrets.sh # .env из .env.example + случайный пароль БД в secrets/ (вне Git)
docker compose --env-file .env up -d --build # postgres -> migrate (one-shot) -> api x2 -> lb
make test # LB на 127.0.0.1:${LB_PORT:-8080}
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose start api # восстановить остановленную реплику
python3 student-tests/idempotency_race.py --base-url http://localhost:8080
docker compose stop # безопасная остановка; удаление учебных данных: docker compose down -v
Типы: npm ci && npm run typecheck (Node 24 исполняет .ts напрямую через type stripping, сборки нет).
На стенде автора 8080 был занят, использовался LB_PORT=8090 в .env.
Архитектура и решения
Клиент → lb (HAProxy, единственный опубликованный порт) → api × N (deploy.replicas, без container_name, без опубликованных портов) → postgres (volume pgdata).
- Структура кода (
src/), зависимости только сверху вниз, без циклов:main.ts— точка входа: режимmigrateили HTTP-сервер, graceful shutdown;config.ts— переменные окружения и Docker secrets;db.ts— пул PostgreSQL и миграции;app.ts— таблица маршрутов, health, общие заголовкиX-Request-Id/X-Instance-Id, формат ошибок;http/— инфраструктура HTTP: ошибки контракта (errors.ts), разбор и проверка JSON (request.ts), keyset-пагинация (pagination.ts), типы обработчиков (context.ts);modules/— предметная логика:sessions.ts(вход, выход, Bearer),users.ts,chats.ts,messages.ts(идемпотентная отправка),passwords.ts(scrypt),model.ts(общая модель пользователя);migrations/*.sql— схема БД.
- Источник истины — PostgreSQL: пользователи, чаты, сообщения, сессии (хранится только sha256 токена) и ключи идемпотентности. В API нет локального состояния → любая реплика обслуживает любой запрос, sticky sessions нет.
- Миграции: отдельный one-shot сервис
migrate(depends_on: service_completed_successfully),pg_advisory_lockзащищает от гонки при ручном повторе; таблицаschema_migrations. - Идемпотентность: ключ (user + POST + путь чата + key) и сообщение вставляются одним SQL-оператором (CTE) → атомарно. Конкурентный дубль на другой реплике блокируется на PK ключа до COMMIT первого, затем отдаёт сохранённое сообщение (тот же 201) или 409 при другом теле. Ошибка БД ничего не фиксирует → повтор с тем же ключом безопасен.
- Пароли: scrypt (N=2^14, r=8, p=1) из
node:crypto; токен 256 бит. X-Instance-Id= hostname контейнера (12 hex ID),scripts/stop-one.shсопоставляет его с контейнером.- Readiness:
/health/ready= процесс не завершается +SELECT 1к PostgreSQL (единственная критичная зависимость). - SIGTERM: readiness → 503,
Connection: close, 2.5 с drain (больше времени обнаружения LB), затемserver.close()дожидается текущих запросов. - HAProxy: check
/health/readyкаждые 1 с (0.5 с при смене состояния),fall 2 rise 2,timeout check 1s; отказ соединения на живом трафике → DOWN сразу (observe layer4) +retry-on conn-failureсredispatch(повторяются только не дошедшие до backend запросы). Backends через Docker DNS (server-template api 8 api:8080), масштабирование без правки конфига. Макс. время обнаружения: graceful stop ≤ 1.5 с; падение процесса — первый же refused connect; зависание — ≤ 3.5 с. - Таймауты: HAProxy connect 1 с / server 10 с; Node headers 5 с, request 15 с; pg acquire 2 с (→ 503), statement_timeout 5 с.
- Лимиты: api 1 CPU/256 MiB, postgres 2 CPU/1 GiB, lb 1 CPU/128 MiB. Сеть
backendinternal: API и БД недоступны с хоста. Секретpostgres_passwordтолько у postgres,database_urlтолько у api/migrate. .env.example:SESSION_TTL_SECONDS,API_REPLICAS,DATABASE_URL_FILEиспользуются как есть;SESSION_STORE=postgres;CACHE_URL_FILEне используется (Redis нет);IDEMPOTENCY_TTL_SECONDS— ключи хранятся бессрочно (≥ 24 ч выполнено, очистка — ограничение).
Доказательства критериев
| Критерий | Команда | Результат |
|---|---|---|
| Smoke | make check, make test |
PASS lab3 public API scenario |
| Persistence | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS; StartedAt всех контейнеров (lb, api-1, api-2, postgres) изменился, токен прежний |
| Failover | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
PASS дважды: 2 реплики до отказа, 131/132 успешных записей, 0 ошибок, запись продолжилась через ~3 с (длительность drain); docker compose ps -a показывает остановленный контейнер, в логах LB Server api/apiN is DOWN ... 503 |
| Каждая реплика по очереди под нагрузкой | scripts/failover-each.sh |
k6 300 RPS, 20 с: api-1 и api-2 остановлены по очереди (stop ≈ 3 с), 0 ошибок в обоих, 266/280 успешных RPS, p50 ≈ 4–6 мс; dropped iterations 407–678 из-за задержек p95 до 0.6–1.9 с в момент переключения. Вывод: evidence/level4/failover-each.txt |
| Конкурентная идемпотентность | student-tests/idempotency_race.py --parallel 64 |
64 запроса с одним ключом через 2 реплики: 32×201 (одно и то же сообщение), 32×409 (другое тело), в истории ровно 1 сообщение |
| Rolling update | scripts/rolling-update.sh под k6 300 RPS, 40 с |
обе реплики заменены (api-1/2 → api-3/4), 0 ошибок, 293.5 успешных RPS, p50 4.7 мс, p99 533 мс. Миграции выполняются один раз до замены и только добавляют схему (expand-only), поэтому совместимы с работающей версией. Вывод: evidence/level4/rolling-update.txt |
| Лимиты / порты / секреты | compose.yaml |
см. выше |
Трек 1. Цена масштабирования
Гипотеза. Node.js исполняет JS в одном потоке, поэтому одна реплика не использует >1 CPU; при фиксированном суммарном CPU API (2 CPU / 512 MiB) 2–4 реплики дадут больше, чем 1×2 CPU. Дальше рост реплик упрётся в PostgreSQL (2 CPU).
Методика (research/bench.sh, research/k6/messenger.js, research/report.py): k6 open model (constant-arrival-rate, без coordinated omission), 50% POST сообщения с новым ключом / 50% GET истории (limit 20), 20 пользователей в 10 чатах, ступени 400–2400 RPS по 15 с, CPU контейнеров — docker stats на 8-й секунде. DB 2 CPU, LB 1 CPU, k6 3 CPU, pool 8 на реплику. Hardware: Apple M3 Pro, 11 ядер, 18 GiB, OrbStack. Raw: evidence/track1/baseline/, evidence/track1/prepared/, таблицы *.md, график evidence/track1/throughput.svg.
Результаты (baseline, максимум успешных RPS):
| Конфигурация | Макс. успешные RPS | CPU postgres на максимуме |
|---|---|---|
| 1 × 2 CPU | ~870 (api ≈ 120% — один event loop) | ~165% |
| 2 × 1 CPU | ~1140 | ~200% |
| 4 × 0.5 CPU | ~1220 | ~217% (лимит) |
| 4 × 1 CPU (рост ресурсов) | ~1130 | ~240% (лимит) |
- 1 реплика не может съесть 2 CPU — гипотеза подтверждена (+30–40% при переходе на 2–4 реплики при тех же ресурсах).
- Saturation point — PostgreSQL: от 2 реплик CPU БД на лимите 2 CPU; удвоение CPU API (4×0.5 → 4×1) не увеличило пропускную способность. LB загружен ≤ 80% от 1 CPU и не узкое место.
Подтверждённое улучшение: именованные prepared statements на горячем пути (auth, member, send, history) — PostgreSQL не парсит/планирует запрос каждый раз. 2 × 1 CPU: максимум ~1140 → ~1390 RPS (+22%); при 1200 RPS p50 121 → 4.4 мс, p95 543 → 137 мс.
Ограничения. Один прогон на ступень (нет повторов и доверительных интервалов); на той же машине работали другие Docker-стенды пользователя — заметен шум (выброс 4×1 на 1200–1600 RPS, 4×0.5 после улучшения); k6 и стенд делят CPU; fsync на диск VM OrbStack. Вывод о DB-bottleneck устойчив (CPU БД на лимите во всех конфигурациях ≥ 2 реплик), абсолютные числа — нет.
Ограничения и следующие шаги
Выдерживается отказ одного процесса API. Не выдерживаются: отказ LB, PostgreSQL, хоста (один Docker-host, БД без реплики). Ключи идемпотентности не чистятся. Порядок истории по clock_timestamp() вставки: сообщение с меньшим временем может закоммититься позже уже прочитанной страницы. Дальше: повторы прогонов на изолированной машине, вынос чтений на реплику БД.