Files

14 KiB
Raw Permalink Blame History

Отчёт — лабораторная 3

  • Автор, группа: Щербацевич Владислав Сергеевич БПИ2302
  • Целевая оценка; выбранный трек 5: 5, трек 1 (цена масштабирования)
  • Commit/PR: TODO после публикации
  • Использованные источники, библиотеки и помощь ИИ: контракт курса; FastAPI, Uvicorn, SQLAlchemy, asyncpg, redis, argon2-cffi, greenlet; HAProxy 3.2 (DNS resolvers, server-template, httpchk); Docker Compose; перенос своей lab2; помощь ИИ при сборке стенда и отчёта. Измерения — в evidence/.

Запуск из чистого clone

Стенд: Docker Desktop, Compose (не Swarm). Публичная точка входа только HAProxy 127.0.0.1:8080 и [::1]:8080. API-порты на хост не публикуются.

Prerequisites: Docker Engine, Python 3.9+ для публичных tests/ (стандартная библиотека). Секреты не коммитятся.

Образы (зафиксированы):

Роль Service Образ
API api (scale ≥2) сборка из Dockerfile, base python:3.13.16-slim-bookworm@sha256:a1165e272e578941b84abc79e4ab38a0305cd12803a5c4247979ac7655f4d641
Миграции migrate (one-shot) тот же образ, python -m app.migrate
PostgreSQL postgres postgres:16.10-bookworm@sha256:38471f330eb885e04de130b768d6db4e10469e2311879c7e5c699f6d2d8a1c74
Сессии redis redis:7.4.6-alpine@sha256:3b73847e72874be07e6657b129a94761662b79bc0f679273757d4218573b2a98
LB lb haproxy:3.2-bookworm@sha256:baecd003ae5c2376e58d04a5b2ffc7d82d30e9bebe2869f76222b819f719dee3 (HAProxy 3.2.3)

Аппарат (измерения 2026-10-30): Windows 10, CPU 12th Gen Intel Core i7-12700H, Docker Desktop Linux engine, NCPU=20, RAM VM ≈15.4 GiB. Лимиты контейнеров — в compose.yaml. Прогрев: health start_period API 20 с + 5 с warmup нагрузки.

Команды (секреты не печатать):

powershell -ExecutionPolicy Bypass -File scripts\bootstrap.ps1
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --scale api=2
# GET http://127.0.0.1:8080/health/ready → 200

$env:PYTHONUTF8=1
python tests/smoke.py --base-url http://127.0.0.1:8080
python student-tests/level3.py
python student-tests/persistence_hook.py
python student-tests/failover.py
scripts\restore-api.cmd
python student-tests/failover.py
python student-tests/rolling.py
python tests/load.py --duration 20 --concurrency 8 --output evidence/load_ipv4.json
python student-tests/track1.py

docker compose --env-file .env down
# намеренное удаление учебных данных:
docker compose --env-file .env down -v

POSIX: sh scripts/bootstrap.sh, chmod +x scripts/*.sh, make test, make test-failover ACTION_SCRIPT=scripts/stop-one.sh, make test-persistence ACTION_SCRIPT=scripts/restart.sh.

На Windows tests/resilience.py запускает hook через CreateProcess — используйте scripts/stop-one.cmd и scripts/restart.cmd.

Сопоставление .env.example: SESSION_STORE=redis → Redis AOF; DATABASE_URL_FILE / CACHE_URL_FILE → Docker secrets; API_REPLICAS → deploy.replicas и --scale api=; IDEMPOTENCY_TTL_SECONDS=86400; DB_POOL_SIZE / DB_MAX_OVERFLOW → пул SQLAlchemy.

Архитектура и решения

Клиент → HAProxy (roundrobin, без sticky) → api ×2+ → PostgreSQL (пользователи, чаты, сообщения, идемпотентность) и Redis (сессии, AOF appendfsync always, TTL через PXAT).

Перенесено из lab2: REST lab2, Argon2id, Postgres, Redis-сессии, health. Добавлено в lab3:

  • X-Instance-Id = hostname контейнера API, стабилен на жизнь процесса. Ответ /health/live на публичном входе формирует HAProxy (X-Instance-Id: load-balancer): это пульс точки входа, не реплика. Разные реплики смотреть на /api/v1/users/me и POST сообщений.
  • Idempotency-Key обязателен для POST сообщения; область пользователь + POST + /api/v1/chats/{id}/messages + ключ; сообщение и ключ в одной транзакции; гонка — pg_advisory_xact_lock + UNIQUE; 5xx не фиксируются.
  • Миграции один раз контейнером migrate; у API RUN_MIGRATIONS=0, ждут schema_migrations.
  • SIGTERM: stop_grace_period: 8s, Uvicorn timeout_graceful_shutdown=5, флаг accepting=False (ready → 503). HAProxy httpchk GET /health/ready, inter 1s fall 2 → исключение backend ≈2 с после 503/отказа connect; DNS hold valid 2s → верхняя оценка обнаружения ~4 с.
  • Почему live на LB, а ready на API: контракт требует, чтобы публичный /health/live проверял жизнь процесса входа, а не зависимость. Недоступный API (ready≠200 или процесс мёртв) из ротации убирается. Общий отказ Redis/Postgres делает все API unready — LB перестаёт слать бизнес-трафик (это отказ хранилища, не «ещё одна реплика»).
  • Лимиты CPU/RAM; нет container_name.

/health/live (публично) — процесс HAProxy. /health/ready (через LB на API) — реплика принимает запросы и доступны Postgres и Redis. Grafana нет.

Наблюдаемые процессы после up --scale api=2 (API без host-порта):

NAME                    STATUS         PORTS
mtusi-lab3-api-4        Up (healthy)   8080/tcp
mtusi-lab3-api-5        Up (healthy)   8080/tcp
mtusi-lab3-lb-1         Up (healthy)   127.0.0.1:8080->8080/tcp, [::1]:8080->8080
mtusi-lab3-postgres-1   Up (healthy)   127.0.0.1:5433->5432/tcp
mtusi-lab3-redis-1      Up (healthy)   127.0.0.1:6379->6379/tcp

Полный вывод: evidence/compose-ps.txt. Имена api-N меняются после scale/rolling.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл
Публичный smoke python tests/smoke.py --base-url http://127.0.0.1:8080 PASS: lab3 public API scenario evidence/smoke.txt
≥2 реплики, одна сессия, разные X-Instance-Id python student-tests/level3.py 2 id, 20/20 из 40 проб evidence/level3.json
Идемпотентность, 12 параллельных POST одного ключа student-tests/level3.py 12×201, один id, две реплики в заголовках evidence/level3.json
Failover API ≤10 с python student-tests/failover.py recovery 2.464 с; 91 успех / 2 ошибки; 6.07 RPS в окне 15 с evidence/failover.txt, evidence/sequential_failover.json
Повтор после restore restore-api.cmd + failover.py recovery 2.74 с; 90 успехов; 6.00 RPS evidence/sequential_failover.json
Останов второй реплики docker stop mtusi-lab3-api-2 api-2 Exited; пишет api-1; 46/1; 3.83 RPS в окне 12 с evidence/sequential_stop_api2.json
Persistence + тот же token python student-tests/persistence_hook.py PASS evidence/persistence.txt
Ready/timeouts/SIGTERM, LB исключает backend httpchk /health/ready 1s fall 2; grace 5s failover recovery ~2.5 с < 4 с бюджета обнаружения infra/haproxy.cfg, compose.yaml
Нет портов API наружу, лимиты, нет sticky docker compose ps API 8080/tcp без host bind evidence/compose-ps.txt
Rolling под нагрузкой python student-tests/rolling.py оба id заменены; 1980 ok / 24 err (1.2%) evidence/rolling.json
Миграции однократно migrate Exited 0 001_initial.sql + 002_idempotency.sql compose.yaml, migrations/
Трек 1 python student-tests/track1.py 1→2→4 реплик при 1 CPU: 128→107→69 RPS; рост CPU линеен evidence/track1.json, графики ниже
Подтверждённое улучшение bind [::1]:8080 localhost 1.9 RPS / p502s → 87.6 RPS / p50 75 мс evidence/load.json, evidence/load_localhost.json

Эксперименты и отказы

Гипотеза трека 1. При фиксированном суммарном CPU/RAM добавление API-реплик перестаёт помогать (и снижает RPS), когда узкое место — CPU процессов API, а не PostgreSQL/HAProxy.

Методика. Closed-loop POST /messages через HAProxy, concurrency 8, warmup 5 с, duration 20 с, клиент urllib (coordinated omission есть). Серия A: суммарно 1.0 CPU и 512 MiB на все API (1×1.0/512, 2×0.50/256, 4×0.25/128). Серия B: 2 реплики, рост бюджета (2×0.25, 2×0.50, 2×1.00). Повтор того же профиля. Сырьё: evidence/track1.json.

RPS при фиксированном суммарном CPU

RPS при росте CPU двух реплик

Серия Реплики CPU сумм. RAM MiB RPS p50 мс p95 мс p99 мс ошибки
fixed-1 1 1.00 512 128.1 51.9 108.6 156.4 0
fixed-2 2 1.00 512 107.5 71.6 189.1 245.5 0
fixed-4 4 1.00 512 69.3 94.8 293.0 400.0 0
grow-2×0.25 2 0.50 256 49.1 111.0 302.8 399.2 0
grow-2×0.50 2 1.00 512 105.5 76.0 184.4 212.5 0
grow-2×1.00 2 2.00 1024 221.0 29.3 83.0 105.9 0

docker stats на fixed-1: API ~14% от лимита 1 CPU, postgres ~0.06%, HAProxy ~0.09%. PostgreSQL и LB на этом профиле не насыщены. Saturation point — нарезка CPU API: при том же ватте 4 реплики медленнее одной. При росте CPU RPS почти линеен (49 → 105 → 221) — база ещё не упёрлась. Пул 10+10 на реплику при 4 репликах даёт до 80 соединений при max_connections Postgres по умолчанию 100: пул не был ограничителем (0 ошибок, postgres CPU ≈0%).

Подтверждённое улучшение. Только 127.0.0.1:8080 ломало http://localhost:8080 на Windows (::1, ~2 с/запрос, 1.94 RPS, p50 2022 мс, concurrency 4, 30 с). Добавлен [::1]:8080. Повтор concurrency 8, 15 с: localhost 87.6 RPS (p50 75 мс), 127.0.0.1 94.7 RPS (p50 80 мс), 0 ошибок. Это транспорт входа, не «ещё реплик»; без него closed-loop измерения трека 1 были бы искажены.

Поочерёдный отказ каждой API-реплики (уровень 4):

Воздействие Окно RPS успехов Ошибки Recovery Данные
stop-one → api-1 15 с 6.07 2 / 93 (2.2%) 2.46 с история без дублей, сессия жива
повтор после restore 15 с 6.00 2 / 92 2.74 с то же
docker stop api-2 12 с 3.83 1 / 47 (2.1%) 0.03 с пишет только api-1
rolling обоих API ~39 с ~50.8 24 / 2004 (1.2%) поочерёдная замена новые container id
compose restart postgres+redis+api+lb hook ≤90 с — 0 после ready токен тот же volumes на месте
отказ host / LB / Postgres / Redis не заявлены — — — SPOF

RPS отказа ниже трека 1: другой клиент (timeout 2–5 с, повторы того же ключа, пауза 0.1 с), не 8 потоков на 20 с. Сравнивать с 128 RPS нельзя.

Ограничения и следующие шаги

Выдерживается отказ одного процесса API на одном Docker-host. Не выдерживаются: VM/хост, HAProxy, PostgreSQL, Redis. Две реплики API не делают БД высокодоступной. Трек 2 (мультиузел) не делался.

Учебные упрощения: HTTP без TLS; Basic только на логин; идемпотентность только у POST сообщения; публичный live отвечает LB. tests/load.py — closed-loop.

Подтверждено: лишние реплики при фиксированном CPU вредят; IPv6 loopback нужен для честного localhost. Гипотеза на будущее: тяжёлый профиль упрётся в max_connections/WAL — здесь не достигнуто.