Files
mtusi2026lab3/REPORT.md
T

15 KiB
Raw Blame History

Отчёт — лабораторная 3

  • Автор, группа: Щербацевич Владислав Сергеевич БПИ2302
  • Целевая оценка; выбранный трек 5: 5, трек 1 (цена масштабирования)
  • Commit/PR: TODO после публикации
  • Использованные источники, библиотеки и помощь ИИ: контракт курса; FastAPI, Uvicorn, SQLAlchemy, asyncpg, redis, argon2-cffi, greenlet; HAProxy 3.2 (DNS resolvers, server-template, httpchk); Docker Compose; перенос своей lab2; помощь ИИ при сборке стенда и отчёта. Измерения — в evidence/.

Запуск из чистого clone

Стенд: Docker Desktop, Compose (не Swarm). Публичная точка входа только HAProxy 127.0.0.1:8080 и [::1]:8080. API-порты на хост не публикуются.

Prerequisites: Docker Engine, Python 3.9+ для публичных tests/ (стандартная библиотека). Секреты не коммитятся.

Образы (зафиксированы):

Роль Service Образ
API api (scale ≥2) сборка из Dockerfile, base python:3.13.16-slim-bookworm@sha256:a1165e272e578941b84abc79e4ab38a0305cd12803a5c4247979ac7655f4d641
Миграции migrate (one-shot) тот же образ, python -m app.migrate
PostgreSQL postgres postgres:16.10-bookworm@sha256:38471f330eb885e04de130b768d6db4e10469e2311879c7e5c699f6d2d8a1c74
Сессии redis redis:7.4.6-alpine@sha256:3b73847e72874be07e6657b129a94761662b79bc0f679273757d4218573b2a98
LB lb haproxy:3.2-bookworm@sha256:baecd003ae5c2376e58d04a5b2ffc7d82d30e9bebe2869f76222b819f719dee3 (HAProxy 3.2.3)

Аппарат (трек 1 переснят 2026-11-20): Windows 10, CPU 12th Gen Intel Core i7-12700H, Docker Desktop Linux engine, NCPU=20, RAM VM ≈15.4 GiB. Лимиты контейнеров — в compose.yaml. Прогрев: health start_period API 20 с + 5 с warmup нагрузки. Абсолютный RPS не сравнивать с прогоном 2026-10-30.

Команды (секреты не печатать):

powershell -ExecutionPolicy Bypass -File scripts\bootstrap.ps1
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --scale api=2
# GET http://127.0.0.1:8080/health/ready → 200

$env:PYTHONUTF8=1
python tests/smoke.py --base-url http://127.0.0.1:8080
python student-tests/level3.py
python student-tests/persistence_hook.py
python student-tests/failover.py
scripts\restore-api.cmd
python student-tests/failover.py
python student-tests/rolling.py
python tests/load.py --duration 20 --concurrency 8 --output evidence/load_ipv4.json
python student-tests/track1.py

docker compose --env-file .env down
# намеренное удаление учебных данных:
docker compose --env-file .env down -v

POSIX: sh scripts/bootstrap.sh, chmod +x scripts/*.sh, make test, make test-failover ACTION_SCRIPT=scripts/stop-one.sh, make test-persistence ACTION_SCRIPT=scripts/restart.sh.

На Windows tests/resilience.py запускает hook через CreateProcess — используйте scripts/stop-one.cmd и scripts/restart.cmd.

Сопоставление .env.example: SESSION_STORE=redis → Redis AOF; DATABASE_URL_FILE / CACHE_URL_FILE → Docker secrets; API_REPLICAS → deploy.replicas и --scale api=; IDEMPOTENCY_TTL_SECONDS=86400; DB_POOL_SIZE / DB_MAX_OVERFLOW → пул SQLAlchemy.

Архитектура и решения

Клиент → HAProxy (roundrobin, без sticky) → api ×2+ → PostgreSQL (пользователи, чаты, сообщения, идемпотентность) и Redis (сессии, AOF appendfsync always, TTL через PXAT).

Перенесено из lab2: REST lab2, Argon2id, Postgres, Redis-сессии, health. Добавлено в lab3:

  • X-Instance-Id = hostname контейнера API, стабилен на жизнь процесса. Ответ /health/live на публичном входе формирует HAProxy (X-Instance-Id: load-balancer): это пульс точки входа, не реплика. Разные реплики смотреть на /api/v1/users/me и POST сообщений.
  • Idempotency-Key обязателен для POST сообщения; область пользователь + POST + /api/v1/chats/{id}/messages + ключ; сообщение и ключ в одной транзакции; гонка — pg_advisory_xact_lock + UNIQUE; 5xx не фиксируются.
  • Миграции один раз контейнером migrate; у API RUN_MIGRATIONS=0, ждут schema_migrations.
  • SIGTERM: stop_grace_period: 8s, Uvicorn timeout_graceful_shutdown=5, флаг accepting=False (ready → 503). HAProxy httpchk GET /health/ready, inter 1s fall 2 → исключение backend ≈2 с после 503/отказа connect; DNS hold valid 2s → верхняя оценка обнаружения ~4 с.
  • Почему live на LB, а ready на API: контракт требует, чтобы публичный /health/live проверял жизнь процесса входа, а не зависимость. Недоступный API (ready≠200 или процесс мёртв) из ротации убирается. Общий отказ Redis/Postgres делает все API unready — LB перестаёт слать бизнес-трафик (это отказ хранилища, не «ещё одна реплика»).
  • Лимиты CPU/RAM; нет container_name.

/health/live (публично) — процесс HAProxy. /health/ready (через LB на API) — реплика принимает запросы и доступны Postgres и Redis. Grafana нет.

Наблюдаемые процессы после up --scale api=2 (API без host-порта):

NAME                    STATUS         PORTS
mtusi-lab3-api-4        Up (healthy)   8080/tcp
mtusi-lab3-api-5        Up (healthy)   8080/tcp
mtusi-lab3-lb-1         Up (healthy)   127.0.0.1:8080->8080/tcp, [::1]:8080->8080
mtusi-lab3-postgres-1   Up (healthy)   127.0.0.1:5433->5432/tcp
mtusi-lab3-redis-1      Up (healthy)   127.0.0.1:6379->6379/tcp

Полный вывод: evidence/compose-ps.txt. Имена api-N меняются после scale/rolling.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл
Публичный smoke python tests/smoke.py --base-url http://127.0.0.1:8080 PASS: lab3 public API scenario evidence/smoke.txt
≥2 реплики, одна сессия, разные X-Instance-Id python student-tests/level3.py 2 id, 20/20 из 40 проб evidence/level3.json
Идемпотентность, 12 параллельных POST одного ключа student-tests/level3.py 12×201, один id, две реплики в заголовках evidence/level3.json
Failover API ≤10 с python student-tests/failover.py recovery 2.464 с; 91 успех / 2 ошибки; 6.07 RPS в окне 15 с evidence/failover.txt, evidence/sequential_failover.json
Повтор после restore restore-api.cmd + failover.py recovery 2.74 с; 90 успехов; 6.00 RPS evidence/sequential_failover.json
Останов второй реплики docker stop mtusi-lab3-api-2 api-2 Exited; пишет api-1; 46/1; 3.83 RPS в окне 12 с evidence/sequential_stop_api2.json
Persistence + тот же token python student-tests/persistence_hook.py PASS evidence/persistence.txt
Ready/timeouts/SIGTERM, LB исключает backend httpchk /health/ready 1s fall 2; grace 5s failover recovery ~2.5 с < 4 с бюджета обнаружения infra/haproxy.cfg, compose.yaml
Нет портов API наружу, лимиты, нет sticky docker compose ps API 8080/tcp без host bind evidence/compose-ps.txt
Rolling под нагрузкой python student-tests/rolling.py оба id заменены; 1980 ok / 24 err (1.2%) evidence/rolling.json
Миграции однократно migrate Exited 0 001_initial.sql + 002_idempotency.sql compose.yaml, migrations/
Трек 1 python student-tests/track1.py (2026-11-20) Свой 0.50 CPU: 1→2→4 = 31.5→55.4→80.7 RPS. Нарезка 1 CPU: 67.6→37.1 evidence/track1.json, графики ниже
Подтверждённое улучшение bind [::1]:8080 localhost 1.9 RPS / p502s → 87.6 RPS / p50 75 мс evidence/load.json, evidence/load_localhost.json

Эксперименты и отказы

Гипотеза трека 1. Горизонтальное масштабирование (новые копии как отдельные серверы, каждая со своим CPU) увеличивает RPS, пока не упрётесь в БД/LB/пул или в число клиентов. Резать один суммарный CPU на больше контейнеров на одном хосте — не масштабирование: RPS падает.

Методика. Прогон 2026-11-20, closed-loop POST /messages через HAProxy, concurrency 8, warmup 5 с, duration 20 с. Команда: $env:TRACK1_DURATION=20; $env:TRACK1_WARMUP=5; python student-tests/track1.py. Сырьё: evidence/track1.json. Графики пересобраны python scripts/render_track1_svg.py.

RPS когда каждая реплика сохраняет 0.50 CPU

RPS при фиксированном суммарном 1 CPU (нарезка одного хоста)

RPS при росте CPU двух реплик

Серия Реплики CPU на одну CPU сумм. RPS p50 мс p95 мс ошибки
свой 1×0.50 1 0.50 0.50 31.5 191.6 404.5 0
свой 2×0.50 2 0.50 1.00 55.4 108.7 305.8 0
свой 4×0.50 4 0.50 2.00 80.7 78.1 209.9 0
свой 1×1.00 1 1.00 1.00 69.5 89.3 190.3 0
свой 2×1.00 2 1.00 2.00 96.4 56.0 185.9 0
нарезка 1 1 1.00 1.00 67.6 92.2 195.6 0
нарезка 2 2 0.50 1.00 51.3 110.2 299.4 0
нарезка 4 4 0.25 1.00 37.1 114.7 532.5 0
grow 2×0.25 2 0.25 0.50 26.1 277.9 600.6 0
grow 2×0.50 2 0.50 1.00 56.2 106.0 295.3 0
grow 2×1.00 2 1.00 2.00 119.0 50.3 126.5 0

Добавление копий со своим 0.50 CPU: 31.5 → 55.4 → 80.7 RPS (×1.76, затем ×1.46). p50 падает 192 → 79 мс. Это и есть «больше серверов — быстрее». Рост не линейный ×4: у closed-loop всего 8 клиентов, четвёртая реплика уже не всегда занята; Postgres в кадре stats до ~8%, HAProxy <1% — классического плато БД/LB нет.

Контраст README (тот же 1.0 CPU на всех): 67.6 → 51.3 → 37.1. Новым копиям ядро не дали — толку нет.

Двум репликам добавили CPU: 26 → 56 → 119, почти линейно — запас по складу ещё был. Пул 10+10 на реплику при 4 копиях до 80 соединений, max_connections 100, ошибок 0.

Подтверждённое улучшение. Только 127.0.0.1:8080 ломало http://localhost:8080 на Windows (::1, ~2 с/запрос, 1.94 RPS, p50 2022 мс, concurrency 4, 30 с). Добавлен [::1]:8080. Повтор concurrency 8, 15 с: localhost 87.6 RPS (p50 75 мс), 127.0.0.1 94.7 RPS (p50 80 мс), 0 ошибок. Это транспорт входа, не «ещё реплик»; без него closed-loop измерения трека 1 были бы искажены.

Поочерёдный отказ каждой API-реплики (уровень 4):

Воздействие Окно RPS успехов Ошибки Recovery Данные
stop-one → api-1 15 с 6.07 2 / 93 (2.2%) 2.46 с история без дублей, сессия жива
повтор после restore 15 с 6.00 2 / 92 2.74 с то же
docker stop api-2 12 с 3.83 1 / 47 (2.1%) 0.03 с пишет только api-1
rolling обоих API ~39 с ~50.8 24 / 2004 (1.2%) поочерёдная замена новые container id
compose restart postgres+redis+api+lb hook ≤90 с — 0 после ready токен тот же volumes на месте
отказ host / LB / Postgres / Redis не заявлены — — — SPOF

RPS отказа ниже трека 1: другой клиент (timeout 2–5 с, повторы того же ключа, пауза 0.1 с), не 8 потоков на 20 с. Сравнивать с 80 RPS серии scale-out нельзя.

Ограничения и следующие шаги

Выдерживается отказ одного процесса API на одном Docker-host. Не выдерживаются: VM/хост, HAProxy, PostgreSQL, Redis. Две реплики API не делают БД высокодоступной. Трек 2 (мультиузел) не делался.

Учебные упрощения: HTTP без TLS; Basic только на логин; идемпотентность только у POST сообщения; публичный live отвечает LB. tests/load.py — closed-loop.

Подтверждено (прогон 2026-11-20): копии со своим CPU ускоряют (31.5→80.7 при 1/2/4 × 0.50); нарезка одного CPU — нет (67.6→37.1). IPv6 loopback нужен для честного localhost. Плато Postgres/HAProxy при concurrency 8 не достигнуто; дальше упрётся либо клиент closed-loop, либо max_connections/WAL.