15 KiB
Отчёт — лабораторная 3
- Автор, группа: Щербацевич Владислав Сергеевич БПИ2302
- Целевая оценка; выбранный трек 5: 5, трек 1 (цена масштабирования)
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: контракт курса; FastAPI, Uvicorn, SQLAlchemy, asyncpg, redis, argon2-cffi, greenlet; HAProxy 3.2 (DNS resolvers,
server-template, httpchk); Docker Compose; перенос своей lab2; помощь ИИ при сборке стенда и отчёта. Измерения — вevidence/.
Запуск из чистого clone
Стенд: Docker Desktop, Compose (не Swarm). Публичная точка входа только HAProxy 127.0.0.1:8080 и [::1]:8080. API-порты на хост не публикуются.
Prerequisites: Docker Engine, Python 3.9+ для публичных tests/ (стандартная библиотека). Секреты не коммитятся.
Образы (зафиксированы):
| Роль | Service | Образ |
|---|---|---|
| API | api (scale ≥2) |
сборка из Dockerfile, base python:3.13.16-slim-bookworm@sha256:a1165e272e578941b84abc79e4ab38a0305cd12803a5c4247979ac7655f4d641 |
| Миграции | migrate (one-shot) |
тот же образ, python -m app.migrate |
| PostgreSQL | postgres |
postgres:16.10-bookworm@sha256:38471f330eb885e04de130b768d6db4e10469e2311879c7e5c699f6d2d8a1c74 |
| Сессии | redis |
redis:7.4.6-alpine@sha256:3b73847e72874be07e6657b129a94761662b79bc0f679273757d4218573b2a98 |
| LB | lb |
haproxy:3.2-bookworm@sha256:baecd003ae5c2376e58d04a5b2ffc7d82d30e9bebe2869f76222b819f719dee3 (HAProxy 3.2.3) |
Аппарат (трек 1 переснят 2026-11-20): Windows 10, CPU 12th Gen Intel Core i7-12700H, Docker Desktop Linux engine, NCPU=20, RAM VM ≈15.4 GiB. Лимиты контейнеров — в compose.yaml. Прогрев: health start_period API 20 с + 5 с warmup нагрузки. Абсолютный RPS не сравнивать с прогоном 2026-10-30.
Команды (секреты не печатать):
powershell -ExecutionPolicy Bypass -File scripts\bootstrap.ps1
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --scale api=2
# GET http://127.0.0.1:8080/health/ready → 200
$env:PYTHONUTF8=1
python tests/smoke.py --base-url http://127.0.0.1:8080
python student-tests/level3.py
python student-tests/persistence_hook.py
python student-tests/failover.py
scripts\restore-api.cmd
python student-tests/failover.py
python student-tests/rolling.py
python tests/load.py --duration 20 --concurrency 8 --output evidence/load_ipv4.json
python student-tests/track1.py
docker compose --env-file .env down
# намеренное удаление учебных данных:
docker compose --env-file .env down -v
POSIX: sh scripts/bootstrap.sh, chmod +x scripts/*.sh, make test, make test-failover ACTION_SCRIPT=scripts/stop-one.sh, make test-persistence ACTION_SCRIPT=scripts/restart.sh.
На Windows tests/resilience.py запускает hook через CreateProcess — используйте scripts/stop-one.cmd и scripts/restart.cmd.
Сопоставление .env.example: SESSION_STORE=redis → Redis AOF; DATABASE_URL_FILE / CACHE_URL_FILE → Docker secrets; API_REPLICAS → deploy.replicas и --scale api=; IDEMPOTENCY_TTL_SECONDS=86400; DB_POOL_SIZE / DB_MAX_OVERFLOW → пул SQLAlchemy.
Архитектура и решения
Клиент → HAProxy (roundrobin, без sticky) → api ×2+ → PostgreSQL (пользователи, чаты, сообщения, идемпотентность) и Redis (сессии, AOF appendfsync always, TTL через PXAT).
Перенесено из lab2: REST lab2, Argon2id, Postgres, Redis-сессии, health. Добавлено в lab3:
X-Instance-Id= hostname контейнера API, стабилен на жизнь процесса. Ответ/health/liveна публичном входе формирует HAProxy (X-Instance-Id: load-balancer): это пульс точки входа, не реплика. Разные реплики смотреть на/api/v1/users/meи POST сообщений.Idempotency-Keyобязателен для POST сообщения; областьпользователь + POST + /api/v1/chats/{id}/messages + ключ; сообщение и ключ в одной транзакции; гонка —pg_advisory_xact_lock+ UNIQUE; 5xx не фиксируются.- Миграции один раз контейнером
migrate; у APIRUN_MIGRATIONS=0, ждутschema_migrations. - SIGTERM:
stop_grace_period: 8s, Uvicorntimeout_graceful_shutdown=5, флагaccepting=False(ready → 503). HAProxy httpchk GET /health/ready,inter 1s fall 2→ исключение backend ≈2 с после 503/отказа connect; DNShold valid 2s→ верхняя оценка обнаружения ~4 с. - Почему live на LB, а ready на API: контракт требует, чтобы публичный
/health/liveпроверял жизнь процесса входа, а не зависимость. Недоступный API (ready≠200 или процесс мёртв) из ротации убирается. Общий отказ Redis/Postgres делает все API unready — LB перестаёт слать бизнес-трафик (это отказ хранилища, не «ещё одна реплика»). - Лимиты CPU/RAM; нет
container_name.
/health/live (публично) — процесс HAProxy. /health/ready (через LB на API) — реплика принимает запросы и доступны Postgres и Redis. Grafana нет.
Наблюдаемые процессы после up --scale api=2 (API без host-порта):
NAME STATUS PORTS
mtusi-lab3-api-4 Up (healthy) 8080/tcp
mtusi-lab3-api-5 Up (healthy) 8080/tcp
mtusi-lab3-lb-1 Up (healthy) 127.0.0.1:8080->8080/tcp, [::1]:8080->8080
mtusi-lab3-postgres-1 Up (healthy) 127.0.0.1:5433->5432/tcp
mtusi-lab3-redis-1 Up (healthy) 127.0.0.1:6379->6379/tcp
Полный вывод: evidence/compose-ps.txt. Имена api-N меняются после scale/rolling.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл |
|---|---|---|---|
| Публичный smoke | python tests/smoke.py --base-url http://127.0.0.1:8080 |
PASS: lab3 public API scenario |
evidence/smoke.txt |
≥2 реплики, одна сессия, разные X-Instance-Id |
python student-tests/level3.py |
2 id, 20/20 из 40 проб | evidence/level3.json |
| Идемпотентность, 12 параллельных POST одного ключа | student-tests/level3.py |
12×201, один id, две реплики в заголовках | evidence/level3.json |
| Failover API ≤10 с | python student-tests/failover.py |
recovery 2.464 с; 91 успех / 2 ошибки; 6.07 RPS в окне 15 с | evidence/failover.txt, evidence/sequential_failover.json |
| Повтор после restore | restore-api.cmd + failover.py |
recovery 2.74 с; 90 успехов; 6.00 RPS | evidence/sequential_failover.json |
| Останов второй реплики | docker stop mtusi-lab3-api-2 |
api-2 Exited; пишет api-1; 46/1; 3.83 RPS в окне 12 с | evidence/sequential_stop_api2.json |
| Persistence + тот же token | python student-tests/persistence_hook.py |
PASS | evidence/persistence.txt |
| Ready/timeouts/SIGTERM, LB исключает backend | httpchk /health/ready 1s fall 2; grace 5s |
failover recovery ~2.5 с < 4 с бюджета обнаружения | infra/haproxy.cfg, compose.yaml |
| Нет портов API наружу, лимиты, нет sticky | docker compose ps |
API 8080/tcp без host bind |
evidence/compose-ps.txt |
| Rolling под нагрузкой | python student-tests/rolling.py |
оба id заменены; 1980 ok / 24 err (1.2%) | evidence/rolling.json |
| Миграции однократно | migrate Exited 0 |
001_initial.sql + 002_idempotency.sql |
compose.yaml, migrations/ |
| Трек 1 | python student-tests/track1.py (2026-11-20) |
Свой 0.50 CPU: 1→2→4 = 31.5→55.4→80.7 RPS. Нарезка 1 CPU: 67.6→37.1 | evidence/track1.json, графики ниже |
| Подтверждённое улучшение | bind [::1]:8080 |
localhost |
evidence/load.json, evidence/load_localhost.json |
Эксперименты и отказы
Гипотеза трека 1. Горизонтальное масштабирование (новые копии как отдельные серверы, каждая со своим CPU) увеличивает RPS, пока не упрётесь в БД/LB/пул или в число клиентов. Резать один суммарный CPU на больше контейнеров на одном хосте — не масштабирование: RPS падает.
Методика. Прогон 2026-11-20, closed-loop POST /messages через HAProxy, concurrency 8, warmup 5 с, duration 20 с. Команда: $env:TRACK1_DURATION=20; $env:TRACK1_WARMUP=5; python student-tests/track1.py. Сырьё: evidence/track1.json. Графики пересобраны python scripts/render_track1_svg.py.
| Серия | Реплики | CPU на одну | CPU сумм. | RPS | p50 мс | p95 мс | ошибки |
|---|---|---|---|---|---|---|---|
| свой 1×0.50 | 1 | 0.50 | 0.50 | 31.5 | 191.6 | 404.5 | 0 |
| свой 2×0.50 | 2 | 0.50 | 1.00 | 55.4 | 108.7 | 305.8 | 0 |
| свой 4×0.50 | 4 | 0.50 | 2.00 | 80.7 | 78.1 | 209.9 | 0 |
| свой 1×1.00 | 1 | 1.00 | 1.00 | 69.5 | 89.3 | 190.3 | 0 |
| свой 2×1.00 | 2 | 1.00 | 2.00 | 96.4 | 56.0 | 185.9 | 0 |
| нарезка 1 | 1 | 1.00 | 1.00 | 67.6 | 92.2 | 195.6 | 0 |
| нарезка 2 | 2 | 0.50 | 1.00 | 51.3 | 110.2 | 299.4 | 0 |
| нарезка 4 | 4 | 0.25 | 1.00 | 37.1 | 114.7 | 532.5 | 0 |
| grow 2×0.25 | 2 | 0.25 | 0.50 | 26.1 | 277.9 | 600.6 | 0 |
| grow 2×0.50 | 2 | 0.50 | 1.00 | 56.2 | 106.0 | 295.3 | 0 |
| grow 2×1.00 | 2 | 1.00 | 2.00 | 119.0 | 50.3 | 126.5 | 0 |
Добавление копий со своим 0.50 CPU: 31.5 → 55.4 → 80.7 RPS (×1.76, затем ×1.46). p50 падает 192 → 79 мс. Это и есть «больше серверов — быстрее». Рост не линейный ×4: у closed-loop всего 8 клиентов, четвёртая реплика уже не всегда занята; Postgres в кадре stats до ~8%, HAProxy <1% — классического плато БД/LB нет.
Контраст README (тот же 1.0 CPU на всех): 67.6 → 51.3 → 37.1. Новым копиям ядро не дали — толку нет.
Двум репликам добавили CPU: 26 → 56 → 119, почти линейно — запас по складу ещё был. Пул 10+10 на реплику при 4 копиях до 80 соединений, max_connections 100, ошибок 0.
Подтверждённое улучшение. Только 127.0.0.1:8080 ломало http://localhost:8080 на Windows (::1, ~2 с/запрос, 1.94 RPS, p50 2022 мс, concurrency 4, 30 с). Добавлен [::1]:8080. Повтор concurrency 8, 15 с: localhost 87.6 RPS (p50 75 мс), 127.0.0.1 94.7 RPS (p50 80 мс), 0 ошибок. Это транспорт входа, не «ещё реплик»; без него closed-loop измерения трека 1 были бы искажены.
Поочерёдный отказ каждой API-реплики (уровень 4):
| Воздействие | Окно | RPS успехов | Ошибки | Recovery | Данные |
|---|---|---|---|---|---|
stop-one → api-1 |
15 с | 6.07 | 2 / 93 (2.2%) | 2.46 с | история без дублей, сессия жива |
| повтор после restore | 15 с | 6.00 | 2 / 92 | 2.74 с | то же |
docker stop api-2 |
12 с | 3.83 | 1 / 47 (2.1%) | 0.03 с | пишет только api-1 |
| rolling обоих API | ~39 с | ~50.8 | 24 / 2004 (1.2%) | поочерёдная замена | новые container id |
compose restart postgres+redis+api+lb |
hook ≤90 с | — | 0 после ready | токен тот же | volumes на месте |
| отказ host / LB / Postgres / Redis | не заявлены | — | — | — | SPOF |
RPS отказа ниже трека 1: другой клиент (timeout 2–5 с, повторы того же ключа, пауза 0.1 с), не 8 потоков на 20 с. Сравнивать с 80 RPS серии scale-out нельзя.
Ограничения и следующие шаги
Выдерживается отказ одного процесса API на одном Docker-host. Не выдерживаются: VM/хост, HAProxy, PostgreSQL, Redis. Две реплики API не делают БД высокодоступной. Трек 2 (мультиузел) не делался.
Учебные упрощения: HTTP без TLS; Basic только на логин; идемпотентность только у POST сообщения; публичный live отвечает LB. tests/load.py — closed-loop.
Подтверждено (прогон 2026-11-20): копии со своим CPU ускоряют (31.5→80.7 при 1/2/4 × 0.50); нарезка одного CPU — нет (67.6→37.1). IPv6 loopback нужен для честного localhost. Плато Postgres/HAProxy при concurrency 8 не достигнуто; дальше упрётся либо клиент closed-loop, либо max_connections/WAL.