14 KiB
Отчёт — лабораторная 3
- Автор, группа: Щербацевич Владислав Сергеевич БПИ2302
- Целевая оценка; выбранный трек 5: 5, трек 1 (цена масштабирования)
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: контракт курса; FastAPI, Uvicorn, SQLAlchemy, asyncpg, redis, argon2-cffi, greenlet; HAProxy 3.2 (DNS resolvers,
server-template, httpchk); Docker Compose; перенос своей lab2; помощь ИИ при сборке стенда и отчёта. Измерения — вevidence/.
Запуск из чистого clone
Стенд: Docker Desktop, Compose (не Swarm). Публичная точка входа только HAProxy 127.0.0.1:8080 и [::1]:8080. API-порты на хост не публикуются.
Prerequisites: Docker Engine, Python 3.9+ для публичных tests/ (стандартная библиотека). Секреты не коммитятся.
Образы (зафиксированы):
| Роль | Service | Образ |
|---|---|---|
| API | api (scale ≥2) |
сборка из Dockerfile, base python:3.13.16-slim-bookworm@sha256:a1165e272e578941b84abc79e4ab38a0305cd12803a5c4247979ac7655f4d641 |
| Миграции | migrate (one-shot) |
тот же образ, python -m app.migrate |
| PostgreSQL | postgres |
postgres:16.10-bookworm@sha256:38471f330eb885e04de130b768d6db4e10469e2311879c7e5c699f6d2d8a1c74 |
| Сессии | redis |
redis:7.4.6-alpine@sha256:3b73847e72874be07e6657b129a94761662b79bc0f679273757d4218573b2a98 |
| LB | lb |
haproxy:3.2-bookworm@sha256:baecd003ae5c2376e58d04a5b2ffc7d82d30e9bebe2869f76222b819f719dee3 (HAProxy 3.2.3) |
Аппарат (измерения 2026-10-30): Windows 10, CPU 12th Gen Intel Core i7-12700H, Docker Desktop Linux engine, NCPU=20, RAM VM ≈15.4 GiB. Лимиты контейнеров — в compose.yaml. Прогрев: health start_period API 20 с + 5 с warmup нагрузки.
Команды (секреты не печатать):
powershell -ExecutionPolicy Bypass -File scripts\bootstrap.ps1
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --scale api=2
# GET http://127.0.0.1:8080/health/ready → 200
$env:PYTHONUTF8=1
python tests/smoke.py --base-url http://127.0.0.1:8080
python student-tests/level3.py
python student-tests/persistence_hook.py
python student-tests/failover.py
scripts\restore-api.cmd
python student-tests/failover.py
python student-tests/rolling.py
python tests/load.py --duration 20 --concurrency 8 --output evidence/load_ipv4.json
python student-tests/track1.py
docker compose --env-file .env down
# намеренное удаление учебных данных:
docker compose --env-file .env down -v
POSIX: sh scripts/bootstrap.sh, chmod +x scripts/*.sh, make test, make test-failover ACTION_SCRIPT=scripts/stop-one.sh, make test-persistence ACTION_SCRIPT=scripts/restart.sh.
На Windows tests/resilience.py запускает hook через CreateProcess — используйте scripts/stop-one.cmd и scripts/restart.cmd.
Сопоставление .env.example: SESSION_STORE=redis → Redis AOF; DATABASE_URL_FILE / CACHE_URL_FILE → Docker secrets; API_REPLICAS → deploy.replicas и --scale api=; IDEMPOTENCY_TTL_SECONDS=86400; DB_POOL_SIZE / DB_MAX_OVERFLOW → пул SQLAlchemy.
Архитектура и решения
Клиент → HAProxy (roundrobin, без sticky) → api ×2+ → PostgreSQL (пользователи, чаты, сообщения, идемпотентность) и Redis (сессии, AOF appendfsync always, TTL через PXAT).
Перенесено из lab2: REST lab2, Argon2id, Postgres, Redis-сессии, health. Добавлено в lab3:
X-Instance-Id= hostname контейнера API, стабилен на жизнь процесса. Ответ/health/liveна публичном входе формирует HAProxy (X-Instance-Id: load-balancer): это пульс точки входа, не реплика. Разные реплики смотреть на/api/v1/users/meи POST сообщений.Idempotency-Keyобязателен для POST сообщения; областьпользователь + POST + /api/v1/chats/{id}/messages + ключ; сообщение и ключ в одной транзакции; гонка —pg_advisory_xact_lock+ UNIQUE; 5xx не фиксируются.- Миграции один раз контейнером
migrate; у APIRUN_MIGRATIONS=0, ждутschema_migrations. - SIGTERM:
stop_grace_period: 8s, Uvicorntimeout_graceful_shutdown=5, флагaccepting=False(ready → 503). HAProxy httpchk GET /health/ready,inter 1s fall 2→ исключение backend ≈2 с после 503/отказа connect; DNShold valid 2s→ верхняя оценка обнаружения ~4 с. - Почему live на LB, а ready на API: контракт требует, чтобы публичный
/health/liveпроверял жизнь процесса входа, а не зависимость. Недоступный API (ready≠200 или процесс мёртв) из ротации убирается. Общий отказ Redis/Postgres делает все API unready — LB перестаёт слать бизнес-трафик (это отказ хранилища, не «ещё одна реплика»). - Лимиты CPU/RAM; нет
container_name.
/health/live (публично) — процесс HAProxy. /health/ready (через LB на API) — реплика принимает запросы и доступны Postgres и Redis. Grafana нет.
Наблюдаемые процессы после up --scale api=2 (API без host-порта):
NAME STATUS PORTS
mtusi-lab3-api-4 Up (healthy) 8080/tcp
mtusi-lab3-api-5 Up (healthy) 8080/tcp
mtusi-lab3-lb-1 Up (healthy) 127.0.0.1:8080->8080/tcp, [::1]:8080->8080
mtusi-lab3-postgres-1 Up (healthy) 127.0.0.1:5433->5432/tcp
mtusi-lab3-redis-1 Up (healthy) 127.0.0.1:6379->6379/tcp
Полный вывод: evidence/compose-ps.txt. Имена api-N меняются после scale/rolling.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл |
|---|---|---|---|
| Публичный smoke | python tests/smoke.py --base-url http://127.0.0.1:8080 |
PASS: lab3 public API scenario |
evidence/smoke.txt |
≥2 реплики, одна сессия, разные X-Instance-Id |
python student-tests/level3.py |
2 id, 20/20 из 40 проб | evidence/level3.json |
| Идемпотентность, 12 параллельных POST одного ключа | student-tests/level3.py |
12×201, один id, две реплики в заголовках | evidence/level3.json |
| Failover API ≤10 с | python student-tests/failover.py |
recovery 2.464 с; 91 успех / 2 ошибки; 6.07 RPS в окне 15 с | evidence/failover.txt, evidence/sequential_failover.json |
| Повтор после restore | restore-api.cmd + failover.py |
recovery 2.74 с; 90 успехов; 6.00 RPS | evidence/sequential_failover.json |
| Останов второй реплики | docker stop mtusi-lab3-api-2 |
api-2 Exited; пишет api-1; 46/1; 3.83 RPS в окне 12 с | evidence/sequential_stop_api2.json |
| Persistence + тот же token | python student-tests/persistence_hook.py |
PASS | evidence/persistence.txt |
| Ready/timeouts/SIGTERM, LB исключает backend | httpchk /health/ready 1s fall 2; grace 5s |
failover recovery ~2.5 с < 4 с бюджета обнаружения | infra/haproxy.cfg, compose.yaml |
| Нет портов API наружу, лимиты, нет sticky | docker compose ps |
API 8080/tcp без host bind |
evidence/compose-ps.txt |
| Rolling под нагрузкой | python student-tests/rolling.py |
оба id заменены; 1980 ok / 24 err (1.2%) | evidence/rolling.json |
| Миграции однократно | migrate Exited 0 |
001_initial.sql + 002_idempotency.sql |
compose.yaml, migrations/ |
| Трек 1 | python student-tests/track1.py |
1→2→4 реплик при 1 CPU: 128→107→69 RPS; рост CPU линеен | evidence/track1.json, графики ниже |
| Подтверждённое улучшение | bind [::1]:8080 |
localhost |
evidence/load.json, evidence/load_localhost.json |
Эксперименты и отказы
Гипотеза трека 1. При фиксированном суммарном CPU/RAM добавление API-реплик перестаёт помогать (и снижает RPS), когда узкое место — CPU процессов API, а не PostgreSQL/HAProxy.
Методика. Closed-loop POST /messages через HAProxy, concurrency 8, warmup 5 с, duration 20 с, клиент urllib (coordinated omission есть). Серия A: суммарно 1.0 CPU и 512 MiB на все API (1×1.0/512, 2×0.50/256, 4×0.25/128). Серия B: 2 реплики, рост бюджета (2×0.25, 2×0.50, 2×1.00). Повтор того же профиля. Сырьё: evidence/track1.json.
| Серия | Реплики | CPU сумм. | RAM MiB | RPS | p50 мс | p95 мс | p99 мс | ошибки |
|---|---|---|---|---|---|---|---|---|
| fixed-1 | 1 | 1.00 | 512 | 128.1 | 51.9 | 108.6 | 156.4 | 0 |
| fixed-2 | 2 | 1.00 | 512 | 107.5 | 71.6 | 189.1 | 245.5 | 0 |
| fixed-4 | 4 | 1.00 | 512 | 69.3 | 94.8 | 293.0 | 400.0 | 0 |
| grow-2×0.25 | 2 | 0.50 | 256 | 49.1 | 111.0 | 302.8 | 399.2 | 0 |
| grow-2×0.50 | 2 | 1.00 | 512 | 105.5 | 76.0 | 184.4 | 212.5 | 0 |
| grow-2×1.00 | 2 | 2.00 | 1024 | 221.0 | 29.3 | 83.0 | 105.9 | 0 |
docker stats на fixed-1: API ~14% от лимита 1 CPU, postgres ~0.06%, HAProxy ~0.09%. PostgreSQL и LB на этом профиле не насыщены. Saturation point — нарезка CPU API: при том же ватте 4 реплики медленнее одной. При росте CPU RPS почти линеен (49 → 105 → 221) — база ещё не упёрлась. Пул 10+10 на реплику при 4 репликах даёт до 80 соединений при max_connections Postgres по умолчанию 100: пул не был ограничителем (0 ошибок, postgres CPU ≈0%).
Подтверждённое улучшение. Только 127.0.0.1:8080 ломало http://localhost:8080 на Windows (::1, ~2 с/запрос, 1.94 RPS, p50 2022 мс, concurrency 4, 30 с). Добавлен [::1]:8080. Повтор concurrency 8, 15 с: localhost 87.6 RPS (p50 75 мс), 127.0.0.1 94.7 RPS (p50 80 мс), 0 ошибок. Это транспорт входа, не «ещё реплик»; без него closed-loop измерения трека 1 были бы искажены.
Поочерёдный отказ каждой API-реплики (уровень 4):
| Воздействие | Окно | RPS успехов | Ошибки | Recovery | Данные |
|---|---|---|---|---|---|
stop-one → api-1 |
15 с | 6.07 | 2 / 93 (2.2%) | 2.46 с | история без дублей, сессия жива |
| повтор после restore | 15 с | 6.00 | 2 / 92 | 2.74 с | то же |
docker stop api-2 |
12 с | 3.83 | 1 / 47 (2.1%) | 0.03 с | пишет только api-1 |
| rolling обоих API | ~39 с | ~50.8 | 24 / 2004 (1.2%) | поочерёдная замена | новые container id |
compose restart postgres+redis+api+lb |
hook ≤90 с | — | 0 после ready | токен тот же | volumes на месте |
| отказ host / LB / Postgres / Redis | не заявлены | — | — | — | SPOF |
RPS отказа ниже трека 1: другой клиент (timeout 2–5 с, повторы того же ключа, пауза 0.1 с), не 8 потоков на 20 с. Сравнивать с 128 RPS нельзя.
Ограничения и следующие шаги
Выдерживается отказ одного процесса API на одном Docker-host. Не выдерживаются: VM/хост, HAProxy, PostgreSQL, Redis. Две реплики API не делают БД высокодоступной. Трек 2 (мультиузел) не делался.
Учебные упрощения: HTTP без TLS; Basic только на логин; идемпотентность только у POST сообщения; публичный live отвечает LB. tests/load.py — closed-loop.
Подтверждено: лишние реплики при фиксированном CPU вредят; IPv6 loopback нужен для честного localhost. Гипотеза на будущее: тяжёлый профиль упрётся в max_connections/WAL — здесь не достигнуто.