forked from mtusi2026/mtusi2026lab3
145 lines
14 KiB
Markdown
145 lines
14 KiB
Markdown
# Отчёт — лабораторная 3
|
||
|
||
- Автор, группа: Щербацевич Владислав Сергеевич БПИ2302
|
||
- Целевая оценка; выбранный трек 5: **5, трек 1 (цена масштабирования)**
|
||
- Commit/PR: TODO после публикации
|
||
- Использованные источники, библиотеки и помощь ИИ: контракт курса; FastAPI, Uvicorn, SQLAlchemy, asyncpg, redis, argon2-cffi, greenlet; HAProxy 3.2 (DNS resolvers, `server-template`, httpchk); Docker Compose; перенос своей lab2; помощь ИИ при сборке стенда и отчёта. Измерения — в `evidence/`.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
**Стенд:** Docker Desktop, Compose (не Swarm). Публичная точка входа только HAProxy `127.0.0.1:8080` и `[::1]:8080`. API-порты на хост не публикуются.
|
||
|
||
**Prerequisites:** Docker Engine, Python 3.9+ для публичных `tests/` (стандартная библиотека). Секреты не коммитятся.
|
||
|
||
**Образы (зафиксированы):**
|
||
|
||
| Роль | Service | Образ |
|
||
| --- | --- | --- |
|
||
| API | `api` (scale ≥2) | сборка из `Dockerfile`, base `python:3.13.16-slim-bookworm@sha256:a1165e272e578941b84abc79e4ab38a0305cd12803a5c4247979ac7655f4d641` |
|
||
| Миграции | `migrate` (one-shot) | тот же образ, `python -m app.migrate` |
|
||
| PostgreSQL | `postgres` | `postgres:16.10-bookworm@sha256:38471f330eb885e04de130b768d6db4e10469e2311879c7e5c699f6d2d8a1c74` |
|
||
| Сессии | `redis` | `redis:7.4.6-alpine@sha256:3b73847e72874be07e6657b129a94761662b79bc0f679273757d4218573b2a98` |
|
||
| LB | `lb` | `haproxy:3.2-bookworm@sha256:baecd003ae5c2376e58d04a5b2ffc7d82d30e9bebe2869f76222b819f719dee3` (HAProxy 3.2.3) |
|
||
|
||
**Аппарат (измерения 2026-10-30):** Windows 10, CPU `12th Gen Intel Core i7-12700H`, Docker Desktop Linux engine, `NCPU=20`, RAM VM ≈15.4 GiB. Лимиты контейнеров — в `compose.yaml`. Прогрев: health `start_period` API 20 с + 5 с warmup нагрузки.
|
||
|
||
**Команды (секреты не печатать):**
|
||
|
||
```powershell
|
||
powershell -ExecutionPolicy Bypass -File scripts\bootstrap.ps1
|
||
docker compose --env-file .env config --quiet
|
||
docker compose --env-file .env up -d --build --wait --scale api=2
|
||
# GET http://127.0.0.1:8080/health/ready → 200
|
||
|
||
$env:PYTHONUTF8=1
|
||
python tests/smoke.py --base-url http://127.0.0.1:8080
|
||
python student-tests/level3.py
|
||
python student-tests/persistence_hook.py
|
||
python student-tests/failover.py
|
||
scripts\restore-api.cmd
|
||
python student-tests/failover.py
|
||
python student-tests/rolling.py
|
||
python tests/load.py --duration 20 --concurrency 8 --output evidence/load_ipv4.json
|
||
python student-tests/track1.py
|
||
|
||
docker compose --env-file .env down
|
||
# намеренное удаление учебных данных:
|
||
docker compose --env-file .env down -v
|
||
```
|
||
|
||
POSIX: `sh scripts/bootstrap.sh`, `chmod +x scripts/*.sh`, `make test`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`.
|
||
|
||
На Windows `tests/resilience.py` запускает hook через `CreateProcess` — используйте `scripts/stop-one.cmd` и `scripts/restart.cmd`.
|
||
|
||
Сопоставление `.env.example`: `SESSION_STORE=redis` → Redis AOF; `DATABASE_URL_FILE` / `CACHE_URL_FILE` → Docker secrets; `API_REPLICAS` → `deploy.replicas` и `--scale api=`; `IDEMPOTENCY_TTL_SECONDS=86400`; `DB_POOL_SIZE` / `DB_MAX_OVERFLOW` → пул SQLAlchemy.
|
||
|
||
## Архитектура и решения
|
||
|
||
Клиент → HAProxy (`roundrobin`, без sticky) → `api` ×2+ → PostgreSQL (пользователи, чаты, сообщения, идемпотентность) и Redis (сессии, AOF `appendfsync always`, TTL через `PXAT`).
|
||
|
||
Перенесено из lab2: REST lab2, Argon2id, Postgres, Redis-сессии, health. Добавлено в lab3:
|
||
|
||
- `X-Instance-Id` = hostname контейнера API, стабилен на жизнь процесса. Ответ `/health/live` на публичном входе формирует HAProxy (`X-Instance-Id: load-balancer`): это пульс точки входа, не реплика. Разные реплики смотреть на `/api/v1/users/me` и POST сообщений.
|
||
- `Idempotency-Key` обязателен для POST сообщения; область `пользователь + POST + /api/v1/chats/{id}/messages + ключ`; сообщение и ключ в одной транзакции; гонка — `pg_advisory_xact_lock` + UNIQUE; 5xx не фиксируются.
|
||
- Миграции один раз контейнером `migrate`; у API `RUN_MIGRATIONS=0`, ждут `schema_migrations`.
|
||
- SIGTERM: `stop_grace_period: 8s`, Uvicorn `timeout_graceful_shutdown=5`, флаг `accepting=False` (ready → 503). HAProxy httpchk **GET /health/ready**, `inter 1s fall 2` → исключение backend ≈2 с после 503/отказа connect; DNS `hold valid 2s` → верхняя оценка обнаружения **~4 с**.
|
||
- Почему live на LB, а ready на API: контракт требует, чтобы публичный `/health/live` проверял жизнь процесса входа, а не зависимость. Недоступный API (ready≠200 или процесс мёртв) из ротации убирается. Общий отказ Redis/Postgres делает **все** API unready — LB перестаёт слать бизнес-трафик (это отказ хранилища, не «ещё одна реплика»).
|
||
- Лимиты CPU/RAM; нет `container_name`.
|
||
|
||
`/health/live` (публично) — процесс HAProxy. `/health/ready` (через LB на API) — реплика принимает запросы и доступны Postgres и Redis. Grafana нет.
|
||
|
||
Наблюдаемые процессы после `up --scale api=2` (API без host-порта):
|
||
|
||
```
|
||
NAME STATUS PORTS
|
||
mtusi-lab3-api-4 Up (healthy) 8080/tcp
|
||
mtusi-lab3-api-5 Up (healthy) 8080/tcp
|
||
mtusi-lab3-lb-1 Up (healthy) 127.0.0.1:8080->8080/tcp, [::1]:8080->8080
|
||
mtusi-lab3-postgres-1 Up (healthy) 127.0.0.1:5433->5432/tcp
|
||
mtusi-lab3-redis-1 Up (healthy) 127.0.0.1:6379->6379/tcp
|
||
```
|
||
|
||
Полный вывод: `evidence/compose-ps.txt`. Имена `api-N` меняются после scale/rolling.
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | `python tests/smoke.py --base-url http://127.0.0.1:8080` | `PASS: lab3 public API scenario` | `evidence/smoke.txt` |
|
||
| ≥2 реплики, одна сессия, разные `X-Instance-Id` | `python student-tests/level3.py` | 2 id, 20/20 из 40 проб | `evidence/level3.json` |
|
||
| Идемпотентность, 12 параллельных POST одного ключа | `student-tests/level3.py` | 12×201, один id, две реплики в заголовках | `evidence/level3.json` |
|
||
| Failover API ≤10 с | `python student-tests/failover.py` | recovery 2.464 с; 91 успех / 2 ошибки; 6.07 RPS в окне 15 с | `evidence/failover.txt`, `evidence/sequential_failover.json` |
|
||
| Повтор после restore | `restore-api.cmd` + `failover.py` | recovery 2.74 с; 90 успехов; 6.00 RPS | `evidence/sequential_failover.json` |
|
||
| Останов **второй** реплики | `docker stop mtusi-lab3-api-2` | api-2 Exited; пишет api-1; 46/1; 3.83 RPS в окне 12 с | `evidence/sequential_stop_api2.json` |
|
||
| Persistence + тот же token | `python student-tests/persistence_hook.py` | PASS | `evidence/persistence.txt` |
|
||
| Ready/timeouts/SIGTERM, LB исключает backend | httpchk `/health/ready` 1s fall 2; grace 5s | failover recovery ~2.5 с < 4 с бюджета обнаружения | `infra/haproxy.cfg`, `compose.yaml` |
|
||
| Нет портов API наружу, лимиты, нет sticky | `docker compose ps` | API `8080/tcp` без host bind | `evidence/compose-ps.txt` |
|
||
| Rolling под нагрузкой | `python student-tests/rolling.py` | оба id заменены; 1980 ok / 24 err (1.2%) | `evidence/rolling.json` |
|
||
| Миграции однократно | `migrate` Exited 0 | `001_initial.sql` + `002_idempotency.sql` | `compose.yaml`, `migrations/` |
|
||
| Трек 1 | `python student-tests/track1.py` | 1→2→4 реплик при 1 CPU: 128→107→69 RPS; рост CPU линеен | `evidence/track1.json`, графики ниже |
|
||
| Подтверждённое улучшение | bind `[::1]:8080` | localhost ~1.9 RPS / p50~2s → 87.6 RPS / p50 75 мс | `evidence/load.json`, `evidence/load_localhost.json` |
|
||
|
||
## Эксперименты и отказы
|
||
|
||
**Гипотеза трека 1.** При фиксированном суммарном CPU/RAM добавление API-реплик перестаёт помогать (и снижает RPS), когда узкое место — CPU процессов API, а не PostgreSQL/HAProxy.
|
||
|
||
**Методика.** Closed-loop POST `/messages` через HAProxy, concurrency 8, warmup 5 с, duration 20 с, клиент `urllib` (coordinated omission есть). Серия A: суммарно 1.0 CPU и 512 MiB на все API (1×1.0/512, 2×0.50/256, 4×0.25/128). Серия B: 2 реплики, рост бюджета (2×0.25, 2×0.50, 2×1.00). Повтор того же профиля. Сырьё: `evidence/track1.json`.
|
||
|
||

|
||
|
||

|
||
|
||
| Серия | Реплики | CPU сумм. | RAM MiB | RPS | p50 мс | p95 мс | p99 мс | ошибки |
|
||
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
|
||
| fixed-1 | 1 | 1.00 | 512 | **128.1** | 51.9 | 108.6 | 156.4 | 0 |
|
||
| fixed-2 | 2 | 1.00 | 512 | 107.5 | 71.6 | 189.1 | 245.5 | 0 |
|
||
| fixed-4 | 4 | 1.00 | 512 | 69.3 | 94.8 | 293.0 | 400.0 | 0 |
|
||
| grow-2×0.25 | 2 | 0.50 | 256 | 49.1 | 111.0 | 302.8 | 399.2 | 0 |
|
||
| grow-2×0.50 | 2 | 1.00 | 512 | 105.5 | 76.0 | 184.4 | 212.5 | 0 |
|
||
| grow-2×1.00 | 2 | 2.00 | 1024 | **221.0** | 29.3 | 83.0 | 105.9 | 0 |
|
||
|
||
`docker stats` на fixed-1: API ~14% от лимита 1 CPU, postgres ~0.06%, HAProxy ~0.09%. PostgreSQL и LB на этом профиле **не** насыщены. Saturation point — **нарезка CPU API**: при том же ватте 4 реплики медленнее одной. При росте CPU RPS почти линеен (49 → 105 → 221) — база ещё не упёрлась. Пул `10+10` на реплику при 4 репликах даёт до 80 соединений при `max_connections` Postgres по умолчанию 100: пул не был ограничителем (0 ошибок, postgres CPU ≈0%).
|
||
|
||
**Подтверждённое улучшение.** Только `127.0.0.1:8080` ломало `http://localhost:8080` на Windows (`::1`, ~2 с/запрос, 1.94 RPS, p50 2022 мс, concurrency 4, 30 с). Добавлен `[::1]:8080`. Повтор concurrency 8, 15 с: localhost **87.6 RPS** (p50 75 мс), 127.0.0.1 **94.7 RPS** (p50 80 мс), 0 ошибок. Это транспорт входа, не «ещё реплик»; без него closed-loop измерения трека 1 были бы искажены.
|
||
|
||
**Поочерёдный отказ каждой API-реплики (уровень 4):**
|
||
|
||
| Воздействие | Окно | RPS успехов | Ошибки | Recovery | Данные |
|
||
| --- | --- | --- | --- | --- | --- |
|
||
| `stop-one` → api-1 | 15 с | 6.07 | 2 / 93 (2.2%) | 2.46 с | история без дублей, сессия жива |
|
||
| повтор после restore | 15 с | 6.00 | 2 / 92 | 2.74 с | то же |
|
||
| `docker stop` api-2 | 12 с | 3.83 | 1 / 47 (2.1%) | 0.03 с | пишет только api-1 |
|
||
| rolling обоих API | ~39 с | ~50.8 | 24 / 2004 (1.2%) | поочерёдная замена | новые container id |
|
||
| `compose restart` postgres+redis+api+lb | hook ≤90 с | — | 0 после ready | токен тот же | volumes на месте |
|
||
| отказ host / LB / Postgres / Redis | не заявлены | — | — | — | SPOF |
|
||
|
||
RPS отказа ниже трека 1: другой клиент (timeout 2–5 с, повторы того же ключа, пауза 0.1 с), не 8 потоков на 20 с. Сравнивать с 128 RPS нельзя.
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
Выдерживается отказ **одного процесса API** на одном Docker-host. Не выдерживаются: VM/хост, HAProxy, PostgreSQL, Redis. Две реплики API не делают БД высокодоступной. Трек 2 (мультиузел) не делался.
|
||
|
||
Учебные упрощения: HTTP без TLS; Basic только на логин; идемпотентность только у POST сообщения; публичный live отвечает LB. `tests/load.py` — closed-loop.
|
||
|
||
Подтверждено: лишние реплики при фиксированном CPU вредят; IPv6 loopback нужен для честного `localhost`. Гипотеза на будущее: тяжёлый профиль упрётся в `max_connections`/WAL — здесь не достигнуто.
|