forked from mtusi2026/mtusi2026lab3
156 lines
15 KiB
Markdown
156 lines
15 KiB
Markdown
# Отчёт — лабораторная 3
|
||
|
||
- Автор, группа: Щербацевич Владислав Сергеевич БПИ2302
|
||
- Целевая оценка; выбранный трек 5: **5, трек 1 (цена масштабирования)**
|
||
- Commit/PR: TODO после публикации
|
||
- Использованные источники, библиотеки и помощь ИИ: контракт курса; FastAPI, Uvicorn, SQLAlchemy, asyncpg, redis, argon2-cffi, greenlet; HAProxy 3.2 (DNS resolvers, `server-template`, httpchk); Docker Compose; перенос своей lab2; помощь ИИ при сборке стенда и отчёта. Измерения — в `evidence/`.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
**Стенд:** Docker Desktop, Compose (не Swarm). Публичная точка входа только HAProxy `127.0.0.1:8080` и `[::1]:8080`. API-порты на хост не публикуются.
|
||
|
||
**Prerequisites:** Docker Engine, Python 3.9+ для публичных `tests/` (стандартная библиотека). Секреты не коммитятся.
|
||
|
||
**Образы (зафиксированы):**
|
||
|
||
| Роль | Service | Образ |
|
||
| --- | --- | --- |
|
||
| API | `api` (scale ≥2) | сборка из `Dockerfile`, base `python:3.13.16-slim-bookworm@sha256:a1165e272e578941b84abc79e4ab38a0305cd12803a5c4247979ac7655f4d641` |
|
||
| Миграции | `migrate` (one-shot) | тот же образ, `python -m app.migrate` |
|
||
| PostgreSQL | `postgres` | `postgres:16.10-bookworm@sha256:38471f330eb885e04de130b768d6db4e10469e2311879c7e5c699f6d2d8a1c74` |
|
||
| Сессии | `redis` | `redis:7.4.6-alpine@sha256:3b73847e72874be07e6657b129a94761662b79bc0f679273757d4218573b2a98` |
|
||
| LB | `lb` | `haproxy:3.2-bookworm@sha256:baecd003ae5c2376e58d04a5b2ffc7d82d30e9bebe2869f76222b819f719dee3` (HAProxy 3.2.3) |
|
||
|
||
**Аппарат (трек 1 переснят 2026-11-20):** Windows 10, CPU `12th Gen Intel Core i7-12700H`, Docker Desktop Linux engine, `NCPU=20`, RAM VM ≈15.4 GiB. Лимиты контейнеров — в `compose.yaml`. Прогрев: health `start_period` API 20 с + 5 с warmup нагрузки. Абсолютный RPS не сравнивать с прогоном 2026-10-30.
|
||
|
||
**Команды (секреты не печатать):**
|
||
|
||
```powershell
|
||
powershell -ExecutionPolicy Bypass -File scripts\bootstrap.ps1
|
||
docker compose --env-file .env config --quiet
|
||
docker compose --env-file .env up -d --build --wait --scale api=2
|
||
# GET http://127.0.0.1:8080/health/ready → 200
|
||
|
||
$env:PYTHONUTF8=1
|
||
python tests/smoke.py --base-url http://127.0.0.1:8080
|
||
python student-tests/level3.py
|
||
python student-tests/persistence_hook.py
|
||
python student-tests/failover.py
|
||
scripts\restore-api.cmd
|
||
python student-tests/failover.py
|
||
python student-tests/rolling.py
|
||
python tests/load.py --duration 20 --concurrency 8 --output evidence/load_ipv4.json
|
||
python student-tests/track1.py
|
||
|
||
docker compose --env-file .env down
|
||
# намеренное удаление учебных данных:
|
||
docker compose --env-file .env down -v
|
||
```
|
||
|
||
POSIX: `sh scripts/bootstrap.sh`, `chmod +x scripts/*.sh`, `make test`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`.
|
||
|
||
На Windows `tests/resilience.py` запускает hook через `CreateProcess` — используйте `scripts/stop-one.cmd` и `scripts/restart.cmd`.
|
||
|
||
Сопоставление `.env.example`: `SESSION_STORE=redis` → Redis AOF; `DATABASE_URL_FILE` / `CACHE_URL_FILE` → Docker secrets; `API_REPLICAS` → `deploy.replicas` и `--scale api=`; `IDEMPOTENCY_TTL_SECONDS=86400`; `DB_POOL_SIZE` / `DB_MAX_OVERFLOW` → пул SQLAlchemy.
|
||
|
||
## Архитектура и решения
|
||
|
||
Клиент → HAProxy (`roundrobin`, без sticky) → `api` ×2+ → PostgreSQL (пользователи, чаты, сообщения, идемпотентность) и Redis (сессии, AOF `appendfsync always`, TTL через `PXAT`).
|
||
|
||
Перенесено из lab2: REST lab2, Argon2id, Postgres, Redis-сессии, health. Добавлено в lab3:
|
||
|
||
- `X-Instance-Id` = hostname контейнера API, стабилен на жизнь процесса. Ответ `/health/live` на публичном входе формирует HAProxy (`X-Instance-Id: load-balancer`): это пульс точки входа, не реплика. Разные реплики смотреть на `/api/v1/users/me` и POST сообщений.
|
||
- `Idempotency-Key` обязателен для POST сообщения; область `пользователь + POST + /api/v1/chats/{id}/messages + ключ`; сообщение и ключ в одной транзакции; гонка — `pg_advisory_xact_lock` + UNIQUE; 5xx не фиксируются.
|
||
- Миграции один раз контейнером `migrate`; у API `RUN_MIGRATIONS=0`, ждут `schema_migrations`.
|
||
- SIGTERM: `stop_grace_period: 8s`, Uvicorn `timeout_graceful_shutdown=5`, флаг `accepting=False` (ready → 503). HAProxy httpchk **GET /health/ready**, `inter 1s fall 2` → исключение backend ≈2 с после 503/отказа connect; DNS `hold valid 2s` → верхняя оценка обнаружения **~4 с**.
|
||
- Почему live на LB, а ready на API: контракт требует, чтобы публичный `/health/live` проверял жизнь процесса входа, а не зависимость. Недоступный API (ready≠200 или процесс мёртв) из ротации убирается. Общий отказ Redis/Postgres делает **все** API unready — LB перестаёт слать бизнес-трафик (это отказ хранилища, не «ещё одна реплика»).
|
||
- Лимиты CPU/RAM; нет `container_name`.
|
||
|
||
`/health/live` (публично) — процесс HAProxy. `/health/ready` (через LB на API) — реплика принимает запросы и доступны Postgres и Redis. Grafana нет.
|
||
|
||
Наблюдаемые процессы после `up --scale api=2` (API без host-порта):
|
||
|
||
```
|
||
NAME STATUS PORTS
|
||
mtusi-lab3-api-4 Up (healthy) 8080/tcp
|
||
mtusi-lab3-api-5 Up (healthy) 8080/tcp
|
||
mtusi-lab3-lb-1 Up (healthy) 127.0.0.1:8080->8080/tcp, [::1]:8080->8080
|
||
mtusi-lab3-postgres-1 Up (healthy) 127.0.0.1:5433->5432/tcp
|
||
mtusi-lab3-redis-1 Up (healthy) 127.0.0.1:6379->6379/tcp
|
||
```
|
||
|
||
Полный вывод: `evidence/compose-ps.txt`. Имена `api-N` меняются после scale/rolling.
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | `python tests/smoke.py --base-url http://127.0.0.1:8080` | `PASS: lab3 public API scenario` | `evidence/smoke.txt` |
|
||
| ≥2 реплики, одна сессия, разные `X-Instance-Id` | `python student-tests/level3.py` | 2 id, 20/20 из 40 проб | `evidence/level3.json` |
|
||
| Идемпотентность, 12 параллельных POST одного ключа | `student-tests/level3.py` | 12×201, один id, две реплики в заголовках | `evidence/level3.json` |
|
||
| Failover API ≤10 с | `python student-tests/failover.py` | recovery 2.464 с; 91 успех / 2 ошибки; 6.07 RPS в окне 15 с | `evidence/failover.txt`, `evidence/sequential_failover.json` |
|
||
| Повтор после restore | `restore-api.cmd` + `failover.py` | recovery 2.74 с; 90 успехов; 6.00 RPS | `evidence/sequential_failover.json` |
|
||
| Останов **второй** реплики | `docker stop mtusi-lab3-api-2` | api-2 Exited; пишет api-1; 46/1; 3.83 RPS в окне 12 с | `evidence/sequential_stop_api2.json` |
|
||
| Persistence + тот же token | `python student-tests/persistence_hook.py` | PASS | `evidence/persistence.txt` |
|
||
| Ready/timeouts/SIGTERM, LB исключает backend | httpchk `/health/ready` 1s fall 2; grace 5s | failover recovery ~2.5 с < 4 с бюджета обнаружения | `infra/haproxy.cfg`, `compose.yaml` |
|
||
| Нет портов API наружу, лимиты, нет sticky | `docker compose ps` | API `8080/tcp` без host bind | `evidence/compose-ps.txt` |
|
||
| Rolling под нагрузкой | `python student-tests/rolling.py` | оба id заменены; 1980 ok / 24 err (1.2%) | `evidence/rolling.json` |
|
||
| Миграции однократно | `migrate` Exited 0 | `001_initial.sql` + `002_idempotency.sql` | `compose.yaml`, `migrations/` |
|
||
| Трек 1 | `python student-tests/track1.py` (2026-11-20) | Свой 0.50 CPU: 1→2→4 = **31.5→55.4→80.7 RPS**. Нарезка 1 CPU: 67.6→37.1 | `evidence/track1.json`, графики ниже |
|
||
| Подтверждённое улучшение | bind `[::1]:8080` | localhost ~1.9 RPS / p50~2s → 87.6 RPS / p50 75 мс | `evidence/load.json`, `evidence/load_localhost.json` |
|
||
|
||
## Эксперименты и отказы
|
||
|
||
**Гипотеза трека 1.** Горизонтальное масштабирование (новые копии **как отдельные серверы**, каждая со своим CPU) **увеличивает** RPS, пока не упрётесь в БД/LB/пул или в число клиентов. Резать один суммарный CPU на больше контейнеров на *одном* хосте — не масштабирование: RPS падает.
|
||
|
||
**Методика.** Прогон 2026-11-20, closed-loop POST `/messages` через HAProxy, concurrency 8, warmup 5 с, duration 20 с. Команда: `$env:TRACK1_DURATION=20; $env:TRACK1_WARMUP=5; python student-tests/track1.py`. Сырьё: `evidence/track1.json`. Графики пересобраны `python scripts/render_track1_svg.py`.
|
||
|
||

|
||
|
||

|
||
|
||

|
||
|
||
| Серия | Реплики | CPU на одну | CPU сумм. | RPS | p50 мс | p95 мс | ошибки |
|
||
| --- | --- | --- | --- | --- | --- | --- | --- |
|
||
| **свой 1×0.50** | 1 | 0.50 | 0.50 | 31.5 | 191.6 | 404.5 | 0 |
|
||
| **свой 2×0.50** | 2 | 0.50 | 1.00 | 55.4 | 108.7 | 305.8 | 0 |
|
||
| **свой 4×0.50** | 4 | 0.50 | 2.00 | **80.7** | 78.1 | 209.9 | 0 |
|
||
| свой 1×1.00 | 1 | 1.00 | 1.00 | 69.5 | 89.3 | 190.3 | 0 |
|
||
| свой 2×1.00 | 2 | 1.00 | 2.00 | 96.4 | 56.0 | 185.9 | 0 |
|
||
| нарезка 1 | 1 | 1.00 | 1.00 | 67.6 | 92.2 | 195.6 | 0 |
|
||
| нарезка 2 | 2 | 0.50 | 1.00 | 51.3 | 110.2 | 299.4 | 0 |
|
||
| нарезка 4 | 4 | 0.25 | 1.00 | 37.1 | 114.7 | 532.5 | 0 |
|
||
| grow 2×0.25 | 2 | 0.25 | 0.50 | 26.1 | 277.9 | 600.6 | 0 |
|
||
| grow 2×0.50 | 2 | 0.50 | 1.00 | 56.2 | 106.0 | 295.3 | 0 |
|
||
| grow 2×1.00 | 2 | 1.00 | 2.00 | 119.0 | 50.3 | 126.5 | 0 |
|
||
|
||
Добавление копий **со своим 0.50 CPU**: 31.5 → 55.4 → 80.7 RPS (×1.76, затем ×1.46). p50 падает 192 → 79 мс. Это и есть «больше серверов — быстрее». Рост не линейный ×4: у closed-loop всего 8 клиентов, четвёртая реплика уже не всегда занята; Postgres в кадре stats до ~8%, HAProxy <1% — **классического плато БД/LB нет**.
|
||
|
||
Контраст README (тот же 1.0 CPU на всех): 67.6 → 51.3 → 37.1. Новым копиям ядро не дали — толку нет.
|
||
|
||
Двум репликам добавили CPU: 26 → 56 → 119, почти линейно — запас по складу ещё был. Пул `10+10` на реплику при 4 копиях до 80 соединений, `max_connections` 100, ошибок 0.
|
||
|
||
**Подтверждённое улучшение.** Только `127.0.0.1:8080` ломало `http://localhost:8080` на Windows (`::1`, ~2 с/запрос, 1.94 RPS, p50 2022 мс, concurrency 4, 30 с). Добавлен `[::1]:8080`. Повтор concurrency 8, 15 с: localhost **87.6 RPS** (p50 75 мс), 127.0.0.1 **94.7 RPS** (p50 80 мс), 0 ошибок. Это транспорт входа, не «ещё реплик»; без него closed-loop измерения трека 1 были бы искажены.
|
||
|
||
**Поочерёдный отказ каждой API-реплики (уровень 4):**
|
||
|
||
| Воздействие | Окно | RPS успехов | Ошибки | Recovery | Данные |
|
||
| --- | --- | --- | --- | --- | --- |
|
||
| `stop-one` → api-1 | 15 с | 6.07 | 2 / 93 (2.2%) | 2.46 с | история без дублей, сессия жива |
|
||
| повтор после restore | 15 с | 6.00 | 2 / 92 | 2.74 с | то же |
|
||
| `docker stop` api-2 | 12 с | 3.83 | 1 / 47 (2.1%) | 0.03 с | пишет только api-1 |
|
||
| rolling обоих API | ~39 с | ~50.8 | 24 / 2004 (1.2%) | поочерёдная замена | новые container id |
|
||
| `compose restart` postgres+redis+api+lb | hook ≤90 с | — | 0 после ready | токен тот же | volumes на месте |
|
||
| отказ host / LB / Postgres / Redis | не заявлены | — | — | — | SPOF |
|
||
|
||
RPS отказа ниже трека 1: другой клиент (timeout 2–5 с, повторы того же ключа, пауза 0.1 с), не 8 потоков на 20 с. Сравнивать с 80 RPS серии scale-out нельзя.
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
Выдерживается отказ **одного процесса API** на одном Docker-host. Не выдерживаются: VM/хост, HAProxy, PostgreSQL, Redis. Две реплики API не делают БД высокодоступной. Трек 2 (мультиузел) не делался.
|
||
|
||
Учебные упрощения: HTTP без TLS; Basic только на логин; идемпотентность только у POST сообщения; публичный live отвечает LB. `tests/load.py` — closed-loop.
|
||
|
||
Подтверждено (прогон 2026-11-20): копии **со своим CPU** ускоряют (31.5→80.7 при 1/2/4 × 0.50); нарезка одного CPU — нет (67.6→37.1). IPv6 loopback нужен для честного `localhost`. Плато Postgres/HAProxy при concurrency 8 не достигнуто; дальше упрётся либо клиент closed-loop, либо `max_connections`/WAL.
|