Files

145 lines
14 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 3
- Автор, группа: Щербацевич Владислав Сергеевич БПИ2302
- Целевая оценка; выбранный трек 5: **5, трек 1 (цена масштабирования)**
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: контракт курса; FastAPI, Uvicorn, SQLAlchemy, asyncpg, redis, argon2-cffi, greenlet; HAProxy 3.2 (DNS resolvers, `server-template`, httpchk); Docker Compose; перенос своей lab2; помощь ИИ при сборке стенда и отчёта. Измерения — в `evidence/`.
## Запуск из чистого clone
**Стенд:** Docker Desktop, Compose (не Swarm). Публичная точка входа только HAProxy `127.0.0.1:8080` и `[::1]:8080`. API-порты на хост не публикуются.
**Prerequisites:** Docker Engine, Python 3.9+ для публичных `tests/` (стандартная библиотека). Секреты не коммитятся.
**Образы (зафиксированы):**
| Роль | Service | Образ |
| --- | --- | --- |
| API | `api` (scale ≥2) | сборка из `Dockerfile`, base `python:3.13.16-slim-bookworm@sha256:a1165e272e578941b84abc79e4ab38a0305cd12803a5c4247979ac7655f4d641` |
| Миграции | `migrate` (one-shot) | тот же образ, `python -m app.migrate` |
| PostgreSQL | `postgres` | `postgres:16.10-bookworm@sha256:38471f330eb885e04de130b768d6db4e10469e2311879c7e5c699f6d2d8a1c74` |
| Сессии | `redis` | `redis:7.4.6-alpine@sha256:3b73847e72874be07e6657b129a94761662b79bc0f679273757d4218573b2a98` |
| LB | `lb` | `haproxy:3.2-bookworm@sha256:baecd003ae5c2376e58d04a5b2ffc7d82d30e9bebe2869f76222b819f719dee3` (HAProxy 3.2.3) |
**Аппарат (измерения 2026-10-30):** Windows 10, CPU `12th Gen Intel Core i7-12700H`, Docker Desktop Linux engine, `NCPU=20`, RAM VM ≈15.4 GiB. Лимиты контейнеров — в `compose.yaml`. Прогрев: health `start_period` API 20 с + 5 с warmup нагрузки.
**Команды (секреты не печатать):**
```powershell
powershell -ExecutionPolicy Bypass -File scripts\bootstrap.ps1
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --scale api=2
# GET http://127.0.0.1:8080/health/ready → 200
$env:PYTHONUTF8=1
python tests/smoke.py --base-url http://127.0.0.1:8080
python student-tests/level3.py
python student-tests/persistence_hook.py
python student-tests/failover.py
scripts\restore-api.cmd
python student-tests/failover.py
python student-tests/rolling.py
python tests/load.py --duration 20 --concurrency 8 --output evidence/load_ipv4.json
python student-tests/track1.py
docker compose --env-file .env down
# намеренное удаление учебных данных:
docker compose --env-file .env down -v
```
POSIX: `sh scripts/bootstrap.sh`, `chmod +x scripts/*.sh`, `make test`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`.
На Windows `tests/resilience.py` запускает hook через `CreateProcess` — используйте `scripts/stop-one.cmd` и `scripts/restart.cmd`.
Сопоставление `.env.example`: `SESSION_STORE=redis` → Redis AOF; `DATABASE_URL_FILE` / `CACHE_URL_FILE` → Docker secrets; `API_REPLICAS` → `deploy.replicas` и `--scale api=`; `IDEMPOTENCY_TTL_SECONDS=86400`; `DB_POOL_SIZE` / `DB_MAX_OVERFLOW` → пул SQLAlchemy.
## Архитектура и решения
Клиент → HAProxy (`roundrobin`, без sticky) → `api` ×2+ → PostgreSQL (пользователи, чаты, сообщения, идемпотентность) и Redis (сессии, AOF `appendfsync always`, TTL через `PXAT`).
Перенесено из lab2: REST lab2, Argon2id, Postgres, Redis-сессии, health. Добавлено в lab3:
- `X-Instance-Id` = hostname контейнера API, стабилен на жизнь процесса. Ответ `/health/live` на публичном входе формирует HAProxy (`X-Instance-Id: load-balancer`): это пульс точки входа, не реплика. Разные реплики смотреть на `/api/v1/users/me` и POST сообщений.
- `Idempotency-Key` обязателен для POST сообщения; область `пользователь + POST + /api/v1/chats/{id}/messages + ключ`; сообщение и ключ в одной транзакции; гонка — `pg_advisory_xact_lock` + UNIQUE; 5xx не фиксируются.
- Миграции один раз контейнером `migrate`; у API `RUN_MIGRATIONS=0`, ждут `schema_migrations`.
- SIGTERM: `stop_grace_period: 8s`, Uvicorn `timeout_graceful_shutdown=5`, флаг `accepting=False` (ready → 503). HAProxy httpchk **GET /health/ready**, `inter 1s fall 2` → исключение backend ≈2 с после 503/отказа connect; DNS `hold valid 2s` → верхняя оценка обнаружения **~4 с**.
- Почему live на LB, а ready на API: контракт требует, чтобы публичный `/health/live` проверял жизнь процесса входа, а не зависимость. Недоступный API (ready≠200 или процесс мёртв) из ротации убирается. Общий отказ Redis/Postgres делает **все** API unready — LB перестаёт слать бизнес-трафик (это отказ хранилища, не «ещё одна реплика»).
- Лимиты CPU/RAM; нет `container_name`.
`/health/live` (публично) — процесс HAProxy. `/health/ready` (через LB на API) — реплика принимает запросы и доступны Postgres и Redis. Grafana нет.
Наблюдаемые процессы после `up --scale api=2` (API без host-порта):
```
NAME STATUS PORTS
mtusi-lab3-api-4 Up (healthy) 8080/tcp
mtusi-lab3-api-5 Up (healthy) 8080/tcp
mtusi-lab3-lb-1 Up (healthy) 127.0.0.1:8080->8080/tcp, [::1]:8080->8080
mtusi-lab3-postgres-1 Up (healthy) 127.0.0.1:5433->5432/tcp
mtusi-lab3-redis-1 Up (healthy) 127.0.0.1:6379->6379/tcp
```
Полный вывод: `evidence/compose-ps.txt`. Имена `api-N` меняются после scale/rolling.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл |
| --- | --- | --- | --- |
| Публичный smoke | `python tests/smoke.py --base-url http://127.0.0.1:8080` | `PASS: lab3 public API scenario` | `evidence/smoke.txt` |
| ≥2 реплики, одна сессия, разные `X-Instance-Id` | `python student-tests/level3.py` | 2 id, 20/20 из 40 проб | `evidence/level3.json` |
| Идемпотентность, 12 параллельных POST одного ключа | `student-tests/level3.py` | 12×201, один id, две реплики в заголовках | `evidence/level3.json` |
| Failover API ≤10 с | `python student-tests/failover.py` | recovery 2.464 с; 91 успех / 2 ошибки; 6.07 RPS в окне 15 с | `evidence/failover.txt`, `evidence/sequential_failover.json` |
| Повтор после restore | `restore-api.cmd` + `failover.py` | recovery 2.74 с; 90 успехов; 6.00 RPS | `evidence/sequential_failover.json` |
| Останов **второй** реплики | `docker stop mtusi-lab3-api-2` | api-2 Exited; пишет api-1; 46/1; 3.83 RPS в окне 12 с | `evidence/sequential_stop_api2.json` |
| Persistence + тот же token | `python student-tests/persistence_hook.py` | PASS | `evidence/persistence.txt` |
| Ready/timeouts/SIGTERM, LB исключает backend | httpchk `/health/ready` 1s fall 2; grace 5s | failover recovery ~2.5 с < 4 с бюджета обнаружения | `infra/haproxy.cfg`, `compose.yaml` |
| Нет портов API наружу, лимиты, нет sticky | `docker compose ps` | API `8080/tcp` без host bind | `evidence/compose-ps.txt` |
| Rolling под нагрузкой | `python student-tests/rolling.py` | оба id заменены; 1980 ok / 24 err (1.2%) | `evidence/rolling.json` |
| Миграции однократно | `migrate` Exited 0 | `001_initial.sql` + `002_idempotency.sql` | `compose.yaml`, `migrations/` |
| Трек 1 | `python student-tests/track1.py` | 1→2→4 реплик при 1 CPU: 128→107→69 RPS; рост CPU линеен | `evidence/track1.json`, графики ниже |
| Подтверждённое улучшение | bind `[::1]:8080` | localhost ~1.9 RPS / p50~2s → 87.6 RPS / p50 75 мс | `evidence/load.json`, `evidence/load_localhost.json` |
## Эксперименты и отказы
**Гипотеза трека 1.** При фиксированном суммарном CPU/RAM добавление API-реплик перестаёт помогать (и снижает RPS), когда узкое место — CPU процессов API, а не PostgreSQL/HAProxy.
**Методика.** Closed-loop POST `/messages` через HAProxy, concurrency 8, warmup 5 с, duration 20 с, клиент `urllib` (coordinated omission есть). Серия A: суммарно 1.0 CPU и 512 MiB на все API (1×1.0/512, 2×0.50/256, 4×0.25/128). Серия B: 2 реплики, рост бюджета (2×0.25, 2×0.50, 2×1.00). Повтор того же профиля. Сырьё: `evidence/track1.json`.
![RPS при фиксированном суммарном CPU](evidence/track1_fixed_budget.svg)
![RPS при росте CPU двух реплик](evidence/track1_growing_cpu.svg)
| Серия | Реплики | CPU сумм. | RAM MiB | RPS | p50 мс | p95 мс | p99 мс | ошибки |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| fixed-1 | 1 | 1.00 | 512 | **128.1** | 51.9 | 108.6 | 156.4 | 0 |
| fixed-2 | 2 | 1.00 | 512 | 107.5 | 71.6 | 189.1 | 245.5 | 0 |
| fixed-4 | 4 | 1.00 | 512 | 69.3 | 94.8 | 293.0 | 400.0 | 0 |
| grow-2×0.25 | 2 | 0.50 | 256 | 49.1 | 111.0 | 302.8 | 399.2 | 0 |
| grow-2×0.50 | 2 | 1.00 | 512 | 105.5 | 76.0 | 184.4 | 212.5 | 0 |
| grow-2×1.00 | 2 | 2.00 | 1024 | **221.0** | 29.3 | 83.0 | 105.9 | 0 |
`docker stats` на fixed-1: API ~14% от лимита 1 CPU, postgres ~0.06%, HAProxy ~0.09%. PostgreSQL и LB на этом профиле **не** насыщены. Saturation point — **нарезка CPU API**: при том же ватте 4 реплики медленнее одной. При росте CPU RPS почти линеен (49 → 105 → 221) — база ещё не упёрлась. Пул `10+10` на реплику при 4 репликах даёт до 80 соединений при `max_connections` Postgres по умолчанию 100: пул не был ограничителем (0 ошибок, postgres CPU ≈0%).
**Подтверждённое улучшение.** Только `127.0.0.1:8080` ломало `http://localhost:8080` на Windows (`::1`, ~2 с/запрос, 1.94 RPS, p50 2022 мс, concurrency 4, 30 с). Добавлен `[::1]:8080`. Повтор concurrency 8, 15 с: localhost **87.6 RPS** (p50 75 мс), 127.0.0.1 **94.7 RPS** (p50 80 мс), 0 ошибок. Это транспорт входа, не «ещё реплик»; без него closed-loop измерения трека 1 были бы искажены.
**Поочерёдный отказ каждой API-реплики (уровень 4):**
| Воздействие | Окно | RPS успехов | Ошибки | Recovery | Данные |
| --- | --- | --- | --- | --- | --- |
| `stop-one` → api-1 | 15 с | 6.07 | 2 / 93 (2.2%) | 2.46 с | история без дублей, сессия жива |
| повтор после restore | 15 с | 6.00 | 2 / 92 | 2.74 с | то же |
| `docker stop` api-2 | 12 с | 3.83 | 1 / 47 (2.1%) | 0.03 с | пишет только api-1 |
| rolling обоих API | ~39 с | ~50.8 | 24 / 2004 (1.2%) | поочерёдная замена | новые container id |
| `compose restart` postgres+redis+api+lb | hook ≤90 с | — | 0 после ready | токен тот же | volumes на месте |
| отказ host / LB / Postgres / Redis | не заявлены | — | — | — | SPOF |
RPS отказа ниже трека 1: другой клиент (timeout 2–5 с, повторы того же ключа, пауза 0.1 с), не 8 потоков на 20 с. Сравнивать с 128 RPS нельзя.
## Ограничения и следующие шаги
Выдерживается отказ **одного процесса API** на одном Docker-host. Не выдерживаются: VM/хост, HAProxy, PostgreSQL, Redis. Две реплики API не делают БД высокодоступной. Трек 2 (мультиузел) не делался.
Учебные упрощения: HTTP без TLS; Basic только на логин; идемпотентность только у POST сообщения; публичный live отвечает LB. `tests/load.py` — closed-loop.
Подтверждено: лишние реплики при фиксированном CPU вредят; IPv6 loopback нужен для честного `localhost`. Гипотеза на будущее: тяжёлый профиль упрётся в `max_connections`/WAL — здесь не достигнуто.