Files
mtusi2026lab3/REPORT.md
T

156 lines
15 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 3
- Автор, группа: Щербацевич Владислав Сергеевич БПИ2302
- Целевая оценка; выбранный трек 5: **5, трек 1 (цена масштабирования)**
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: контракт курса; FastAPI, Uvicorn, SQLAlchemy, asyncpg, redis, argon2-cffi, greenlet; HAProxy 3.2 (DNS resolvers, `server-template`, httpchk); Docker Compose; перенос своей lab2; помощь ИИ при сборке стенда и отчёта. Измерения — в `evidence/`.
## Запуск из чистого clone
**Стенд:** Docker Desktop, Compose (не Swarm). Публичная точка входа только HAProxy `127.0.0.1:8080` и `[::1]:8080`. API-порты на хост не публикуются.
**Prerequisites:** Docker Engine, Python 3.9+ для публичных `tests/` (стандартная библиотека). Секреты не коммитятся.
**Образы (зафиксированы):**
| Роль | Service | Образ |
| --- | --- | --- |
| API | `api` (scale ≥2) | сборка из `Dockerfile`, base `python:3.13.16-slim-bookworm@sha256:a1165e272e578941b84abc79e4ab38a0305cd12803a5c4247979ac7655f4d641` |
| Миграции | `migrate` (one-shot) | тот же образ, `python -m app.migrate` |
| PostgreSQL | `postgres` | `postgres:16.10-bookworm@sha256:38471f330eb885e04de130b768d6db4e10469e2311879c7e5c699f6d2d8a1c74` |
| Сессии | `redis` | `redis:7.4.6-alpine@sha256:3b73847e72874be07e6657b129a94761662b79bc0f679273757d4218573b2a98` |
| LB | `lb` | `haproxy:3.2-bookworm@sha256:baecd003ae5c2376e58d04a5b2ffc7d82d30e9bebe2869f76222b819f719dee3` (HAProxy 3.2.3) |
**Аппарат (трек 1 переснят 2026-11-20):** Windows 10, CPU `12th Gen Intel Core i7-12700H`, Docker Desktop Linux engine, `NCPU=20`, RAM VM ≈15.4 GiB. Лимиты контейнеров — в `compose.yaml`. Прогрев: health `start_period` API 20 с + 5 с warmup нагрузки. Абсолютный RPS не сравнивать с прогоном 2026-10-30.
**Команды (секреты не печатать):**
```powershell
powershell -ExecutionPolicy Bypass -File scripts\bootstrap.ps1
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --scale api=2
# GET http://127.0.0.1:8080/health/ready → 200
$env:PYTHONUTF8=1
python tests/smoke.py --base-url http://127.0.0.1:8080
python student-tests/level3.py
python student-tests/persistence_hook.py
python student-tests/failover.py
scripts\restore-api.cmd
python student-tests/failover.py
python student-tests/rolling.py
python tests/load.py --duration 20 --concurrency 8 --output evidence/load_ipv4.json
python student-tests/track1.py
docker compose --env-file .env down
# намеренное удаление учебных данных:
docker compose --env-file .env down -v
```
POSIX: `sh scripts/bootstrap.sh`, `chmod +x scripts/*.sh`, `make test`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`.
На Windows `tests/resilience.py` запускает hook через `CreateProcess` — используйте `scripts/stop-one.cmd` и `scripts/restart.cmd`.
Сопоставление `.env.example`: `SESSION_STORE=redis` → Redis AOF; `DATABASE_URL_FILE` / `CACHE_URL_FILE` → Docker secrets; `API_REPLICAS` → `deploy.replicas` и `--scale api=`; `IDEMPOTENCY_TTL_SECONDS=86400`; `DB_POOL_SIZE` / `DB_MAX_OVERFLOW` → пул SQLAlchemy.
## Архитектура и решения
Клиент → HAProxy (`roundrobin`, без sticky) → `api` ×2+ → PostgreSQL (пользователи, чаты, сообщения, идемпотентность) и Redis (сессии, AOF `appendfsync always`, TTL через `PXAT`).
Перенесено из lab2: REST lab2, Argon2id, Postgres, Redis-сессии, health. Добавлено в lab3:
- `X-Instance-Id` = hostname контейнера API, стабилен на жизнь процесса. Ответ `/health/live` на публичном входе формирует HAProxy (`X-Instance-Id: load-balancer`): это пульс точки входа, не реплика. Разные реплики смотреть на `/api/v1/users/me` и POST сообщений.
- `Idempotency-Key` обязателен для POST сообщения; область `пользователь + POST + /api/v1/chats/{id}/messages + ключ`; сообщение и ключ в одной транзакции; гонка — `pg_advisory_xact_lock` + UNIQUE; 5xx не фиксируются.
- Миграции один раз контейнером `migrate`; у API `RUN_MIGRATIONS=0`, ждут `schema_migrations`.
- SIGTERM: `stop_grace_period: 8s`, Uvicorn `timeout_graceful_shutdown=5`, флаг `accepting=False` (ready → 503). HAProxy httpchk **GET /health/ready**, `inter 1s fall 2` → исключение backend ≈2 с после 503/отказа connect; DNS `hold valid 2s` → верхняя оценка обнаружения **~4 с**.
- Почему live на LB, а ready на API: контракт требует, чтобы публичный `/health/live` проверял жизнь процесса входа, а не зависимость. Недоступный API (ready≠200 или процесс мёртв) из ротации убирается. Общий отказ Redis/Postgres делает **все** API unready — LB перестаёт слать бизнес-трафик (это отказ хранилища, не «ещё одна реплика»).
- Лимиты CPU/RAM; нет `container_name`.
`/health/live` (публично) — процесс HAProxy. `/health/ready` (через LB на API) — реплика принимает запросы и доступны Postgres и Redis. Grafana нет.
Наблюдаемые процессы после `up --scale api=2` (API без host-порта):
```
NAME STATUS PORTS
mtusi-lab3-api-4 Up (healthy) 8080/tcp
mtusi-lab3-api-5 Up (healthy) 8080/tcp
mtusi-lab3-lb-1 Up (healthy) 127.0.0.1:8080->8080/tcp, [::1]:8080->8080
mtusi-lab3-postgres-1 Up (healthy) 127.0.0.1:5433->5432/tcp
mtusi-lab3-redis-1 Up (healthy) 127.0.0.1:6379->6379/tcp
```
Полный вывод: `evidence/compose-ps.txt`. Имена `api-N` меняются после scale/rolling.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл |
| --- | --- | --- | --- |
| Публичный smoke | `python tests/smoke.py --base-url http://127.0.0.1:8080` | `PASS: lab3 public API scenario` | `evidence/smoke.txt` |
| ≥2 реплики, одна сессия, разные `X-Instance-Id` | `python student-tests/level3.py` | 2 id, 20/20 из 40 проб | `evidence/level3.json` |
| Идемпотентность, 12 параллельных POST одного ключа | `student-tests/level3.py` | 12×201, один id, две реплики в заголовках | `evidence/level3.json` |
| Failover API ≤10 с | `python student-tests/failover.py` | recovery 2.464 с; 91 успех / 2 ошибки; 6.07 RPS в окне 15 с | `evidence/failover.txt`, `evidence/sequential_failover.json` |
| Повтор после restore | `restore-api.cmd` + `failover.py` | recovery 2.74 с; 90 успехов; 6.00 RPS | `evidence/sequential_failover.json` |
| Останов **второй** реплики | `docker stop mtusi-lab3-api-2` | api-2 Exited; пишет api-1; 46/1; 3.83 RPS в окне 12 с | `evidence/sequential_stop_api2.json` |
| Persistence + тот же token | `python student-tests/persistence_hook.py` | PASS | `evidence/persistence.txt` |
| Ready/timeouts/SIGTERM, LB исключает backend | httpchk `/health/ready` 1s fall 2; grace 5s | failover recovery ~2.5 с < 4 с бюджета обнаружения | `infra/haproxy.cfg`, `compose.yaml` |
| Нет портов API наружу, лимиты, нет sticky | `docker compose ps` | API `8080/tcp` без host bind | `evidence/compose-ps.txt` |
| Rolling под нагрузкой | `python student-tests/rolling.py` | оба id заменены; 1980 ok / 24 err (1.2%) | `evidence/rolling.json` |
| Миграции однократно | `migrate` Exited 0 | `001_initial.sql` + `002_idempotency.sql` | `compose.yaml`, `migrations/` |
| Трек 1 | `python student-tests/track1.py` (2026-11-20) | Свой 0.50 CPU: 1→2→4 = **31.5→55.4→80.7 RPS**. Нарезка 1 CPU: 67.6→37.1 | `evidence/track1.json`, графики ниже |
| Подтверждённое улучшение | bind `[::1]:8080` | localhost ~1.9 RPS / p50~2s → 87.6 RPS / p50 75 мс | `evidence/load.json`, `evidence/load_localhost.json` |
## Эксперименты и отказы
**Гипотеза трека 1.** Горизонтальное масштабирование (новые копии **как отдельные серверы**, каждая со своим CPU) **увеличивает** RPS, пока не упрётесь в БД/LB/пул или в число клиентов. Резать один суммарный CPU на больше контейнеров на *одном* хосте — не масштабирование: RPS падает.
**Методика.** Прогон 2026-11-20, closed-loop POST `/messages` через HAProxy, concurrency 8, warmup 5 с, duration 20 с. Команда: `$env:TRACK1_DURATION=20; $env:TRACK1_WARMUP=5; python student-tests/track1.py`. Сырьё: `evidence/track1.json`. Графики пересобраны `python scripts/render_track1_svg.py`.
![RPS когда каждая реплика сохраняет 0.50 CPU](evidence/track1_scale_out.svg)
![RPS при фиксированном суммарном 1 CPU (нарезка одного хоста)](evidence/track1_fixed_budget.svg)
![RPS при росте CPU двух реплик](evidence/track1_growing_cpu.svg)
| Серия | Реплики | CPU на одну | CPU сумм. | RPS | p50 мс | p95 мс | ошибки |
| --- | --- | --- | --- | --- | --- | --- | --- |
| **свой 1×0.50** | 1 | 0.50 | 0.50 | 31.5 | 191.6 | 404.5 | 0 |
| **свой 2×0.50** | 2 | 0.50 | 1.00 | 55.4 | 108.7 | 305.8 | 0 |
| **свой 4×0.50** | 4 | 0.50 | 2.00 | **80.7** | 78.1 | 209.9 | 0 |
| свой 1×1.00 | 1 | 1.00 | 1.00 | 69.5 | 89.3 | 190.3 | 0 |
| свой 2×1.00 | 2 | 1.00 | 2.00 | 96.4 | 56.0 | 185.9 | 0 |
| нарезка 1 | 1 | 1.00 | 1.00 | 67.6 | 92.2 | 195.6 | 0 |
| нарезка 2 | 2 | 0.50 | 1.00 | 51.3 | 110.2 | 299.4 | 0 |
| нарезка 4 | 4 | 0.25 | 1.00 | 37.1 | 114.7 | 532.5 | 0 |
| grow 2×0.25 | 2 | 0.25 | 0.50 | 26.1 | 277.9 | 600.6 | 0 |
| grow 2×0.50 | 2 | 0.50 | 1.00 | 56.2 | 106.0 | 295.3 | 0 |
| grow 2×1.00 | 2 | 1.00 | 2.00 | 119.0 | 50.3 | 126.5 | 0 |
Добавление копий **со своим 0.50 CPU**: 31.5 → 55.4 → 80.7 RPS (×1.76, затем ×1.46). p50 падает 192 → 79 мс. Это и есть «больше серверов — быстрее». Рост не линейный ×4: у closed-loop всего 8 клиентов, четвёртая реплика уже не всегда занята; Postgres в кадре stats до ~8%, HAProxy <1% — **классического плато БД/LB нет**.
Контраст README (тот же 1.0 CPU на всех): 67.6 → 51.3 → 37.1. Новым копиям ядро не дали — толку нет.
Двум репликам добавили CPU: 26 → 56 → 119, почти линейно — запас по складу ещё был. Пул `10+10` на реплику при 4 копиях до 80 соединений, `max_connections` 100, ошибок 0.
**Подтверждённое улучшение.** Только `127.0.0.1:8080` ломало `http://localhost:8080` на Windows (`::1`, ~2 с/запрос, 1.94 RPS, p50 2022 мс, concurrency 4, 30 с). Добавлен `[::1]:8080`. Повтор concurrency 8, 15 с: localhost **87.6 RPS** (p50 75 мс), 127.0.0.1 **94.7 RPS** (p50 80 мс), 0 ошибок. Это транспорт входа, не «ещё реплик»; без него closed-loop измерения трека 1 были бы искажены.
**Поочерёдный отказ каждой API-реплики (уровень 4):**
| Воздействие | Окно | RPS успехов | Ошибки | Recovery | Данные |
| --- | --- | --- | --- | --- | --- |
| `stop-one` → api-1 | 15 с | 6.07 | 2 / 93 (2.2%) | 2.46 с | история без дублей, сессия жива |
| повтор после restore | 15 с | 6.00 | 2 / 92 | 2.74 с | то же |
| `docker stop` api-2 | 12 с | 3.83 | 1 / 47 (2.1%) | 0.03 с | пишет только api-1 |
| rolling обоих API | ~39 с | ~50.8 | 24 / 2004 (1.2%) | поочерёдная замена | новые container id |
| `compose restart` postgres+redis+api+lb | hook ≤90 с | — | 0 после ready | токен тот же | volumes на месте |
| отказ host / LB / Postgres / Redis | не заявлены | — | — | — | SPOF |
RPS отказа ниже трека 1: другой клиент (timeout 2–5 с, повторы того же ключа, пауза 0.1 с), не 8 потоков на 20 с. Сравнивать с 80 RPS серии scale-out нельзя.
## Ограничения и следующие шаги
Выдерживается отказ **одного процесса API** на одном Docker-host. Не выдерживаются: VM/хост, HAProxy, PostgreSQL, Redis. Две реплики API не делают БД высокодоступной. Трек 2 (мультиузел) не делался.
Учебные упрощения: HTTP без TLS; Basic только на логин; идемпотентность только у POST сообщения; публичный live отвечает LB. `tests/load.py` — closed-loop.
Подтверждено (прогон 2026-11-20): копии **со своим CPU** ускоряют (31.5→80.7 при 1/2/4 × 0.50); нарезка одного CPU — нет (67.6→37.1). IPv6 loopback нужен для честного `localhost`. Плато Postgres/HAProxy при concurrency 8 не достигнуто; дальше упрётся либо клиент closed-loop, либо `max_connections`/WAL.