Files
mtusi2026lab4/REPORT.md
T

209 lines
10 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 3
- Автор / группа: Фараджев Р.Э / БПИ2303
- Целевая оценка(3/4/5): 3
## Запуск из чистого clone
**Prerequisites:**
- Docker Desktop для Windows (версия 4.25+)
- Go 1.22+ (локально не требуется, только в Docker)
- Python 3.10+ (для тестов)
- PowerShell 5.1+ или Git Bash
**Команды запуска:**
```powershell
# 1. Клонирование и переход в директорию
git clone <repository-url>
cd mtusi2026lab3
# 2. Создание .env файла (опционально, конфигурация в docker-compose.yaml)
cp .env.example .env
# 3. Очистка старых контейнеров (если есть)
docker compose down -v
# 4. Сборка и запуск
docker compose up -d --build
# 5. Ожидание готовности (healthcheck ~15-20 секунд)
Start-Sleep -Seconds 20
docker compose ps
# Все контейнеры должны быть в статусе "healthy"
# 6. Применение миграций (ТОЛЬКО НА ОДНОЙ РЕПЛИКЕ)
docker compose exec api1 ./migrate up
# 7. Проверка работоспособности
curl http://localhost:8080/health
# Ожидаемый ответ: {"instance":"api1","status":"ok"} или api2
# 8. Запуск тестов
python tests/client.py
python tests/load.py
# 9. Безопасная остановка
docker compose down
# 10. Удаление учебных данных (полная очистка)
docker compose down -v
```
**Необходимые действия оператора:**
- Миграции запускаются вручную один раз после первого поднятия
- Healthcheck автоматически проверяет готовность сервисов (15-20 сек)
- Для повторного запуска с чистыми данными: `docker compose down -v`
## Архитектура и решения
**Схема компонентов:**
```
Клиент (curl/Python тесты)
↓
HAProxy:8080 (балансировщик, round-robin)
↓
─────┴─────┐
↓ ↓
api1:8080 api2:8080 (Go HTTP серверы)
↓ ↓
└─────┬─────┘
↓
PostgreSQL:5432 (общая БД)
- users (пользователи)
- sessions (сессии)
- messages (сообщения)
- idempotency_keys (идемпотентность)
```
**Источник истины:** PostgreSQL — единственное хранилище состояния (сессии, сообщения, ключи идемпотентности).
**Транзакционные границы:**
- Каждая HTTP обработка — отдельная транзакция
- Идемпотентность: `BEGIN` → `SELECT FOR UPDATE` → `INSERT` → `COMMIT`
- Блокировка на уровне БД предотвращает дубли при конкурентных запросах
**Ограничения:**
- PostgreSQL и HAProxy — единые точки отказа (не реплицированы)
- Сессии хранятся 24 часа (sessionTTL)
- Максимальный размер запроса: 1MB
- Graceful shutdown: 15 секунд
**Что перенесено из lab2:**
- Модели данных (users, sessions, messages)
- Хэширование паролей (bcrypt)
- Миграции SQL
**Что изменено/добавлено:**
- Docker Compose оркестрация
- HAProxy балансировщик
- Две API-реплики (api1, api2)
- X-Instance-Id заголовок
- Идемпотентность через idempotency_keys таблицу
- Healthcheck endpoints
- Graceful shutdown
**Соответствие .env.example:**
- `DATABASE_URL` → используется в docker-compose.yaml (postgres://app:app@postgres:5432/app)
- `APP_INSTANCE_ID` → передаётся как env в контейнеры (api1/api2)
- `APP_PORT` → 8080 (внутренний порт контейнера)
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| **Публичный smoke** | `make test` или `python tests/client.py` | `All API checks passed` (12 PASS) | tests/client.py |
| **2 API-реплики** | `docker compose ps` | api1 и api2 в статусе Up (healthy) | docker-compose.yaml |
| **Одна точка входа** | `curl http://localhost:8080/health` | JSON с instance field | infra/haproxy.cfg |
| **Балансировка без sticky** | 4 запроса подряд к /health | Чередование api1/api2 | tests/load.py |
| **Общая БД и сессии** | Логин → GET /api/messages | Сессия работает на обеих репликах | cmd/server/main.go |
| **X-Instance-Id** | `curl -sI http://localhost:8080/health \| grep X-Instance-Id` | Заголовок присутствует | cmd/server/main.go |
| **Отказоустойчивость** | `docker compose stop api1` + запросы | В течение 10с запросы идут через api2 | tests/load.py |
| **Идемпотентность** | POST с Idempotency-Key дважды | Первый 201, второй 200, тот же id | cmd/server/main.go |
| **Миграции отдельно** | `docker compose exec api1 ./migrate up` | `migrate up: done` | cmd/migrate/main.go |
| **Graceful shutdown** | `docker compose stop api1` | В логах: "shutting down" | cmd/server/main.go |
| **Failover сценарий** | `python tests/load.py` | `Failover scenario passed` | tests/load.py |
| **Persistence** | `python tests/load.py` | `no duplicate messages in history` | tests/load.py |
## Эксперименты и отказы
**Гипотеза:** Система выдерживает остановку одной API-реплики без потери данных и с минимальным временем восстановления.
**Hardware/лимиты:**
- CPU: AMD Ryzen 7 4000 series (8 cores)
- RAM: 16 GB
- Docker limits: api1/api2 — 256MB RAM, 1.0 CPU; postgres — 512MB RAM
- OS: Windows 11 + Docker Desktop
**Профиль нагрузки:**
- Объём данных: 1 пользователь, ~10 сообщений
- Concurrency: 20 параллельных запросов (threading)
- Длительность: ~15 секунд (включая failover)
- Прогрев: 5 запросов перед тестом
**Результаты:**
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| `docker compose stop api1` | HAProxy перенаправляет на api2 | `requests recovered within 10s (5.24s, 3 transient errors)` | 5.24 сек / 0 потерянных сообщений |
| `docker compose start api1` | api1 возвращается в ротацию | `api1 is back in rotation: ['api1', 'api2']` | ~10 сек (healthcheck) / нет |
| POST с тем же Idempotency-Key | Не создаётся дубль | `replay returns the same id (1 vs 1)` | N/A / нет дублей |
| Запросы во время failover | Кратковременные ошибки 502/503 | `3 transient errors` за 5.24 сек | N/A / допустимы |
**Raw summary (tests/load.py):**
```
PASS: message written before failover (got 201)
PASS: requests reached at least two replicas: ['api1', 'api2']
PASS: docker compose stop api1 succeeded
PASS: reads recovered within 10s (5.24s, 3 transient errors)
PASS: requests still served while api1 is down
PASS: api1 left rotation, served by: ['api2']
PASS: write works while api1 is down (got 201)
PASS: docker compose start api1 succeeded
PASS: api1 is back in rotation: ['api1', 'api2']
PASS: history readable after failover (got 200)
PASS: message written before failover survived
PASS: no duplicate messages in history
Failover scenario passed
```
**Ограничения измерения:**
- Тесты запускаются локально (сетевая задержка минимальна)
- Не измеряется p95/p99 (мало запросов)
- Docker Desktop добавляет оверхед (~10-20%)
- Не тестируется отказ PostgreSQL или HAProxy
## Ограничения и следующие шаги
**Какие отказы выдерживаются:**
- ✅ Остановка одной API-реплики (api1 или api2)
- ✅ Конкурентные запросы с одинаковым Idempotency-Key (нет дублей)
- ✅ Graceful shutdown (15s timeout)
**Какие отказы НЕ выдерживаются:**
- ❌ Отказ PostgreSQL (единая точка отказа)
- ❌ Отказ HAProxy (единая точка отказа)
- ❌ Потеря данных при `docker compose down -v`
**Что не реализовано:**
- Репликация PostgreSQL (master-slave)
- Healthcheck для HAProxy (external)
- Rolling update (level 4)
- Нагрузочное тестирование (ab, wrk)
- Metrics (Prometheus) и логирование (ELK)
**Учебное упрощение:**
- Сессии не инвалидизируются при logout на всех репликах (только в БД)
- Нет rate limiting
- Нет HTTPS (только HTTP)
- Пароль тестового пользователя захардкожен в миграции
**Следующие шаги (если нужно улучшить):**
1. Добавить репликацию PostgreSQL (Patroni или pgpool)
2. Добавить keepalived для HAProxy (VIP)
3. Реализовать circuit breaker между репликами
4. Добавить Prometheus metrics (request_count, error_rate, latency)
5. Настроить централизованное логирование (Loki + Promtail)