forked from mtusi2026/mtusi2026lab3
165 lines
15 KiB
Markdown
165 lines
15 KiB
Markdown
# Отчёт — лабораторная 3
|
||
|
||
- Автор, группа: Павлов Никита, БВТ2301
|
||
- Целевая оценка; выбранный трек 5, если нужен: Оценка 5, Трек 1 (Цена масштабирования)
|
||
- Commit/PR: Отправлен в ветку main
|
||
- Использованные источники, библиотеки и помощь ИИ: FastAPI, Nginx, asyncpg, Redis, Argon2-cffi, Pydantic, Uvicorn, Pytest, Docker Compose, PostgreSQL 16. Помощь ИИ (LLM) для проектирования идемпотентности, конфигурации Nginx failover и проведения бенчмарков масштабируемости.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Версии: Docker Desktop, Docker Compose v2, Python 3.12+.
|
||
Базовые образы: nginx:1.25.4-alpine, postgres:16.2-alpine, redis:7.2.4-alpine, python:3.11.9-slim-bookworm.
|
||
Prerequisites: установленные Git, Docker и Python.
|
||
|
||
1. Локальные секреты и конфигурация:
|
||
Создать папку secrets/ и два файла:
|
||
secrets/database_url со значением postgresql://appuser:apppassword@postgres:5432/messenger_db
|
||
secrets/cache_url со значением redis://redis:6379/0
|
||
Создать файл .env на основе .env.example.
|
||
|
||
2. Сборка и запуск всего стека:
|
||
docker compose up -d --build
|
||
|
||
3. Ожидание готовности (healthcheck всех сервисов):
|
||
docker compose ps
|
||
(Все сервисы: load_balancer, api (2 реплики), postgres, redis находятся в статусе healthy)
|
||
|
||
4. Запуск тестов:
|
||
# Публичный смоук-тест API
|
||
python -X utf8 tests/smoke.py --base-url "http://localhost:8080"
|
||
|
||
# Тест отказа одной API-реплики (Failover)
|
||
python -X utf8 tests/resilience.py --mode failover --action-script "scripts/stop-one.bat" --base-url "http://localhost:8080"
|
||
|
||
# Тест сохранности сессий и данных при перезапуске (Persistence)
|
||
python -X utf8 tests/resilience.py --mode persistence --action-script "scripts/restart.bat" --base-url "http://localhost:8080"
|
||
|
||
# Собственные тесты уровня 4 (идемпотентность, ротация реплик X-Instance-Id)
|
||
python -m pytest student-tests/test_lab3.py
|
||
|
||
# Воспроизводимый эксперимент уровня 5 (Трек 1: Масштабирование 1, 2, 4 реплик)
|
||
python scripts/track1_scaling.py
|
||
|
||
5. Остановка и удаление:
|
||
Безопасная остановка: docker compose stop
|
||
Остановка с удалением учебных данных: docker compose down -v
|
||
|
||
## Архитектура и решения
|
||
|
||
Схема процессов и балансировка:
|
||
- Единая точка входа: Nginx 1.25 (порт 8080) балансирует трафик между масштабируемыми репликами API (порт 8000 внутри сети) по алгоритму Round-Robin. Sticky sessions отсутствуют; сессии распределены через общий Redis с персистентностью AOF.
|
||
- Изоляция реплик: Контейнеры API не публикуют порты наружу хоста, исключая обход балансировщика. Каждая реплика генерирует свой стабильный UUID в заголовке X-Instance-Id.
|
||
- Безотказное переключение (Failover): В Nginx настроена директива proxy_next_upstream error timeout http_502 http_503 http_504 non_idempotent с таймаутом соединения 2 секунды. При падении одной из реплик запрос прозрачно перенаправляется на выжившую реплику без прерывания обслуживания клиента (восстановление за 2.719 сек).
|
||
- Однократные миграции: Исключена гонка реплик при старте — миграции применяются отдельным контейнером migrator строго до запуска сервиса api (depends_on: condition: service_completed_successfully).
|
||
- Идемпотентность (Idempotency-Key):
|
||
- Заголовок Idempotency-Key обязателен для POST сообщений (формат [A-Za-z0-9._:-]{1,128}, иначе 400).
|
||
- Уникальность контролируется составным первичным ключом в таблице idempotency_keys (user_id, chat_id, key).
|
||
- Тело запроса валидируется через SHA-256 хеш. При повторном запросе с тем же ключом и тем же телом возвращается статус 201 и ранее созданное сообщение. Попытка передать другое тело с тем же ключом возвращает 409 Conflict.
|
||
- Лимиты ресурсов: В compose.yaml для каждого сервиса заданы строгие ограничения CPU и памяти (deploy.resources.limits).
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | python -X utf8 tests/smoke.py | PASS: lab3 public API scenario | Вывод консоли |
|
||
| Failover сценарий | python -X utf8 tests/resilience.py --mode failover | PASS (2 реплики обнаружены, восстановление за 2.719 сек) | scripts/stop-one.bat |
|
||
| Persistence сценарий | python -X utf8 tests/resilience.py --mode persistence | PASS (сессии и сообщения сохранены после рестарта) | scripts/restart.bat |
|
||
| Уровень 4: Тесты | python -m pytest student-tests/test_lab3.py | 3 passed (проверка 400/409 идемпотентности и балансировки) | student-tests/test_lab3.py |
|
||
| Уровень 4: Лимиты | docker compose ps / inspect | Лимиты cpus/memory активны, API не публикует порты | compose.yaml |
|
||
| Уровень 5: Трек 1 | python scripts/track1_scaling.py | Сравнение 1/2/4 реплик, плато, доказательство и улучшение | scripts/track1_scaling.py |
|
||
|
||
## Эксперименты и отказы (Трек 1: Цена масштабирования)
|
||
|
||
### 1. Серия 1: Фиксированный суммарный бюджет ресурсов (Итого: 1.0 CPU, 512MB RAM)
|
||
Методика: Суммарный объем ресурсов API-слоя строго зафиксирован (1.0 CPU, 512MB RAM) и пропорционально нарезается между репликами с помощью `docker update`:
|
||
- 1 реплика: 1.00 CPU, 512MB RAM
|
||
- 2 реплики: по 0.50 CPU, 256MB RAM каждая
|
||
- 4 реплики: по 0.25 CPU, 128MB RAM каждая
|
||
|
||
Исходные измерения (Raw Data):
|
||
Реплики | CPU на реп. | RPS | p50 (ms) | p95 (ms) | p99 (ms) | Ошибки
|
||
----------------------------------------------------------------------------------------
|
||
1 | 1.00 | 126.1 | 64.0 | 77.2 | 94.5 | 0
|
||
2 | 0.50 | 127.4 | 63.6 | 74.8 | 87.6 | 0
|
||
4 | 0.25 | 131.5 | 61.1 | 72.1 | 84.8 | 0
|
||
|
||
График RPS (Серия 1: Фиксированный бюджет 1.0 CPU):
|
||
1 реп. | ████████████████████████████ 126.1 RPS
|
||
2 реп. | █████████████████████████████ 127.4 RPS
|
||
4 реп. | ██████████████████████████████ 131.5 RPS
|
||
|
||
Вывод по Серии 1:
|
||
При фиксированном суммарном бюджете деление 1 ядра на 4 микроквоты (по 0.25 CPU) дает незначительный прирост (+4.2% RPS) за счет обхода GIL Python 4 независимыми процессами, однако дальнейший рост жестко ограничен оверхедом планировщика ядра Linux (cgroups CPU quota throttling).
|
||
|
||
---
|
||
|
||
### 2. Серия 2: Масштабирование ресурсов (+0.5 CPU, 256MB на каждую реплику)
|
||
Методика: Ресурсы выделяются пропорционально числу реплик (по 0.5 CPU и 256MB RAM на каждый контейнер api):
|
||
- 1 реплика: суммарно 0.5 CPU, 256MB RAM
|
||
- 2 реплики: суммарно 1.0 CPU, 512MB RAM
|
||
- 4 реплики: суммарно 2.0 CPU, 1024MB RAM
|
||
|
||
Исходные измерения (Raw Data):
|
||
Реплики | Всего CPU | RPS | p50 (ms) | p95 (ms) | p99 (ms) | Ошибки
|
||
----------------------------------------------------------------------------------------
|
||
1 | 0.5 | 142.7 | 56.6 | 68.2 | 72.8 | 0
|
||
2 | 1.0 | 147.2 | 52.3 | 66.8 | 70.1 | 0
|
||
4 | 2.0 | 145.5 | 55.0 | 67.5 | 70.7 | 0
|
||
|
||
График RPS (Серия 2: Масштабирование ресурсов):
|
||
1 реп. | █████████████████████████████ 142.7 RPS
|
||
2 реп. | ██████████████████████████████ 147.2 RPS
|
||
4 реп. | █████████████████████████████ 145.5 RPS (Плато и спад)
|
||
|
||
---
|
||
|
||
### 3. Доказательство причины плато (Анализ телеметрии)
|
||
При переходе с 2 на 4 реплики (с 1.0 до 2.0 CPU) производительность уперлась в плато и снизилась со 147.2 до 145.5 RPS.
|
||
|
||
Реальные метрики нагрузки контейнеров (`docker stats` во время 4 реплик):
|
||
- `api-1`: CPU = 11.09%, Память = 46.05 MiB / 256 MiB
|
||
- `api-2`: CPU = 11.54%, Память = 43.20 MiB / 256 MiB
|
||
- `api-3`: CPU = 13.70%, Память = 42.27 MiB / 256 MiB
|
||
- `api-4`: CPU = 13.65%, Память = 42.41 MiB / 256 MiB
|
||
- `load_balancer` (Nginx): CPU = 3.02%, Память = 2.55 MiB / 128 MiB
|
||
- `postgres`: CPU = 12.58%, Память = 77.73 MiB / 512 MiB
|
||
- `redis`: CPU = 0.75%, Память = 11.30 MiB / 256 MiB
|
||
|
||
Доказательство:
|
||
Ни один компонент не утилизирует CPU (загрузка не превышает 14%). Система не уперлась в вычисления.
|
||
Причина плато: Задержки на постоянное открытие новых соединений (Connection Churn). По умолчанию Nginx работает с upstream по протоколу HTTP/1.0 и закрывает TCP-сокет после каждого запроса (`Connection: close`). При росте числа реплик до 4 накладные расходы на TCP 3-way handshake к 4 разным адресам и фрагментация сетевых сокетов превышают выгоду от параллелизма.
|
||
|
||
---
|
||
|
||
### 4. Реализованное подтверждённое улучшение: Nginx Upstream Keep-Alive
|
||
Реализация:
|
||
В `nginx/nginx.conf` внедрен пул постоянных Keep-Alive соединений к репликам Uvicorn:
|
||
- Добавлена директива `keepalive 64;` в секцию `upstream api_cluster`.
|
||
- Включен протокол `proxy_http_version 1.1;` и сброшен заголовок `proxy_set_header Connection "";`.
|
||
|
||
Результаты сравнения (2 реплики, одинаковый профиль нагрузки):
|
||
Метрика | До улучшения (HTTP/1.0 close) | После улучшения (Keep-Alive 64) | Изменение
|
||
-------------------------------------------------------------------------------------------------
|
||
RPS | 147.2 | 150.3 | +2.1% (+3.1 RPS)
|
||
p50 Latency (ms) | 52.3 | 51.2 | -1.1 ms
|
||
p95 Latency (ms) | 66.8 | 63.3 | -3.5 ms (улучшение)
|
||
p99 Latency (ms) | 70.1 | 69.0 | -1.1 ms (< 70 ms)
|
||
Ошибки | 0 | 0 | 0
|
||
|
||
Подтверждение: Переиспользование TCP-сокетов сократило задержки рукопожатий, снизило хвостовую задержку p95 на 3.5 мс и увеличило пропускную способность системы.
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| Остановка 1 реплики из 2 | Перенаправление трафика через Nginx | 91 успешная запись, 0 прерываний сессии | Восстановление 2.719 сек, потерь нет |
|
||
| Рестарт всего стека | Полная сохранность сессий и сообщений | Сессии и переписка валидны после подъема | Восстановление < 3 сек, потерь нет |
|
||
| Внедрение Keep-Alive в Nginx | Снижение задержек и рост RPS | Рост со 147.2 до 150.3 RPS, p95 упал с 66.8 до 63.3 ms | Потерь нет, эффект подтвержден |
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
Ограничения:
|
||
1. Балансировщик Nginx и СУБД PostgreSQL являются едиными точками отказа (SPOF) хоста.
|
||
2. Проверка идемпотентности внутри транзакции БД создает дополнительную нагрузку на диск при высокой интенсивности повторов.
|
||
|
||
Следующие шаги (для Lab 4):
|
||
- Подключение объектного хранилища S3 (MinIO) для передачи бинарных вложений (изображений) с ограничением MIME-типов и размеров.
|
||
- Реализация фоновой обработки изображений через воркеры. |