Files
2026-11-06 14:48:35 +03:00

165 lines
15 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 3
- Автор, группа: Павлов Никита, БВТ2301
- Целевая оценка; выбранный трек 5, если нужен: Оценка 5, Трек 1 (Цена масштабирования)
- Commit/PR: Отправлен в ветку main
- Использованные источники, библиотеки и помощь ИИ: FastAPI, Nginx, asyncpg, Redis, Argon2-cffi, Pydantic, Uvicorn, Pytest, Docker Compose, PostgreSQL 16. Помощь ИИ (LLM) для проектирования идемпотентности, конфигурации Nginx failover и проведения бенчмарков масштабируемости.
## Запуск из чистого clone
Версии: Docker Desktop, Docker Compose v2, Python 3.12+.
Базовые образы: nginx:1.25.4-alpine, postgres:16.2-alpine, redis:7.2.4-alpine, python:3.11.9-slim-bookworm.
Prerequisites: установленные Git, Docker и Python.
1. Локальные секреты и конфигурация:
Создать папку secrets/ и два файла:
secrets/database_url со значением postgresql://appuser:apppassword@postgres:5432/messenger_db
secrets/cache_url со значением redis://redis:6379/0
Создать файл .env на основе .env.example.
2. Сборка и запуск всего стека:
docker compose up -d --build
3. Ожидание готовности (healthcheck всех сервисов):
docker compose ps
(Все сервисы: load_balancer, api (2 реплики), postgres, redis находятся в статусе healthy)
4. Запуск тестов:
# Публичный смоук-тест API
python -X utf8 tests/smoke.py --base-url "http://localhost:8080"
# Тест отказа одной API-реплики (Failover)
python -X utf8 tests/resilience.py --mode failover --action-script "scripts/stop-one.bat" --base-url "http://localhost:8080"
# Тест сохранности сессий и данных при перезапуске (Persistence)
python -X utf8 tests/resilience.py --mode persistence --action-script "scripts/restart.bat" --base-url "http://localhost:8080"
# Собственные тесты уровня 4 (идемпотентность, ротация реплик X-Instance-Id)
python -m pytest student-tests/test_lab3.py
# Воспроизводимый эксперимент уровня 5 (Трек 1: Масштабирование 1, 2, 4 реплик)
python scripts/track1_scaling.py
5. Остановка и удаление:
Безопасная остановка: docker compose stop
Остановка с удалением учебных данных: docker compose down -v
## Архитектура и решения
Схема процессов и балансировка:
- Единая точка входа: Nginx 1.25 (порт 8080) балансирует трафик между масштабируемыми репликами API (порт 8000 внутри сети) по алгоритму Round-Robin. Sticky sessions отсутствуют; сессии распределены через общий Redis с персистентностью AOF.
- Изоляция реплик: Контейнеры API не публикуют порты наружу хоста, исключая обход балансировщика. Каждая реплика генерирует свой стабильный UUID в заголовке X-Instance-Id.
- Безотказное переключение (Failover): В Nginx настроена директива proxy_next_upstream error timeout http_502 http_503 http_504 non_idempotent с таймаутом соединения 2 секунды. При падении одной из реплик запрос прозрачно перенаправляется на выжившую реплику без прерывания обслуживания клиента (восстановление за 2.719 сек).
- Однократные миграции: Исключена гонка реплик при старте — миграции применяются отдельным контейнером migrator строго до запуска сервиса api (depends_on: condition: service_completed_successfully).
- Идемпотентность (Idempotency-Key):
- Заголовок Idempotency-Key обязателен для POST сообщений (формат [A-Za-z0-9._:-]{1,128}, иначе 400).
- Уникальность контролируется составным первичным ключом в таблице idempotency_keys (user_id, chat_id, key).
- Тело запроса валидируется через SHA-256 хеш. При повторном запросе с тем же ключом и тем же телом возвращается статус 201 и ранее созданное сообщение. Попытка передать другое тело с тем же ключом возвращает 409 Conflict.
- Лимиты ресурсов: В compose.yaml для каждого сервиса заданы строгие ограничения CPU и памяти (deploy.resources.limits).
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | python -X utf8 tests/smoke.py | PASS: lab3 public API scenario | Вывод консоли |
| Failover сценарий | python -X utf8 tests/resilience.py --mode failover | PASS (2 реплики обнаружены, восстановление за 2.719 сек) | scripts/stop-one.bat |
| Persistence сценарий | python -X utf8 tests/resilience.py --mode persistence | PASS (сессии и сообщения сохранены после рестарта) | scripts/restart.bat |
| Уровень 4: Тесты | python -m pytest student-tests/test_lab3.py | 3 passed (проверка 400/409 идемпотентности и балансировки) | student-tests/test_lab3.py |
| Уровень 4: Лимиты | docker compose ps / inspect | Лимиты cpus/memory активны, API не публикует порты | compose.yaml |
| Уровень 5: Трек 1 | python scripts/track1_scaling.py | Сравнение 1/2/4 реплик, плато, доказательство и улучшение | scripts/track1_scaling.py |
## Эксперименты и отказы (Трек 1: Цена масштабирования)
### 1. Серия 1: Фиксированный суммарный бюджет ресурсов (Итого: 1.0 CPU, 512MB RAM)
Методика: Суммарный объем ресурсов API-слоя строго зафиксирован (1.0 CPU, 512MB RAM) и пропорционально нарезается между репликами с помощью `docker update`:
- 1 реплика: 1.00 CPU, 512MB RAM
- 2 реплики: по 0.50 CPU, 256MB RAM каждая
- 4 реплики: по 0.25 CPU, 128MB RAM каждая
Исходные измерения (Raw Data):
Реплики | CPU на реп. | RPS | p50 (ms) | p95 (ms) | p99 (ms) | Ошибки
----------------------------------------------------------------------------------------
1 | 1.00 | 126.1 | 64.0 | 77.2 | 94.5 | 0
2 | 0.50 | 127.4 | 63.6 | 74.8 | 87.6 | 0
4 | 0.25 | 131.5 | 61.1 | 72.1 | 84.8 | 0
График RPS (Серия 1: Фиксированный бюджет 1.0 CPU):
1 реп. | ████████████████████████████ 126.1 RPS
2 реп. | █████████████████████████████ 127.4 RPS
4 реп. | ██████████████████████████████ 131.5 RPS
Вывод по Серии 1:
При фиксированном суммарном бюджете деление 1 ядра на 4 микроквоты (по 0.25 CPU) дает незначительный прирост (+4.2% RPS) за счет обхода GIL Python 4 независимыми процессами, однако дальнейший рост жестко ограничен оверхедом планировщика ядра Linux (cgroups CPU quota throttling).
---
### 2. Серия 2: Масштабирование ресурсов (+0.5 CPU, 256MB на каждую реплику)
Методика: Ресурсы выделяются пропорционально числу реплик (по 0.5 CPU и 256MB RAM на каждый контейнер api):
- 1 реплика: суммарно 0.5 CPU, 256MB RAM
- 2 реплики: суммарно 1.0 CPU, 512MB RAM
- 4 реплики: суммарно 2.0 CPU, 1024MB RAM
Исходные измерения (Raw Data):
Реплики | Всего CPU | RPS | p50 (ms) | p95 (ms) | p99 (ms) | Ошибки
----------------------------------------------------------------------------------------
1 | 0.5 | 142.7 | 56.6 | 68.2 | 72.8 | 0
2 | 1.0 | 147.2 | 52.3 | 66.8 | 70.1 | 0
4 | 2.0 | 145.5 | 55.0 | 67.5 | 70.7 | 0
График RPS (Серия 2: Масштабирование ресурсов):
1 реп. | █████████████████████████████ 142.7 RPS
2 реп. | ██████████████████████████████ 147.2 RPS
4 реп. | █████████████████████████████ 145.5 RPS (Плато и спад)
---
### 3. Доказательство причины плато (Анализ телеметрии)
При переходе с 2 на 4 реплики (с 1.0 до 2.0 CPU) производительность уперлась в плато и снизилась со 147.2 до 145.5 RPS.
Реальные метрики нагрузки контейнеров (`docker stats` во время 4 реплик):
- `api-1`: CPU = 11.09%, Память = 46.05 MiB / 256 MiB
- `api-2`: CPU = 11.54%, Память = 43.20 MiB / 256 MiB
- `api-3`: CPU = 13.70%, Память = 42.27 MiB / 256 MiB
- `api-4`: CPU = 13.65%, Память = 42.41 MiB / 256 MiB
- `load_balancer` (Nginx): CPU = 3.02%, Память = 2.55 MiB / 128 MiB
- `postgres`: CPU = 12.58%, Память = 77.73 MiB / 512 MiB
- `redis`: CPU = 0.75%, Память = 11.30 MiB / 256 MiB
Доказательство:
Ни один компонент не утилизирует CPU (загрузка не превышает 14%). Система не уперлась в вычисления.
Причина плато: Задержки на постоянное открытие новых соединений (Connection Churn). По умолчанию Nginx работает с upstream по протоколу HTTP/1.0 и закрывает TCP-сокет после каждого запроса (`Connection: close`). При росте числа реплик до 4 накладные расходы на TCP 3-way handshake к 4 разным адресам и фрагментация сетевых сокетов превышают выгоду от параллелизма.
---
### 4. Реализованное подтверждённое улучшение: Nginx Upstream Keep-Alive
Реализация:
В `nginx/nginx.conf` внедрен пул постоянных Keep-Alive соединений к репликам Uvicorn:
- Добавлена директива `keepalive 64;` в секцию `upstream api_cluster`.
- Включен протокол `proxy_http_version 1.1;` и сброшен заголовок `proxy_set_header Connection "";`.
Результаты сравнения (2 реплики, одинаковый профиль нагрузки):
Метрика | До улучшения (HTTP/1.0 close) | После улучшения (Keep-Alive 64) | Изменение
-------------------------------------------------------------------------------------------------
RPS | 147.2 | 150.3 | +2.1% (+3.1 RPS)
p50 Latency (ms) | 52.3 | 51.2 | -1.1 ms
p95 Latency (ms) | 66.8 | 63.3 | -3.5 ms (улучшение)
p99 Latency (ms) | 70.1 | 69.0 | -1.1 ms (< 70 ms)
Ошибки | 0 | 0 | 0
Подтверждение: Переиспользование TCP-сокетов сократило задержки рукопожатий, снизило хвостовую задержку p95 на 3.5 мс и увеличило пропускную способность системы.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| Остановка 1 реплики из 2 | Перенаправление трафика через Nginx | 91 успешная запись, 0 прерываний сессии | Восстановление 2.719 сек, потерь нет |
| Рестарт всего стека | Полная сохранность сессий и сообщений | Сессии и переписка валидны после подъема | Восстановление < 3 сек, потерь нет |
| Внедрение Keep-Alive в Nginx | Снижение задержек и рост RPS | Рост со 147.2 до 150.3 RPS, p95 упал с 66.8 до 63.3 ms | Потерь нет, эффект подтвержден |
## Ограничения и следующие шаги
Ограничения:
1. Балансировщик Nginx и СУБД PostgreSQL являются едиными точками отказа (SPOF) хоста.
2. Проверка идемпотентности внутри транзакции БД создает дополнительную нагрузку на диск при высокой интенсивности повторов.
Следующие шаги (для Lab 4):
- Подключение объектного хранилища S3 (MinIO) для передачи бинарных вложений (изображений) с ограничением MIME-типов и размеров.
- Реализация фоновой обработки изображений через воркеры.