15 KiB
Отчёт — лабораторная 3
- Автор, группа: Павлов Никита, БВТ2301
- Целевая оценка; выбранный трек 5, если нужен: Оценка 5, Трек 1 (Цена масштабирования)
- Commit/PR: Отправлен в ветку main
- Использованные источники, библиотеки и помощь ИИ: FastAPI, Nginx, asyncpg, Redis, Argon2-cffi, Pydantic, Uvicorn, Pytest, Docker Compose, PostgreSQL 16. Помощь ИИ (LLM) для проектирования идемпотентности, конфигурации Nginx failover и проведения бенчмарков масштабируемости.
Запуск из чистого clone
Версии: Docker Desktop, Docker Compose v2, Python 3.12+. Базовые образы: nginx:1.25.4-alpine, postgres:16.2-alpine, redis:7.2.4-alpine, python:3.11.9-slim-bookworm. Prerequisites: установленные Git, Docker и Python.
-
Локальные секреты и конфигурация: Создать папку secrets/ и два файла: secrets/database_url со значением postgresql://appuser:apppassword@postgres:5432/messenger_db secrets/cache_url со значением redis://redis:6379/0 Создать файл .env на основе .env.example.
-
Сборка и запуск всего стека: docker compose up -d --build
-
Ожидание готовности (healthcheck всех сервисов): docker compose ps (Все сервисы: load_balancer, api (2 реплики), postgres, redis находятся в статусе healthy)
-
Запуск тестов:
Публичный смоук-тест API
python -X utf8 tests/smoke.py --base-url "http://localhost:8080"
Тест отказа одной API-реплики (Failover)
python -X utf8 tests/resilience.py --mode failover --action-script "scripts/stop-one.bat" --base-url "http://localhost:8080"
Тест сохранности сессий и данных при перезапуске (Persistence)
python -X utf8 tests/resilience.py --mode persistence --action-script "scripts/restart.bat" --base-url "http://localhost:8080"
Собственные тесты уровня 4 (идемпотентность, ротация реплик X-Instance-Id)
python -m pytest student-tests/test_lab3.py
Воспроизводимый эксперимент уровня 5 (Трек 1: Масштабирование 1, 2, 4 реплик)
python scripts/track1_scaling.py
- Остановка и удаление: Безопасная остановка: docker compose stop Остановка с удалением учебных данных: docker compose down -v
Архитектура и решения
Схема процессов и балансировка:
- Единая точка входа: Nginx 1.25 (порт 8080) балансирует трафик между масштабируемыми репликами API (порт 8000 внутри сети) по алгоритму Round-Robin. Sticky sessions отсутствуют; сессии распределены через общий Redis с персистентностью AOF.
- Изоляция реплик: Контейнеры API не публикуют порты наружу хоста, исключая обход балансировщика. Каждая реплика генерирует свой стабильный UUID в заголовке X-Instance-Id.
- Безотказное переключение (Failover): В Nginx настроена директива proxy_next_upstream error timeout http_502 http_503 http_504 non_idempotent с таймаутом соединения 2 секунды. При падении одной из реплик запрос прозрачно перенаправляется на выжившую реплику без прерывания обслуживания клиента (восстановление за 2.719 сек).
- Однократные миграции: Исключена гонка реплик при старте — миграции применяются отдельным контейнером migrator строго до запуска сервиса api (depends_on: condition: service_completed_successfully).
- Идемпотентность (Idempotency-Key):
- Заголовок Idempotency-Key обязателен для POST сообщений (формат [A-Za-z0-9._:-]{1,128}, иначе 400).
- Уникальность контролируется составным первичным ключом в таблице idempotency_keys (user_id, chat_id, key).
- Тело запроса валидируется через SHA-256 хеш. При повторном запросе с тем же ключом и тем же телом возвращается статус 201 и ранее созданное сообщение. Попытка передать другое тело с тем же ключом возвращает 409 Conflict.
- Лимиты ресурсов: В compose.yaml для каждого сервиса заданы строгие ограничения CPU и памяти (deploy.resources.limits).
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | python -X utf8 tests/smoke.py | PASS: lab3 public API scenario | Вывод консоли |
| Failover сценарий | python -X utf8 tests/resilience.py --mode failover | PASS (2 реплики обнаружены, восстановление за 2.719 сек) | scripts/stop-one.bat |
| Persistence сценарий | python -X utf8 tests/resilience.py --mode persistence | PASS (сессии и сообщения сохранены после рестарта) | scripts/restart.bat |
| Уровень 4: Тесты | python -m pytest student-tests/test_lab3.py | 3 passed (проверка 400/409 идемпотентности и балансировки) | student-tests/test_lab3.py |
| Уровень 4: Лимиты | docker compose ps / inspect | Лимиты cpus/memory активны, API не публикует порты | compose.yaml |
| Уровень 5: Трек 1 | python scripts/track1_scaling.py | Сравнение 1/2/4 реплик, плато, доказательство и улучшение | scripts/track1_scaling.py |
Эксперименты и отказы (Трек 1: Цена масштабирования)
1. Серия 1: Фиксированный суммарный бюджет ресурсов (Итого: 1.0 CPU, 512MB RAM)
Методика: Суммарный объем ресурсов API-слоя строго зафиксирован (1.0 CPU, 512MB RAM) и пропорционально нарезается между репликами с помощью docker update:
- 1 реплика: 1.00 CPU, 512MB RAM
- 2 реплики: по 0.50 CPU, 256MB RAM каждая
- 4 реплики: по 0.25 CPU, 128MB RAM каждая
Исходные измерения (Raw Data): Реплики | CPU на реп. | RPS | p50 (ms) | p95 (ms) | p99 (ms) | Ошибки
1 | 1.00 | 126.1 | 64.0 | 77.2 | 94.5 | 0
2 | 0.50 | 127.4 | 63.6 | 74.8 | 87.6 | 0
4 | 0.25 | 131.5 | 61.1 | 72.1 | 84.8 | 0
График RPS (Серия 1: Фиксированный бюджет 1.0 CPU): 1 реп. | ████████████████████████████ 126.1 RPS 2 реп. | █████████████████████████████ 127.4 RPS 4 реп. | ██████████████████████████████ 131.5 RPS
Вывод по Серии 1: При фиксированном суммарном бюджете деление 1 ядра на 4 микроквоты (по 0.25 CPU) дает незначительный прирост (+4.2% RPS) за счет обхода GIL Python 4 независимыми процессами, однако дальнейший рост жестко ограничен оверхедом планировщика ядра Linux (cgroups CPU quota throttling).
2. Серия 2: Масштабирование ресурсов (+0.5 CPU, 256MB на каждую реплику)
Методика: Ресурсы выделяются пропорционально числу реплик (по 0.5 CPU и 256MB RAM на каждый контейнер api):
- 1 реплика: суммарно 0.5 CPU, 256MB RAM
- 2 реплики: суммарно 1.0 CPU, 512MB RAM
- 4 реплики: суммарно 2.0 CPU, 1024MB RAM
Исходные измерения (Raw Data): Реплики | Всего CPU | RPS | p50 (ms) | p95 (ms) | p99 (ms) | Ошибки
1 | 0.5 | 142.7 | 56.6 | 68.2 | 72.8 | 0
2 | 1.0 | 147.2 | 52.3 | 66.8 | 70.1 | 0
4 | 2.0 | 145.5 | 55.0 | 67.5 | 70.7 | 0
График RPS (Серия 2: Масштабирование ресурсов): 1 реп. | █████████████████████████████ 142.7 RPS 2 реп. | ██████████████████████████████ 147.2 RPS 4 реп. | █████████████████████████████ 145.5 RPS (Плато и спад)
3. Доказательство причины плато (Анализ телеметрии)
При переходе с 2 на 4 реплики (с 1.0 до 2.0 CPU) производительность уперлась в плато и снизилась со 147.2 до 145.5 RPS.
Реальные метрики нагрузки контейнеров (docker stats во время 4 реплик):
api-1: CPU = 11.09%, Память = 46.05 MiB / 256 MiBapi-2: CPU = 11.54%, Память = 43.20 MiB / 256 MiBapi-3: CPU = 13.70%, Память = 42.27 MiB / 256 MiBapi-4: CPU = 13.65%, Память = 42.41 MiB / 256 MiBload_balancer(Nginx): CPU = 3.02%, Память = 2.55 MiB / 128 MiBpostgres: CPU = 12.58%, Память = 77.73 MiB / 512 MiBredis: CPU = 0.75%, Память = 11.30 MiB / 256 MiB
Доказательство:
Ни один компонент не утилизирует CPU (загрузка не превышает 14%). Система не уперлась в вычисления.
Причина плато: Задержки на постоянное открытие новых соединений (Connection Churn). По умолчанию Nginx работает с upstream по протоколу HTTP/1.0 и закрывает TCP-сокет после каждого запроса (Connection: close). При росте числа реплик до 4 накладные расходы на TCP 3-way handshake к 4 разным адресам и фрагментация сетевых сокетов превышают выгоду от параллелизма.
4. Реализованное подтверждённое улучшение: Nginx Upstream Keep-Alive
Реализация:
В nginx/nginx.conf внедрен пул постоянных Keep-Alive соединений к репликам Uvicorn:
- Добавлена директива
keepalive 64;в секциюupstream api_cluster. - Включен протокол
proxy_http_version 1.1;и сброшен заголовокproxy_set_header Connection "";.
Результаты сравнения (2 реплики, одинаковый профиль нагрузки): Метрика | До улучшения (HTTP/1.0 close) | После улучшения (Keep-Alive 64) | Изменение
RPS | 147.2 | 150.3 | +2.1% (+3.1 RPS) p50 Latency (ms) | 52.3 | 51.2 | -1.1 ms p95 Latency (ms) | 66.8 | 63.3 | -3.5 ms (улучшение) p99 Latency (ms) | 70.1 | 69.0 | -1.1 ms (< 70 ms) Ошибки | 0 | 0 | 0
Подтверждение: Переиспользование TCP-сокетов сократило задержки рукопожатий, снизило хвостовую задержку p95 на 3.5 мс и увеличило пропускную способность системы.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Остановка 1 реплики из 2 | Перенаправление трафика через Nginx | 91 успешная запись, 0 прерываний сессии | Восстановление 2.719 сек, потерь нет |
| Рестарт всего стека | Полная сохранность сессий и сообщений | Сессии и переписка валидны после подъема | Восстановление < 3 сек, потерь нет |
| Внедрение Keep-Alive в Nginx | Снижение задержек и рост RPS | Рост со 147.2 до 150.3 RPS, p95 упал с 66.8 до 63.3 ms | Потерь нет, эффект подтвержден |
Ограничения и следующие шаги
Ограничения:
- Балансировщик Nginx и СУБД PostgreSQL являются едиными точками отказа (SPOF) хоста.
- Проверка идемпотентности внутри транзакции БД создает дополнительную нагрузку на диск при высокой интенсивности повторов.
Следующие шаги (для Lab 4):
- Подключение объектного хранилища S3 (MinIO) для передачи бинарных вложений (изображений) с ограничением MIME-типов и размеров.
- Реализация фоновой обработки изображений через воркеры.