Files
2026-11-06 14:48:35 +03:00

15 KiB
Raw Permalink Blame History

Отчёт — лабораторная 3

  • Автор, группа: Павлов Никита, БВТ2301
  • Целевая оценка; выбранный трек 5, если нужен: Оценка 5, Трек 1 (Цена масштабирования)
  • Commit/PR: Отправлен в ветку main
  • Использованные источники, библиотеки и помощь ИИ: FastAPI, Nginx, asyncpg, Redis, Argon2-cffi, Pydantic, Uvicorn, Pytest, Docker Compose, PostgreSQL 16. Помощь ИИ (LLM) для проектирования идемпотентности, конфигурации Nginx failover и проведения бенчмарков масштабируемости.

Запуск из чистого clone

Версии: Docker Desktop, Docker Compose v2, Python 3.12+. Базовые образы: nginx:1.25.4-alpine, postgres:16.2-alpine, redis:7.2.4-alpine, python:3.11.9-slim-bookworm. Prerequisites: установленные Git, Docker и Python.

  1. Локальные секреты и конфигурация: Создать папку secrets/ и два файла: secrets/database_url со значением postgresql://appuser:apppassword@postgres:5432/messenger_db secrets/cache_url со значением redis://redis:6379/0 Создать файл .env на основе .env.example.

  2. Сборка и запуск всего стека: docker compose up -d --build

  3. Ожидание готовности (healthcheck всех сервисов): docker compose ps (Все сервисы: load_balancer, api (2 реплики), postgres, redis находятся в статусе healthy)

  4. Запуск тестов:

Публичный смоук-тест API

python -X utf8 tests/smoke.py --base-url "http://localhost:8080"

Тест отказа одной API-реплики (Failover)

python -X utf8 tests/resilience.py --mode failover --action-script "scripts/stop-one.bat" --base-url "http://localhost:8080"

Тест сохранности сессий и данных при перезапуске (Persistence)

python -X utf8 tests/resilience.py --mode persistence --action-script "scripts/restart.bat" --base-url "http://localhost:8080"

Собственные тесты уровня 4 (идемпотентность, ротация реплик X-Instance-Id)

python -m pytest student-tests/test_lab3.py

Воспроизводимый эксперимент уровня 5 (Трек 1: Масштабирование 1, 2, 4 реплик)

python scripts/track1_scaling.py

  1. Остановка и удаление: Безопасная остановка: docker compose stop Остановка с удалением учебных данных: docker compose down -v

Архитектура и решения

Схема процессов и балансировка:

  • Единая точка входа: Nginx 1.25 (порт 8080) балансирует трафик между масштабируемыми репликами API (порт 8000 внутри сети) по алгоритму Round-Robin. Sticky sessions отсутствуют; сессии распределены через общий Redis с персистентностью AOF.
  • Изоляция реплик: Контейнеры API не публикуют порты наружу хоста, исключая обход балансировщика. Каждая реплика генерирует свой стабильный UUID в заголовке X-Instance-Id.
  • Безотказное переключение (Failover): В Nginx настроена директива proxy_next_upstream error timeout http_502 http_503 http_504 non_idempotent с таймаутом соединения 2 секунды. При падении одной из реплик запрос прозрачно перенаправляется на выжившую реплику без прерывания обслуживания клиента (восстановление за 2.719 сек).
  • Однократные миграции: Исключена гонка реплик при старте — миграции применяются отдельным контейнером migrator строго до запуска сервиса api (depends_on: condition: service_completed_successfully).
  • Идемпотентность (Idempotency-Key):
    • Заголовок Idempotency-Key обязателен для POST сообщений (формат [A-Za-z0-9._:-]{1,128}, иначе 400).
    • Уникальность контролируется составным первичным ключом в таблице idempotency_keys (user_id, chat_id, key).
    • Тело запроса валидируется через SHA-256 хеш. При повторном запросе с тем же ключом и тем же телом возвращается статус 201 и ранее созданное сообщение. Попытка передать другое тело с тем же ключом возвращает 409 Conflict.
  • Лимиты ресурсов: В compose.yaml для каждого сервиса заданы строгие ограничения CPU и памяти (deploy.resources.limits).

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke python -X utf8 tests/smoke.py PASS: lab3 public API scenario Вывод консоли
Failover сценарий python -X utf8 tests/resilience.py --mode failover PASS (2 реплики обнаружены, восстановление за 2.719 сек) scripts/stop-one.bat
Persistence сценарий python -X utf8 tests/resilience.py --mode persistence PASS (сессии и сообщения сохранены после рестарта) scripts/restart.bat
Уровень 4: Тесты python -m pytest student-tests/test_lab3.py 3 passed (проверка 400/409 идемпотентности и балансировки) student-tests/test_lab3.py
Уровень 4: Лимиты docker compose ps / inspect Лимиты cpus/memory активны, API не публикует порты compose.yaml
Уровень 5: Трек 1 python scripts/track1_scaling.py Сравнение 1/2/4 реплик, плато, доказательство и улучшение scripts/track1_scaling.py

Эксперименты и отказы (Трек 1: Цена масштабирования)

1. Серия 1: Фиксированный суммарный бюджет ресурсов (Итого: 1.0 CPU, 512MB RAM)

Методика: Суммарный объем ресурсов API-слоя строго зафиксирован (1.0 CPU, 512MB RAM) и пропорционально нарезается между репликами с помощью docker update:

  • 1 реплика: 1.00 CPU, 512MB RAM
  • 2 реплики: по 0.50 CPU, 256MB RAM каждая
  • 4 реплики: по 0.25 CPU, 128MB RAM каждая

Исходные измерения (Raw Data): Реплики | CPU на реп. | RPS | p50 (ms) | p95 (ms) | p99 (ms) | Ошибки

1 | 1.00 | 126.1 | 64.0 | 77.2 | 94.5 | 0
2 | 0.50 | 127.4 | 63.6 | 74.8 | 87.6 | 0
4 | 0.25 | 131.5 | 61.1 | 72.1 | 84.8 | 0

График RPS (Серия 1: Фиксированный бюджет 1.0 CPU): 1 реп. | ████████████████████████████ 126.1 RPS 2 реп. | █████████████████████████████ 127.4 RPS 4 реп. | ██████████████████████████████ 131.5 RPS

Вывод по Серии 1: При фиксированном суммарном бюджете деление 1 ядра на 4 микроквоты (по 0.25 CPU) дает незначительный прирост (+4.2% RPS) за счет обхода GIL Python 4 независимыми процессами, однако дальнейший рост жестко ограничен оверхедом планировщика ядра Linux (cgroups CPU quota throttling).


2. Серия 2: Масштабирование ресурсов (+0.5 CPU, 256MB на каждую реплику)

Методика: Ресурсы выделяются пропорционально числу реплик (по 0.5 CPU и 256MB RAM на каждый контейнер api):

  • 1 реплика: суммарно 0.5 CPU, 256MB RAM
  • 2 реплики: суммарно 1.0 CPU, 512MB RAM
  • 4 реплики: суммарно 2.0 CPU, 1024MB RAM

Исходные измерения (Raw Data): Реплики | Всего CPU | RPS | p50 (ms) | p95 (ms) | p99 (ms) | Ошибки

1 | 0.5 | 142.7 | 56.6 | 68.2 | 72.8 | 0
2 | 1.0 | 147.2 | 52.3 | 66.8 | 70.1 | 0
4 | 2.0 | 145.5 | 55.0 | 67.5 | 70.7 | 0

График RPS (Серия 2: Масштабирование ресурсов): 1 реп. | █████████████████████████████ 142.7 RPS 2 реп. | ██████████████████████████████ 147.2 RPS 4 реп. | █████████████████████████████ 145.5 RPS (Плато и спад)


3. Доказательство причины плато (Анализ телеметрии)

При переходе с 2 на 4 реплики (с 1.0 до 2.0 CPU) производительность уперлась в плато и снизилась со 147.2 до 145.5 RPS.

Реальные метрики нагрузки контейнеров (docker stats во время 4 реплик):

  • api-1: CPU = 11.09%, Память = 46.05 MiB / 256 MiB
  • api-2: CPU = 11.54%, Память = 43.20 MiB / 256 MiB
  • api-3: CPU = 13.70%, Память = 42.27 MiB / 256 MiB
  • api-4: CPU = 13.65%, Память = 42.41 MiB / 256 MiB
  • load_balancer (Nginx): CPU = 3.02%, Память = 2.55 MiB / 128 MiB
  • postgres: CPU = 12.58%, Память = 77.73 MiB / 512 MiB
  • redis: CPU = 0.75%, Память = 11.30 MiB / 256 MiB

Доказательство: Ни один компонент не утилизирует CPU (загрузка не превышает 14%). Система не уперлась в вычисления. Причина плато: Задержки на постоянное открытие новых соединений (Connection Churn). По умолчанию Nginx работает с upstream по протоколу HTTP/1.0 и закрывает TCP-сокет после каждого запроса (Connection: close). При росте числа реплик до 4 накладные расходы на TCP 3-way handshake к 4 разным адресам и фрагментация сетевых сокетов превышают выгоду от параллелизма.


4. Реализованное подтверждённое улучшение: Nginx Upstream Keep-Alive

Реализация: В nginx/nginx.conf внедрен пул постоянных Keep-Alive соединений к репликам Uvicorn:

  • Добавлена директива keepalive 64; в секцию upstream api_cluster.
  • Включен протокол proxy_http_version 1.1; и сброшен заголовок proxy_set_header Connection "";.

Результаты сравнения (2 реплики, одинаковый профиль нагрузки): Метрика | До улучшения (HTTP/1.0 close) | После улучшения (Keep-Alive 64) | Изменение

RPS | 147.2 | 150.3 | +2.1% (+3.1 RPS) p50 Latency (ms) | 52.3 | 51.2 | -1.1 ms p95 Latency (ms) | 66.8 | 63.3 | -3.5 ms (улучшение) p99 Latency (ms) | 70.1 | 69.0 | -1.1 ms (< 70 ms) Ошибки | 0 | 0 | 0

Подтверждение: Переиспользование TCP-сокетов сократило задержки рукопожатий, снизило хвостовую задержку p95 на 3.5 мс и увеличило пропускную способность системы.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Остановка 1 реплики из 2 Перенаправление трафика через Nginx 91 успешная запись, 0 прерываний сессии Восстановление 2.719 сек, потерь нет
Рестарт всего стека Полная сохранность сессий и сообщений Сессии и переписка валидны после подъема Восстановление < 3 сек, потерь нет
Внедрение Keep-Alive в Nginx Снижение задержек и рост RPS Рост со 147.2 до 150.3 RPS, p95 упал с 66.8 до 63.3 ms Потерь нет, эффект подтвержден

Ограничения и следующие шаги

Ограничения:

  1. Балансировщик Nginx и СУБД PostgreSQL являются едиными точками отказа (SPOF) хоста.
  2. Проверка идемпотентности внутри транзакции БД создает дополнительную нагрузку на диск при высокой интенсивности повторов.

Следующие шаги (для Lab 4):

  • Подключение объектного хранилища S3 (MinIO) для передачи бинарных вложений (изображений) с ограничением MIME-типов и размеров.
  • Реализация фоновой обработки изображений через воркеры.