Files
mtusi2026lab3/REPORT.md

33 KiB
Raw Permalink Blame History

Лабораторная 3 — балансировка и отказ API-реплики

Автор: Майорова Софья, БВТ2301. Целевая оценка: 5. Трек 1: цена масштабирования.

Репозиторий: https://gitea.privcloud.tech/mayorovasonya/mtusi2026lab3, ветка solution/BVT2301-Mayorova. Предыдущая собственная работа: ЛР 2, PR 86; ЛР 1, MR 140.

Запуск из чистого clone

Требуются Docker с Compose v2+ и Python 3.9+ для клиентских проверок. На macOS используется Colima, профиль mtusi-labs. На Linux команды Colima/выбор контекста не нужны. Все зависимости приложения находятся в Docker; нужны доступ к реестру образов и PyPI при первой сборке.

colima start --profile mtusi-labs
export DOCKER_CONTEXT=colima-mtusi-labs
cd "/Users/ssmayorova/Documents/Учеба/Высоконагруженные приложения/lab3"

python3 scripts/bootstrap.py
docker compose build api
docker compose up -d --wait
export BASE_URL=http://127.0.0.1:18087
python3 scripts/wait_ready.py
make check test test-student BASE_URL=$BASE_URL

На другой машине путь cd — каталог собственного clone. На macOS каталог должен быть доступен Colima: HOME смонтирован по умолчанию, произвольный /private/tmp — нет. Сначала явно собирается общий локальный образ mtusi-messenger:lab3, затем Compose запускает PostgreSQL → один migrate → API × 2 → HAProxy. Секреты генерируются случайно один раз; повторный bootstrap не заменяет их. .env, secrets/ и volumes не коммитятся. Секреты не выводятся и не передаются в аргументах команд. Каталог secrets имеет режим 0700; URL-файлы читаемы контейнерным UID 10001.

make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=$BASE_URL
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=$BASE_URL
# Hook оставляет выбранную реплику остановленной; восстановить её:
docker compose up -d --wait --no-deps api
make test-faults test-durability test-dependencies BASE_URL=$BASE_URL

Отказ/перезапуск меняют только учебный проект mtusi-lab3, volumes сохраняются. test-faults требует штатные две реплики и возвращает обе в работу. Исследование автоматически меняет число реплик/ресурсы и в finally восстанавливает штатные две API по 1 CPU / 256 MiB, PostgreSQL 1 CPU, pool=8.

make research BASE_URL=$BASE_URL
# Необязательная перерисовка готовых графиков: Python 3.11+ в отдельном venv
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-research.txt
.venv/bin/python student-tests/plot.py

Остановка с сохранением данных: docker compose down. Только для намеренного удаления всех данных этого учебного проекта: docker compose down -v. Эта команда не применяется в проверках сохранности и отказов.

Архитектура

Клиент → 127.0.0.1:18087 → HAProxy → API × 2 (допустимо 1–4)
                                      ├→ PostgreSQL: пользователи, чаты, сообщения,
                                      │               сессии, идемпотентность
                                      └→ Redis: необязательный кеш профилей, TTL 60 с

API не публикуют порты на хост; PostgreSQL/Redis доступны только в backend с internal: true. Наружу опубликован только LB на loopback. Нет container_name и sticky sessions. X-Instance-Id — случайный alias, постоянный в течение жизни Python-процесса. Один Bearer работает через разные реальные контейнеры.

Из своей lab2 перенесены src, миграции 001/002, Dockerfile, зависимости и собственные тесты. Сохранены scrypt, UTF-8 пароли с двоеточиями, Unicode/U+0000 через BYTEA, курсоры, ограничения полей, проверка членства, logout/expiry, Redis fallback. Исходные README/COURSE/CONTRIBUTING/контракты/публичные tests текущей lab3 не изменены.

Общие данные, определяющие корректность, хранятся в PostgreSQL. Redis не является источником действительности сессии: каждый защищённый запрос проверяет expiry/revocation в общей БД. Потеря кеша допустима; потеря PostgreSQL делает readiness и обязательный путь недоступными.

Идемпотентность

Ключ валидируется по ASCII [A-Za-z0-9._:-], 1–128 символов; отсутствующий/дублированный заголовок — 400. Уникальный PK: (user_id, chat_id, key); таблица используется только для POST /api/v1/chats/{chat_id}/messages, что задаёт метод/путь. Другой пользователь или чат имеют независимую область ключа.

Хеш SHA-256 вычисляется по каноническому JSON с нормализованным attachment_ids=[]. В lab3 непустые вложения не поддерживаются. Различия порядка JSON-полей и экранирования Unicode не меняют смысл запроса.

Одна транзакция: проверка членства → INSERT ... ON CONFLICT ключа → блокировка строки чата/назначение времени → сообщение → привязка результата к ключу → COMMIT. При конкурентном запросе уникальный индекс ждёт исходную транзакцию. После её COMMIT повтор получает исходное сообщение и тот же 201; другой body — 409. При rollback не остаётся ни сообщения, ни зафиксированного результата 5xx. Истёкший ключ можно занять заново; старое сообщение сохраняется. Результат хранится 24 часа от первой успешной операции, повтор не продлевает срок.

Повтор сначала проходит действительность сессии и проверку доступа. История не кешируется; следующий запрос через любую реплику видит подтверждённый COMMIT. UPDATE chats.last_message_at сериализует записи одного чата, время берётся у общей БД и строго увеличивается минимум на 1 мкс. Между страницами нет общей snapshot-транзакции; новые сообщения получают позицию после уже подтверждённых.

Миграции, балансировка, остановка

Только сервис migrate запускает DDL: миграции отмечаются в schema_migrations, защищены транзакцией/advisory lock. API проверяет наличие 003, но не выполняет миграции. При чистом старте применяются 001/002/003. 003 добавляет отдельную таблицу/индекс; во время проверенной последовательной замены схема не меняется. Это не обещание совместимости любых будущих DDL: несовместимые изменения требуют отдельного плана и окна обслуживания. База lab3 имеет собственный volume, база lab2 не меняется.

HAProxy: round-robin для HTTP-запросов, http-server-close без привязки клиентского keep-alive к реплике; Docker DNS 127.0.0.11, hold valid/obsolete=1s, четыре server-template слота. Новые контейнеры обнаруживаются без перезапуска LB. Проверка GET /health/ready каждую 1 с, fall=2, rise=2; connect/check timeout по 500 мс. Консервативный расчётный бюджет обнаружения одного отказа — до 4 с при работающем планировщике/сети; это не realtime SLA. Измеренный public failover: 1,214 с до первой подтверждённой записи после завершения hook.

LB: очередь 1 с, server timeout 5 с, client 10 с. Повторы LB ограничены ошибкой установления соединения (conn-failure); нет прозрачного retry POST после неоднозначного ответа/таймаута. Такой запрос клиент повторяет с теми же body/key.

Python: 16 workers, максимум 32 принятых соединения на реплику, socket timeout 3 с, pool максимум 8, pool wait 2 с, statement timeout 2 с, lock timeout 1,5 с. SIGTERM прекращает приём соединений; drain ограничен 5 с, Compose stop grace 10 с. HAProxy hard-stop 10 с, stop grace 12 с. API работает от UID/GID 10001. SIGUSR1 пишет только числовую статистику пула и alias; секреты и тела сообщений не логируются.

Версии и настройки

Python 3.12.8-slim-bookworm, PostgreSQL 17.2-bookworm, Redis 7.4.1-bookworm, HAProxy 3.0.5-alpine; все базовые образы закреплены SHA-256 в Dockerfile/compose. psycopg 3.2.3, psycopg-pool 3.2.4, redis-py 5.2.1. Хостовый генератор Python 3.9.6; Matplotlib 3.11.2 для графиков.

Переменная .env Смысл / штатное значение
APP_PORT Только внешний порт LB: 18087; внутренний API всегда 8080
API_REPLICAS 2; исследуемый диапазон 1–4
API_CPUS / API_MEMORY 1 CPU / 256m на API
POSTGRES_CPUS 1; 0.1 используется только в явном исследовании насыщения
HTTP_WORKERS / DB_POOL_MAX 16 / 8 на API
DB_ACCESS_MODE optimized; baseline — воспроизводимый контроль эксперимента
SESSION_TTL_SECONDS 3600; сессии сохраняют исходный expiry после рестарта

PostgreSQL: 512 MiB / 1 CPU; LB: 64 MiB / 0,5 CPU; Redis: 64 MiB / 0,25 CPU. Для Redis задан maxmemory 32 MiB и LRU; он disposable cache. Диск PostgreSQL — именованный volume.

Доказательства критериев

Критерий Проверка / результат Доказательство
Чистый bootstrap и ≥2 API build api → compose up; реальные ID, лимиты, сети и порты compose.yaml, evidence/runtime.json, evidence/clean-clone.txt
Публичный контракт check, OpenAPI validation и smoke PASS evidence/tests.txt, evidence/validation.txt
Общие сессии, X-Instance-Id одна сессия, ≥2 alias при 32 параллельных повторах test_idempotency_concurrent_replicas, evidence/tests.txt
Идемпотентность через реплики ровно одно сообщение; конфликтующий body 409, области независимы 15 собственных тестов, все PASS
Atomic rollback / lost reply синтетический сбой не оставляет ключ; непрочитанный ответ можно повторить evidence/durability.txt
Сохранность API/LB/PostgreSQL/Redis действительно перезапущены; старые токены/сообщения/ключи сохранены evidence/persistence.txt, restart-before.json, restart-after.json, durability.txt
Отказ API ≤10 с public: ≥2 реплики, 117 успешных записей, 2 ошибки, восстановление 1,214 с evidence/public-failover.txt, stopped-instances.jsonl
Остановка каждой реплики каждая реальная API по очереди остановлена и восстановлена, данные/сессия прежние evidence/faults.json, faults.txt
Таймауты/readiness/graceful согласованные настройки; реальный ExitCode 0 при остановке; БД критична, кеш нет infra/haproxy.cfg, src/server.py, stopped-instances.jsonl, durability.txt
Лимиты/нет обхода LB CPU/RAM у всех сервисов; нет host-портов у API/БД/Redis, нет container_name compose.yaml, runtime.json
Поочерёдная замена под нагрузкой старые реальные контейнеры удалены, новые alias видны через тот же LB evidence/faults.json, faults.png
Однократные миграции один completed migration job, API DDL не делает; 001/002/003 src/migrate.py, evidence/clean-clone.txt
Трек 5 целиком 54 прогона: 1/2/4, фикс./растущие ресурсы, конкуренция/пул/БД, подтверждённое улучшение evidence/scaling.json, графики ниже

Исследование: цена масштабирования

Гипотезы: дробление фиксированного CPU между процессами само по себе не ускоряет API; дополнительные ресурсы помогают до общей зависимости. Лишние проверки доступа из lab2 создают дополнительные SQL/транзакции и уменьшают throughput. Увеличение числа соединений пула не обязано помогать CPU-ограниченной Python-реплике.

Окружение: macOS arm64, Colima Linux VM 4 vCPU / 4 094 001 152 байта RAM, Ubuntu 24.04.4 LTS. Клиент на хосте, только через LB. Профиль: 80% GET истории, 20% POST сообщений, 8 синтетических чатов по 100 начальных сообщений, текст 64 символа, history limit=50. Для каждого прогона создаётся отдельная такая фикстура; warmup/записи увеличивают историю, GET читает неизменные первые 50 записей. Данные предыдущих прогонов не удаляются, что отражает небольшое накопление общего объёма.

2 с прогрева, затем 8 с измерения, 3 повтора каждой конфигурации, всего 54. HTTP/1.1 клиентские соединения переиспользуются, одновременность задаётся явно. POST в нагрузке без retry: timeout может скрыть COMMIT, поэтому RPS — подтверждения HTTP, не точное число созданных строк. Ошибки считаются по статусам/типам исключений. В отказных сценариях, в отличие от benchmark, неоднозначная запись повторяется с прежним ключом.

Docker stats снимает CPU и used memory по сервисам; это не RSS/не peak RAM. Статистика PostgreSQL включает только агрегаты state/wait_event без текста SQL. Дополнительные pool/cgroup counters — в прогонах с полями pool_before/after. Таблицы ниже — медианы трёх отдельных RPS/percentile; это не percentile объединённой выборки. Колонка ошибок — сумма трёх прогонов. Исходные error_fraction, p50/p95/p99, времена, CPU/RAM и распределение alias сохранены в JSON. Усы на графиках — min/max трёх повторов.

1. Фиксированные и растущие ресурсы

В fixed суммарно API 1 CPU / 512 MiB: 1×1 CPU/512, 2×0,5/256, 4×0,25/128. PostgreSQL/LB/Redis неизменны, значит суммарный бюджет всего работающего стенда тоже фиксирован. В growing каждая API 0,5 CPU / 256 MiB: общий API CPU 0,5→1→2, RAM 256→512→1024 MiB. Максимальные лимиты работающих компонентов в growing — 3,75 CPU, внутри 4-vCPU VM.

Серия API Всего API CPU / MiB RPS p50, мс p95, мс p99, мс Ошибки
fixed 1 1 / 512 608.0 21.09 47.00 72.48 0
fixed 2 1 / 512 630.9 13.99 80.00 90.83 0
fixed 4 1 / 512 441.0 3.12 177.25 380.46 0
growing 1 0.5 / 256 258.5 77.51 104.98 216.89 0
growing 2 1 / 512 638.3 11.92 80.32 91.72 0
growing 4 2 / 1024 1643.6 4.38 49.14 69.90 0

При фиксированных ресурсах 4 реплики хуже 1/2: дробление CPU-квоты и дополнительные Python-процессы/пулы создают издержки, рост числа реплик не добавляет вычислительный бюджет. В growing дополнительные CPU помогают. Само это наблюдение не доказывает достижение предела PostgreSQL — отдельное вмешательство ниже проверяет именно его.

Масштабирование и улучшение

2. Конкуренция и насыщение

4 API по 0,5 CPU / 256 MiB, PostgreSQL 1 CPU, pool=8. Уже после четырёх клиентов рост конкуренции не даёт устойчивого роста successful RPS, p99 увеличивается; на 32/64 есть 503. Нельзя объявлять один наибольший RPS универсальной максимальной мощностью системы.

Клиенты RPS p50, мс p95, мс p99, мс Ошибки
1 546.9 1.68 2.31 2.94 0
4 1989.9 1.83 2.62 3.81 0
16 1643.6 4.38 49.14 69.90 0
32 1610.6 5.22 76.32 94.39 11
64 1924.8 31.14 71.38 100.26 629

Дополнительный стресс с одной API и 32 клиентами упирается в лимит 32 принятых соединений и конкурирует с health-check; LB может временно исключить перегруженный backend и быстро отдавать 503. Это связанное насыщение admission/пула/readiness, а не чистый тест эффективности пула. Ошибки не скрыты. После нагрузки генератор ждёт восстановления LB перед созданием следующей фикстуры. В research-initial.txt сохранён первоначальный сбой именно этапа подготовки после перегрузки; --resume дополнил недостающие измерения, не удаляя уже собранные ошибки.

Чтобы отделить этот эффект, пул также сравнивается при 16 клиентах:

Клиенты Pool max RPS p50, мс p95, мс p99, мс Ошибки
16 1 960.8 15.90 18.41 43.28 0
16 8 590.4 21.53 48.28 75.65 0
32 1 564.3 31.08 37.14 80.34 117848
32 8 466.1 53.26 72.84 101.95 61903

При 1 CPU pool=1 оказался быстрее pool=8. У pool=1 очередь действительно насыщена: в трёх измерениях 13–16 тысяч ожиданий получения соединения; среднее суммарное ожидание одного обращения порядка 6,6–7,9 мс. Но pool=8 усиливает конкуренцию потоков и CPU-throttling: около 80 throttled periods за 8 с против 3–8 у pool=1. Поэтому увеличение пула здесь не лечит CPU-ограничение. Это вывод об этом профиле, не рекомендация всегда ставить pool=1.

Пул соединений

3. Контролируемое насыщение общей БД

Тот же growing-профиль, но PostgreSQL явно ограничен 0,1 CPU; API по 0,5 CPU / 256 MiB. Это отдельная учебная конфигурация, штатная БД остаётся 1 CPU.

API RPS p50, мс p95, мс p99, мс Ошибки
1 147.6 81.38 397.31 698.23 0
2 104.1 94.13 602.16 987.58 0
4 83.5 95.62 604.32 998.03 0

БД потребляет около 9,8% одного ядра, то есть практически весь свой лимит 10%, тогда как API/LB недогружены. evidence/postgres-throttling.json: quota 10000 100000, рост nr_throttled на 375 между первой и последней пробами. При 2/4 API больше ожиданий общей БД; RPS не растёт, p99 приближается к секунде. Возвращение БД 1 CPU при тех же API даёт серию growing выше — вмешательство подтверждает, что общая БД действительно может стать пределом масштабирования. Предел зависит от выделенной квоты, а не является универсальным числом RPS PostgreSQL.

Общая БД как предел

4. Подтверждённое улучшение

Исходная схема проверок из lab2 сохранена как DB_ACCESS_MODE=baseline. Она загружает чат/список участников в роутере, затем повторяет это в операции. optimized убирает повторный вызов и проверяет членство через SELECT 1; права доступа остаются прежними и проверяются в операции с БД.

При тёплом кеше профиля GET истории: 6→3 SQL-запроса, новый POST сообщения: 9→6, без учёта BEGIN/COMMIT/health. Ключевые транзакционные границы и общая проверка сессии сохранены.

2 API × 0,5 CPU / 256 MiB, PostgreSQL 1 CPU, pool=8, 16 клиентов:

Вариант RPS p50, мс p95, мс p99, мс Ошибки
baseline 444.7 18.50 96.39 140.87 0
optimized 630.9 13.99 80.00 90.83 0

Выигрыш successful RPS 1.42× при одинаковых ресурсах. По умолчанию используется optimized. Это выигрыш смешанного профиля чтения/записи, не обещание ускорения любой операции.

Наблюдавшиеся ресурсы

Медианы выборочных замеров; CPU — % одного ядра, память — MiB Docker used. Для API указана сумма реплик. Redis во всех сериях присутствует в исходном JSON.

Конфигурация API CPU / MiB PostgreSQL CPU / MiB LB CPU / MiB
fixed, 1 API 105.6% / 61.2 19.1% / 45.7 6.5% / 7.9
fixed, 2 API 81.0% / 106.2 16.8% / 67.5 5.6% / 8.1
fixed, 4 API 65.4% / 179.3 16.4% / 108.8 4.9% / 8.1
growing, 1 API 51.5% / 45.3 8.2% / 54.5 3.0% / 8.0
growing, 2 API 81.0% / 106.2 16.2% / 76.8 5.5% / 8.0
growing, 4 API 162.2% / 212.2 37.1% / 122.1 12.0% / 8.4
database_limit, 1 API 28.9% / 61.1 9.7% / 46.8 3.4% / 8.6
database_limit, 2 API 30.5% / 106.1 9.9% / 69.3 3.6% / 8.6
database_limit, 4 API 34.1% / 195.2 9.7% / 108.7 3.6% / 8.6

Отказы и поочерёдная замена

Четыре клиента: два пишут, два читают; пауза между операциями 20 мс. Воздействие на 2-й секунде. Остановка — 12 с нагрузки, замена — 18 с. После каждой фазы вся история сверяется с подтверждёнными сообщениями, проверяется отсутствие дублей; используется исходная сессия. Предыдущая реплика восстанавливается перед остановкой следующей.

Время восстановления ниже считается от начала воздействия до успешной записи через другую реплику после завершения action, а не по ответу ещё останавливаемого процесса. У замены action включает ожидание нового контейнера — survivor обслуживает запросы и до завершения замены.

Воздействие Успешные RPS Ошибки p95 / p99, мс Восстановление, с Подтверждённых сообщений сверено
Остановка 1 108.5 5 15.60 / 17.71 1.883 649
Остановка 2 114.2 5 14.31 / 18.87 2.111 684
Замена 1 120.0 1 14.92 / 19.75 6.605 1080
Замена 2 120.7 1 13.90 / 17.58 6.088 1085

Отказы под нагрузкой

scripts/stop-one.sh сопоставляет TARGET_INSTANCE_ID фактическому API-контейнеру через его внутренний health, останавливает именно его и проверяет Running=false. Доказательства содержат container ID, alias, время и exit code. Последовательная замена действительно удаляет старые контейнеры и создаёт новые; LB не перезапускается, общий volume не удаляется. Это эквивалент rolling replacement той же версии, а не доказательство совместимости разных бизнес-версий.

Дополнительные сценарии: Redis stop → fallback; PostgreSQL stop → readiness 503 → восстановление → прежний Bearer и сообщение доступны; ключ/сообщение с U+0000 сохраняются после полного restart. SQL-trigger синтетически ломает ровно одну тестовую запись: rollback удаляет claim, повтор с тем же ключом успешен после снятия воздействия. HTTP-ответ намеренно не читается и соединение закрывается, затем повтор не создаёт дубль. Истечение ключа моделируется только для синтетической записи прямым сдвигом expiry, не изменением часов стенда.

Ограничения

  • Один Docker-host, один HAProxy и один PostgreSQL остаются SPOF. Доказан отказ API-процесса/контейнера, не потеря host/БД/LB и не multi-node HA.
  • Исследование короткое, локальное, closed-loop с coordinated omission; pXX только успешных ответов. Фоновая нагрузка хоста не изолирована; это не production SLA/длительный soak/open-loop capacity test. При лавине быстрых 503 сам генератор достигает высокого CPU; такие RPS нельзя считать чистым пределом сервера.
  • При перегрузке возможны временные 503/оборванные соединения. LB/readiness/admission взаимно влияют друг на друга; результаты 32 клиентов/одной API специально это показывают. Функциональные проверки и спокойные серии проходят, подтверждённые данные сохраняются.
  • Пул и workers задаются на реплику; рост реплик увеличивает число соединений к общей БД. Один горячий чат сериализует отправку по строке chats. CPU/GIL/квоты/пул/БД могут ограничивать разные профили.
  • Нет автоматического удаления старых сообщений/истёкших строк ключей и сессий; для долгой эксплуатации нужны housekeeping, контроль диска, метрики и retention. Истёкший ключ корректно переиспользуется, но это не ограничивает суммарный размер БД.
  • HTTP разрешён только для локального изолированного стенда с синтетическими пользователями; TLS/production-hardening — отдельные задачи курса.
  • Оценку подтверждает преподаватель; PASS тестов не выставляет её автоматически. CI может ждать разрешения владельца на запуск кода из fork.

Источники и помощь

Собственная реализация lab2, исходный skeleton/контракт lab3. Стандартная библиотека Python, psycopg/pool, redis-py, Matplotlib. Codex использован для реализации, собственных тестов, экспериментов и текста; чужие студенческие решения не использовались.

Проверка чистого клона

Отдельный clone без локальных secrets/.env, новый Compose project, новый volume и порт 18088: сборка, миграции 001/002/003, публичный smoke, все 15 собственных тестов и полный restart с прежним токеном прошли. Одноразовые контейнеры/volume/clone удалены; основной стенд и lab1-demo не затронуты. Вывод — evidence/clean-clone.txt. Первую попытку из несмонтированного Colima системного tmp сохраняет clean-clone-initial.txt; она остановилась до запуска приложения на bind-mount, повтор выполнен внутри HOME.