Files
mtusi2026lab3/REPORT.md
T
2026-11-07 10:41:21 +03:00

34 KiB
Raw Blame History

Отчёт — лабораторная 3: балансировка и отказ API-реплики

  • Автор и группа: Поликарпов Даниил Александрович, БПИ2303.
  • Целевая оценка: 5, трек 1 — цена масштабирования.
  • Исходная ревизия: 4c066ff1918cb5a865b4bfdbc1d501443d9855e3; реализация находится в текущем рабочем дереве, отдельный commit/PR ещё не создан.
  • Дата измерений: 2026-11-06T13:54:31.970632+00:00.
  • Диагностика и подготовка отчёта выполнены с помощью OpenAI Codex. Генератор нагрузки и сценарии студента входят в репозиторий.

Запуск из чистого clone

Нужны Docker Engine с Compose v2+ (проверено на Docker Desktop), Go 1.27+, Python 3.9+, OpenSSL, Git и Bash. Сборка контейнера использует Go 1.27.2; версии и digest базовых образов закреплены. Для локального Go-модуля используется Go 1.27. Стенд занимает порт 127.0.0.1:18080, отдельную сеть и volumes проекта mtusi2026lab3. Работающая lab2 не изменяется.

make up
make build vet check
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-analysis.txt
make validate PYTHON=.venv/bin/python
make test test-go test-storage
make evidence
make research
make saturation
.venv/bin/python scripts/summarize-research.py
python3 scripts/write-report.py

make up создаёт .env.lab3 со случайными синтетическими credentials и secrets/lab3/ с ключами подписи. Повторный bootstrap сохраняет существующие файлы. Не копируйте эти файлы в Git. Существующая .env не используется. При первом запуске загружаются образы и Go-зависимости. Миграции выполняет одноразовый service migrate; API ждут его успешного завершения. Готовность ожидается через Compose healthchecks. Обычный make test не останавливает контейнеры; make evidence — явный сценарий с перезапусками и отказами.

# Восстановить остановленные API
make restore
# Явно проверить перезапуск всех хранилищ и сохранность
make test-persistence ACTION_SCRIPT=scripts/restart.sh
# Остановить выбранную тестом API-реплику; затем восстановить
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore
# Поочерёдная замена уже собранным образом lab3
make rolling-update
# Безопасно остановить и удалить контейнеры, сохранив данные
make down
# Только для намеренного удаления всех учебных данных lab3:
./scripts/compose.sh down -v

Последняя команда разрушительна и не используется ни одним сценарием доказательства. Пример отдельного замера: make benchmark RATE=300 DURATION=30s BENCH_ARGS="-output evidence/manual-load.json". Для нагрузки/повторов используйте синтетические данные.

Архитектура и изменения в service/

flowchart LR
    C[Клиенты] --> LB[HAProxy :18080]
    LB --> A[API 1]
    LB --> B[API 2 и до 4]
    A --> DB[(Общий PostgreSQL)]
    B --> DB
    A --> R[(Общий Redis: кэш)]
    B --> R
    M[Одноразовые миграции] --> DB

PostgreSQL хранит пользователей, хеши паролей, чаты, участников, сообщения, серверные сессии и результаты идемпотентности. Redis содержит только восстанавливаемый кэш неизменяемых чатов и участников; отказ Redis не отзывает сессии и не меняет историю. История сообщений читается из PostgreSQL, поэтому подтверждённая запись видна другим API. Локальный singleflight подавляет повторные чтения и не является источником данных корректности.

Из предыдущей реализации сохранены Basic-вход, серверная Bearer-сессия, отзыв и expiry, Argon2id паролей, SQL-хранилища и keyset-пагинация (created_at,id). В lab3 добавлены идентификатор процесса, общая идемпотентность, отдельные миграции, LB, ограничения ресурсов и сценарии отказов. Старые Go-тесты lab1 переведены на реальное API lab3. Публичные tests/, контракт и рубрика сохранены. Вложения lab4 не реализуются: текущий OpenAPI lab3 принимает текстовые сообщения.

Пагинация не фиксирует snapshot между HTTP-запросами. Вставка, которая поздно закоммитилась либо получила время меньше уже выданного cursor, может не попасть в продолжение текущего обхода; новый обход с начала увидит её. Часы API должны быть синхронизированы; порядок (created_at,id) не обещает порядок COMMIT. На неизменной истории повторов и пропусков нет.

Идемпотентность и транзакции

Обязательный Idempotency-Key проверяется по ASCII [A-Za-z0-9._:-]{1,128}; несколько значений, пустой или неверный ключ дают 400. Scope — пользователь + POST + чат + ключ. SHA-256 вычисляется по декодированному значению text, поэтому JSON whitespace/экранирование не меняют смысл. Таблица message_idempotency имеет уникальный составной ключ и ссылку на созданное сообщение.

После проверки серверной сессии и членства транзакция получает PostgreSQL advisory lock по scope. При действующей записи совпадающее тело возвращает исходное Message и 201, отличающееся — 409. Иначе в этой же транзакции создаются сообщение и запись результата с expiry через 24 часа. COMMIT подтверждает оба изменения; ошибка/откат сохраняет ни одного. Коллизия 64-битного lock hash может только лишний раз сериализовать разные scope: сами записи различаются полным уникальным ключом. Отмена ожидания/транзиентный 5xx не фиксируются как результат; неопределённый POST безопасно повторяется с прежним ключом.

Истёкшая запись заменяется при повторном использовании ключа под той же блокировкой. Автоматическое удаление давно неиспользуемых ключей не настроено: таблица растёт с числом уникальных отправок. На учебной серии это измеряемое ограничение; для долгоживущего сервиса нужен отдельный ограниченный cleanup. Сообщения после expiry ключа сохраняются.

Сессии и подтверждённая оптимизация

Диагностика выявила, что прежняя функция EncryptSecretUsingSum256 дополнительно вызывала bcrypt, и каждая проверка случайного токена выполняла bcrypt.Compare. Это потребляло CPU независимо от коротких SQL-запросов. Новые отпечатки — sha256:<hex>, сравнение — subtle.ConstantTimeCompare. Это применяется только к сессионным токенам с 256-битным случайным nonce; пароли по-прежнему используют Argon2id. Legacy bcrypt-отпечатки принимаются, поэтому обновление не обрывает прежние действующие сессии; их проверки остаются дорогими до истечения/повторного входа.

Middleware на каждом запросе проверяет подпись, expiry и текущую запись сессии в БД, затем передаёт проверенные данные через типизированный context. Обработчики не повторяют проверку JWT. Между запросами положительная аутентификация не кэшируется; отзыв продолжает действовать через любую реплику.

Готовность, лимиты и обновление

Подробная таблица ролей, сетей, ресурсов и таймаутов — infra/README.md. HAProxy использует round robin без sticky sessions, Docker DNS и HTTP readiness (inter=1s, fall=2, rise=1, timeout=500ms). Расчётный бюджет обнаружения отказа — до 3 с без дополнительных задержек планирования; фактические результаты ниже. /health/live проверяет процесс, /health/ready — состояние сервера и PostgreSQL ping с бюджетом 200 мс. Redis — необязательная зависимость. Перегрузка общего пула может снимать readiness и усиливать ошибки: это отражается в экспериментах, а не скрывается.

Бюджеты: запрос/SQL — 2 с, connect LB — 500 мс, client/server LB и read/write API — 5 с, shutdown — 8 с, Docker stop grace — 10 с. SIGTERM снимает readiness, прекращает приём новых соединений и ждёт активные запросы. Поочерёдная замена сначала переводит backend в drain, ждёт завершения запросов, заменяет только выбранный контейнер, проверяет readiness и возвращает ready. Скрипт проверяет, что остальные контейнеры не были заменены.

Миграция 006 только добавляет таблицу, поэтому совместима с работающей версией. Однако старая lab2-версия не выполняет контракт идемпотентности: смешивать её с lab3 при первоначальном переходе нельзя. Проверенное обновление заменяет процессы уже совместимой lab3. Токены переживают рестарт, если сохранены PostgreSQL volume и ключи подписи.

Доказательства критериев

Итоговая приёмка: PASS, время завершения: 2026-11-07T06:25:49.875346+00:00. Перед каждым запуском status меняется на running; ошибка записывает failed и этап, поэтому прошлый PASS не маскирует новый сбой. Предварительно проверяется расхождение часов хоста/API ≤5 с; TTL и публичные assertions не ослабляются.

Критерий Команда / сценарий Наблюдение Доказательство
Контракт и схемы make check validate Структура и OpenAPI валидны валидация
Бизнес-контракт lab3 make test Публичный smoke PASS smoke
Собственные проверки make test-go Реальное API, ошибки, доступ, пагинация, конкурентные сообщения/ключи; race detector Go-тесты
Атомарность и expiry make test-storage Изолированная БД: rollback, отказ после INSERT, повтор после ошибки и expiry SQL-тесты
≥2 реальных API и общая сессия Конкурентный тест + состояния контейнеров Один ключ через разные процессы создаёт одно Message Go-тесты, контейнеры
Persistence хранилищ и прежней сессии make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS; времена запуска API, PostgreSQL и Redis изменились проверка, до, после
Публичный failover make test-failover ACTION_SCRIPT=scripts/stop-one.sh ≥2 реплики до отказа; чтение подтверждений и retry без дубля failover
Отказ каждой реплики make evidence Обе API действительно останавливались по отдельности результаты
CPU/RAM, единая точка входа Compose + docker inspect Лимиты заданы всем сервисам, API не публикуют порты контейнеры, Compose
Одноразовые миграции Service migrate, API без startup migrations Завершённый процесс миграции, версия 6 миграции
Поочерёдная замена под нагрузкой make rolling-update внутри make evidence Реальные ID всех API заменены, подтверждения сохранены действия, итог
Трек 1 make research, агрегирование и графики Результаты и ограничения ниже методика, CSV

Отказы и обновление

Воздействие Восстановление записи, с Ошибки записи / чтения Проверено подтверждений
Остановка mtusi2026lab3-api-3 0.730 0 / 1 349
Остановка mtusi2026lab3-api-4 0.738 0 / 2 352
Замена всех API за 18.10 с непрерывное обслуживание 0 / 0 445

Время восстановления отсчитывается от запуска hook до первой подтверждённой записи после его успешного завершения; это не точное время внутреннего обнаружения отказа LB. Нагрузка отказов — последовательные чтения/записи с короткой паузой; RPS в артефактах относится к этому сценарию и не является пределом пропускной способности. Остановленный процесс проверяется через Docker inspect и остаётся остановленным до явного восстановления.

Исследование: цена масштабирования

Гипотеза: при фиксированных суммарных CPU/RAM увеличение числа API не гарантирует роста throughput; при росте ресурсов API выигрыш ограничивают общие LB, PostgreSQL и пул. Замена дорогой проверки отпечатка случайного токена должна устранить раннее насыщение CPU.

Аппаратная среда Docker: 14 CPUs / 8320954368 bytes. Сервисы находятся в одной Linux/arm64 VM Docker Desktop; работающая lab2 сохранена и не нагружается. Генератор работает на хосте, metrics collector — отдельный процесс Python. Все лимиты относятся к контейнерам, а не к выделенным физическим ядрам.

Сравниваются 1/2/4 API: серия fixed имеет суммарно 2 CPU / 1024 MiB; growing — 1 CPU / 512 MiB на каждый API. PostgreSQL — 2 CPU / 1 GiB, HAProxy — 0.5 CPU / 128 MiB, Redis — 0.25 CPU / 128 MiB во всех конфигурациях. Общий pool limit API =16, на реплику 16/8/4.

Профиль — 90% GET первой страницы истории (limit=50), 10% POST новых сообщений; перед каждым прогоном новый чат с 1000 сообщениями. Сессия создаётся до нагрузки, без повторного входа в измеряемой фазе. Warmup 5 с, измерение 30 с, 3 повтора; интенсивности 100/300/900/2700/8100 запросов/с перемешаны детерминированно внутри конфигурации. Генератор открытого цикла ограничен 256 одновременными запросами и отдельно считает отказ запуска при заполнении лимита. Каждый POST имеет новый ключ; прикладных повторов нет. Timeout клиента — 2 с. В первоначальной матрице использован стандартный Go Transport: при разрыве reused-соединения он мог прозрачно повторить запрос с Idempotency-Key. Поэтому её RPS означает финальные HTTP-подтверждения логических операций, а не точное число сетевых попыток или COMMIT. В итоговом коде GetBody для POST отключён; отдельный тест воспроизводит потерю ответа и доказывает отсутствие повтора. Дополнительный эксперимент с CPU LB использует уже исправленный клиент. Это ограничение исходной матрицы явно сохраняется, её цифры не выданы за новую серию.

Каждый прогон сохраняет successful RPS, HTTP/network errors, generator drops, p50/p95/p99 успешных запросов и времена измеряемого окна. RPS делится на фактическое время вместе с завершением запросов. Процентили включают задержку планировщика и не включают ошибки; их нельзя читать отдельно от доли ошибок. Метрики cgroup, пула, активных ожиданий БД и очередей LB собираются примерно каждые 3 с через docker exec. Агрегаты CPU используют только интервалы внутри измеряемой фазы, исключая подготовку и warmup.

В отдельном сравнении до/после — те же две API, суммарно 2 CPU / 1 GiB, pool=16, 5/20/80 запросов/с, warmup 3 с, измерение 15 с, три повтора. До и после использовался один сохранённый бинарник генератора. Его пакетный планировщик добавлял постоянную задержку низким интенсивностям (около 190 мс при 5 RPS); абсолютные latency этого сравнения не считаются чистой HTTP-задержкой. Для итоговой матрицы планировщик исправлен: отправляются только уже наступившие запросы. Эти два набора latency напрямую между собой не сравниваются.

Результаты до/после

Вариант / целевой RPS Повторы Медиана successful RPS Медиана ошибок + drops p95 успешных, мс
after-2-r20 3 20.00 0.00% 47.39
after-2-r5 3 5.00 0.00% 199.06
after-2-r80 3 79.99 0.00% 13.70
before-2-r20 3 19.95 0.00% 95.39
before-2-r5 3 4.98 0.00% 261.82
before-2-r80 3 4.21 94.08% 1895.41

Оптимизация отпечатка токена

Матрица масштабирования

Конфигурация / целевой RPS Повторы Медиана successful RPS Медиана ошибок + drops p95 успешных, мс
fixed-1-r100 3 100.0 0.00% 3.92
fixed-1-r2700 3 2645.8 1.68% 90.71
fixed-1-r300 3 300.0 0.00% 10.18
fixed-1-r8100 3 6366.0 21.37% 101.66
fixed-1-r900 3 899.9 0.00% 11.88
fixed-2-r100 3 100.0 0.00% 4.16
fixed-2-r2700 3 2699.2 0.02% 13.64
fixed-2-r300 3 300.0 0.00% 10.45
fixed-2-r8100 3 6052.8 25.24% 74.61
fixed-2-r900 3 899.9 0.00% 11.98
fixed-4-r100 3 100.0 0.00% 3.56
fixed-4-r2700 3 2686.6 0.48% 13.24
fixed-4-r300 3 300.0 0.00% 9.49
fixed-4-r8100 3 6074.8 24.90% 83.00
fixed-4-r900 3 899.9 0.00% 12.09
growing-1-r100 3 100.0 0.00% 4.19
growing-1-r2700 3 2689.5 0.37% 13.33
growing-1-r300 3 300.0 0.00% 10.20
growing-1-r8100 3 4227.4 47.70% 89.86
growing-1-r900 3 899.9 0.00% 11.79
growing-2-r100 3 100.0 0.00% 4.21
growing-2-r2700 3 2699.6 0.00% 12.85
growing-2-r300 3 300.0 0.00% 10.24
growing-2-r8100 3 6950.9 14.01% 61.22
growing-2-r900 3 899.9 0.00% 11.74
growing-4-r100 3 100.0 0.00% 3.45
growing-4-r2700 3 2676.9 0.84% 12.78
growing-4-r300 3 300.0 0.00% 9.47
growing-4-r8100 3 5929.6 26.77% 78.11
growing-4-r900 3 899.9 0.00% 11.63

Масштабирование и ошибки

Полные минимумы/максимумы повторов, p50/p95/p99 и исходные счётчики — в summary.csv и runs.json.

Наблюдаемые ресурсы при 8100 запросах/с

CPU ниже измерен в ядрах; API — сумма средних по контейнерам. Throttling — доля cgroup-периодов с ограничением, не доля потерянного CPU-времени. Ожидание pool — среднее время Acquire, включая быстрые получения; это не SQL latency.

Конфигурация CPU API / LB / БД Throttling API / LB RAM всех API, MiB Acquire pool, мс
fixed-1 1.53 / 0.43 / 1.37 0.0% / 74.1% 89.5 13.917
fixed-2 1.84 / 0.50 / 1.24 46.9% / 99.7% 168.8 4.222
fixed-4 1.96 / 0.50 / 1.14 87.5% / 99.3% 194.2 4.461
growing-1 1.00 / 0.29 / 0.65 100.0% / 3.1% 93.2 18.257
growing-2 1.87 / 0.50 / 1.20 63.9% / 100.0% 147.6 3.279
growing-4 1.86 / 0.50 / 1.05 0.1% / 100.0% 194.0 1.938

Контроль ограничения генератора и LB

Дополнительный контролируемый эксперимент: две API, суммарно 2 CPU / 1 GiB, pool=16, 8100 запросов/с; предел генератора увеличен с 256 до 1024. Сравниваются LB с 0.5 и 1 CPU при неизменных остальных ресурсах. На каждый вариант три повтора, warmup 5 с, измерение 30 с. Сохраняются фактически применённые лимиты Docker и CPU/RSS генератора на хосте. Этот эксперимент отделён от основной матрицы.

CPU балансировщика Повторы Медиана successful RPS Ошибки + drops p95 успешных, мс
lbprobe-cpu0.5 3 6986.6 13.28% 190.53
lbprobe-cpu1 3 6888.6 14.47% 275.69

Выводы по измерениям

При 80 запланированных запросах/с медиана успешных подтверждений выросла с 4.21 до 79.99 RPS (19.0 раза), доля ошибок + drops снизилась с 94.08% до 0.00%. Это измеренный результат совместной замены bcrypt-отпечатка и устранения повторной проверки JWT; вклад каждого изменения отдельно не изолирован. При 8100 запросах/с серия fixed дала медианы 6366/6053/6075 successful RPS для 1/2/4 API. Диапазоны повторов приведены в CSV; рост числа процессов сам по себе не доказывает линейного выигрыша. При 8100 запросах/с серия growing дала медианы 4227/6951/5930 successful RPS для 1/2/4 API. Диапазоны повторов приведены в CSV; рост числа процессов сам по себе не доказывает линейного выигрыша. При лимите генератора 1024 увеличение CPU LB с 0.5 до 1 изменило медиану throughput на -1.4%: 6987 → 6889 RPS. Остальные ресурсы не менялись. Диапазоны повторов перекрываются: устойчивый прирост от увеличения CPU LB не подтверждён. Следовательно, наблюдаемое throttling LB само по себе не доказывает, что именно он является единственным узким местом. В growing-4 при 8100 запросах/с LB в среднем занимал 0.50 ядра из выделенных 0.5, медианная доля ограниченных cgroup-периодов LB — 100.0%; средний Acquire пула — 1.938 мс. Увеличение CPU API не увеличивает CPU LB или общий пул 16 соединений. Это признаки давления на ресурсы и очереди, но не доказательство единственной причины плато. В контроле с двумя API их CPU близок к выделенному 1 ядру на процесс; увеличение CPU LB увеличило ожидание pool примерно с 18 до 57 мс без выигрыша throughput. Данные согласуются с переносом давления к насыщенным API и общему пулу; точный максимум PostgreSQL не установлен. При высокой интенсивности основной матрицы заполнялся лимит 256 in-flight и часть операций не отправлялась. Поэтому точный максимум PostgreSQL по этим данным не установлен: зафиксировано насыщение данного стенда и ограниченного генератора. Дополнительный эксперимент с лимитом 1024 и CPU LB проверяет это ограничение отдельно. По одним p95 успешных запросов или числу реплик делать вывод о максимальной мощности БД нельзя.

Повторение исходной версии

Обратимый patch evidence/research/token-optimization.patch содержит изменения отпечатков и повторной проверки JWT. scripts/reproduce-baseline.sh копирует исходники во временный каталог, обращает patch и собирает mtusi-messenger:lab3-before, не меняя рабочее дерево. Для запуска исходного варианта явно задайте API_IMAGE=mtusi-messenger:lab3-before ./scripts/compose.sh up -d --force-recreate --no-deps --wait api; создайте новые сессии на этом варианте. После измерений верните API_IMAGE=mtusi-messenger:lab3. Не используйте сохранённые новые SHA-256-сессии против старой версии. При повторении текущий генератор уже имеет исправленный планировщик: повторяйте обе версии одним бинарником и сравнивайте только новую пару запусков.

Ограничения

  • Защищён отказ одного API-процесса при живых остальных зависимостях. Нет HA PostgreSQL, LB, Redis или всего узла; потеря volumes/ключей не покрывается.
  • Race detector покрывает Go-тестовый процесс и in-process unit tests. Контейнерный API собран без race instrumentation; black-box конкурентные проверки доказывают наблюдаемое поведение и SQL-инварианты, а не отсутствие всех возможных гонок памяти.
  • Исследование локальное: общая VM, host-генератор, накладные расходы collectors и ограниченная длительность. Нет универсального production SLA или универсального проходного RPS.
  • Данные между прогонами сохраняются; чат и начальная история каждого прогона новые, но суммарная БД растёт. Перемешивание интенсивностей не устраняет полностью влияние порядка конфигураций и кешей.
  • Высокая доля dropped/ошибок ограничивает возможность назвать точную пропускную способность БД. Насыщение обосновывается совокупностью CPU, ожиданий пула, очередей LB и ошибок, с указанием возможного ограничения генератора.
  • Rolling-сценарий подтверждает замену процессов совместимой lab3. Произвольная несовместимая смена схемы и одновременный lab2/lab3 deployment не проверяются.
  • Автор/группа и публикация commit/PR требуют данных автора. Никакие PASS и значения измерений не подставляются вместо отсутствующих результатов.

Первичные источники