34 KiB
Отчёт — лабораторная 3: балансировка и отказ API-реплики
- Автор и группа: Поликарпов Даниил Александрович, БПИ2303.
- Целевая оценка: 5, трек 1 — цена масштабирования.
- Исходная ревизия исследования:
4c066ff1918cb5a865b4bfdbc1d501443d9855e3. - Коммит реализации:
1e0d18e25b69f5932a875fbb652da877964f2833(«На 5»). - Ссылка на PR: mtusi2026/mtusi2026lab3#119.
- Дата измерений: 2026-11-06T13:54:31.970632+00:00.
- Диагностика и подготовка отчёта выполнены с помощью OpenAI Codex. Генератор нагрузки и сценарии студента входят в репозиторий.
Запуск из чистого clone
Нужны Docker Engine с Compose v2+ (проверено на Docker Desktop), Go 1.27+, Python 3.9+, OpenSSL, Git и Bash. Сборка контейнера использует Go 1.27.2; версии и digest базовых образов закреплены. Для локального Go-модуля используется Go 1.27. Стенд занимает порт 127.0.0.1:18080, отдельную сеть и volumes проекта mtusi2026lab3. Работающая lab2 не изменяется.
make up
make build vet check
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-analysis.txt
make validate PYTHON=.venv/bin/python
make test test-go test-storage
make evidence
make research
make saturation
.venv/bin/python scripts/summarize-research.py
python3 scripts/write-report.py
make up создаёт .env.lab3 со случайными синтетическими credentials и secrets/lab3/ с ключами подписи. Повторный bootstrap сохраняет существующие файлы. Не копируйте эти файлы в Git. Существующая .env не используется. При первом запуске загружаются образы и Go-зависимости. Миграции выполняет одноразовый service migrate; API ждут его успешного завершения. Готовность ожидается через Compose healthchecks. Обычный make test не останавливает контейнеры; make evidence — явный сценарий с перезапусками и отказами.
# Восстановить остановленные API
make restore
# Явно проверить перезапуск всех хранилищ и сохранность
make test-persistence ACTION_SCRIPT=scripts/restart.sh
# Остановить выбранную тестом API-реплику; затем восстановить
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore
# Поочерёдная замена уже собранным образом lab3
make rolling-update
# Безопасно остановить и удалить контейнеры, сохранив данные
make down
# Только для намеренного удаления всех учебных данных lab3:
./scripts/compose.sh down -v
Последняя команда разрушительна и не используется ни одним сценарием доказательства. Пример отдельного замера: make benchmark RATE=300 DURATION=30s BENCH_ARGS="-output evidence/manual-load.json". Для нагрузки/повторов используйте синтетические данные.
Архитектура и изменения в service/
flowchart LR
C[Клиенты] --> LB[HAProxy :18080]
LB --> A[API 1]
LB --> B[API 2 и до 4]
A --> DB[(Общий PostgreSQL)]
B --> DB
A --> R[(Общий Redis: кэш)]
B --> R
M[Одноразовые миграции] --> DB
PostgreSQL хранит пользователей, хеши паролей, чаты, участников, сообщения, серверные сессии и результаты идемпотентности. Redis содержит только восстанавливаемый кэш неизменяемых чатов и участников; отказ Redis не отзывает сессии и не меняет историю. История сообщений читается из PostgreSQL, поэтому подтверждённая запись видна другим API. Локальный singleflight подавляет повторные чтения и не является источником данных корректности.
Из предыдущей реализации сохранены Basic-вход, серверная Bearer-сессия, отзыв и expiry, Argon2id паролей, SQL-хранилища и keyset-пагинация (created_at,id). В lab3 добавлены идентификатор процесса, общая идемпотентность, отдельные миграции, LB, ограничения ресурсов и сценарии отказов. Старые Go-тесты lab1 переведены на реальное API lab3. Публичные tests/, контракт и рубрика сохранены. Вложения lab4 не реализуются: текущий OpenAPI lab3 принимает текстовые сообщения.
Пагинация не фиксирует snapshot между HTTP-запросами. Вставка, которая поздно закоммитилась либо получила время меньше уже выданного cursor, может не попасть в продолжение текущего обхода; новый обход с начала увидит её. Часы API должны быть синхронизированы; порядок (created_at,id) не обещает порядок COMMIT. На неизменной истории повторов и пропусков нет.
Идемпотентность и транзакции
Обязательный Idempotency-Key проверяется по ASCII [A-Za-z0-9._:-]{1,128}; несколько значений, пустой или неверный ключ дают 400. Scope — пользователь + POST + чат + ключ. SHA-256 вычисляется по декодированному значению text, поэтому JSON whitespace/экранирование не меняют смысл. Таблица message_idempotency имеет уникальный составной ключ и ссылку на созданное сообщение.
После проверки серверной сессии и членства транзакция получает PostgreSQL advisory lock по scope. При действующей записи совпадающее тело возвращает исходное Message и 201, отличающееся — 409. Иначе в этой же транзакции создаются сообщение и запись результата с expiry через 24 часа. COMMIT подтверждает оба изменения; ошибка/откат сохраняет ни одного. Коллизия 64-битного lock hash может только лишний раз сериализовать разные scope: сами записи различаются полным уникальным ключом. Отмена ожидания/транзиентный 5xx не фиксируются как результат; неопределённый POST безопасно повторяется с прежним ключом.
Истёкшая запись заменяется при повторном использовании ключа под той же блокировкой. Автоматическое удаление давно неиспользуемых ключей не настроено: таблица растёт с числом уникальных отправок. На учебной серии это измеряемое ограничение; для долгоживущего сервиса нужен отдельный ограниченный cleanup. Сообщения после expiry ключа сохраняются.
Сессии и подтверждённая оптимизация
Диагностика выявила, что прежняя функция EncryptSecretUsingSum256 дополнительно вызывала bcrypt, и каждая проверка случайного токена выполняла bcrypt.Compare. Это потребляло CPU независимо от коротких SQL-запросов. Новые отпечатки — sha256:<hex>, сравнение — subtle.ConstantTimeCompare. Это применяется только к сессионным токенам с 256-битным случайным nonce; пароли по-прежнему используют Argon2id. Legacy bcrypt-отпечатки принимаются, поэтому обновление не обрывает прежние действующие сессии; их проверки остаются дорогими до истечения/повторного входа.
Middleware на каждом запросе проверяет подпись, expiry и текущую запись сессии в БД, затем передаёт проверенные данные через типизированный context. Обработчики не повторяют проверку JWT. Между запросами положительная аутентификация не кэшируется; отзыв продолжает действовать через любую реплику.
Готовность, лимиты и обновление
Подробная таблица ролей, сетей, ресурсов и таймаутов — infra/README.md. HAProxy использует round robin без sticky sessions, Docker DNS и HTTP readiness (inter=1s, fall=2, rise=1, timeout=500ms). Расчётный бюджет обнаружения отказа — до 3 с без дополнительных задержек планирования; фактические результаты ниже. /health/live проверяет процесс, /health/ready — состояние сервера и PostgreSQL ping с бюджетом 200 мс. Redis — необязательная зависимость. Перегрузка общего пула может снимать readiness и усиливать ошибки: это отражается в экспериментах, а не скрывается.
Бюджеты: запрос/SQL — 2 с, connect LB — 500 мс, client/server LB и read/write API — 5 с, shutdown — 8 с, Docker stop grace — 10 с. SIGTERM снимает readiness, прекращает приём новых соединений и ждёт активные запросы. Поочерёдная замена сначала переводит backend в drain, ждёт завершения запросов, заменяет только выбранный контейнер, проверяет readiness и возвращает ready. Скрипт проверяет, что остальные контейнеры не были заменены.
Миграция 006 только добавляет таблицу, поэтому совместима с работающей версией. Однако старая lab2-версия не выполняет контракт идемпотентности: смешивать её с lab3 при первоначальном переходе нельзя. Проверенное обновление заменяет процессы уже совместимой lab3. Токены переживают рестарт, если сохранены PostgreSQL volume и ключи подписи.
Доказательства критериев
Итоговая приёмка: PASS, время завершения: 2026-11-07T06:25:49.875346+00:00. Перед каждым запуском status меняется на running; ошибка записывает failed и этап, поэтому прошлый PASS не маскирует новый сбой. Предварительно проверяется расхождение часов хоста/API ≤5 с; TTL и публичные assertions не ослабляются.
| Критерий | Команда / сценарий | Наблюдение | Доказательство |
|---|---|---|---|
| Контракт и схемы | make check validate |
Структура и OpenAPI валидны | валидация |
| Бизнес-контракт lab3 | make test |
Публичный smoke PASS | smoke |
| Собственные проверки | make test-go |
Реальное API, ошибки, доступ, пагинация, конкурентные сообщения/ключи; race detector | Go-тесты |
| Атомарность и expiry | make test-storage |
Изолированная БД: rollback, отказ после INSERT, повтор после ошибки и expiry | SQL-тесты |
| ≥2 реальных API и общая сессия | Конкурентный тест + состояния контейнеров | Один ключ через разные процессы создаёт одно Message | Go-тесты, контейнеры |
| Persistence хранилищ и прежней сессии | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS; времена запуска API, PostgreSQL и Redis изменились | проверка, до, после |
| Публичный failover | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
≥2 реплики до отказа; чтение подтверждений и retry без дубля | failover |
| Отказ каждой реплики | make evidence |
Обе API действительно останавливались по отдельности | результаты |
| CPU/RAM, единая точка входа | Compose + docker inspect | Лимиты заданы всем сервисам, API не публикуют порты | контейнеры, Compose |
| Одноразовые миграции | Service migrate, API без startup migrations | Завершённый процесс миграции, версия 6 | миграции |
| Поочерёдная замена под нагрузкой | make rolling-update внутри make evidence |
Реальные ID всех API заменены, подтверждения сохранены | действия, итог |
| Трек 1 | make research, агрегирование и графики |
Результаты и ограничения ниже | методика, CSV |
Отказы и обновление
| Воздействие | Восстановление записи, с | Ошибки записи / чтения | Проверено подтверждений |
|---|---|---|---|
| Остановка mtusi2026lab3-api-3 | 0.730 | 0 / 1 | 349 |
| Остановка mtusi2026lab3-api-4 | 0.738 | 0 / 2 | 352 |
| Замена всех API за 18.10 с | непрерывное обслуживание | 0 / 0 | 445 |
Время восстановления отсчитывается от запуска hook до первой подтверждённой записи после его успешного завершения; это не точное время внутреннего обнаружения отказа LB. Нагрузка отказов — последовательные чтения/записи с короткой паузой; RPS в артефактах относится к этому сценарию и не является пределом пропускной способности. Остановленный процесс проверяется через Docker inspect и остаётся остановленным до явного восстановления.
Исследование: цена масштабирования
Гипотеза: при фиксированных суммарных CPU/RAM увеличение числа API не гарантирует роста throughput; при росте ресурсов API выигрыш ограничивают общие LB, PostgreSQL и пул. Замена дорогой проверки отпечатка случайного токена должна устранить раннее насыщение CPU.
Аппаратная среда Docker: 14 CPUs / 8320954368 bytes. Сервисы находятся в одной Linux/arm64 VM Docker Desktop; работающая lab2 сохранена и не нагружается. Генератор работает на хосте, metrics collector — отдельный процесс Python. Все лимиты относятся к контейнерам, а не к выделенным физическим ядрам.
Сравниваются 1/2/4 API: серия fixed имеет суммарно 2 CPU / 1024 MiB; growing — 1 CPU / 512 MiB на каждый API. PostgreSQL — 2 CPU / 1 GiB, HAProxy — 0.5 CPU / 128 MiB, Redis — 0.25 CPU / 128 MiB во всех конфигурациях. Общий pool limit API =16, на реплику 16/8/4.
Профиль — 90% GET первой страницы истории (limit=50), 10% POST новых сообщений; перед каждым прогоном новый чат с 1000 сообщениями. Сессия создаётся до нагрузки, без повторного входа в измеряемой фазе. Warmup 5 с, измерение 30 с, 3 повтора; интенсивности 100/300/900/2700/8100 запросов/с перемешаны детерминированно внутри конфигурации. Генератор открытого цикла ограничен 256 одновременными запросами и отдельно считает отказ запуска при заполнении лимита. Каждый POST имеет новый ключ; прикладных повторов нет. Timeout клиента — 2 с. В первоначальной матрице использован стандартный Go Transport: при разрыве reused-соединения он мог прозрачно повторить запрос с Idempotency-Key. Поэтому её RPS означает финальные HTTP-подтверждения логических операций, а не точное число сетевых попыток или COMMIT. В итоговом коде GetBody для POST отключён; отдельный тест воспроизводит потерю ответа и доказывает отсутствие повтора. Дополнительный эксперимент с CPU LB использует уже исправленный клиент. Это ограничение исходной матрицы явно сохраняется, её цифры не выданы за новую серию.
Каждый прогон сохраняет successful RPS, HTTP/network errors, generator drops, p50/p95/p99 успешных запросов и времена измеряемого окна. RPS делится на фактическое время вместе с завершением запросов. Процентили включают задержку планировщика и не включают ошибки; их нельзя читать отдельно от доли ошибок. Метрики cgroup, пула, активных ожиданий БД и очередей LB собираются примерно каждые 3 с через docker exec. Агрегаты CPU используют только интервалы внутри измеряемой фазы, исключая подготовку и warmup.
В отдельном сравнении до/после — те же две API, суммарно 2 CPU / 1 GiB, pool=16, 5/20/80 запросов/с, warmup 3 с, измерение 15 с, три повтора. До и после использовался один сохранённый бинарник генератора. Его пакетный планировщик добавлял постоянную задержку низким интенсивностям (около 190 мс при 5 RPS); абсолютные latency этого сравнения не считаются чистой HTTP-задержкой. Для итоговой матрицы планировщик исправлен: отправляются только уже наступившие запросы. Эти два набора latency напрямую между собой не сравниваются.
Результаты до/после
| Вариант / целевой RPS | Повторы | Медиана successful RPS | Медиана ошибок + drops | p95 успешных, мс |
|---|---|---|---|---|
| after-2-r20 | 3 | 20.00 | 0.00% | 47.39 |
| after-2-r5 | 3 | 5.00 | 0.00% | 199.06 |
| after-2-r80 | 3 | 79.99 | 0.00% | 13.70 |
| before-2-r20 | 3 | 19.95 | 0.00% | 95.39 |
| before-2-r5 | 3 | 4.98 | 0.00% | 261.82 |
| before-2-r80 | 3 | 4.21 | 94.08% | 1895.41 |
Матрица масштабирования
| Конфигурация / целевой RPS | Повторы | Медиана successful RPS | Медиана ошибок + drops | p95 успешных, мс |
|---|---|---|---|---|
| fixed-1-r100 | 3 | 100.0 | 0.00% | 3.92 |
| fixed-1-r2700 | 3 | 2645.8 | 1.68% | 90.71 |
| fixed-1-r300 | 3 | 300.0 | 0.00% | 10.18 |
| fixed-1-r8100 | 3 | 6366.0 | 21.37% | 101.66 |
| fixed-1-r900 | 3 | 899.9 | 0.00% | 11.88 |
| fixed-2-r100 | 3 | 100.0 | 0.00% | 4.16 |
| fixed-2-r2700 | 3 | 2699.2 | 0.02% | 13.64 |
| fixed-2-r300 | 3 | 300.0 | 0.00% | 10.45 |
| fixed-2-r8100 | 3 | 6052.8 | 25.24% | 74.61 |
| fixed-2-r900 | 3 | 899.9 | 0.00% | 11.98 |
| fixed-4-r100 | 3 | 100.0 | 0.00% | 3.56 |
| fixed-4-r2700 | 3 | 2686.6 | 0.48% | 13.24 |
| fixed-4-r300 | 3 | 300.0 | 0.00% | 9.49 |
| fixed-4-r8100 | 3 | 6074.8 | 24.90% | 83.00 |
| fixed-4-r900 | 3 | 899.9 | 0.00% | 12.09 |
| growing-1-r100 | 3 | 100.0 | 0.00% | 4.19 |
| growing-1-r2700 | 3 | 2689.5 | 0.37% | 13.33 |
| growing-1-r300 | 3 | 300.0 | 0.00% | 10.20 |
| growing-1-r8100 | 3 | 4227.4 | 47.70% | 89.86 |
| growing-1-r900 | 3 | 899.9 | 0.00% | 11.79 |
| growing-2-r100 | 3 | 100.0 | 0.00% | 4.21 |
| growing-2-r2700 | 3 | 2699.6 | 0.00% | 12.85 |
| growing-2-r300 | 3 | 300.0 | 0.00% | 10.24 |
| growing-2-r8100 | 3 | 6950.9 | 14.01% | 61.22 |
| growing-2-r900 | 3 | 899.9 | 0.00% | 11.74 |
| growing-4-r100 | 3 | 100.0 | 0.00% | 3.45 |
| growing-4-r2700 | 3 | 2676.9 | 0.84% | 12.78 |
| growing-4-r300 | 3 | 300.0 | 0.00% | 9.47 |
| growing-4-r8100 | 3 | 5929.6 | 26.77% | 78.11 |
| growing-4-r900 | 3 | 899.9 | 0.00% | 11.63 |
Полные минимумы/максимумы повторов, p50/p95/p99 и исходные счётчики — в summary.csv и runs.json.
Наблюдаемые ресурсы при 8100 запросах/с
CPU ниже измерен в ядрах; API — сумма средних по контейнерам. Throttling — доля cgroup-периодов с ограничением, не доля потерянного CPU-времени. Ожидание pool — среднее время Acquire, включая быстрые получения; это не SQL latency.
| Конфигурация | CPU API / LB / БД | Throttling API / LB | RAM всех API, MiB | Acquire pool, мс |
|---|---|---|---|---|
| fixed-1 | 1.53 / 0.43 / 1.37 | 0.0% / 74.1% | 89.5 | 13.917 |
| fixed-2 | 1.84 / 0.50 / 1.24 | 46.9% / 99.7% | 168.8 | 4.222 |
| fixed-4 | 1.96 / 0.50 / 1.14 | 87.5% / 99.3% | 194.2 | 4.461 |
| growing-1 | 1.00 / 0.29 / 0.65 | 100.0% / 3.1% | 93.2 | 18.257 |
| growing-2 | 1.87 / 0.50 / 1.20 | 63.9% / 100.0% | 147.6 | 3.279 |
| growing-4 | 1.86 / 0.50 / 1.05 | 0.1% / 100.0% | 194.0 | 1.938 |
Контроль ограничения генератора и LB
Дополнительный контролируемый эксперимент: две API, суммарно 2 CPU / 1 GiB, pool=16, 8100 запросов/с; предел генератора увеличен с 256 до 1024. Сравниваются LB с 0.5 и 1 CPU при неизменных остальных ресурсах. На каждый вариант три повтора, warmup 5 с, измерение 30 с. Сохраняются фактически применённые лимиты Docker и CPU/RSS генератора на хосте. Этот эксперимент отделён от основной матрицы.
| CPU балансировщика | Повторы | Медиана successful RPS | Ошибки + drops | p95 успешных, мс |
|---|---|---|---|---|
| lbprobe-cpu0.5 | 3 | 6986.6 | 13.28% | 190.53 |
| lbprobe-cpu1 | 3 | 6888.6 | 14.47% | 275.69 |
Выводы по измерениям
При 80 запланированных запросах/с медиана успешных подтверждений выросла с 4.21 до 79.99 RPS (19.0 раза), доля ошибок + drops снизилась с 94.08% до 0.00%. Это измеренный результат совместной замены bcrypt-отпечатка и устранения повторной проверки JWT; вклад каждого изменения отдельно не изолирован. При 8100 запросах/с серия fixed дала медианы 6366/6053/6075 successful RPS для 1/2/4 API. Диапазоны повторов приведены в CSV; рост числа процессов сам по себе не доказывает линейного выигрыша. При 8100 запросах/с серия growing дала медианы 4227/6951/5930 successful RPS для 1/2/4 API. Диапазоны повторов приведены в CSV; рост числа процессов сам по себе не доказывает линейного выигрыша. При лимите генератора 1024 увеличение CPU LB с 0.5 до 1 изменило медиану throughput на -1.4%: 6987 → 6889 RPS. Остальные ресурсы не менялись. Диапазоны повторов перекрываются: устойчивый прирост от увеличения CPU LB не подтверждён. Следовательно, наблюдаемое throttling LB само по себе не доказывает, что именно он является единственным узким местом. В growing-4 при 8100 запросах/с LB в среднем занимал 0.50 ядра из выделенных 0.5, медианная доля ограниченных cgroup-периодов LB — 100.0%; средний Acquire пула — 1.938 мс. Увеличение CPU API не увеличивает CPU LB или общий пул 16 соединений. Это признаки давления на ресурсы и очереди, но не доказательство единственной причины плато. В контроле с двумя API их CPU близок к выделенному 1 ядру на процесс; увеличение CPU LB увеличило ожидание pool примерно с 18 до 57 мс без выигрыша throughput. Данные согласуются с переносом давления к насыщенным API и общему пулу; точный максимум PostgreSQL не установлен. При высокой интенсивности основной матрицы заполнялся лимит 256 in-flight и часть операций не отправлялась. Поэтому точный максимум PostgreSQL по этим данным не установлен: зафиксировано насыщение данного стенда и ограниченного генератора. Дополнительный эксперимент с лимитом 1024 и CPU LB проверяет это ограничение отдельно. По одним p95 успешных запросов или числу реплик делать вывод о максимальной мощности БД нельзя.
Повторение исходной версии
Обратимый patch evidence/research/token-optimization.patch содержит изменения отпечатков и повторной проверки JWT. scripts/reproduce-baseline.sh копирует исходники во временный каталог, обращает patch и собирает mtusi-messenger:lab3-before, не меняя рабочее дерево. Для запуска исходного варианта явно задайте API_IMAGE=mtusi-messenger:lab3-before ./scripts/compose.sh up -d --force-recreate --no-deps --wait api; создайте новые сессии на этом варианте. После измерений верните API_IMAGE=mtusi-messenger:lab3. Не используйте сохранённые новые SHA-256-сессии против старой версии. При повторении текущий генератор уже имеет исправленный планировщик: повторяйте обе версии одним бинарником и сравнивайте только новую пару запусков.
Ограничения
- Защищён отказ одного API-процесса при живых остальных зависимостях. Нет HA PostgreSQL, LB, Redis или всего узла; потеря volumes/ключей не покрывается.
- Race detector покрывает Go-тестовый процесс и in-process unit tests. Контейнерный API собран без race instrumentation; black-box конкурентные проверки доказывают наблюдаемое поведение и SQL-инварианты, а не отсутствие всех возможных гонок памяти.
- Исследование локальное: общая VM, host-генератор, накладные расходы collectors и ограниченная длительность. Нет универсального production SLA или универсального проходного RPS.
- Данные между прогонами сохраняются; чат и начальная история каждого прогона новые, но суммарная БД растёт. Перемешивание интенсивностей не устраняет полностью влияние порядка конфигураций и кешей.
- Высокая доля dropped/ошибок ограничивает возможность назвать точную пропускную способность БД. Насыщение обосновывается совокупностью CPU, ожиданий пула, очередей LB и ошибок, с указанием возможного ограничения генератора.
- Rolling-сценарий подтверждает замену процессов совместимой lab3. Произвольная несовместимая смена схемы и одновременный lab2/lab3 deployment не проверяются.
- PR публикуется автором отдельно. Никакие PASS и значения измерений не подставляются вместо отсутствующих результатов.
Первичные источники
- HAProxy: DNS resolution.
- Docker Compose services.
- PostgreSQL: advisory locks.
- Go: ConstantTimeCompare.
- OWASP: Session Management Cheat Sheet.
- Нормативные требования репозитория:
README.md,COURSE.md,contracts/README.md,contracts/openapi.json.

