18 KiB
ЛР3: балансировка и отказ API-реплики
Васильев Никита · БВТ2301 · цель:5 · трек1 «Цена масштабирования».
Реализация продолжает собственную ЛР2, адаптированную к исходному skeleton ЛР3. Контракты, публичные tests, README, COURSE и CONTRIBUTING не изменялись. Код и анализ подготовлены с помощью AI-ассистента; доказательства получены настоящими локальными запусками, а не из чужих PR. Публикация не выполнялась.
Воспроизводимый запуск
Нужны Docker с Compose и Python3.9+ для публичных скриптов. Для собственных тестов — uv и Python3.12.
make up
make check
make test
uv sync --locked --python 3.12
make validate PYTHON=.venv/bin/python
make lint
make student-test
make up создаёт локальные secrets/.env только при отсутствии, собирает образ, запускает PostgreSQL/Valkey, отдельную миграцию, две API и HAProxy. Единственная публикация — 127.0.0.1:8083. API внутри слушают0.0.0.0:8080 и наружу порт не публикуют. .env.example описывает фактические параметры Compose.
Ручная сборка: VCS_REF=$(git rev-parse HEAD) docker compose build. Запуск: docker compose up -d --wait. Остановка с сохранением данных: make down. Не применяйте down --volumes для обычной остановки.
Архитектура и ресурсы
Клиент → HAProxy → API ×2 → PostgreSQL
↘ Valkey: карточки пользователей TTL60s
Все API используют одну БД и сессии PostgreSQL. Sticky sessions нет. X-Instance-Id — случайный UUID, постоянный на время жизни процесса. X-Request-Id добавляется ко всем созданным API ответам, включая ошибки.
Штатные ограничения:
| Сервис | CPU | RAM |
|---|---|---|
| Каждая API,2шт. | 0.5 | 256MiB |
| PostgreSQL | 1 | 768MiB |
| Valkey | 0.5 | 128MiB |
| HAProxy | 0.5 | 128MiB |
| migrate,однократный | 0.5 | 256MiB |
Нет container_name; один Compose-service API масштабируется. LB находится в frontend-сети, PostgreSQL/Valkey в backend, API в обеих. Хранилище PostgreSQL — именованный volume. API без root, read-only, cap_dropALL, no-new-privileges, tmpfs16MiB, pids96. Секреты передаются файлами, не входят в Git и Docker context.
Python3.12, зависимости закреплены uv.lock; базовый Python-образ и HAProxy закреплены digest. PostgreSQL17.10 и Valkey8.1.3 закреплены версиями. Базовый образ и runtime-пакеты унаследованы из проверенной собственной ЛР2. Дополнительные aiohttp и matplotlib нужны только исследовательским инструментам, в runtime image не устанавливаются.
Идемпотентность
Для отправки сообщения обязателен ASCII Idempotency-Key длиной1..128. Область — пользователь, POST, чат и ключ. Под одной транзакцией выполняются ACL, advisory lock, поиск результата, вставка сообщения и сохранение исходного201-ответа. TTL24h. Разный валидный body с тем же ключом —409. Отсутствующий attachment_ids и[] эквивалентны. Неуспешные5xx не фиксируются как результат.
Повтор заново проверяет сессию и доступ. Одновременные запросы через разные API возвращают одно сообщение. Сбой до COMMIT откатывает сообщение вместе с ключом; после COMMIT клиент повторяет тот же ключ. LB не повторяет POST автоматически, включая создание чатов и пользователей.
Подробности структуры, bytea для losslessUnicode U+0000 и транзакционных границ — SCHEMA.md.
Readiness, DNS и остановка
HAProxy server-template разрешает до8 API через DockerDNS127.0.0.11, обновляет адреса без фиксированных IP. Roundrobin, активная проверка /health/ready, inter1s, timeoutcheck1s, fall2, rise2. Оценка обнаружения устойчивого отказа — примерно до3s без учёта аномалий планировщика; фактические переходы измерены отдельно. Fallback без readiness нет.
Readiness выполняет дешёвую проверку обязательных таблиц и полей БД, а не только проверки процесса. Liveness отвечает независимо от БД. Если одна API теряет backend-сеть, она остаётся живой, но readiness503 исключает её из LB.
ConnecttimeoutLB1s, server8s, client10s, queuetimeout2s, transparent retries0. Uvicorn grace5s, Compose stop8s. ПулБД до8 соединений/API, очередь32, ожидание2s, подключение2s, SQL2.5s, lock1.5s. Дополнительный client-side I/Odeadline3s закрывает зависшее соединение, даже если PostgreSQL paused и серверный statement_timeout не исполняется. Эти бюджеты не складываются в обещание единогоHTTP SLA.
Проверки уровней3–4
- Публичный контракт и схема:PASS.
- Собственные тесты:77PASS, включая20конкурентных повторов через≥2API, bodyconflict, scopes, NUL, Unicode, malformedUTF8, Basicbody, cursor и заголовки.
- Независимые HTTP-регрессии:61PASS.
- Независимые отказы:4PASS — ACLдоreplay, исчезновение обязательной таблицы, pausedPG с503примерно3.08s и восстановлением, logout под блокировкой с последующим отзывом.
- LB без готовых API:503JSON, новыйX-Request-Idсовпадаетсerror.request_id, фиктивногоX-Instance-Idнет; прежняя сессия работает после восстановления.
- КороткийTTL:проверен отдельной API, рабочая конфигурация TTL3600не менялась.
- Публичный persistence:прежний токен и подтверждённые данные сохранились.
- Публичный failover:123успешных записи,3неуспешных попытки, первое восстановление1.429s.
- Отказ каждой реальной реплики:два отдельных прогона1419и1472успешных записей;83и62переходные ошибки соответственно. Все подтверждённые записи каждого прогона найдены, потерь нет. Target сопоставлен с настоящим containerID и оставлен остановленным; перед следующей проверкой предыдущий восстановлен.
- Изоляция неготовой API:после потери backend-сети directready503;30/30последующих запросов черезLBуспешны и обслужены только другой API. После reconnect снова видны две.
- Поочерёдная замена:3558успешных записей,257переходных ошибок, все подтверждённые сообщения сохранены. Обе API последовательно заменены, containerIDs и imageIDs изменились.
Команды проверки:
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
# Восстановить остановленную реплику перед следующими проверками:
docker compose up -d --no-recreate --wait
uv run --locked python scripts/verify_replicas.py
uv run --locked python scripts/verify_readiness.py
uv run --locked python scripts/verify_rolling.py
uv run --locked python scripts/verify_lb_unavailable.py
# Дополнительные независимые проверки, адаптированные для запуска из репозитория:
uv run --locked python scripts/verify_teacher_http.py --lab 3 --repo . --base-url http://127.0.0.1:8083 --output evidence/teacher-http-repeat.json
uv run --locked python scripts/verify_teacher_faults.py --output evidence/teacher-faults-repeat.json
Проверки отказов запускаются последовательно, не одновременно с нагрузочным исследованием. restart-hook сохраняет безопасные snapshots StartedAt/ID до и после, чтобы доказать перезапуск API,LB,PGиValkey. Все shellhooks executable100755.
Rolling-target отличается revision-label, функциональный код и схема одинаковы. Этот опыт доказывает поочерёдную замену образа и процессов под трафиком, но не совместимость произвольного нового кода/схемы. Первоначальная миграция003с textнаbytea требует maintenancewindow со старой ЛР2; ограничения не скрываются.
Исследование на5
Методика, параметры и ограничения — research/README.md. Основной файл scaling-final.json, итоговая таблица, график.
Гипотеза: рост API перестанет помогать при насыщении общей БД. Если активно ограничивает CPUquotaPostgreSQL, её увеличение при остальных неизменных ресурсах повысит успешный throughput.
Сравниваются фиксированный суммарный бюджет API1CPU/1024MiB для1/2/4реплик и растущий бюджет по0.5CPU/256MiB на реплику. PostgreSQL специально ограничена0.25CPU/768MiB в основной матрице. Контрольное улучшение:4APIпо0.5CPU/256MiB, только CPUБДувеличен0.25→0.5. Штатный стенд имеет другую квотуБД1CPU.
Предлагаемая нагрузка100/400/900уникальных POST/s,3повтора×6s,7конфигураций —63прогона. Генератор open-loop aiohttp, in-flightcap128; отдельно учитываются scheduled, attempts, successful201, errors и dropped. Процентили только успешных запросов; RPSпо реальному времени вместе с завершением начатых запросов. Actual CPU/RAM проверяются dockerinspect, samplesdockerstats сохраняются; CPUиRAM API сначала суммируются на каждомtimestamp.
Основная матрица: 114780 успешных HTTP-ответов,0 HTTP-ошибок,61620 неотправленных слотов из176400запланированных. Все dropped связаны с in-flightcap128; scheduler-drops0. Максимальная загрузка процесса генератора —31.54% одногоhostCPU. Успешность отправленных запросов не означает выполнение всех предложенных слотов.
Медианы при900offeredPOST/s, по3повтора:
| Серия | API1 | API2 | API4 |
|---|---|---|---|
| Fixed-total1CPU/1024MiB, successfulRPS | 391.81 | 363.47 | 378.74 |
| Growth0.5CPU/256MiBнаAPI, successfulRPS | 163.01 | 384.98 | 442.33 |
При фиксированной сумме ресурсов увеличение числа процессов не дало выигрыша throughput. На900offered peak summed memoryAPIвfixedсерии составила96.91/159.57/304.92MiB для1/2/4процессов: у реплик есть собственные расходы.
В growthсерии переход2→4APIдал только≈14.9% throughput при удвоении APIресурсов. Дляgrowth4на900offered медианаCPUБД25.05%приquota25%,API107.08%приобщемbudget200%,LBоколо5%CPU: общая ограниченная PostgreSQL стала активным узким местом.
Контроль изменил только CPUPostgreSQL0.25→0.5, RAMБД768MiB и4APIпо0.5CPU/256MiB сохранены и проверены inspect:
| Метрика,900offered/s | PG0.25CPU | PG0.5CPU |
|---|---|---|
| МедианаsuccessfulRPS | 442.33 | 881.06 |
| Медианаp95успешных,ms | 621.58 | 223.69 |
| Droppedслотов,3повтора | 8147 | 298 |
| МедианаDBCPU% | 25.05 | 42.86 |
| МедианаAPI CPU%,сумма | 107.08 | 179.65 |
Подтверждённое улучшение:≈99.2%успешногоthroughput и≈64.0%сниженияp95вэтомопыте. После него обратный контроль вернулPG0.25CPU:411.104/471.464/465.411RPS,медиана465.411. Возврат производительности к исходному диапазону поддерживает причинное объяснение через квотуБД, хотя короткая серия и прогрев/checkpointоставляют шум.
881RPSне объявляется новым пределом: это близко к предложенным900/s, а CPUAPIподошёл к своему бюджету. Для установления следующего ограничения понадобился бы отдельный более высокий профиль. Мы доказали границу специально ограниченной0.25CPUБД, а не общий максимум PostgreSQL.
Ресурсные графики показывают CPUБД, CPUгенератора и droppedslots. Калибровочныеpilotфайлы сохранены отдельно и в63основных прогона не входят; обратный контроль —ещё3отдельныхпрогона.
Runtimeисследования соответствует commit029bf9b, sourceSHA256записаны в JSON. Форматирование runnerбез изменения поведения отражено в manifest. После измерений добавлен только JSON503для случая отсутствия готовых backend; прежняя конфигурация сохранена в haproxy-benchmark.cfg. Это изменение пути отказа не является измеренным улучшениемthroughput.
После опыта штатные2API и PostgreSQL1CPUвосстановлены. Копии результатов не содержат токенов и секретов.
Ограничения и подготовка к защите
Один DockerDesktophost, один LB, одна PostgreSQL и её volume остаются точками отказа. Переживание отказа узла или потери диска не заявляется. Короткие синтетические прогоны не равны промышленному SLA; после неопределённой сетевой ошибки POST повторяется с исходным ключом. Retention старых idempotency-записей не выполняется фоновым GC: срок учитывается при replay, просроченный ключ удаляется при его повторном использовании; неиспользуемые просроченные строки потребуют эксплуатационной очистки.
Сначала на защите показать≥2разныхX-Instance-Id с одним токеном, затем конкурентный replay, остановку конкретного контейнера, сохранность прежних сообщений и таблицу/график исследования. REVIEW_NOTES.md связывает учтённые ошибки с замечаниями преподавателя.