43 KiB
Отчёт — лабораторная 3
Краткое исследование на «5», трек 1: цена масштабирования — замеры, графики и проверенное улучшение.
- Автор, группа: Нурлыгаянова Екатерина, БПИ2302
- Целевая оценка: 5, трек 1 «Цена масштабирования». Выполнены проверки уровня 4 и исследование масштабирования с проверенным изменением лимита БД.
- Библиотеки: Echo, pgx, go-redis, google/uuid; goose для миграций; образы PostgreSQL, Valkey, HAProxy, Alpine, Go (версии ниже).
- Помощь ИИ: Claude Code использовался для ревизии и правки скриптов проверки, ответов LB в формате контракта, комментариев к коду и заполнения этого отчёта. При текущем заполнении Codex сверил отчёт с сохранёнными результатами и добавил исследование масштабирования. Числа взяты из файлов
evidence/;
Запуск из чистого clone
Версии. Docker Engine 29.2.1, Compose 5.0.2, образы: postgres:17.6-alpine, valkey/valkey:8.1.3-alpine, haproxy:3.2.9-alpine, сборка на golang:1.26.10-alpine3.24, запуск на alpine:3.24.3, goose 3.26.0.
Нужно на хосте: Docker с Compose, make, Python 3.9+ (проверено на 3.13.7). Go нужен только для app/e2e и модульных тестов (go.mod требует 1.26). Порты 8080, 5432 и 6379 должны быть свободны.
cp .env.example .env # значения без секретов, менять не обязательно
sh scripts/init-secrets.sh # создаёт secrets/ со случайными паролями, повторный запуск их не меняет
docker compose --env-file .env up -d --build --wait # сборка, миграции один раз, запуск, ожидание готовности
curl -i http://localhost:8080/health/ready # ожидается 200
make check && make test
Миграции выполняет сервис migrate до старта API, отдельной команды не нужно.
Остановка: docker compose --env-file .env down сохраняет данные. Намеренное удаление учебных данных: docker compose --env-file .env down -v; после этого нельзя менять пароль БД в secrets/ без пересоздания тома.
Действия оператора: scripts/stop-one.sh оставляет реплику остановленной, вернуть её нужно командой docker compose --env-file .env up -d --wait. Реплику для остановки выбирает make test-failover по очереди round-robin, поэтому повторные запуски без других запросов могут остановить ту же реплику (в проверке так было 6 раз подряд). scripts/failover-evidence.sh сдвигает очередь сам; при ручном запуске нужен лишний запрос к LB и проверка, какой контейнер остановлен.
Статус проверки чистого clone: файла evidence/clean-clone.txt в репозитории нет, поэтому успешный запуск из чистого clone по сохранённым материалам не подтверждён. Проверки ниже выполнены на рабочем стенде. Перед сдачей нужно отдельно проверить clone итогового коммита. Скрипты доказательств рассчитаны на имя проекта mtusi-lab3 и адрес localhost:8080.
Архитектура и решения
клиент -> lb (HAProxy, :8080, единственная публичная точка входа)
| round-robin, проверка GET /health/ready раз в 1 с
+-> api-1 --+--> postgres (том pgdata): пользователи, чаты, сообщения, ключи идемпотентности
+-> api-2 --+--> valkey (том valkeydata): сессии
migrate (один раз до старта api) --> postgres
| Роль | Сервис | Версия | Готовность | Том | Порт на хосте | Секреты |
|---|---|---|---|---|---|---|
| Балансировщик | lb |
haproxy 3.2.9 | /health на порту 8404 внутри контейнера |
нет | *:8080 |
нет |
| API | api, 2 реплики |
собирается из Dockerfile |
/health/ready |
нет | нет | файлы database_url, cache_url |
| БД | postgres |
17.6 | pg_isready |
pgdata |
127.0.0.1:5432 |
файл postgres_password |
| Сессии | valkey |
8.1.3 | PING |
valkeydata |
127.0.0.1:6379 |
файл valkey_password |
| Миграции | migrate |
goose 3.26.0 | одноразовый | нет | нет | файл database_url |
Источник истины: PostgreSQL для данных, Valkey для сессий. У реплик API своего состояния нет, поэтому токен принимает любая реплика, а подтверждённое сообщение видно через любую.
Критичные зависимости: PostgreSQL и Valkey. Без любой из них реплика неготова, и обязательный путь недоступен.
Транзакции: ключ идемпотентности и сообщение пишутся в одной транзакции, уникальность обеспечивает PRIMARY KEY (user_id, chat_id, key). Конкурентный запрос с тем же ключом ждёт завершения транзакции. Чат и его участники тоже создаются одной транзакцией.
Порядок истории: (created_at, id) по возрастанию, created_at назначает БД. Обход неизменной истории не даёт повторов. При конкурентных вставках момент времени присваивается внутри транзакции, поэтому сообщение с более ранним created_at может зафиксироваться уже после того, как клиент прошёл эту позицию курсором, и при этом обходе он его не увидит. Повторное чтение с начала его покажет.
Что добавлено в этой работе: несколько реплик за HAProxy, X-Instance-Id, общая идемпотентность в БД (миграция 00007), согласованные таймауты и завершение по SIGTERM, поочерёдная замена реплик, скрипты отказов. Ответы LB 502, 503, 504 приведены к схеме Error.
Соответствие .env.example и конфигурации:
| Переменная | Где используется |
|---|---|
APP_HOST, APP_PORT, APP_ENV |
адрес и окружение API, читает internal/config |
SESSION_TTL_SECONDS |
срок жизни сессии |
DATABASE_URL_FILE, CACHE_URL_FILE |
пути к файлам секретов, значений секретов не содержат |
SESSION_STORE |
допустимо только valkey, иное значение останавливает запуск |
API_REPLICAS |
deploy.replicas в compose.yaml |
IDEMPOTENCY_TTL_SECONDS |
срок хранения ключей, по умолчанию 24 ч |
Необязательное:
- Кэш истории (
app/internal/cache, сервисvalkey-cache, профильcache) выключен и в этой работе не проверялся. Включать его не следует: по комментарию вcompose.yamlпри нескольких репликах он не гарантирует чтение после записи. DB_ENABLE_BITMAPSCAN=falseотключает bitmap scan в подключениях API. Это гипотеза о плане запроса для новых чатов, замеров, подтверждающих выигрыш, нет.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Контракт и публичный smoke | make test на расширенной схеме |
публичный сценарий PASS; отдельный результат make check не сохранён |
evidence/level4/migrations.txt |
| Модульные тесты | cd app && go vet ./... && go test -count=1 ./... |
все пакеты ok |
evidence/go-test.txt |
| Уровень 3: ≥2 реплики, запросы через LB идут в разные реплики | sh scripts/idempotency-evidence.sh, sh scripts/limits-evidence.sh |
конкурентные запросы распределяются между двумя репликами; при масштабировании LB использует все 4 контейнера | evidence/level4/idempotency.txt, evidence/level4/limits.txt |
| Уровень 3: остановка любой реплики | sh scripts/failover-evidence.sh (make test-failover) |
каждая реплика остановлена и возвращена, 3 прогона, 0 неудачных попыток, запись восстановилась за 3,20–3,28 с | evidence/failover.txt |
| Уровень 3: сохранность при рестарте | sh scripts/persistence-evidence.sh (make test-persistence) |
данные и прежний токен на месте, у всех контейнеров новое время запуска, тома прежние | evidence/persistence.txt |
| Уровень 3: повтор POST и конкурентный повтор | sh scripts/idempotency-evidence.sh |
см. раздел «Общая идемпотентность» | evidence/level4/idempotency.txt |
| Уровень 4: лимиты, порты, секреты, хранилища, масштабирование | scripts/limits-evidence.sh | у всех сервисов лимиты CPU/RAM, применены в cgroup; наружу открыт только LB; секреты и тома только у своих сервисов; нет container_name; api масштабируется до 4 и обратно | evidence/level4/limits.txt |
| Уровень 4: поочерёдная остановка реплик под нагрузкой | scripts/failover-load.sh stop, scripts/failover-load.sh kill | каждая реплика остановлена и восстановлена; ошибок 0 (stop) и 2 (kill, в момент отказа); 0 с без успешных запросов; потерь и дублей нет | evidence/level4/failover-stop.txt, failover-kill.txt |
| Уровень 4: общая идемпотентность параллельно | scripts/idempotency-evidence.sh | 16 параллельных запросов на ключ через обе реплики и в момент отказа: ровно одно сообщение на ключ, дублей 0, сверка по БД 0 0 |
evidence/level4/idempotency.txt |
| Уровень 4: rolling update и миграции | scripts/rolling-evidence.sh, scripts/migration-evidence.sh | 2 замены обеих реплик под нагрузкой (без миграции и с совместимой миграцией): 0 ошибок, 0 потерь и дублей; совместимая миграция не мешает работающей версии, несовместимая даёт 500 и этим подтверждает чувствительность проверки | evidence/level4/rolling.txt, evidence/level4/migrations.txt |
| Уровень 4: health/readiness, timeouts, SIGTERM, вывод backend | scripts/failure-detection-evidence.sh | период проверок 1 с, измеренный вывод зависшей реплики за 4,09–4,98 с; при SIGTERM 0 ошибок и все запросы завершены; неготовая реплика не получает трафик | evidence/failure-detection.txt |
| Ответы самого LB по контракту | sh scripts/lb-errors-evidence.sh |
без рабочих реплик 503, JSON по схеме Error, request_id равен X-Request-Id; в конфигурации есть правила 502/503/504 |
evidence/lb-errors.txt |
| Уровень 5: цена масштабирования | python3 scripts/scaling-study.py, python3 scripts/scaling-summary.py |
14 прогонов; фиксированный и растущий бюджет; проверено увеличение CPU БД: +3,9% RPS, −48% p95 записи | evidence/track1/summary.csv, evidence/track1/*.json, TRACK1.md |
| CPU и RAM под нагрузкой | sh scripts/resources-evidence.sh |
API упирается в лимит 1 CPU, RAM далеко от лимитов, ошибок 0 | evidence/level4/resources.txt |
Ограничение goose: параллельный запуск не защищён блокировкой, поэтому миграции запускает один процесс (раздел «Rolling update и миграции»).
Обнаружение отказа и согласованность таймаутов
Период проверок: GET /health/ready раз в 1 с (inter 1s). Реплика выводится после 2 неудачных проверок (fall 2), возвращается после выхода из DOWN после 2 удачных (rise 2). Новый адрес из DNS стартует как DOWN (init-state down) и получает трафик после первой удачной проверки.
Максимальное измеренное время вывода зависшей реплики: 4,98 с; расчётная граница с учётом connect — 6 с. Измерено скриптом scripts/failure-detection.py, по 3 прогона:
| Отказ | Как обнаруживается | Расчётный максимум | Измерено |
|---|---|---|---|
docker stop (SIGTERM) |
readiness сразу 503, 2 проверки | 1 с × 2 = 2 с | 1,56–1,74 с, ошибок 0 |
docker kill под трафиком |
2 ошибки соединения на запросах (observe layer4) |
определяется трафиком | 0,10–0,13 с, ошибок 0–1 (502) |
docker kill без трафика |
активные проверки | (1 с + connect 0,5 с) × 2 = 3 с | 2,41–2,56 с |
docker pause (зависший процесс) |
таймаут проверки | (1 с + check 1,5 с) × 2 = 5 с | 4,09–4,98 с, 16–24 таймаута клиента, последний на 4,20–6,26 с |
Расчёт для зависания предполагает мгновенную установку соединения. Если соединение устанавливается медленно, вплоть до timeout connect, теоретическая граница составляет (1 + 0,5 + 1,5) × 2 = 6 с. Требование README (не позднее 10 с) выполняется в обоих случаях.
Цепочка таймаутов:
| Параметр | Значение | Почему |
|---|---|---|
| readyTimeout API | 1 с | меньше timeout check: API успевает ответить 503 при недоступной зависимости |
timeout check LB |
1,5 с | зависшая реплика считается неудачной проверкой |
timeout connect LB |
0,5 с | недоступный адрес быстро уходит в повтор на другую реплику |
| DB query timeout | 3 с | меньше APP_WRITE_TIMEOUT_MS |
APP_READ_TIMEOUT_MS / timeout http-request |
10 с / 10 с | одинаковый предел на приём запроса |
APP_WRITE_TIMEOUT_MS / timeout server |
10 с / 15 с | LB не обрывает запрос раньше API |
APP_IDLE_TIMEOUT_MS / timeout http-keep-alive |
60 с / 30 с | API не закрывает простаивающее соединение раньше LB |
APP_SHUTDOWN_DRAIN_MS |
3 с | больше вывода по readiness (2 с): новые запросы перестают приходить до закрытия порта |
APP_SHUTDOWN_TIMEOUT_MS |
10 с | равен APP_WRITE_TIMEOUT_MS: начатый запрос успевает завершиться |
stop_grace_period |
15 с | больше 3 + 10 с: Docker не присылает SIGKILL раньше времени |
Порядок при SIGTERM (docker stop с 8 открытыми запросами, 4 из них на останавливаемой реплике):
- Сразу: readiness возвращает 503 (замер 0,12 с), обычные запросы продолжают обслуживаться.
- Через 3 с: порт закрыт, новые соединения отклоняются (замер 3,15 с).
- Открытые запросы завершаются: все 8 вернули 201, сообщения сохранены.
- Контейнер завершился с кодом 0 за 5,83 с, в логе
server stopped cleanly.
Readiness и зависимости: /health/ready проверяет PostgreSQL и Valkey, /health/live только сам процесс. При остановке Valkey обе реплики вышли из балансировки за 1,36 с, и LB отвечает 503 на все запросы: JSON по схеме Error, без X-Instance-Id, который контракт для ответов LB не требует; после восстановления Valkey реплики вернулись. Отказ общей зависимости приложение не переживает, он только становится явным.
Ограничения:
- Запрос, уже ушедший на зависшую реплику, ждёт до
timeout server(15 с) и получает 504, если клиент не отключится раньше.on-marked-down shutdown-sessionsсократил бы это ожидание, но вывод по 503 при SIGTERM тогда обрывал бы запросы, поэтому он не используется. - При
init-state downсразу после рестарта LB бэкенд пуст до первой проверки, в это время LB отвечает503. - Ложные выводы реплик под предельной нагрузкой не проверялись.
- Ответ LB
503проверен вживую с проверкой тела (lb-errors.txt).502встречался приdocker kill(failure-detection.txt), но его тело отдельно не проверялось; для504сохранённого результата проверки нет. Для всех трёх статусов настроены правилаhttp-error. Правилаhttp-errorне покрывают ошибки разбора запроса (400,408) самим LB. - Замеры сделаны на одном хосте Docker Desktop; отказ узла не проверялся.
Лимиты, порты, секреты и хранилища
| Сервис | CPU | RAM | Порт на хосте | Секреты | Том |
|---|---|---|---|---|---|
| lb | 1 | 256 МБ | *:8080 |
нет | нет |
| api | 1 | 512 МБ | нет | database_url, cache_url | нет |
| postgres | 2 | 1 ГБ | 127.0.0.1:5432 |
postgres_password | pgdata |
| valkey | 1 | 256 МБ | 127.0.0.1:6379 |
valkey_password | valkeydata |
| migrate | 0,5 | 128 МБ | нет | database_url | нет |
| valkey-cache (профиль) | 0,5 | 128 МБ | 127.0.0.1:6380 |
valkey_cache_password | нет |
| loadgen (профиль) | 4 | 1 ГБ | нет | нет | нет |
Кэш истории выключен (HISTORY_CACHE=off), поэтому секрет history_cache_url у API нет. Если включить HISTORY_CACHE без этого секрета, API завершается с ошибкой при старте.
Ограничения:
- API и migrate используют одну роль
messenger, и это суперпользователь PostgreSQL. Отдельная роль API с минимальными правами не реализована. - Все сервисы находятся в одной сети Compose, поэтому LB сетевым образом может обратиться к БД; защищает только пароль.
server-templateзадаёт 8 слотов: реплики сверх 8 не получат трафик. 8 реплик поDB_MAX_CONNS=10дают 80 соединений приmax_connections=100. Проверено масштабирование только до 4.- Порты PostgreSQL и Valkey на
127.0.0.1нужны для диагностики.
Поочерёдная остановка реплик под нагрузкой
Профиль: loadgen в сети стенда, closed-loop, 16 клиентов, 20% записей, замер 60 с, прогрев 5 с, таймаут запроса 5 с. У каждой реплики 1 CPU и 512 МБ. Реплика останавливается на 10-й и 32-й секунде и запускается через 10 с, то есть в каждый момент отказывает только одна.
| Показатель | docker stop (SIGTERM) |
docker kill (SIGKILL) |
|---|---|---|
| RPS за весь замер (чтение + запись) | 9238 | 8975 |
| RPS до отказа, 2 реплики | 10830 | 10341 |
| RPS при одной реплике (1-я / 2-я) | 5518 / 5696 | 5767 / 5779 |
| RPS после возврата (1-я / 2-я) | 11300 / 11186 | 10727 / 10641 |
| Ошибки (1-я / 2-я) | 0 / 0 | 2 / 0 (502 и обрыв соединения) |
| Секунд без единого успешного запроса | 0 | 0 |
Возврат к исходной ёмкости после docker start |
1 с / 1 с | не более 1 с |
| p99 чтения / записи | 7,3 / 13,0 мс | 7,2 / 13,7 мс |
| Записи: подтверждено / потеряно / дублей | 121439 / 0 / 0 | 118247 / 0 / 0 |
| Подтверждено только после повтора с тем же ключом | 0 | 1 |
Время возврата измерено с точностью до 1 с (секундная шкала loadgen, часы скрипта и генератора расходятся менее чем на 1 с). Время вывода реплики см. в разделе «Обнаружение отказа»: строка t=13s LB вывел в режиме stop показывает окончание блокирующего docker stop, а не сам вывод.
Ограничения: RPS при одной реплике падает примерно вдвое, это закономерно при лимите 1 CPU на реплику, и одной реплики при этой нагрузке хватает без ошибок. Запас по ёмкости на большей нагрузке не проверялся. Closed-loop занижает задержки при перегрузке (coordinated omission), поэтому p99 здесь не характеристика при заданной интенсивности. Прогон по одному разу на режим, поэтому разброс между повторами не оценён.
Общая идемпотентность
Уникальность обеспечивает БД, а не память реплики: PRIMARY KEY (user_id, chat_id, key) в message_idempotency_keys и INSERT ... ON CONFLICT DO NOTHING в одной транзакции с сообщением. Проигравший параллельный запрос читает уже записанное сообщение и возвращает его; другой текст с тем же ключом даёт 409.
| Проверка | Объём | Результат |
|---|---|---|
app/e2e: параллельно через обе реплики |
3 прогона, 20 раундов по 16 запросов, запросы примерно поровну (160/160, 161/159) | одно сообщение на ключ, ответы побайтно совпадают, история совпадает с подтверждённым |
scripts/idempotency-under-failure.py, stop |
826 и 890 ключей по 16 запросов | дублей 0, потерянных ключей 0 |
| То же, kill | 1545 и 739 ключей по 16 запросов, 5 и 2 ответа 502 повторены с тем же ключом |
дублей 0, потерянных ключей 0 |
| Сверка по БД, сообщения сценариев с отказом | дубли одного сообщения в чате; сообщения без ключа | 0 и 0 |
Rolling update и миграции
Compose не умеет заменять реплики поочерёдно сам, поэтому это делает scripts/rolling-update.sh:
- Собирает образы и запоминает текущий образ API.
- Один раз запускает миграции отдельным процессом
migrate. Если они упали, реплики не меняются. - Для каждой старой реплики: поднимает новую, ждёт её
healthyи статусUPв LB, затем останавливает старую черезdocker stop(SIGTERM и drain) и удаляет её. - Если новая реплика не стала готовой, удаляет её, возвращает тег образа на прежний и останавливает замену.
Возврат тега нужен потому, что сборка переносит тег на новый образ. Без возврата следующий compose up пересоздал бы разом все реплики из несостоявшейся версии. Сохранённый сценарий проверяет, что после неудачного обновления тег возвращён и старые реплики остаются на месте.
Результаты под нагрузкой
Нагрузка: 16 клиентов, 20% записей, 60 с. Обновление начинается на 10-й секунде и занимает 21–22 с. По одному прогону на сценарий.
| Сценарий | Замен | RPS до | Минимум RPS за секунду в окне | Ошибки | Потери и дубли |
|---|---|---|---|---|---|
Без изменения схемы (rolling.txt) |
1 прогон, 2 реплики | 11194 | 8877 | 0 | 0 |
С совместимой миграцией (migrations.txt) |
1 прогон, 2 реплики | 10709 | 8589 | 0 | 0 |
Ни одной секунды без успешных запросов. В прогонах новая версия видна по метке образа, а смена реплик — по X-Instance-Id.
Почему миграция запускается один раз
- В образе API нет ни goose, ни каталога миграций, поэтому реплики не могут запускать их при старте.
- Миграции выполняет один одноразовый сервис
migrateдо запуска API (service_completed_successfully). - Масштабирование и повторный запуск не добавляют записей в
goose_db_version.
Ограничение: у goose up нет блокировки, однократность держится на том, что запускают один процесс. При 8 параллельных запусках на пустой БД часть падает с ошибкой (успешно 4, 4 и 6 из 8), а версия 5 в одном раунде из трёх записалась дважды, то есть миграция выполнилась повторно. На реальных данных её UPDATE удвоил бы экранирование \. Поэтому два оператора не должны обновлять стенд одновременно.
Совместимость с работающей версией
scripts/migration-evidence.sh применяет проверочные миграции из временного каталога и откатывает их. Каталог migrations/ не меняется.
| Сценарий | Что проверено | Результат |
|---|---|---|
| Expand: новая колонка и таблица | Старые реплики работают на новой схеме до 18 с под нагрузкой, затем make test |
0 ошибок, тесты проходят |
Контроль: переименование messages.text |
Та же нагрузка замечает несовместимую схему | 1531 ошибка 500, 9 с без единого успеха, после отката снова работает |
| Упавшая миграция | Обновление останавливается до замены | Реплики и версия схемы те же, транзакция откатилась |
| Новая реплика не стартует | Ёмкость не падает | 0 ошибок, старые реплики на месте, тег возвращён |
Контрольный сценарий показывает две вещи: проверка expand действительно способна поймать поломку, а readiness проверяет только связь с БД и не замечает несовместимую схему. LB оставляет обе реплики в работе.
Правило для изменений схемы: expand/contract. Сначала только добавляем, затем заменяем реплики, а удаляем или переименовываем следующим выпуском, когда старой версии уже нет.
Оценка текущих миграций:
| Миграция | Совместимость с предыдущей версией кода |
|---|---|
| 00001–00004 | Создание исходной схемы, работающей версии до них нет |
| 00005 | Несовместима: меняет кодировку хранимого текста и переписывает данные. Старая версия показала бы удвоенные \, поэтому нужна остановка записи |
| 00006, 00007 | Только новые таблицы, старый код их не трогает. Но версия без 00007 не записывала бы ключи идемпотентности, так что защита от дублей действует только после полной замены |
Сейчас применены все 7 миграций, поэтому текущее обновление не выполняет ни одной из них.
Ограничения
- В проверке старая и новая версии отличаются меткой сборки, а не кодом. Доказана работа текущего кода на расширенной схеме, но не сосуществование двух разных версий логики.
- Схема откатывается только вручную. Автоматического отката уже заменённых реплик нет: при сбое на второй реплике версии остаются смешанными до следующего запуска. Предыдущий образ остаётся только как непомеченный, пока не удалён.
ALTER TABLEберёт эксклюзивную блокировку,lock_timeoutне задан. На этом объёме данных она незаметна, на большой таблице или при долгой транзакции запросы встанут в очередь.docker compose up -d --build— не rolling update: он пересоздаёт реплики одновременно. Для обновления нуженscripts/rolling-update.sh.- Проверено на 2 репликах на одном хосте; нагрузка идёт из той же сети Docker.
Ресурсы под нагрузкой
Стенд: Apple M4 Pro, Docker Desktop с 12 CPU и около 7,7 ГиБ RAM. Профиль уровня 4: 16 клиентов closed-loop, 20% записей, 8 чатов, прогрев 5 с, замер 60 с. Исключения: несовместимая миграция — 30 с, неисправная реплика — 50 с.
CPU и RAM под нагрузкой (scripts/resources-evidence.sh, 2 реплики, тот же профиль без отказов, docker stats за 60 с замера, 30–31 выборка; 100% равно одному ядру). Результат прогона: 11156 RPS, доля ошибок 0, p50/p95/p99 чтения 1,0/2,6/5,2 мс, записи 1,9/3,7/7,3 мс, потерь и дублей нет.
| Контейнер | CPU среднее / макс. | Лимит CPU | RAM среднее / макс. | Лимит RAM |
|---|---|---|---|---|
| api-5 | 104% / 112% | 100% | 22 / 34 МиБ | 512 МиБ |
| api-6 | 104% / 112% | 100% | 14 / 14 МиБ | 512 МиБ |
| lb | 80% / 93% | 100% | 109 / 110 МиБ | 256 МиБ |
| postgres | 177% / 191% | 200% | 213 / 216 МиБ | 1 ГиБ |
| valkey | 16% / 19% | 100% | 12 / 13 МиБ | 256 МиБ |
| loadgen | 78% / 84% | 400% | 40 / 61 МиБ | 1 ГиБ |
При этом профиле реплики API работают на пределе CPU, а PostgreSQL и LB близки к своим лимитам, поэтому RPS здесь ограничен лимитами стенда. Значения немного выше 100% при лимите 100%, вероятно, связаны с погрешностью выборки docker stats; отдельно это не проверялось. Этот прогон показывает загрузку при 16 клиентах; отдельная проверка узкого места при 32 клиентах приведена в разделе о масштабировании ниже.
Ограничения измерения: closed-loop занижает задержки при перегрузке (coordinated omission), поэтому пропускная способность здесь не является пределом стенда. Прогонов мало: разброс оценён только там, где указан диапазон. Часы скрипта и генератора расходятся до 1 с. Всё работает на одном хосте, поэтому числа нельзя переносить на другую конфигурацию.
Сводка результатов нагрузки уровня 4
Замеры от 4 ноября 2026 года, версия 0ab3a34+dirty. RPS и p95 указаны за весь прогон. Проверенная история включает подготовительные записи.
Файл в evidence/level4/ |
Замер, с | Успешных запросов/с | p95 чтения, мс | p95 записи, мс | Ошибки | Проверено сообщений | Потери / дубли ID / дубли текста |
|---|---|---|---|---|---|---|---|
failover-stop.json |
60 | 9238.22 | 2.700 | 4.067 | 0 | 121439 | 0 / 0 / 0 |
failover-kill.json |
60 | 8974.78 | 2.702 | 4.041 | 502: 1, net: 1 | 118247 | 0 / 0 / 0 |
rolling.json |
60 | 11146.50 | 2.517 | 3.821 | 0 | 145172 | 0 / 0 / 0 |
rolling-expand.json |
60 | 10640.55 | 2.634 | 4.005 | 0 | 139415 | 0 / 0 / 0 |
rolling-bad-image.json |
50 | 10387.48 | 2.732 | 4.053 | 0 | 114264 | 0 / 0 / 0 |
migration-breaking.json |
30 | 7114.93 | 2.731 | 3.909 | 500: 1531 | 53799 | 0 / 0 / 0 |
В сценарии rolling-bad-image новая реплика намеренно завершается командой /bin/false. Обновление прекращается, старые реплики остаются на месте; за 50 с нет ошибок клиента и секунд без успешных запросов. В несовместимой миграции 1531 ответ 500 и 9 секунд без успеха ожидаемы: это контроль чувствительности проверки, а не успешное обновление.
Уровень 5, трек 1: цена масштабирования
Гипотеза: дополнительные API помогают до насыщения общей БД; разделение прежних ресурсов не даёт линейного ускорения.
Замеры от 5 ноября 2026 года: 32 клиента, 80% чтения / 20% записи, прогрев 5 с, замер 20 с, два повтора. По умолчанию PostgreSQL — 2 CPU / 1 ГиБ, LB — 1 CPU / 256 МиБ; пул — 10 соединений на API. В таблице средние двух прогонов.
| Серия | Реплик API | Суммарно API: CPU / RAM | RPS |
|---|---|---|---|
| Фиксированный бюджет | 1 | 2 / 1 ГиБ | 9821 |
| Фиксированный бюджет | 2 | 2 / 1 ГиБ | 10673 |
| Фиксированный бюджет | 4 | 2 / 1 ГиБ | 9463 |
| Рост ресурсов | 1 | 1 / 512 МиБ | 5631 |
| Рост ресурсов | 2 | 2 / 1 ГиБ | 10673 |
| Рост ресурсов | 4 | 4 / 2 ГиБ | 11243 |
При фиксированном бюджете переход 2 → 4 API снижает RPS на 11,3%; при удвоении ресурсов даёт лишь +5,3%. Насыщение — около 11 тысяч RPS. При четырёх API БД потребляет около 2,09 CPU из 2, LB — 0,88 из 1, каждая API — 0,59 из 1.
Проверенное улучшение: увеличение только CPU БД с 2 до 4 дало 11678 RPS (+3,9%) и снизило среднее p95 записи с 15,67 до 8,07 мс (−48,5%). Оба повтора выше исходных. Удвоение только CPU LB дало 11174 RPS, без выигрыша. После ускорения БД загрузка LB достигает 0,97 CPU из 1.
Во всех 14 прогонах ошибки, потери и дубли — 0. Ограничения: один хост, два коротких повтора, closed-loop; статистическая значимость не оценивалась.
Данные: CSV, среда и сырые результаты, подробности — TRACK1.md. Повтор: python3 scripts/scaling-study.py, затем python3 scripts/scaling-summary.py (нужен matplotlib). Скрипт временно меняет стенд и возвращает исходную конфигурацию; тестовые данные остаются.
Ограничения и следующие шаги
Выдерживается: отказ, зависание и замена одной реплики API; перезапуск всего стенда с сохранением томов; повтор и конкурентный повтор POST сообщения, в том числе в момент отказа.
Не выдерживается: отказ PostgreSQL, Valkey, LB или всего хоста. Это единые точки отказа: сервис становится недоступен, пока они не вернутся, репликации нет, а отказ узла не проверялся.
Не реализовано и учебные упрощения:
- API и миграции используют одну роль БД с правами суперпользователя.
- Секреты в файлах на хосте, TLS нет: допустимо только для локального стенда с синтетическими данными.
- Автоматического отката уже заменённых реплик и схемы нет.
- Совместимость схемы не входит в readiness: несовместимая миграция не выводит реплики из LB.
- Кэш истории выключен и не проверен; на настоящих PostgreSQL и Valkey нет отдельных тестов отката транзакции, гонки имён и очистки ключей.
DB_ENABLE_BITMAPSCAN=falseне подтверждён замерами.APP_MAX_MESSAGESиспользуется только хранилищем в памяти из модульных тестов, на PostgreSQL не влияет.
Подтверждено: результаты из существующих файлов, перечисленных в таблице доказательств. Отдельные логи make check и чистого clone отсутствуют. Пока гипотеза: выигрыш от отключения bitmap scan.

