Files
mtusi2026lab3/REPORT.md
T
2026-11-05 17:56:30 +03:00

43 KiB
Raw Blame History

Отчёт — лабораторная 3

Краткое исследование на «5», трек 1: цена масштабирования — замеры, графики и проверенное улучшение.

  • Автор, группа: Нурлыгаянова Екатерина, БПИ2302
  • Целевая оценка: 5, трек 1 «Цена масштабирования». Выполнены проверки уровня 4 и исследование масштабирования с проверенным изменением лимита БД.
  • Библиотеки: Echo, pgx, go-redis, google/uuid; goose для миграций; образы PostgreSQL, Valkey, HAProxy, Alpine, Go (версии ниже).
  • Помощь ИИ: Claude Code использовался для ревизии и правки скриптов проверки, ответов LB в формате контракта, комментариев к коду и заполнения этого отчёта. При текущем заполнении Codex сверил отчёт с сохранёнными результатами и добавил исследование масштабирования. Числа взяты из файлов evidence/;

Запуск из чистого clone

Версии. Docker Engine 29.2.1, Compose 5.0.2, образы: postgres:17.6-alpine, valkey/valkey:8.1.3-alpine, haproxy:3.2.9-alpine, сборка на golang:1.26.10-alpine3.24, запуск на alpine:3.24.3, goose 3.26.0.

Нужно на хосте: Docker с Compose, make, Python 3.9+ (проверено на 3.13.7). Go нужен только для app/e2e и модульных тестов (go.mod требует 1.26). Порты 8080, 5432 и 6379 должны быть свободны.

cp .env.example .env               # значения без секретов, менять не обязательно
sh scripts/init-secrets.sh         # создаёт secrets/ со случайными паролями, повторный запуск их не меняет
docker compose --env-file .env up -d --build --wait   # сборка, миграции один раз, запуск, ожидание готовности
curl -i http://localhost:8080/health/ready            # ожидается 200
make check && make test

Миграции выполняет сервис migrate до старта API, отдельной команды не нужно.

Остановка: docker compose --env-file .env down сохраняет данные. Намеренное удаление учебных данных: docker compose --env-file .env down -v; после этого нельзя менять пароль БД в secrets/ без пересоздания тома.

Действия оператора: scripts/stop-one.sh оставляет реплику остановленной, вернуть её нужно командой docker compose --env-file .env up -d --wait. Реплику для остановки выбирает make test-failover по очереди round-robin, поэтому повторные запуски без других запросов могут остановить ту же реплику (в проверке так было 6 раз подряд). scripts/failover-evidence.sh сдвигает очередь сам; при ручном запуске нужен лишний запрос к LB и проверка, какой контейнер остановлен.

Статус проверки чистого clone: файла evidence/clean-clone.txt в репозитории нет, поэтому успешный запуск из чистого clone по сохранённым материалам не подтверждён. Проверки ниже выполнены на рабочем стенде. Перед сдачей нужно отдельно проверить clone итогового коммита. Скрипты доказательств рассчитаны на имя проекта mtusi-lab3 и адрес localhost:8080.

Архитектура и решения

клиент -> lb (HAProxy, :8080, единственная публичная точка входа)
            | round-robin, проверка GET /health/ready раз в 1 с
            +-> api-1 --+--> postgres (том pgdata): пользователи, чаты, сообщения, ключи идемпотентности
            +-> api-2 --+--> valkey   (том valkeydata): сессии
migrate (один раз до старта api) --> postgres
Роль Сервис Версия Готовность Том Порт на хосте Секреты
Балансировщик lb haproxy 3.2.9 /health на порту 8404 внутри контейнера нет *:8080 нет
API api, 2 реплики собирается из Dockerfile /health/ready нет нет файлы database_url, cache_url
БД postgres 17.6 pg_isready pgdata 127.0.0.1:5432 файл postgres_password
Сессии valkey 8.1.3 PING valkeydata 127.0.0.1:6379 файл valkey_password
Миграции migrate goose 3.26.0 одноразовый нет нет файл database_url

Источник истины: PostgreSQL для данных, Valkey для сессий. У реплик API своего состояния нет, поэтому токен принимает любая реплика, а подтверждённое сообщение видно через любую.

Критичные зависимости: PostgreSQL и Valkey. Без любой из них реплика неготова, и обязательный путь недоступен.

Транзакции: ключ идемпотентности и сообщение пишутся в одной транзакции, уникальность обеспечивает PRIMARY KEY (user_id, chat_id, key). Конкурентный запрос с тем же ключом ждёт завершения транзакции. Чат и его участники тоже создаются одной транзакцией.

Порядок истории: (created_at, id) по возрастанию, created_at назначает БД. Обход неизменной истории не даёт повторов. При конкурентных вставках момент времени присваивается внутри транзакции, поэтому сообщение с более ранним created_at может зафиксироваться уже после того, как клиент прошёл эту позицию курсором, и при этом обходе он его не увидит. Повторное чтение с начала его покажет.

Что добавлено в этой работе: несколько реплик за HAProxy, X-Instance-Id, общая идемпотентность в БД (миграция 00007), согласованные таймауты и завершение по SIGTERM, поочерёдная замена реплик, скрипты отказов. Ответы LB 502, 503, 504 приведены к схеме Error.

Соответствие .env.example и конфигурации:

Переменная Где используется
APP_HOST, APP_PORT, APP_ENV адрес и окружение API, читает internal/config
SESSION_TTL_SECONDS срок жизни сессии
DATABASE_URL_FILE, CACHE_URL_FILE пути к файлам секретов, значений секретов не содержат
SESSION_STORE допустимо только valkey, иное значение останавливает запуск
API_REPLICAS deploy.replicas в compose.yaml
IDEMPOTENCY_TTL_SECONDS срок хранения ключей, по умолчанию 24 ч

Необязательное:

  • Кэш истории (app/internal/cache, сервис valkey-cache, профиль cache) выключен и в этой работе не проверялся. Включать его не следует: по комментарию в compose.yaml при нескольких репликах он не гарантирует чтение после записи.
  • DB_ENABLE_BITMAPSCAN=false отключает bitmap scan в подключениях API. Это гипотеза о плане запроса для новых чатов, замеров, подтверждающих выигрыш, нет.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Контракт и публичный smoke make test на расширенной схеме публичный сценарий PASS; отдельный результат make check не сохранён evidence/level4/migrations.txt
Модульные тесты cd app && go vet ./... && go test -count=1 ./... все пакеты ok evidence/go-test.txt
Уровень 3: ≥2 реплики, запросы через LB идут в разные реплики sh scripts/idempotency-evidence.sh, sh scripts/limits-evidence.sh конкурентные запросы распределяются между двумя репликами; при масштабировании LB использует все 4 контейнера evidence/level4/idempotency.txt, evidence/level4/limits.txt
Уровень 3: остановка любой реплики sh scripts/failover-evidence.sh (make test-failover) каждая реплика остановлена и возвращена, 3 прогона, 0 неудачных попыток, запись восстановилась за 3,20–3,28 с evidence/failover.txt
Уровень 3: сохранность при рестарте sh scripts/persistence-evidence.sh (make test-persistence) данные и прежний токен на месте, у всех контейнеров новое время запуска, тома прежние evidence/persistence.txt
Уровень 3: повтор POST и конкурентный повтор sh scripts/idempotency-evidence.sh см. раздел «Общая идемпотентность» evidence/level4/idempotency.txt
Уровень 4: лимиты, порты, секреты, хранилища, масштабирование scripts/limits-evidence.sh у всех сервисов лимиты CPU/RAM, применены в cgroup; наружу открыт только LB; секреты и тома только у своих сервисов; нет container_name; api масштабируется до 4 и обратно evidence/level4/limits.txt
Уровень 4: поочерёдная остановка реплик под нагрузкой scripts/failover-load.sh stop, scripts/failover-load.sh kill каждая реплика остановлена и восстановлена; ошибок 0 (stop) и 2 (kill, в момент отказа); 0 с без успешных запросов; потерь и дублей нет evidence/level4/failover-stop.txt, failover-kill.txt
Уровень 4: общая идемпотентность параллельно scripts/idempotency-evidence.sh 16 параллельных запросов на ключ через обе реплики и в момент отказа: ровно одно сообщение на ключ, дублей 0, сверка по БД 0 0 evidence/level4/idempotency.txt
Уровень 4: rolling update и миграции scripts/rolling-evidence.sh, scripts/migration-evidence.sh 2 замены обеих реплик под нагрузкой (без миграции и с совместимой миграцией): 0 ошибок, 0 потерь и дублей; совместимая миграция не мешает работающей версии, несовместимая даёт 500 и этим подтверждает чувствительность проверки evidence/level4/rolling.txt, evidence/level4/migrations.txt
Уровень 4: health/readiness, timeouts, SIGTERM, вывод backend scripts/failure-detection-evidence.sh период проверок 1 с, измеренный вывод зависшей реплики за 4,09–4,98 с; при SIGTERM 0 ошибок и все запросы завершены; неготовая реплика не получает трафик evidence/failure-detection.txt
Ответы самого LB по контракту sh scripts/lb-errors-evidence.sh без рабочих реплик 503, JSON по схеме Error, request_id равен X-Request-Id; в конфигурации есть правила 502/503/504 evidence/lb-errors.txt
Уровень 5: цена масштабирования python3 scripts/scaling-study.py, python3 scripts/scaling-summary.py 14 прогонов; фиксированный и растущий бюджет; проверено увеличение CPU БД: +3,9% RPS, −48% p95 записи evidence/track1/summary.csv, evidence/track1/*.json, TRACK1.md
CPU и RAM под нагрузкой sh scripts/resources-evidence.sh API упирается в лимит 1 CPU, RAM далеко от лимитов, ошибок 0 evidence/level4/resources.txt

Ограничение goose: параллельный запуск не защищён блокировкой, поэтому миграции запускает один процесс (раздел «Rolling update и миграции»).

Обнаружение отказа и согласованность таймаутов

Период проверок: GET /health/ready раз в 1 с (inter 1s). Реплика выводится после 2 неудачных проверок (fall 2), возвращается после выхода из DOWN после 2 удачных (rise 2). Новый адрес из DNS стартует как DOWN (init-state down) и получает трафик после первой удачной проверки.

Максимальное измеренное время вывода зависшей реплики: 4,98 с; расчётная граница с учётом connect — 6 с. Измерено скриптом scripts/failure-detection.py, по 3 прогона:

Отказ Как обнаруживается Расчётный максимум Измерено
docker stop (SIGTERM) readiness сразу 503, 2 проверки 1 с × 2 = 2 с 1,56–1,74 с, ошибок 0
docker kill под трафиком 2 ошибки соединения на запросах (observe layer4) определяется трафиком 0,10–0,13 с, ошибок 0–1 (502)
docker kill без трафика активные проверки (1 с + connect 0,5 с) × 2 = 3 с 2,41–2,56 с
docker pause (зависший процесс) таймаут проверки (1 с + check 1,5 с) × 2 = 5 с 4,09–4,98 с, 16–24 таймаута клиента, последний на 4,20–6,26 с

Расчёт для зависания предполагает мгновенную установку соединения. Если соединение устанавливается медленно, вплоть до timeout connect, теоретическая граница составляет (1 + 0,5 + 1,5) × 2 = 6 с. Требование README (не позднее 10 с) выполняется в обоих случаях.

Цепочка таймаутов:

Параметр Значение Почему
readyTimeout API 1 с меньше timeout check: API успевает ответить 503 при недоступной зависимости
timeout check LB 1,5 с зависшая реплика считается неудачной проверкой
timeout connect LB 0,5 с недоступный адрес быстро уходит в повтор на другую реплику
DB query timeout 3 с меньше APP_WRITE_TIMEOUT_MS
APP_READ_TIMEOUT_MS / timeout http-request 10 с / 10 с одинаковый предел на приём запроса
APP_WRITE_TIMEOUT_MS / timeout server 10 с / 15 с LB не обрывает запрос раньше API
APP_IDLE_TIMEOUT_MS / timeout http-keep-alive 60 с / 30 с API не закрывает простаивающее соединение раньше LB
APP_SHUTDOWN_DRAIN_MS 3 с больше вывода по readiness (2 с): новые запросы перестают приходить до закрытия порта
APP_SHUTDOWN_TIMEOUT_MS 10 с равен APP_WRITE_TIMEOUT_MS: начатый запрос успевает завершиться
stop_grace_period 15 с больше 3 + 10 с: Docker не присылает SIGKILL раньше времени

Порядок при SIGTERM (docker stop с 8 открытыми запросами, 4 из них на останавливаемой реплике):

  1. Сразу: readiness возвращает 503 (замер 0,12 с), обычные запросы продолжают обслуживаться.
  2. Через 3 с: порт закрыт, новые соединения отклоняются (замер 3,15 с).
  3. Открытые запросы завершаются: все 8 вернули 201, сообщения сохранены.
  4. Контейнер завершился с кодом 0 за 5,83 с, в логе server stopped cleanly.

Readiness и зависимости: /health/ready проверяет PostgreSQL и Valkey, /health/live только сам процесс. При остановке Valkey обе реплики вышли из балансировки за 1,36 с, и LB отвечает 503 на все запросы: JSON по схеме Error, без X-Instance-Id, который контракт для ответов LB не требует; после восстановления Valkey реплики вернулись. Отказ общей зависимости приложение не переживает, он только становится явным.

Ограничения:

  • Запрос, уже ушедший на зависшую реплику, ждёт до timeout server (15 с) и получает 504, если клиент не отключится раньше. on-marked-down shutdown-sessions сократил бы это ожидание, но вывод по 503 при SIGTERM тогда обрывал бы запросы, поэтому он не используется.
  • При init-state down сразу после рестарта LB бэкенд пуст до первой проверки, в это время LB отвечает 503.
  • Ложные выводы реплик под предельной нагрузкой не проверялись.
  • Ответ LB 503 проверен вживую с проверкой тела (lb-errors.txt). 502 встречался при docker kill (failure-detection.txt), но его тело отдельно не проверялось; для 504 сохранённого результата проверки нет. Для всех трёх статусов настроены правила http-error. Правила http-error не покрывают ошибки разбора запроса (400, 408) самим LB.
  • Замеры сделаны на одном хосте Docker Desktop; отказ узла не проверялся.

Лимиты, порты, секреты и хранилища

Сервис CPU RAM Порт на хосте Секреты Том
lb 1 256 МБ *:8080 нет нет
api 1 512 МБ нет database_url, cache_url нет
postgres 2 1 ГБ 127.0.0.1:5432 postgres_password pgdata
valkey 1 256 МБ 127.0.0.1:6379 valkey_password valkeydata
migrate 0,5 128 МБ нет database_url нет
valkey-cache (профиль) 0,5 128 МБ 127.0.0.1:6380 valkey_cache_password нет
loadgen (профиль) 4 1 ГБ нет нет нет

Кэш истории выключен (HISTORY_CACHE=off), поэтому секрет history_cache_url у API нет. Если включить HISTORY_CACHE без этого секрета, API завершается с ошибкой при старте.

Ограничения:

  • API и migrate используют одну роль messenger, и это суперпользователь PostgreSQL. Отдельная роль API с минимальными правами не реализована.
  • Все сервисы находятся в одной сети Compose, поэтому LB сетевым образом может обратиться к БД; защищает только пароль.
  • server-template задаёт 8 слотов: реплики сверх 8 не получат трафик. 8 реплик по DB_MAX_CONNS=10 дают 80 соединений при max_connections=100. Проверено масштабирование только до 4.
  • Порты PostgreSQL и Valkey на 127.0.0.1 нужны для диагностики.

Поочерёдная остановка реплик под нагрузкой

Профиль: loadgen в сети стенда, closed-loop, 16 клиентов, 20% записей, замер 60 с, прогрев 5 с, таймаут запроса 5 с. У каждой реплики 1 CPU и 512 МБ. Реплика останавливается на 10-й и 32-й секунде и запускается через 10 с, то есть в каждый момент отказывает только одна.

Показатель docker stop (SIGTERM) docker kill (SIGKILL)
RPS за весь замер (чтение + запись) 9238 8975
RPS до отказа, 2 реплики 10830 10341
RPS при одной реплике (1-я / 2-я) 5518 / 5696 5767 / 5779
RPS после возврата (1-я / 2-я) 11300 / 11186 10727 / 10641
Ошибки (1-я / 2-я) 0 / 0 2 / 0 (502 и обрыв соединения)
Секунд без единого успешного запроса 0 0
Возврат к исходной ёмкости после docker start 1 с / 1 с не более 1 с
p99 чтения / записи 7,3 / 13,0 мс 7,2 / 13,7 мс
Записи: подтверждено / потеряно / дублей 121439 / 0 / 0 118247 / 0 / 0
Подтверждено только после повтора с тем же ключом 0 1

Время возврата измерено с точностью до 1 с (секундная шкала loadgen, часы скрипта и генератора расходятся менее чем на 1 с). Время вывода реплики см. в разделе «Обнаружение отказа»: строка t=13s LB вывел в режиме stop показывает окончание блокирующего docker stop, а не сам вывод.

Ограничения: RPS при одной реплике падает примерно вдвое, это закономерно при лимите 1 CPU на реплику, и одной реплики при этой нагрузке хватает без ошибок. Запас по ёмкости на большей нагрузке не проверялся. Closed-loop занижает задержки при перегрузке (coordinated omission), поэтому p99 здесь не характеристика при заданной интенсивности. Прогон по одному разу на режим, поэтому разброс между повторами не оценён.

Общая идемпотентность

Уникальность обеспечивает БД, а не память реплики: PRIMARY KEY (user_id, chat_id, key) в message_idempotency_keys и INSERT ... ON CONFLICT DO NOTHING в одной транзакции с сообщением. Проигравший параллельный запрос читает уже записанное сообщение и возвращает его; другой текст с тем же ключом даёт 409.

Проверка Объём Результат
app/e2e: параллельно через обе реплики 3 прогона, 20 раундов по 16 запросов, запросы примерно поровну (160/160, 161/159) одно сообщение на ключ, ответы побайтно совпадают, история совпадает с подтверждённым
scripts/idempotency-under-failure.py, stop 826 и 890 ключей по 16 запросов дублей 0, потерянных ключей 0
То же, kill 1545 и 739 ключей по 16 запросов, 5 и 2 ответа 502 повторены с тем же ключом дублей 0, потерянных ключей 0
Сверка по БД, сообщения сценариев с отказом дубли одного сообщения в чате; сообщения без ключа 0 и 0

Rolling update и миграции

Compose не умеет заменять реплики поочерёдно сам, поэтому это делает scripts/rolling-update.sh:

  1. Собирает образы и запоминает текущий образ API.
  2. Один раз запускает миграции отдельным процессом migrate. Если они упали, реплики не меняются.
  3. Для каждой старой реплики: поднимает новую, ждёт её healthy и статус UP в LB, затем останавливает старую через docker stop (SIGTERM и drain) и удаляет её.
  4. Если новая реплика не стала готовой, удаляет её, возвращает тег образа на прежний и останавливает замену.

Возврат тега нужен потому, что сборка переносит тег на новый образ. Без возврата следующий compose up пересоздал бы разом все реплики из несостоявшейся версии. Сохранённый сценарий проверяет, что после неудачного обновления тег возвращён и старые реплики остаются на месте.

Результаты под нагрузкой

Нагрузка: 16 клиентов, 20% записей, 60 с. Обновление начинается на 10-й секунде и занимает 21–22 с. По одному прогону на сценарий.

Сценарий Замен RPS до Минимум RPS за секунду в окне Ошибки Потери и дубли
Без изменения схемы (rolling.txt) 1 прогон, 2 реплики 11194 8877 0 0
С совместимой миграцией (migrations.txt) 1 прогон, 2 реплики 10709 8589 0 0

Ни одной секунды без успешных запросов. В прогонах новая версия видна по метке образа, а смена реплик — по X-Instance-Id.

Почему миграция запускается один раз

  • В образе API нет ни goose, ни каталога миграций, поэтому реплики не могут запускать их при старте.
  • Миграции выполняет один одноразовый сервис migrate до запуска API (service_completed_successfully).
  • Масштабирование и повторный запуск не добавляют записей в goose_db_version.

Ограничение: у goose up нет блокировки, однократность держится на том, что запускают один процесс. При 8 параллельных запусках на пустой БД часть падает с ошибкой (успешно 4, 4 и 6 из 8), а версия 5 в одном раунде из трёх записалась дважды, то есть миграция выполнилась повторно. На реальных данных её UPDATE удвоил бы экранирование \. Поэтому два оператора не должны обновлять стенд одновременно.

Совместимость с работающей версией

scripts/migration-evidence.sh применяет проверочные миграции из временного каталога и откатывает их. Каталог migrations/ не меняется.

Сценарий Что проверено Результат
Expand: новая колонка и таблица Старые реплики работают на новой схеме до 18 с под нагрузкой, затем make test 0 ошибок, тесты проходят
Контроль: переименование messages.text Та же нагрузка замечает несовместимую схему 1531 ошибка 500, 9 с без единого успеха, после отката снова работает
Упавшая миграция Обновление останавливается до замены Реплики и версия схемы те же, транзакция откатилась
Новая реплика не стартует Ёмкость не падает 0 ошибок, старые реплики на месте, тег возвращён

Контрольный сценарий показывает две вещи: проверка expand действительно способна поймать поломку, а readiness проверяет только связь с БД и не замечает несовместимую схему. LB оставляет обе реплики в работе.

Правило для изменений схемы: expand/contract. Сначала только добавляем, затем заменяем реплики, а удаляем или переименовываем следующим выпуском, когда старой версии уже нет.

Оценка текущих миграций:

Миграция Совместимость с предыдущей версией кода
00001–00004 Создание исходной схемы, работающей версии до них нет
00005 Несовместима: меняет кодировку хранимого текста и переписывает данные. Старая версия показала бы удвоенные \, поэтому нужна остановка записи
00006, 00007 Только новые таблицы, старый код их не трогает. Но версия без 00007 не записывала бы ключи идемпотентности, так что защита от дублей действует только после полной замены

Сейчас применены все 7 миграций, поэтому текущее обновление не выполняет ни одной из них.

Ограничения

  • В проверке старая и новая версии отличаются меткой сборки, а не кодом. Доказана работа текущего кода на расширенной схеме, но не сосуществование двух разных версий логики.
  • Схема откатывается только вручную. Автоматического отката уже заменённых реплик нет: при сбое на второй реплике версии остаются смешанными до следующего запуска. Предыдущий образ остаётся только как непомеченный, пока не удалён.
  • ALTER TABLE берёт эксклюзивную блокировку, lock_timeout не задан. На этом объёме данных она незаметна, на большой таблице или при долгой транзакции запросы встанут в очередь.
  • docker compose up -d --build — не rolling update: он пересоздаёт реплики одновременно. Для обновления нужен scripts/rolling-update.sh.
  • Проверено на 2 репликах на одном хосте; нагрузка идёт из той же сети Docker.

Ресурсы под нагрузкой

Стенд: Apple M4 Pro, Docker Desktop с 12 CPU и около 7,7 ГиБ RAM. Профиль уровня 4: 16 клиентов closed-loop, 20% записей, 8 чатов, прогрев 5 с, замер 60 с. Исключения: несовместимая миграция — 30 с, неисправная реплика — 50 с.

CPU и RAM под нагрузкой (scripts/resources-evidence.sh, 2 реплики, тот же профиль без отказов, docker stats за 60 с замера, 30–31 выборка; 100% равно одному ядру). Результат прогона: 11156 RPS, доля ошибок 0, p50/p95/p99 чтения 1,0/2,6/5,2 мс, записи 1,9/3,7/7,3 мс, потерь и дублей нет.

Контейнер CPU среднее / макс. Лимит CPU RAM среднее / макс. Лимит RAM
api-5 104% / 112% 100% 22 / 34 МиБ 512 МиБ
api-6 104% / 112% 100% 14 / 14 МиБ 512 МиБ
lb 80% / 93% 100% 109 / 110 МиБ 256 МиБ
postgres 177% / 191% 200% 213 / 216 МиБ 1 ГиБ
valkey 16% / 19% 100% 12 / 13 МиБ 256 МиБ
loadgen 78% / 84% 400% 40 / 61 МиБ 1 ГиБ

При этом профиле реплики API работают на пределе CPU, а PostgreSQL и LB близки к своим лимитам, поэтому RPS здесь ограничен лимитами стенда. Значения немного выше 100% при лимите 100%, вероятно, связаны с погрешностью выборки docker stats; отдельно это не проверялось. Этот прогон показывает загрузку при 16 клиентах; отдельная проверка узкого места при 32 клиентах приведена в разделе о масштабировании ниже.

Ограничения измерения: closed-loop занижает задержки при перегрузке (coordinated omission), поэтому пропускная способность здесь не является пределом стенда. Прогонов мало: разброс оценён только там, где указан диапазон. Часы скрипта и генератора расходятся до 1 с. Всё работает на одном хосте, поэтому числа нельзя переносить на другую конфигурацию.

Сводка результатов нагрузки уровня 4

Замеры от 4 ноября 2026 года, версия 0ab3a34+dirty. RPS и p95 указаны за весь прогон. Проверенная история включает подготовительные записи.

Файл в evidence/level4/ Замер, с Успешных запросов/с p95 чтения, мс p95 записи, мс Ошибки Проверено сообщений Потери / дубли ID / дубли текста
failover-stop.json 60 9238.22 2.700 4.067 0 121439 0 / 0 / 0
failover-kill.json 60 8974.78 2.702 4.041 502: 1, net: 1 118247 0 / 0 / 0
rolling.json 60 11146.50 2.517 3.821 0 145172 0 / 0 / 0
rolling-expand.json 60 10640.55 2.634 4.005 0 139415 0 / 0 / 0
rolling-bad-image.json 50 10387.48 2.732 4.053 0 114264 0 / 0 / 0
migration-breaking.json 30 7114.93 2.731 3.909 500: 1531 53799 0 / 0 / 0

В сценарии rolling-bad-image новая реплика намеренно завершается командой /bin/false. Обновление прекращается, старые реплики остаются на месте; за 50 с нет ошибок клиента и секунд без успешных запросов. В несовместимой миграции 1531 ответ 500 и 9 секунд без успеха ожидаемы: это контроль чувствительности проверки, а не успешное обновление.

Уровень 5, трек 1: цена масштабирования

Гипотеза: дополнительные API помогают до насыщения общей БД; разделение прежних ресурсов не даёт линейного ускорения.

Замеры от 5 ноября 2026 года: 32 клиента, 80% чтения / 20% записи, прогрев 5 с, замер 20 с, два повтора. По умолчанию PostgreSQL — 2 CPU / 1 ГиБ, LB — 1 CPU / 256 МиБ; пул — 10 соединений на API. В таблице средние двух прогонов.

Серия Реплик API Суммарно API: CPU / RAM RPS
Фиксированный бюджет 1 2 / 1 ГиБ 9821
Фиксированный бюджет 2 2 / 1 ГиБ 10673
Фиксированный бюджет 4 2 / 1 ГиБ 9463
Рост ресурсов 1 1 / 512 МиБ 5631
Рост ресурсов 2 2 / 1 ГиБ 10673
Рост ресурсов 4 4 / 2 ГиБ 11243

Масштабирование; интервалы — два повтора

При фиксированном бюджете переход 2 → 4 API снижает RPS на 11,3%; при удвоении ресурсов даёт лишь +5,3%. Насыщение — около 11 тысяч RPS. При четырёх API БД потребляет около 2,09 CPU из 2, LB — 0,88 из 1, каждая API — 0,59 из 1.

Проверенное улучшение: увеличение только CPU БД с 2 до 4 дало 11678 RPS (+3,9%) и снизило среднее p95 записи с 15,67 до 8,07 мс (−48,5%). Оба повтора выше исходных. Удвоение только CPU LB дало 11174 RPS, без выигрыша. После ускорения БД загрузка LB достигает 0,97 CPU из 1.

Проверка узкого места

Во всех 14 прогонах ошибки, потери и дубли — 0. Ограничения: один хост, два коротких повтора, closed-loop; статистическая значимость не оценивалась.

Данные: CSV, среда и сырые результаты, подробности — TRACK1.md. Повтор: python3 scripts/scaling-study.py, затем python3 scripts/scaling-summary.py (нужен matplotlib). Скрипт временно меняет стенд и возвращает исходную конфигурацию; тестовые данные остаются.

Ограничения и следующие шаги

Выдерживается: отказ, зависание и замена одной реплики API; перезапуск всего стенда с сохранением томов; повтор и конкурентный повтор POST сообщения, в том числе в момент отказа.

Не выдерживается: отказ PostgreSQL, Valkey, LB или всего хоста. Это единые точки отказа: сервис становится недоступен, пока они не вернутся, репликации нет, а отказ узла не проверялся.

Не реализовано и учебные упрощения:

  • API и миграции используют одну роль БД с правами суперпользователя.
  • Секреты в файлах на хосте, TLS нет: допустимо только для локального стенда с синтетическими данными.
  • Автоматического отката уже заменённых реплик и схемы нет.
  • Совместимость схемы не входит в readiness: несовместимая миграция не выводит реплики из LB.
  • Кэш истории выключен и не проверен; на настоящих PostgreSQL и Valkey нет отдельных тестов отката транзакции, гонки имён и очистки ключей.
  • DB_ENABLE_BITMAPSCAN=false не подтверждён замерами.
  • APP_MAX_MESSAGES используется только хранилищем в памяти из модульных тестов, на PostgreSQL не влияет.

Подтверждено: результаты из существующих файлов, перечисленных в таблице доказательств. Отдельные логи make check и чистого clone отсутствуют. Пока гипотеза: выигрыш от отключения bitmap scan.