From b2624cce5cf42fec50aa0e03ae2b33bccd2a2ed3 Mon Sep 17 00:00:00 2001 From: roman Date: Fri, 2 Oct 2026 01:24:35 +0300 Subject: [PATCH] docs: record bench baseline hypotheses Co-Authored-By: Claude Opus 5.5 --- REPORT.md | 53 ++++++++++++++++++++++++ openspec/changes/bench-postgres/tasks.md | 6 +-- 2 files changed, 56 insertions(+), 3 deletions(-) diff --git a/REPORT.md b/REPORT.md index 7d89e575..4effddc3 100644 --- a/REPORT.md +++ b/REPORT.md @@ -421,6 +421,59 @@ Valkey приходят из `environment` compose. В compose нет литер | `make failure_checks`: 12 автоматических проверок отказов на отдельном стенде | истечение, отказы БД и Valkey, пул, откат — как в строках выше, без ручных шагов | 12 passed, весь прогон 45 с; рабочий стенд — те же `StartedAt` и число строк | стенд отказов удалён вместе с volume; рабочие данные не тронуты | | сбой вставки участников (триггер на стенде отказов) | откат всей транзакции создания чата | 500 `internal_error`, строки чата нет | частичная запись не осталась | +### Нагрузочный стенд на PostgreSQL: базовый замер + +Зачем: план запроса истории на ≥10 000 сообщениях (уровень 4) и +базовая метка для сравнений трека 2. Команда — `make bench +BENCH_LABEL=baseline`, методика — `.claude/rules/bench.md` и design +change `bench-postgres`. + +**Стенд.** Свой проект compose `mtusi-bench`: те же образы Postgres и +Valkey, что у рабочего стенда, без портов хоста и без `.env` и +`config.toml` рабочего стенда. Лимиты без swap: + +| Контейнер | CPU | Память | +| --- | --- | --- | +| API | 1 | 2 ГБ | +| PostgreSQL | 4 | 3 ГБ | +| Valkey | 2 | 512 МБ | + +Генератор k6 работает в той же сети без лимита. Postgres — настройки +образа (`shared_buffers` 128 МБ) плюс `auto_explain`, выключенный вне +этапа плана. + +**Профиль.** +- Матрица: + - размеры истории читаемого чата 10 000 / 100 000 / 1 000 000; + - 1 / 10 / 50 клиентов; + - сценарии `read` (страница `limit=50` со случайным курсором) и + `write` (сообщение в соседний чат); + - по 3 повтора с прогревом. +- На каждый размер: + - свежий стенд и миграции; + - наполнение через HTTP API порциями по 50 000; + - `VACUUM (ANALYZE)` и `CHECKPOINT`; + - `EXPLAIN (ANALYZE, BUFFERS)` запроса страницы, которую выполнило + приложение: первая, средняя и последняя страница, плюс средняя без + индекса в откатываемой транзакции. +- Вход в сценариях — как в контракте: регистрация с паролем, Basic, + затем Bearer. + +**Гипотезы.** Записаны до полной матрицы, по самопроверке `make +bench_quick` (1k–10k, от батареи). Там API на 4–16 клиентах занимал +1,0 ядра, Postgres — 0,15–0,25, а средняя страница читала около 54 +буферов на любом размере. Опровержение — при условии в последнем +столбце. + +| | Гипотеза | Опровергнута, если | +| --- | --- | --- | +| H1 | Время страницы истории не зависит от длины истории: keyset по индексу `(chat_id, created_at, id)` читает ограниченное число страниц, а не всю историю до курсора | p50 `read` на 1M больше, чем на 10k, более чем на 20% при той же конкуренции, или буферы средней и последней страницы в плане приложения на 1M больше, чем на 10k, более чем вдвое | +| H2 | Без индекса тот же запрос — `Seq Scan` всей таблицы и сортировка: буферы — порядка числа страниц таблицы, время растёт примерно пропорционально N | план без индекса читает ограниченное число страниц или его время на 1M меньше чем в 10 раз больше, чем на 10k | +| H3 | На 10 и 50 клиентах `read` и `write` упираются в CPU API (1 ядро), а не в Postgres | `app_cpu_cores` меньше 0,9 при `db_cpu_cores` больше 2 в этих ячейках | +| H4 | Стоимость записи растёт с размером индекса слабо (глубина B-дерева — логарифм N) | RPS последней порции наполнения 1M меньше 80% RPS первой порции | + +Результаты — после прогона `baseline`. + ## Ограничения и следующие шаги - Сервер, замёрзший при открытом соединении, держит запрос 8 с, а не diff --git a/openspec/changes/bench-postgres/tasks.md b/openspec/changes/bench-postgres/tasks.md index 70d312d9..3bb9ec91 100644 --- a/openspec/changes/bench-postgres/tasks.md +++ b/openspec/changes/bench-postgres/tasks.md @@ -131,7 +131,7 @@ `limits.api.memory` и обоими значениями; - ручная правка `stand.postgres.settings.shared_buffers` в копии `meta.json` — отказ с этим ключом. -- [ ] 6.3 `bench/ab.py` без `bench_inproc`, проверка занятости — каталог +- [x] 6.3 `bench/ab.py` без `bench_inproc`, проверка занятости — каталог метки стенда. Проверка: `uv run python bench/ab.py --before a --after b --reapply HEAD --dry-run` на чистом дереве печатает план без `bench_inproc`. Занятая метка и нечистое дерево — отказ до первого @@ -155,7 +155,7 @@ - время прогона и скорость наполнения записаны для оценки полной матрицы. Если оценка заметно больше часа — сказать пользователю до baseline. -- [ ] 8.3 Показать `git status` и `git diff --stat`, предложить +- [x] 8.3 Показать `git status` и `git diff --stat`, предложить сообщение, после подтверждения закоммитить код стенда (`feat: run load bench on PostgreSQL with query plans`). Проверка: `git status` чистый, на этом commit `run.py` пишет `dirty: false`. @@ -184,7 +184,7 @@ ## 10. Базовый замер и отчёт -- [ ] 10.1 Записать гипотезы H1–H4 (решение 10) в раздел экспериментов +- [x] 10.1 Записать гипотезы H1–H4 (решение 10) в раздел экспериментов `REPORT.md` до запуска полной матрицы. Проверка: раздел есть в diff до появления `evidence/bench/baseline/`. - [ ] 10.2 Подготовить хост (питание, swap, `memory_pressure`, нет