docs: record bench baseline hypotheses

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-02 01:24:35 +03:00
co-authored by Claude Opus 5.5
parent e76eed789f
commit b2624cce5c
2 changed files with 56 additions and 3 deletions
+53
View File
@@ -421,6 +421,59 @@ Valkey приходят из `environment` compose. В compose нет литер
| `make failure_checks`: 12 автоматических проверок отказов на отдельном стенде | истечение, отказы БД и Valkey, пул, откат — как в строках выше, без ручных шагов | 12 passed, весь прогон 45 с; рабочий стенд — те же `StartedAt` и число строк | стенд отказов удалён вместе с volume; рабочие данные не тронуты |
| сбой вставки участников (триггер на стенде отказов) | откат всей транзакции создания чата | 500 `internal_error`, строки чата нет | частичная запись не осталась |
### Нагрузочный стенд на PostgreSQL: базовый замер
Зачем: план запроса истории на ≥10 000 сообщениях (уровень 4) и
базовая метка для сравнений трека 2. Команда — `make bench
BENCH_LABEL=baseline`, методика — `.claude/rules/bench.md` и design
change `bench-postgres`.
**Стенд.** Свой проект compose `mtusi-bench`: те же образы Postgres и
Valkey, что у рабочего стенда, без портов хоста и без `.env` и
`config.toml` рабочего стенда. Лимиты без swap:
| Контейнер | CPU | Память |
| --- | --- | --- |
| API | 1 | 2 ГБ |
| PostgreSQL | 4 | 3 ГБ |
| Valkey | 2 | 512 МБ |
Генератор k6 работает в той же сети без лимита. Postgres — настройки
образа (`shared_buffers` 128 МБ) плюс `auto_explain`, выключенный вне
этапа плана.
**Профиль.**
- Матрица:
- размеры истории читаемого чата 10 000 / 100 000 / 1 000 000;
- 1 / 10 / 50 клиентов;
- сценарии `read` (страница `limit=50` со случайным курсором) и
`write` (сообщение в соседний чат);
- по 3 повтора с прогревом.
- На каждый размер:
- свежий стенд и миграции;
- наполнение через HTTP API порциями по 50 000;
- `VACUUM (ANALYZE)` и `CHECKPOINT`;
- `EXPLAIN (ANALYZE, BUFFERS)` запроса страницы, которую выполнило
приложение: первая, средняя и последняя страница, плюс средняя без
индекса в откатываемой транзакции.
- Вход в сценариях — как в контракте: регистрация с паролем, Basic,
затем Bearer.
**Гипотезы.** Записаны до полной матрицы, по самопроверке `make
bench_quick` (1k–10k, от батареи). Там API на 4–16 клиентах занимал
1,0 ядра, Postgres — 0,15–0,25, а средняя страница читала около 54
буферов на любом размере. Опровержение — при условии в последнем
столбце.
| | Гипотеза | Опровергнута, если |
| --- | --- | --- |
| H1 | Время страницы истории не зависит от длины истории: keyset по индексу `(chat_id, created_at, id)` читает ограниченное число страниц, а не всю историю до курсора | p50 `read` на 1M больше, чем на 10k, более чем на 20% при той же конкуренции, или буферы средней и последней страницы в плане приложения на 1M больше, чем на 10k, более чем вдвое |
| H2 | Без индекса тот же запрос — `Seq Scan` всей таблицы и сортировка: буферы — порядка числа страниц таблицы, время растёт примерно пропорционально N | план без индекса читает ограниченное число страниц или его время на 1M меньше чем в 10 раз больше, чем на 10k |
| H3 | На 10 и 50 клиентах `read` и `write` упираются в CPU API (1 ядро), а не в Postgres | `app_cpu_cores` меньше 0,9 при `db_cpu_cores` больше 2 в этих ячейках |
| H4 | Стоимость записи растёт с размером индекса слабо (глубина B-дерева — логарифм N) | RPS последней порции наполнения 1M меньше 80% RPS первой порции |
Результаты — после прогона `baseline`.
## Ограничения и следующие шаги
- Сервер, замёрзший при открытом соединении, держит запрос 8 с, а не
+3 -3
View File
@@ -131,7 +131,7 @@
`limits.api.memory` и обоими значениями;
- ручная правка `stand.postgres.settings.shared_buffers` в копии
`meta.json` — отказ с этим ключом.
- [ ] 6.3 `bench/ab.py` без `bench_inproc`, проверка занятости — каталог
- [x] 6.3 `bench/ab.py` без `bench_inproc`, проверка занятости — каталог
метки стенда. Проверка: `uv run python bench/ab.py --before a --after
b --reapply HEAD --dry-run` на чистом дереве печатает план без
`bench_inproc`. Занятая метка и нечистое дерево — отказ до первого
@@ -155,7 +155,7 @@
- время прогона и скорость наполнения записаны для оценки полной
матрицы. Если оценка заметно больше часа — сказать пользователю
до baseline.
- [ ] 8.3 Показать `git status` и `git diff --stat`, предложить
- [x] 8.3 Показать `git status` и `git diff --stat`, предложить
сообщение, после подтверждения закоммитить код стенда (`feat: run
load bench on PostgreSQL with query plans`). Проверка: `git status`
чистый, на этом commit `run.py` пишет `dirty: false`.
@@ -184,7 +184,7 @@
## 10. Базовый замер и отчёт
- [ ] 10.1 Записать гипотезы H1–H4 (решение 10) в раздел экспериментов
- [x] 10.1 Записать гипотезы H1–H4 (решение 10) в раздел экспериментов
`REPORT.md` до запуска полной матрицы. Проверка: раздел есть в diff
до появления `evidence/bench/baseline/`.
- [ ] 10.2 Подготовить хост (питание, swap, `memory_pressure`, нет