docs: record bench baseline hypotheses
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -421,6 +421,59 @@ Valkey приходят из `environment` compose. В compose нет литер
|
||||
| `make failure_checks`: 12 автоматических проверок отказов на отдельном стенде | истечение, отказы БД и Valkey, пул, откат — как в строках выше, без ручных шагов | 12 passed, весь прогон 45 с; рабочий стенд — те же `StartedAt` и число строк | стенд отказов удалён вместе с volume; рабочие данные не тронуты |
|
||||
| сбой вставки участников (триггер на стенде отказов) | откат всей транзакции создания чата | 500 `internal_error`, строки чата нет | частичная запись не осталась |
|
||||
|
||||
### Нагрузочный стенд на PostgreSQL: базовый замер
|
||||
|
||||
Зачем: план запроса истории на ≥10 000 сообщениях (уровень 4) и
|
||||
базовая метка для сравнений трека 2. Команда — `make bench
|
||||
BENCH_LABEL=baseline`, методика — `.claude/rules/bench.md` и design
|
||||
change `bench-postgres`.
|
||||
|
||||
**Стенд.** Свой проект compose `mtusi-bench`: те же образы Postgres и
|
||||
Valkey, что у рабочего стенда, без портов хоста и без `.env` и
|
||||
`config.toml` рабочего стенда. Лимиты без swap:
|
||||
|
||||
| Контейнер | CPU | Память |
|
||||
| --- | --- | --- |
|
||||
| API | 1 | 2 ГБ |
|
||||
| PostgreSQL | 4 | 3 ГБ |
|
||||
| Valkey | 2 | 512 МБ |
|
||||
|
||||
Генератор k6 работает в той же сети без лимита. Postgres — настройки
|
||||
образа (`shared_buffers` 128 МБ) плюс `auto_explain`, выключенный вне
|
||||
этапа плана.
|
||||
|
||||
**Профиль.**
|
||||
- Матрица:
|
||||
- размеры истории читаемого чата 10 000 / 100 000 / 1 000 000;
|
||||
- 1 / 10 / 50 клиентов;
|
||||
- сценарии `read` (страница `limit=50` со случайным курсором) и
|
||||
`write` (сообщение в соседний чат);
|
||||
- по 3 повтора с прогревом.
|
||||
- На каждый размер:
|
||||
- свежий стенд и миграции;
|
||||
- наполнение через HTTP API порциями по 50 000;
|
||||
- `VACUUM (ANALYZE)` и `CHECKPOINT`;
|
||||
- `EXPLAIN (ANALYZE, BUFFERS)` запроса страницы, которую выполнило
|
||||
приложение: первая, средняя и последняя страница, плюс средняя без
|
||||
индекса в откатываемой транзакции.
|
||||
- Вход в сценариях — как в контракте: регистрация с паролем, Basic,
|
||||
затем Bearer.
|
||||
|
||||
**Гипотезы.** Записаны до полной матрицы, по самопроверке `make
|
||||
bench_quick` (1k–10k, от батареи). Там API на 4–16 клиентах занимал
|
||||
1,0 ядра, Postgres — 0,15–0,25, а средняя страница читала около 54
|
||||
буферов на любом размере. Опровержение — при условии в последнем
|
||||
столбце.
|
||||
|
||||
| | Гипотеза | Опровергнута, если |
|
||||
| --- | --- | --- |
|
||||
| H1 | Время страницы истории не зависит от длины истории: keyset по индексу `(chat_id, created_at, id)` читает ограниченное число страниц, а не всю историю до курсора | p50 `read` на 1M больше, чем на 10k, более чем на 20% при той же конкуренции, или буферы средней и последней страницы в плане приложения на 1M больше, чем на 10k, более чем вдвое |
|
||||
| H2 | Без индекса тот же запрос — `Seq Scan` всей таблицы и сортировка: буферы — порядка числа страниц таблицы, время растёт примерно пропорционально N | план без индекса читает ограниченное число страниц или его время на 1M меньше чем в 10 раз больше, чем на 10k |
|
||||
| H3 | На 10 и 50 клиентах `read` и `write` упираются в CPU API (1 ядро), а не в Postgres | `app_cpu_cores` меньше 0,9 при `db_cpu_cores` больше 2 в этих ячейках |
|
||||
| H4 | Стоимость записи растёт с размером индекса слабо (глубина B-дерева — логарифм N) | RPS последней порции наполнения 1M меньше 80% RPS первой порции |
|
||||
|
||||
Результаты — после прогона `baseline`.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
- Сервер, замёрзший при открытом соединении, держит запрос 8 с, а не
|
||||
|
||||
@@ -131,7 +131,7 @@
|
||||
`limits.api.memory` и обоими значениями;
|
||||
- ручная правка `stand.postgres.settings.shared_buffers` в копии
|
||||
`meta.json` — отказ с этим ключом.
|
||||
- [ ] 6.3 `bench/ab.py` без `bench_inproc`, проверка занятости — каталог
|
||||
- [x] 6.3 `bench/ab.py` без `bench_inproc`, проверка занятости — каталог
|
||||
метки стенда. Проверка: `uv run python bench/ab.py --before a --after
|
||||
b --reapply HEAD --dry-run` на чистом дереве печатает план без
|
||||
`bench_inproc`. Занятая метка и нечистое дерево — отказ до первого
|
||||
@@ -155,7 +155,7 @@
|
||||
- время прогона и скорость наполнения записаны для оценки полной
|
||||
матрицы. Если оценка заметно больше часа — сказать пользователю
|
||||
до baseline.
|
||||
- [ ] 8.3 Показать `git status` и `git diff --stat`, предложить
|
||||
- [x] 8.3 Показать `git status` и `git diff --stat`, предложить
|
||||
сообщение, после подтверждения закоммитить код стенда (`feat: run
|
||||
load bench on PostgreSQL with query plans`). Проверка: `git status`
|
||||
чистый, на этом commit `run.py` пишет `dirty: false`.
|
||||
@@ -184,7 +184,7 @@
|
||||
|
||||
## 10. Базовый замер и отчёт
|
||||
|
||||
- [ ] 10.1 Записать гипотезы H1–H4 (решение 10) в раздел экспериментов
|
||||
- [x] 10.1 Записать гипотезы H1–H4 (решение 10) в раздел экспериментов
|
||||
`REPORT.md` до запуска полной матрицы. Проверка: раздел есть в diff
|
||||
до появления `evidence/bench/baseline/`.
|
||||
- [ ] 10.2 Подготовить хост (питание, swap, `memory_pressure`, нет
|
||||
|
||||
Reference in New Issue
Block a user