docs: record track 2 query plan hypotheses

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-02 04:25:39 +03:00
co-authored by Claude Opus 5.5
parent d2656ab986
commit 67be41e049
+73
View File
@@ -607,6 +607,79 @@ bench_quick` (1k–10k, от батареи). Там API на 4–16 клиен
- Docker Desktop на ноутбуке (macOS, Apple M3 Pro): числа сравнимы
только между метками этой методики, а не с другими машинами.
### Трек 2, часть 1: индексы и запросы истории на чатах разного размера
Зачем: трек «5» №2 — ≥100 000 сообщений с неравномерными размерами
чатов, сравнение ≥2 индексов или запросов и стоимости записи. Команда
— `make bench BENCH_LABEL=track2`. Методика — design change
`track2-query-plans` и `.claude/rules/bench.md`. Стенд, лимиты и
матрица — как у `baseline`, плюс фоновые чаты. Поэтому `track2` и
`baseline` — разные методики, и `make bench_compare` их не сравнивает.
**Набор данных.** На каждом размере, кроме читаемого чата (10 000 /
100 000 / 500 000) и чата записи, есть 1 110 фоновых чатов: 10 × 5 000,
100 × 400 и 1 000 × 10. Это 100 000 сообщений, а всего в таблице 110 000
/ 200 000 / 600 000. Все сообщения отправляются через HTTP API
вперемешку, по детерминированному расписанию: сообщения каждого чата
равномерно распределены по наполнению. После наполнения распределение
по чатам проверяется.
**Что сравниваем.** Страница истории `limit=50` — тот же запрос и те же
параметры, что выполнило приложение. Для читаемого чата и первого чата
каждого уровня страница из середины, у чата из 10 сообщений — первая.
Варианты в psql, в транзакции, которая откатывается:
| Вариант | Что это |
| --- | --- |
| `app` / `psql` | индекс приложения `(chat_id, created_at, id)`, сравнение кортежей `(created_at, id) > (…)`; `app` — план самого приложения из `auto_explain` |
| `generic` | то же с `plan_cache_mode = force_generic_plan` |
| `or-cursor` | условие курсора через `created_at > … OR (created_at = … AND id > …)` |
| `chat_only` | индекс `(chat_id)` вместо индекса приложения |
| `covering` | индекс `(chat_id, created_at, id) INCLUDE (sender_id, text)` вместо индекса приложения |
| `no-index` | без индекса истории |
Стоимость записи — для `app`, `chat_only`, `covering` и `none` (без
индекса истории), в конце каждого размера:
- индекс строится заново;
- 20 000 сообщений вставляются во все чаты в пропорции наполнения, в
транзакции, которая откатывается;
- после `CHECKPOINT` снимается `EXPLAIN (ANALYZE, WAL)`;
- три повтора со сдвигом порядка вариантов;
- отдельно проверяется, вставляется ли сообщение из 4000 символов,
максимум контракта.
**Гипотезы.** Записаны 2026-10-02 до полной матрицы, на commit
`d2656ab`. Основа — проба на Postgres 18.6 и `make bench_quick` (1k–10k
и 3 500 фоновых сообщений). В пробе:
- `covering` — 160 байт индекса на сообщение против 60 у индекса
приложения;
- WAL на вставку у `covering` в 1,4 раза больше;
- сообщение из 4000 символов при `covering` не вставляется;
- `or-cursor` на середине чата из 10 000 читает 5 010 буферов против
53;
- план приложения для страниц с курсором — уже generic.
Опровержение — при условии в последнем столбце.
| | Гипотеза | Опровергнута, если |
| --- | --- | --- |
| P1 | Индекс приложения со сравнением кортежей: страница любого чата на любой глубине стоит ограниченно — до ~60 буферов и меньше 0,2 мс, независимо от размера чата и таблицы | план приложения хоть одной страницы читает больше 100 буферов, или буферы средней и последней страницы читаемого чата на 500k больше, чем на 10k, более чем вдвое |
| P2 | `chat_only`: маленькие чаты (10 и 400) стоят как с индексом приложения (сортировка ≤400 строк), а огромный читаемый чат читается и сортируется целиком | на середине читаемого чата 500k буферов меньше чем в 20 раз больше, чем у `psql`, или время от 10k к 500k растёт меньше чем в 10 раз |
| P3 | `or-cursor`: индекс приложения используется только по `chat_id`, условие курсора становится фильтром, и буферы растут с числом сообщений до курсора | на середине читаемого чата 500k буферов меньше чем в 100 раз больше, чем у `psql` |
| P4 | `covering`: `Index Only Scan` без чтения кучи, буферов на странице сравнения в ≥5 раз меньше; но индекс в ≥2 раза больше, WAL на сообщение в ≥1,3 раза больше, и сообщение из 4000 символов не вставляется | узел не `Index Only Scan`, или буферов больше 1/5 от `psql` на странице с курсором, или сообщение из 4000 символов вставляется |
| P5 | Приложение после прогрева получает generic plan, и это тот же `Index Scan` по индексу приложения на всех уровнях: неравномерность чатов план не портит | на каком-то уровне у `generic` другой узел или буферов больше чем в 1,5 раза больше, чем у `psql` |
| P6 | Стоимость записи (WAL и время на сообщение) растёт в порядке `none` < `chat_only` < `app` < `covering`; разница между вариантами — единицы микросекунд на сообщение, меньше 1% от ~1,3 мс CPU API на HTTP-запись | порядок медиан нарушен, или `covering` дороже `app` больше чем на 13 мкс на сообщение (1% от 1,3 мс) |
**Правило выбора** записано вместе с гипотезами. Вариант индекса
заменяет индекс приложения, только если выполнены все три условия:
1. сообщение из 4000 символов вставляется;
2. буферы страницы сравнения на каждом уровне не больше половины от
`psql`;
3. время вставки и WAL на сообщение не больше ×1,5 от `app`.
Форма запроса меняется, только если `or-cursor` читает меньше буферов на
всех уровнях. Иначе приложение не меняется.
## Ограничения и следующие шаги
- Сервер, замёрзший при открытом соединении, держит запрос 8 с, а не