From 67be41e0491beda01849c7e37a3046d0a96f592b Mon Sep 17 00:00:00 2001 From: roman Date: Fri, 2 Oct 2026 04:25:39 +0300 Subject: [PATCH] docs: record track 2 query plan hypotheses Co-Authored-By: Claude Opus 5.5 --- REPORT.md | 73 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 73 insertions(+) diff --git a/REPORT.md b/REPORT.md index d8107bcf..ecaf5bee 100644 --- a/REPORT.md +++ b/REPORT.md @@ -607,6 +607,79 @@ bench_quick` (1k–10k, от батареи). Там API на 4–16 клиен - Docker Desktop на ноутбуке (macOS, Apple M3 Pro): числа сравнимы только между метками этой методики, а не с другими машинами. +### Трек 2, часть 1: индексы и запросы истории на чатах разного размера + +Зачем: трек «5» №2 — ≥100 000 сообщений с неравномерными размерами +чатов, сравнение ≥2 индексов или запросов и стоимости записи. Команда +— `make bench BENCH_LABEL=track2`. Методика — design change +`track2-query-plans` и `.claude/rules/bench.md`. Стенд, лимиты и +матрица — как у `baseline`, плюс фоновые чаты. Поэтому `track2` и +`baseline` — разные методики, и `make bench_compare` их не сравнивает. + +**Набор данных.** На каждом размере, кроме читаемого чата (10 000 / +100 000 / 500 000) и чата записи, есть 1 110 фоновых чатов: 10 × 5 000, +100 × 400 и 1 000 × 10. Это 100 000 сообщений, а всего в таблице 110 000 +/ 200 000 / 600 000. Все сообщения отправляются через HTTP API +вперемешку, по детерминированному расписанию: сообщения каждого чата +равномерно распределены по наполнению. После наполнения распределение +по чатам проверяется. + +**Что сравниваем.** Страница истории `limit=50` — тот же запрос и те же +параметры, что выполнило приложение. Для читаемого чата и первого чата +каждого уровня страница из середины, у чата из 10 сообщений — первая. +Варианты в psql, в транзакции, которая откатывается: + +| Вариант | Что это | +| --- | --- | +| `app` / `psql` | индекс приложения `(chat_id, created_at, id)`, сравнение кортежей `(created_at, id) > (…)`; `app` — план самого приложения из `auto_explain` | +| `generic` | то же с `plan_cache_mode = force_generic_plan` | +| `or-cursor` | условие курсора через `created_at > … OR (created_at = … AND id > …)` | +| `chat_only` | индекс `(chat_id)` вместо индекса приложения | +| `covering` | индекс `(chat_id, created_at, id) INCLUDE (sender_id, text)` вместо индекса приложения | +| `no-index` | без индекса истории | + +Стоимость записи — для `app`, `chat_only`, `covering` и `none` (без +индекса истории), в конце каждого размера: +- индекс строится заново; +- 20 000 сообщений вставляются во все чаты в пропорции наполнения, в + транзакции, которая откатывается; +- после `CHECKPOINT` снимается `EXPLAIN (ANALYZE, WAL)`; +- три повтора со сдвигом порядка вариантов; +- отдельно проверяется, вставляется ли сообщение из 4000 символов, + максимум контракта. + +**Гипотезы.** Записаны 2026-10-02 до полной матрицы, на commit +`d2656ab`. Основа — проба на Postgres 18.6 и `make bench_quick` (1k–10k +и 3 500 фоновых сообщений). В пробе: +- `covering` — 160 байт индекса на сообщение против 60 у индекса + приложения; +- WAL на вставку у `covering` в 1,4 раза больше; +- сообщение из 4000 символов при `covering` не вставляется; +- `or-cursor` на середине чата из 10 000 читает 5 010 буферов против + 53; +- план приложения для страниц с курсором — уже generic. + +Опровержение — при условии в последнем столбце. + +| | Гипотеза | Опровергнута, если | +| --- | --- | --- | +| P1 | Индекс приложения со сравнением кортежей: страница любого чата на любой глубине стоит ограниченно — до ~60 буферов и меньше 0,2 мс, независимо от размера чата и таблицы | план приложения хоть одной страницы читает больше 100 буферов, или буферы средней и последней страницы читаемого чата на 500k больше, чем на 10k, более чем вдвое | +| P2 | `chat_only`: маленькие чаты (10 и 400) стоят как с индексом приложения (сортировка ≤400 строк), а огромный читаемый чат читается и сортируется целиком | на середине читаемого чата 500k буферов меньше чем в 20 раз больше, чем у `psql`, или время от 10k к 500k растёт меньше чем в 10 раз | +| P3 | `or-cursor`: индекс приложения используется только по `chat_id`, условие курсора становится фильтром, и буферы растут с числом сообщений до курсора | на середине читаемого чата 500k буферов меньше чем в 100 раз больше, чем у `psql` | +| P4 | `covering`: `Index Only Scan` без чтения кучи, буферов на странице сравнения в ≥5 раз меньше; но индекс в ≥2 раза больше, WAL на сообщение в ≥1,3 раза больше, и сообщение из 4000 символов не вставляется | узел не `Index Only Scan`, или буферов больше 1/5 от `psql` на странице с курсором, или сообщение из 4000 символов вставляется | +| P5 | Приложение после прогрева получает generic plan, и это тот же `Index Scan` по индексу приложения на всех уровнях: неравномерность чатов план не портит | на каком-то уровне у `generic` другой узел или буферов больше чем в 1,5 раза больше, чем у `psql` | +| P6 | Стоимость записи (WAL и время на сообщение) растёт в порядке `none` < `chat_only` < `app` < `covering`; разница между вариантами — единицы микросекунд на сообщение, меньше 1% от ~1,3 мс CPU API на HTTP-запись | порядок медиан нарушен, или `covering` дороже `app` больше чем на 13 мкс на сообщение (1% от 1,3 мс) | + +**Правило выбора** записано вместе с гипотезами. Вариант индекса +заменяет индекс приложения, только если выполнены все три условия: +1. сообщение из 4000 символов вставляется; +2. буферы страницы сравнения на каждом уровне не больше половины от + `psql`; +3. время вставки и WAL на сообщение не больше ×1,5 от `app`. + +Форма запроса меняется, только если `or-cursor` читает меньше буферов на +всех уровнях. Иначе приложение не меняется. + ## Ограничения и следующие шаги - Сервер, замёрзший при открытом соединении, держит запрос 8 с, а не