chore: archive track2-query-plans change

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-02 05:05:24 +03:00
co-authored by Claude Opus 5.5
parent a44a576bbc
commit 860bdac4f3
6 changed files with 132 additions and 21 deletions
+132 -21
View File
@@ -5,8 +5,10 @@
Воспроизводимый нагрузочный эксперимент: одной командой поднимает
стенд из приложения, PostgreSQL и Valkey с фиксированными лимитами,
прогоняет матрицу размеров истории и уровней конкуренции для чтения и
записи и сохраняет сырые данные, сводку, планы запроса истории и
паспорт стенда, чтобы сравнивать версии кода при одинаковых условиях.
записи на чатах разного размера и сохраняет сырые данные, сводку,
планы запроса истории с вариантами индекса и запроса, стоимость записи
по вариантам и паспорт стенда, чтобы сравнивать версии кода и решения
о схеме при одинаковых условиях.
К стенду прилагаются сравнение двух меток и прогоны «до» и «после»
одного изменения подряд.
@@ -178,7 +180,16 @@ MUST NOT сохраняться в результатах.
- пустая база на новом volume с применёнными миграциями;
- пустой кэш.
Стенд наполняется через HTTP API до ровно N сообщений в читаемом чате.
Кроме читаемого чата из N сообщений и чата записи, в стенде SHALL быть
фоновые чаты неравномерных размеров. Число чатов и сообщений в каждом
уровне задаёт методика, одинаково для всех размеров. В полной матрице
фоновых сообщений не меньше 100 000. Стенд наполняется через HTTP API.
Сообщения всех чатов SHALL отправляться вперемешку: сообщения каждого
чата распределены по всему наполнению равномерно, порядок
воспроизводим. После наполнения в читаемом чате ровно N сообщений, а
число сообщений каждого фонового чата SHALL совпадать с методикой;
иначе команда завершается с ненулевым кодом.
После наполнения, до сбора курсоров и первого прогона, SHALL
выполняться обслуживание БД: очистка и сбор статистики планировщика по
таблицам, затем контрольная точка. Так состояние таблиц и статистика
@@ -204,6 +215,20 @@ MUST NOT сохраняться в результатах.
- **THEN** до сбора курсоров выполнены очистка и сбор статистики
таблиц, затем контрольная точка, и это видно в выводе команды
#### Scenario: Неравномерные чаты
- **WHEN** наполнение размера N полной матрицы завершено
- **THEN** в таблице сообщений не меньше 100 000 строк, размеры чатов
различаются больше чем в 100 раз, и распределение по чатам совпадает
с методикой
#### Scenario: Распределение не совпало
- **WHEN** после наполнения у фонового чата число сообщений отличается
от методики
- **THEN** команда завершается с ненулевым кодом, называет размер, а
стенд удаляется
### Requirement: Метрики прогона
Для каждого измеряемого прогона SHALL сохраняться:
@@ -254,19 +279,32 @@ MUST NOT сохраняться в результатах.
Для каждого размера, после обслуживания БД и до измеряемых прогонов,
стенд SHALL сохранять в каталоге метки вывод `EXPLAIN (ANALYZE,
BUFFERS)` запроса страницы истории читаемого чата с `limit` профиля.
Это SHALL быть тот запрос и те параметры, которые выполнило само
приложение при обработке HTTP-запроса. Планы снимаются для трёх
страниц:
- первой;
- из середины истории;
- последней полной.
BUFFERS)` запроса страницы истории с `limit` профиля. Это SHALL быть тот
запрос и те параметры, которые выполнило само приложение при обработке
HTTP-запроса. Планы снимаются:
- для читаемого чата и одного чата каждого фонового уровня;
- для первой страницы, страницы из середины истории и последней полной
страницы чата. Середина и конец выбираются из позиций обхода истории
страницами по размеру обхода из методики, после которых есть полная
страница. У чата без таких позиций (не длиннее одной страницы обхода)
— только для первой.
Для страницы из середины SHALL сохраняться и план того же запроса с
теми же параметрами без индекса, который использовал план приложения.
Индекс при этом MUST NOT пропадать для приложения и следующих прогонов.
Для страницы из середины каждого чата, а у чата без неё — для первой,
SHALL сохраняться планы того же запроса с теми же параметрами в
вариантах:
- с индексом, который использовал план приложения;
- то же с generic plan;
- с условием курсора, записанным через `OR` вместо сравнения кортежей,
если у страницы есть курсор;
- с каждым вариантом индекса из методики вместо индекса приложения;
- без индекса, который использовал план приложения.
Варианты MUST NOT менять индексы и данные для приложения и следующих
прогонов.
Сводка метки SHALL показывать по каждому плану:
- чат и его размер;
- вариант;
- узел доступа к таблице сообщений;
- число прочитанных страниц: из кэша и с диска;
- время выполнения.
@@ -277,8 +315,9 @@ BUFFERS)` запроса страницы истории читаемого ча
#### Scenario: Планы на каждом размере
- **WHEN** размер N наполнен и обслужен
- **THEN** в каталоге метки есть файл планов размера N: первая, средняя
и последняя полная страница и средняя страница без индекса
- **THEN** в каталоге метки есть файл планов размера N: для читаемого и
каждого фонового уровня — страницы приложения и варианты страницы
сравнения
#### Scenario: Запрос самого приложения
@@ -289,9 +328,9 @@ BUFFERS)` запроса страницы истории читаемого ча
#### Scenario: Индекс остаётся
- **WHEN** снят план без индекса
- **THEN** индекс по-прежнему есть в базе стенда, и следующие прогоны
идут при той же схеме
- **WHEN** сняты планы вариантов
- **THEN** индексы в базе стенда те же, что до этапа, и следующие
прогоны идут при той же схеме
#### Scenario: План не найден
@@ -300,6 +339,49 @@ BUFFERS)` запроса страницы истории читаемого ча
- **THEN** команда завершается с ненулевым кодом, называет размер, а
стенд удаляется
### Requirement: Стоимость записи по вариантам индекса
Для каждого размера, после измеряемых прогонов, стенд SHALL измерять
стоимость записи в таблицу сообщений для каждого варианта индекса
истории:
- текущего индекса приложения;
- каждого варианта из методики;
- без индекса истории.
Остальные индексы и ограничения таблицы во всех вариантах одинаковы.
Для каждого варианта SHALL сохраняться:
- размер индекса и байты индекса на сообщение;
- время вставки порции сообщений на сообщение: медиана и разброс
min–max повторов;
- объём WAL и число полных образов страниц на сообщение;
- вставляется ли сообщение максимальной по контракту длины из
несжимаемого текста, а если нет — текст ошибки PostgreSQL.
Порция сообщений SHALL распределяться по всем чатам стенда, как
наполнение. Вставки и смена индекса SHALL выполняться в транзакции,
которая откатывается: после замера в базе тот же индекс приложения, а
число сообщений не изменилось. Размер порции и число повторов SHALL
задаваться методикой.
#### Scenario: Таблица стоимости записи
- **WHEN** размер N завершён
- **THEN** в сводке метки для каждого варианта есть размер индекса,
время вставки на сообщение с разбросом, WAL на сообщение и результат
вставки сообщения максимальной длины
#### Scenario: База после замера
- **WHEN** замер стоимости записи завершён
- **THEN** в базе стенда индексы и число сообщений те же, что до него
#### Scenario: Вариант не принимает длинное сообщение
- **WHEN** вставка сообщения максимальной длины при варианте
индекса завершилась ошибкой PostgreSQL
- **THEN** замер не прерывается, а в сводке у варианта записано, что
сообщение не вставляется, и текст ошибки
### Requirement: Достоверность прогона
Прогон SHALL помечаться в результатах, если его данные нельзя считать
@@ -382,8 +464,8 @@ BUFFERS)` запроса страницы истории читаемого ча
- таблица всех прогонов в CSV;
- таблица порций наполнения в CSV;
- планы запроса истории по размерам;
- сводка по ячейкам матрицы (медиана и разброс min–max по повторам) и
по планам в Markdown;
- сводка по ячейкам матрицы (медиана и разброс min–max по повторам),
по планам и вариантам и по стоимости записи в Markdown;
- паспорт стенда;
- состояние хоста в начале и в конце прогона: занятый swap, доля
свободной памяти, питание от сети или от батареи.
@@ -398,7 +480,8 @@ BUFFERS)` запроса страницы истории читаемого ча
- версии генератора и Python;
- лимиты всех контейнеров стенда;
- железо хоста и VM;
- параметры профиля и команду запуска.
- параметры профиля, включая уровни фоновых чатов и варианты индекса,
и команду запуска.
Если в начале прогона хост работает от батареи или swap занят сверх
порога методики, команда SHALL предупреждать об этом в выводе и в
@@ -462,6 +545,34 @@ BUFFERS)` запроса страницы истории читаемого ча
≥10 000 сообщениях для разных позиций курсора и сравнение без
индекса, со ссылками на файлы планов метки `baseline`
### Requirement: Исследование индексов в отчёте
Сравнение индексов и запросов на неравномерных чатах SHALL быть
сохранено под меткой `track2` полной матрицы. Гипотезы и правило
выбора индекса SHALL быть записаны в `REPORT.md` до её запуска.
`REPORT.md` SHALL описывать в треке 2:
- набор данных: число сообщений и размеры чатов;
- сравниваемые индексы и формы запроса;
- планы по уровням чатов: узел доступа, буферы и время;
- стоимость записи по вариантам;
- итог по каждой гипотезе, как получился;
- решение по индексу приложения с обоснованием;
- ограничения.
Числа SHALL переноситься из файлов метки, со ссылкой на них.
#### Scenario: Проверяющий ищет сравнение индексов
- **WHEN** проверяющий открывает трек 2 в `REPORT.md`
- **THEN** он находит ≥2 индекса и ≥2 формы запроса, сравнённые на
≥100 000 сообщениях в чатах разного размера, стоимость записи по
вариантам и ссылки на файлы метки `track2`
#### Scenario: Гипотеза не подтвердилась
- **WHEN** результат расходится с гипотезой
- **THEN** отчёт называет гипотезу опровергнутой и приводит числа
### Requirement: Сравнение двух меток
Команда `make bench_compare BEFORE=<метка> AFTER=<метка>` SHALL