chore: archive track2-query-plans change
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -5,8 +5,10 @@
|
||||
Воспроизводимый нагрузочный эксперимент: одной командой поднимает
|
||||
стенд из приложения, PostgreSQL и Valkey с фиксированными лимитами,
|
||||
прогоняет матрицу размеров истории и уровней конкуренции для чтения и
|
||||
записи и сохраняет сырые данные, сводку, планы запроса истории и
|
||||
паспорт стенда, чтобы сравнивать версии кода при одинаковых условиях.
|
||||
записи на чатах разного размера и сохраняет сырые данные, сводку,
|
||||
планы запроса истории с вариантами индекса и запроса, стоимость записи
|
||||
по вариантам и паспорт стенда, чтобы сравнивать версии кода и решения
|
||||
о схеме при одинаковых условиях.
|
||||
К стенду прилагаются сравнение двух меток и прогоны «до» и «после»
|
||||
одного изменения подряд.
|
||||
|
||||
@@ -178,7 +180,16 @@ MUST NOT сохраняться в результатах.
|
||||
- пустая база на новом volume с применёнными миграциями;
|
||||
- пустой кэш.
|
||||
|
||||
Стенд наполняется через HTTP API до ровно N сообщений в читаемом чате.
|
||||
Кроме читаемого чата из N сообщений и чата записи, в стенде SHALL быть
|
||||
фоновые чаты неравномерных размеров. Число чатов и сообщений в каждом
|
||||
уровне задаёт методика, одинаково для всех размеров. В полной матрице
|
||||
фоновых сообщений не меньше 100 000. Стенд наполняется через HTTP API.
|
||||
Сообщения всех чатов SHALL отправляться вперемешку: сообщения каждого
|
||||
чата распределены по всему наполнению равномерно, порядок
|
||||
воспроизводим. После наполнения в читаемом чате ровно N сообщений, а
|
||||
число сообщений каждого фонового чата SHALL совпадать с методикой;
|
||||
иначе команда завершается с ненулевым кодом.
|
||||
|
||||
После наполнения, до сбора курсоров и первого прогона, SHALL
|
||||
выполняться обслуживание БД: очистка и сбор статистики планировщика по
|
||||
таблицам, затем контрольная точка. Так состояние таблиц и статистика
|
||||
@@ -204,6 +215,20 @@ MUST NOT сохраняться в результатах.
|
||||
- **THEN** до сбора курсоров выполнены очистка и сбор статистики
|
||||
таблиц, затем контрольная точка, и это видно в выводе команды
|
||||
|
||||
#### Scenario: Неравномерные чаты
|
||||
|
||||
- **WHEN** наполнение размера N полной матрицы завершено
|
||||
- **THEN** в таблице сообщений не меньше 100 000 строк, размеры чатов
|
||||
различаются больше чем в 100 раз, и распределение по чатам совпадает
|
||||
с методикой
|
||||
|
||||
#### Scenario: Распределение не совпало
|
||||
|
||||
- **WHEN** после наполнения у фонового чата число сообщений отличается
|
||||
от методики
|
||||
- **THEN** команда завершается с ненулевым кодом, называет размер, а
|
||||
стенд удаляется
|
||||
|
||||
### Requirement: Метрики прогона
|
||||
|
||||
Для каждого измеряемого прогона SHALL сохраняться:
|
||||
@@ -254,19 +279,32 @@ MUST NOT сохраняться в результатах.
|
||||
|
||||
Для каждого размера, после обслуживания БД и до измеряемых прогонов,
|
||||
стенд SHALL сохранять в каталоге метки вывод `EXPLAIN (ANALYZE,
|
||||
BUFFERS)` запроса страницы истории читаемого чата с `limit` профиля.
|
||||
Это SHALL быть тот запрос и те параметры, которые выполнило само
|
||||
приложение при обработке HTTP-запроса. Планы снимаются для трёх
|
||||
страниц:
|
||||
- первой;
|
||||
- из середины истории;
|
||||
- последней полной.
|
||||
BUFFERS)` запроса страницы истории с `limit` профиля. Это SHALL быть тот
|
||||
запрос и те параметры, которые выполнило само приложение при обработке
|
||||
HTTP-запроса. Планы снимаются:
|
||||
- для читаемого чата и одного чата каждого фонового уровня;
|
||||
- для первой страницы, страницы из середины истории и последней полной
|
||||
страницы чата. Середина и конец выбираются из позиций обхода истории
|
||||
страницами по размеру обхода из методики, после которых есть полная
|
||||
страница. У чата без таких позиций (не длиннее одной страницы обхода)
|
||||
— только для первой.
|
||||
|
||||
Для страницы из середины SHALL сохраняться и план того же запроса с
|
||||
теми же параметрами без индекса, который использовал план приложения.
|
||||
Индекс при этом MUST NOT пропадать для приложения и следующих прогонов.
|
||||
Для страницы из середины каждого чата, а у чата без неё — для первой,
|
||||
SHALL сохраняться планы того же запроса с теми же параметрами в
|
||||
вариантах:
|
||||
- с индексом, который использовал план приложения;
|
||||
- то же с generic plan;
|
||||
- с условием курсора, записанным через `OR` вместо сравнения кортежей,
|
||||
если у страницы есть курсор;
|
||||
- с каждым вариантом индекса из методики вместо индекса приложения;
|
||||
- без индекса, который использовал план приложения.
|
||||
|
||||
Варианты MUST NOT менять индексы и данные для приложения и следующих
|
||||
прогонов.
|
||||
|
||||
Сводка метки SHALL показывать по каждому плану:
|
||||
- чат и его размер;
|
||||
- вариант;
|
||||
- узел доступа к таблице сообщений;
|
||||
- число прочитанных страниц: из кэша и с диска;
|
||||
- время выполнения.
|
||||
@@ -277,8 +315,9 @@ BUFFERS)` запроса страницы истории читаемого ча
|
||||
#### Scenario: Планы на каждом размере
|
||||
|
||||
- **WHEN** размер N наполнен и обслужен
|
||||
- **THEN** в каталоге метки есть файл планов размера N: первая, средняя
|
||||
и последняя полная страница и средняя страница без индекса
|
||||
- **THEN** в каталоге метки есть файл планов размера N: для читаемого и
|
||||
каждого фонового уровня — страницы приложения и варианты страницы
|
||||
сравнения
|
||||
|
||||
#### Scenario: Запрос самого приложения
|
||||
|
||||
@@ -289,9 +328,9 @@ BUFFERS)` запроса страницы истории читаемого ча
|
||||
|
||||
#### Scenario: Индекс остаётся
|
||||
|
||||
- **WHEN** снят план без индекса
|
||||
- **THEN** индекс по-прежнему есть в базе стенда, и следующие прогоны
|
||||
идут при той же схеме
|
||||
- **WHEN** сняты планы вариантов
|
||||
- **THEN** индексы в базе стенда те же, что до этапа, и следующие
|
||||
прогоны идут при той же схеме
|
||||
|
||||
#### Scenario: План не найден
|
||||
|
||||
@@ -300,6 +339,49 @@ BUFFERS)` запроса страницы истории читаемого ча
|
||||
- **THEN** команда завершается с ненулевым кодом, называет размер, а
|
||||
стенд удаляется
|
||||
|
||||
### Requirement: Стоимость записи по вариантам индекса
|
||||
|
||||
Для каждого размера, после измеряемых прогонов, стенд SHALL измерять
|
||||
стоимость записи в таблицу сообщений для каждого варианта индекса
|
||||
истории:
|
||||
- текущего индекса приложения;
|
||||
- каждого варианта из методики;
|
||||
- без индекса истории.
|
||||
|
||||
Остальные индексы и ограничения таблицы во всех вариантах одинаковы.
|
||||
Для каждого варианта SHALL сохраняться:
|
||||
- размер индекса и байты индекса на сообщение;
|
||||
- время вставки порции сообщений на сообщение: медиана и разброс
|
||||
min–max повторов;
|
||||
- объём WAL и число полных образов страниц на сообщение;
|
||||
- вставляется ли сообщение максимальной по контракту длины из
|
||||
несжимаемого текста, а если нет — текст ошибки PostgreSQL.
|
||||
|
||||
Порция сообщений SHALL распределяться по всем чатам стенда, как
|
||||
наполнение. Вставки и смена индекса SHALL выполняться в транзакции,
|
||||
которая откатывается: после замера в базе тот же индекс приложения, а
|
||||
число сообщений не изменилось. Размер порции и число повторов SHALL
|
||||
задаваться методикой.
|
||||
|
||||
#### Scenario: Таблица стоимости записи
|
||||
|
||||
- **WHEN** размер N завершён
|
||||
- **THEN** в сводке метки для каждого варианта есть размер индекса,
|
||||
время вставки на сообщение с разбросом, WAL на сообщение и результат
|
||||
вставки сообщения максимальной длины
|
||||
|
||||
#### Scenario: База после замера
|
||||
|
||||
- **WHEN** замер стоимости записи завершён
|
||||
- **THEN** в базе стенда индексы и число сообщений те же, что до него
|
||||
|
||||
#### Scenario: Вариант не принимает длинное сообщение
|
||||
|
||||
- **WHEN** вставка сообщения максимальной длины при варианте
|
||||
индекса завершилась ошибкой PostgreSQL
|
||||
- **THEN** замер не прерывается, а в сводке у варианта записано, что
|
||||
сообщение не вставляется, и текст ошибки
|
||||
|
||||
### Requirement: Достоверность прогона
|
||||
|
||||
Прогон SHALL помечаться в результатах, если его данные нельзя считать
|
||||
@@ -382,8 +464,8 @@ BUFFERS)` запроса страницы истории читаемого ча
|
||||
- таблица всех прогонов в CSV;
|
||||
- таблица порций наполнения в CSV;
|
||||
- планы запроса истории по размерам;
|
||||
- сводка по ячейкам матрицы (медиана и разброс min–max по повторам) и
|
||||
по планам в Markdown;
|
||||
- сводка по ячейкам матрицы (медиана и разброс min–max по повторам),
|
||||
по планам и вариантам и по стоимости записи в Markdown;
|
||||
- паспорт стенда;
|
||||
- состояние хоста в начале и в конце прогона: занятый swap, доля
|
||||
свободной памяти, питание от сети или от батареи.
|
||||
@@ -398,7 +480,8 @@ BUFFERS)` запроса страницы истории читаемого ча
|
||||
- версии генератора и Python;
|
||||
- лимиты всех контейнеров стенда;
|
||||
- железо хоста и VM;
|
||||
- параметры профиля и команду запуска.
|
||||
- параметры профиля, включая уровни фоновых чатов и варианты индекса,
|
||||
и команду запуска.
|
||||
|
||||
Если в начале прогона хост работает от батареи или swap занят сверх
|
||||
порога методики, команда SHALL предупреждать об этом в выводе и в
|
||||
@@ -462,6 +545,34 @@ BUFFERS)` запроса страницы истории читаемого ча
|
||||
≥10 000 сообщениях для разных позиций курсора и сравнение без
|
||||
индекса, со ссылками на файлы планов метки `baseline`
|
||||
|
||||
### Requirement: Исследование индексов в отчёте
|
||||
|
||||
Сравнение индексов и запросов на неравномерных чатах SHALL быть
|
||||
сохранено под меткой `track2` полной матрицы. Гипотезы и правило
|
||||
выбора индекса SHALL быть записаны в `REPORT.md` до её запуска.
|
||||
`REPORT.md` SHALL описывать в треке 2:
|
||||
- набор данных: число сообщений и размеры чатов;
|
||||
- сравниваемые индексы и формы запроса;
|
||||
- планы по уровням чатов: узел доступа, буферы и время;
|
||||
- стоимость записи по вариантам;
|
||||
- итог по каждой гипотезе, как получился;
|
||||
- решение по индексу приложения с обоснованием;
|
||||
- ограничения.
|
||||
|
||||
Числа SHALL переноситься из файлов метки, со ссылкой на них.
|
||||
|
||||
#### Scenario: Проверяющий ищет сравнение индексов
|
||||
|
||||
- **WHEN** проверяющий открывает трек 2 в `REPORT.md`
|
||||
- **THEN** он находит ≥2 индекса и ≥2 формы запроса, сравнённые на
|
||||
≥100 000 сообщениях в чатах разного размера, стоимость записи по
|
||||
вариантам и ссылки на файлы метки `track2`
|
||||
|
||||
#### Scenario: Гипотеза не подтвердилась
|
||||
|
||||
- **WHEN** результат расходится с гипотезой
|
||||
- **THEN** отчёт называет гипотезу опровергнутой и приводит числа
|
||||
|
||||
### Requirement: Сравнение двух меток
|
||||
|
||||
Команда `make bench_compare BEFORE=<метка> AFTER=<метка>` SHALL
|
||||
|
||||
Reference in New Issue
Block a user