diff --git a/openspec/changes/track2-query-plans/.openspec.yaml b/openspec/changes/archive/2026-10-02-track2-query-plans/.openspec.yaml similarity index 100% rename from openspec/changes/track2-query-plans/.openspec.yaml rename to openspec/changes/archive/2026-10-02-track2-query-plans/.openspec.yaml diff --git a/openspec/changes/track2-query-plans/design.md b/openspec/changes/archive/2026-10-02-track2-query-plans/design.md similarity index 100% rename from openspec/changes/track2-query-plans/design.md rename to openspec/changes/archive/2026-10-02-track2-query-plans/design.md diff --git a/openspec/changes/track2-query-plans/proposal.md b/openspec/changes/archive/2026-10-02-track2-query-plans/proposal.md similarity index 100% rename from openspec/changes/track2-query-plans/proposal.md rename to openspec/changes/archive/2026-10-02-track2-query-plans/proposal.md diff --git a/openspec/changes/track2-query-plans/specs/load-benchmark/spec.md b/openspec/changes/archive/2026-10-02-track2-query-plans/specs/load-benchmark/spec.md similarity index 100% rename from openspec/changes/track2-query-plans/specs/load-benchmark/spec.md rename to openspec/changes/archive/2026-10-02-track2-query-plans/specs/load-benchmark/spec.md diff --git a/openspec/changes/track2-query-plans/tasks.md b/openspec/changes/archive/2026-10-02-track2-query-plans/tasks.md similarity index 100% rename from openspec/changes/track2-query-plans/tasks.md rename to openspec/changes/archive/2026-10-02-track2-query-plans/tasks.md diff --git a/openspec/specs/load-benchmark/spec.md b/openspec/specs/load-benchmark/spec.md index 55ab2102..345b8f85 100644 --- a/openspec/specs/load-benchmark/spec.md +++ b/openspec/specs/load-benchmark/spec.md @@ -5,8 +5,10 @@ Воспроизводимый нагрузочный эксперимент: одной командой поднимает стенд из приложения, PostgreSQL и Valkey с фиксированными лимитами, прогоняет матрицу размеров истории и уровней конкуренции для чтения и -записи и сохраняет сырые данные, сводку, планы запроса истории и -паспорт стенда, чтобы сравнивать версии кода при одинаковых условиях. +записи на чатах разного размера и сохраняет сырые данные, сводку, +планы запроса истории с вариантами индекса и запроса, стоимость записи +по вариантам и паспорт стенда, чтобы сравнивать версии кода и решения +о схеме при одинаковых условиях. К стенду прилагаются сравнение двух меток и прогоны «до» и «после» одного изменения подряд. @@ -178,7 +180,16 @@ MUST NOT сохраняться в результатах. - пустая база на новом volume с применёнными миграциями; - пустой кэш. -Стенд наполняется через HTTP API до ровно N сообщений в читаемом чате. +Кроме читаемого чата из N сообщений и чата записи, в стенде SHALL быть +фоновые чаты неравномерных размеров. Число чатов и сообщений в каждом +уровне задаёт методика, одинаково для всех размеров. В полной матрице +фоновых сообщений не меньше 100 000. Стенд наполняется через HTTP API. +Сообщения всех чатов SHALL отправляться вперемешку: сообщения каждого +чата распределены по всему наполнению равномерно, порядок +воспроизводим. После наполнения в читаемом чате ровно N сообщений, а +число сообщений каждого фонового чата SHALL совпадать с методикой; +иначе команда завершается с ненулевым кодом. + После наполнения, до сбора курсоров и первого прогона, SHALL выполняться обслуживание БД: очистка и сбор статистики планировщика по таблицам, затем контрольная точка. Так состояние таблиц и статистика @@ -204,6 +215,20 @@ MUST NOT сохраняться в результатах. - **THEN** до сбора курсоров выполнены очистка и сбор статистики таблиц, затем контрольная точка, и это видно в выводе команды +#### Scenario: Неравномерные чаты + +- **WHEN** наполнение размера N полной матрицы завершено +- **THEN** в таблице сообщений не меньше 100 000 строк, размеры чатов + различаются больше чем в 100 раз, и распределение по чатам совпадает + с методикой + +#### Scenario: Распределение не совпало + +- **WHEN** после наполнения у фонового чата число сообщений отличается + от методики +- **THEN** команда завершается с ненулевым кодом, называет размер, а + стенд удаляется + ### Requirement: Метрики прогона Для каждого измеряемого прогона SHALL сохраняться: @@ -254,19 +279,32 @@ MUST NOT сохраняться в результатах. Для каждого размера, после обслуживания БД и до измеряемых прогонов, стенд SHALL сохранять в каталоге метки вывод `EXPLAIN (ANALYZE, -BUFFERS)` запроса страницы истории читаемого чата с `limit` профиля. -Это SHALL быть тот запрос и те параметры, которые выполнило само -приложение при обработке HTTP-запроса. Планы снимаются для трёх -страниц: -- первой; -- из середины истории; -- последней полной. +BUFFERS)` запроса страницы истории с `limit` профиля. Это SHALL быть тот +запрос и те параметры, которые выполнило само приложение при обработке +HTTP-запроса. Планы снимаются: +- для читаемого чата и одного чата каждого фонового уровня; +- для первой страницы, страницы из середины истории и последней полной + страницы чата. Середина и конец выбираются из позиций обхода истории + страницами по размеру обхода из методики, после которых есть полная + страница. У чата без таких позиций (не длиннее одной страницы обхода) + — только для первой. -Для страницы из середины SHALL сохраняться и план того же запроса с -теми же параметрами без индекса, который использовал план приложения. -Индекс при этом MUST NOT пропадать для приложения и следующих прогонов. +Для страницы из середины каждого чата, а у чата без неё — для первой, +SHALL сохраняться планы того же запроса с теми же параметрами в +вариантах: +- с индексом, который использовал план приложения; +- то же с generic plan; +- с условием курсора, записанным через `OR` вместо сравнения кортежей, + если у страницы есть курсор; +- с каждым вариантом индекса из методики вместо индекса приложения; +- без индекса, который использовал план приложения. + +Варианты MUST NOT менять индексы и данные для приложения и следующих +прогонов. Сводка метки SHALL показывать по каждому плану: +- чат и его размер; +- вариант; - узел доступа к таблице сообщений; - число прочитанных страниц: из кэша и с диска; - время выполнения. @@ -277,8 +315,9 @@ BUFFERS)` запроса страницы истории читаемого ча #### Scenario: Планы на каждом размере - **WHEN** размер N наполнен и обслужен -- **THEN** в каталоге метки есть файл планов размера N: первая, средняя - и последняя полная страница и средняя страница без индекса +- **THEN** в каталоге метки есть файл планов размера N: для читаемого и + каждого фонового уровня — страницы приложения и варианты страницы + сравнения #### Scenario: Запрос самого приложения @@ -289,9 +328,9 @@ BUFFERS)` запроса страницы истории читаемого ча #### Scenario: Индекс остаётся -- **WHEN** снят план без индекса -- **THEN** индекс по-прежнему есть в базе стенда, и следующие прогоны - идут при той же схеме +- **WHEN** сняты планы вариантов +- **THEN** индексы в базе стенда те же, что до этапа, и следующие + прогоны идут при той же схеме #### Scenario: План не найден @@ -300,6 +339,49 @@ BUFFERS)` запроса страницы истории читаемого ча - **THEN** команда завершается с ненулевым кодом, называет размер, а стенд удаляется +### Requirement: Стоимость записи по вариантам индекса + +Для каждого размера, после измеряемых прогонов, стенд SHALL измерять +стоимость записи в таблицу сообщений для каждого варианта индекса +истории: +- текущего индекса приложения; +- каждого варианта из методики; +- без индекса истории. + +Остальные индексы и ограничения таблицы во всех вариантах одинаковы. +Для каждого варианта SHALL сохраняться: +- размер индекса и байты индекса на сообщение; +- время вставки порции сообщений на сообщение: медиана и разброс + min–max повторов; +- объём WAL и число полных образов страниц на сообщение; +- вставляется ли сообщение максимальной по контракту длины из + несжимаемого текста, а если нет — текст ошибки PostgreSQL. + +Порция сообщений SHALL распределяться по всем чатам стенда, как +наполнение. Вставки и смена индекса SHALL выполняться в транзакции, +которая откатывается: после замера в базе тот же индекс приложения, а +число сообщений не изменилось. Размер порции и число повторов SHALL +задаваться методикой. + +#### Scenario: Таблица стоимости записи + +- **WHEN** размер N завершён +- **THEN** в сводке метки для каждого варианта есть размер индекса, + время вставки на сообщение с разбросом, WAL на сообщение и результат + вставки сообщения максимальной длины + +#### Scenario: База после замера + +- **WHEN** замер стоимости записи завершён +- **THEN** в базе стенда индексы и число сообщений те же, что до него + +#### Scenario: Вариант не принимает длинное сообщение + +- **WHEN** вставка сообщения максимальной длины при варианте + индекса завершилась ошибкой PostgreSQL +- **THEN** замер не прерывается, а в сводке у варианта записано, что + сообщение не вставляется, и текст ошибки + ### Requirement: Достоверность прогона Прогон SHALL помечаться в результатах, если его данные нельзя считать @@ -382,8 +464,8 @@ BUFFERS)` запроса страницы истории читаемого ча - таблица всех прогонов в CSV; - таблица порций наполнения в CSV; - планы запроса истории по размерам; -- сводка по ячейкам матрицы (медиана и разброс min–max по повторам) и - по планам в Markdown; +- сводка по ячейкам матрицы (медиана и разброс min–max по повторам), + по планам и вариантам и по стоимости записи в Markdown; - паспорт стенда; - состояние хоста в начале и в конце прогона: занятый swap, доля свободной памяти, питание от сети или от батареи. @@ -398,7 +480,8 @@ BUFFERS)` запроса страницы истории читаемого ча - версии генератора и Python; - лимиты всех контейнеров стенда; - железо хоста и VM; -- параметры профиля и команду запуска. +- параметры профиля, включая уровни фоновых чатов и варианты индекса, + и команду запуска. Если в начале прогона хост работает от батареи или swap занят сверх порога методики, команда SHALL предупреждать об этом в выводе и в @@ -462,6 +545,34 @@ BUFFERS)` запроса страницы истории читаемого ча ≥10 000 сообщениях для разных позиций курсора и сравнение без индекса, со ссылками на файлы планов метки `baseline` +### Requirement: Исследование индексов в отчёте + +Сравнение индексов и запросов на неравномерных чатах SHALL быть +сохранено под меткой `track2` полной матрицы. Гипотезы и правило +выбора индекса SHALL быть записаны в `REPORT.md` до её запуска. +`REPORT.md` SHALL описывать в треке 2: +- набор данных: число сообщений и размеры чатов; +- сравниваемые индексы и формы запроса; +- планы по уровням чатов: узел доступа, буферы и время; +- стоимость записи по вариантам; +- итог по каждой гипотезе, как получился; +- решение по индексу приложения с обоснованием; +- ограничения. + +Числа SHALL переноситься из файлов метки, со ссылкой на них. + +#### Scenario: Проверяющий ищет сравнение индексов + +- **WHEN** проверяющий открывает трек 2 в `REPORT.md` +- **THEN** он находит ≥2 индекса и ≥2 формы запроса, сравнённые на + ≥100 000 сообщениях в чатах разного размера, стоимость записи по + вариантам и ссылки на файлы метки `track2` + +#### Scenario: Гипотеза не подтвердилась + +- **WHEN** результат расходится с гипотезой +- **THEN** отчёт называет гипотезу опровергнутой и приводит числа + ### Requirement: Сравнение двух меток Команда `make bench_compare BEFORE=<метка> AFTER=<метка>` SHALL