diff --git a/AGENTS.md b/AGENTS.md index 344cc39c..09446470 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -254,7 +254,7 @@ change `track2-query-plans`. Этот файл и `.claude/rules/` описыв | `make student_test [BASE_URL=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); сервер недоступен — код 2 и одна строка с адресом | | `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, ~45 с) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres и Valkey, обычный и «тесный» API (срок 2 с, пул 1), hook `student-tests/fault_hook.py`; стенд и его volume удаляются при любом исходе, рабочий не трогается (`student-tests.md`) | | `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k читаемого чата плюс 100 000 сообщений в 1 110 фоновых чатах разного размера (~35 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда); на каждый размер — свежий стенд, `VACUUM (ANALYZE)`, планы запроса истории (`auto_explain`) по уровням чатов с вариантами индекса и запроса, в конце — пробы стоимости записи по вариантам. Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) | -| `make bench_quick` | самопроверка стенда на 1k / 5k / 10k (~2,5 мин), метка `quick-<время>`, в git не идёт | +| `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт | | `make bench_ab BEFORE=... AFTER=... REAPPLY=` | «до» и «после» одного изменения подряд (два прогона `bench`): `bench` для `BEFORE`, commit доказательств, `git revert` commit отката `REAPPLY`, `bench` для `AFTER`. Нужно чистое рабочее дерево; сама делает два коммита | | `make bench_compare BEFORE=... AFTER=... [AA=...]` | дельта двух меток `make bench` по ячейкам матрицы; метки с разной методикой не сравнивает; с `AA` (метка того же кода, что `BEFORE`) отделяет эффект от шума. Результат в `evidence/compare/<до>__<после>.md` | diff --git a/Makefile b/Makefile index a8f01290..8c7dfd01 100644 --- a/Makefile +++ b/Makefile @@ -140,14 +140,15 @@ stop_cache: BENCH_LABEL ?= baseline # полная матрица на своём проекте compose mtusi-bench (API, PostgreSQL, -# Valkey, без портов хоста), ~30 мин; метка не должна существовать; +# Valkey, без портов хоста), с фоновыми чатами разного размера, вариантами +# плана и пробами записи, ~35 мин; метка не должна существовать; # результаты и планы запроса истории — evidence/bench/$(BENCH_LABEL)/, # ход — строки в терминале и progress.json .PHONY: bench bench: uv run python bench/run.py --profile full --label $(BENCH_LABEL) -# самопроверка стенда на малых размерах, ~2,5 мин; результат в git не идёт +# самопроверка стенда на малых размерах, ~3 мин; результат в git не идёт .PHONY: bench_quick bench_quick: uv run python bench/run.py --profile quick --label quick-$(shell date -u +%Y%m%dT%H%M%SZ) diff --git a/bench/run.py b/bench/run.py index 43f9f766..463dcd8c 100644 --- a/bench/run.py +++ b/bench/run.py @@ -1710,6 +1710,8 @@ class Bench: self.size = size self.prefilled = 0 self.prepared = False + # индекс плана приложения ищется заново на каждом размере + self.app_index = None self.run_size(index, size) self.done_sizes += 1 diff --git a/openspec/changes/track2-query-plans/specs/load-benchmark/spec.md b/openspec/changes/track2-query-plans/specs/load-benchmark/spec.md index 0b194f48..6cb40f3d 100644 --- a/openspec/changes/track2-query-plans/specs/load-benchmark/spec.md +++ b/openspec/changes/track2-query-plans/specs/load-benchmark/spec.md @@ -144,11 +144,14 @@ BUFFERS)` запроса страницы истории с `limit` профил HTTP-запроса. Планы снимаются: - для читаемого чата и одного чата каждого фонового уровня; - для первой страницы, страницы из середины истории и последней полной - страницы чата. У чата короче двух страниц — только для первой. + страницы чата. Середина и конец выбираются из позиций обхода истории + страницами по размеру обхода из методики, после которых есть полная + страница. У чата без таких позиций (не длиннее одной страницы обхода) + — только для первой. -Для страницы из середины каждого чата, а у чата короче двух страниц — -для первой, SHALL сохраняться планы того же запроса с теми же -параметрами в вариантах: +Для страницы из середины каждого чата, а у чата без неё — для первой, +SHALL сохраняться планы того же запроса с теми же параметрами в +вариантах: - с индексом, который использовал план приложения; - то же с generic plan; - с условием курсора, записанным через `OR` вместо сравнения кортежей,