fix: reset app history index per bench size
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -254,7 +254,7 @@ change `track2-query-plans`. Этот файл и `.claude/rules/` описыв
|
||||
| `make student_test [BASE_URL=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); сервер недоступен — код 2 и одна строка с адресом |
|
||||
| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, ~45 с) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres и Valkey, обычный и «тесный» API (срок 2 с, пул 1), hook `student-tests/fault_hook.py`; стенд и его volume удаляются при любом исходе, рабочий не трогается (`student-tests.md`) |
|
||||
| `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k читаемого чата плюс 100 000 сообщений в 1 110 фоновых чатах разного размера (~35 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда); на каждый размер — свежий стенд, `VACUUM (ANALYZE)`, планы запроса истории (`auto_explain`) по уровням чатов с вариантами индекса и запроса, в конце — пробы стоимости записи по вариантам. Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) |
|
||||
| `make bench_quick` | самопроверка стенда на 1k / 5k / 10k (~2,5 мин), метка `quick-<время>`, в git не идёт |
|
||||
| `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт |
|
||||
| `make bench_ab BEFORE=... AFTER=... REAPPLY=<commit>` | «до» и «после» одного изменения подряд (два прогона `bench`): `bench` для `BEFORE`, commit доказательств, `git revert` commit отката `REAPPLY`, `bench` для `AFTER`. Нужно чистое рабочее дерево; сама делает два коммита |
|
||||
| `make bench_compare BEFORE=... AFTER=... [AA=...]` | дельта двух меток `make bench` по ячейкам матрицы; метки с разной методикой не сравнивает; с `AA` (метка того же кода, что `BEFORE`) отделяет эффект от шума. Результат в `evidence/compare/<до>__<после>.md` |
|
||||
|
||||
|
||||
@@ -140,14 +140,15 @@ stop_cache:
|
||||
BENCH_LABEL ?= baseline
|
||||
|
||||
# полная матрица на своём проекте compose mtusi-bench (API, PostgreSQL,
|
||||
# Valkey, без портов хоста), ~30 мин; метка не должна существовать;
|
||||
# Valkey, без портов хоста), с фоновыми чатами разного размера, вариантами
|
||||
# плана и пробами записи, ~35 мин; метка не должна существовать;
|
||||
# результаты и планы запроса истории — evidence/bench/$(BENCH_LABEL)/,
|
||||
# ход — строки в терминале и progress.json
|
||||
.PHONY: bench
|
||||
bench:
|
||||
uv run python bench/run.py --profile full --label $(BENCH_LABEL)
|
||||
|
||||
# самопроверка стенда на малых размерах, ~2,5 мин; результат в git не идёт
|
||||
# самопроверка стенда на малых размерах, ~3 мин; результат в git не идёт
|
||||
.PHONY: bench_quick
|
||||
bench_quick:
|
||||
uv run python bench/run.py --profile quick --label quick-$(shell date -u +%Y%m%dT%H%M%SZ)
|
||||
|
||||
@@ -1710,6 +1710,8 @@ class Bench:
|
||||
self.size = size
|
||||
self.prefilled = 0
|
||||
self.prepared = False
|
||||
# индекс плана приложения ищется заново на каждом размере
|
||||
self.app_index = None
|
||||
self.run_size(index, size)
|
||||
self.done_sizes += 1
|
||||
|
||||
|
||||
@@ -144,11 +144,14 @@ BUFFERS)` запроса страницы истории с `limit` профил
|
||||
HTTP-запроса. Планы снимаются:
|
||||
- для читаемого чата и одного чата каждого фонового уровня;
|
||||
- для первой страницы, страницы из середины истории и последней полной
|
||||
страницы чата. У чата короче двух страниц — только для первой.
|
||||
страницы чата. Середина и конец выбираются из позиций обхода истории
|
||||
страницами по размеру обхода из методики, после которых есть полная
|
||||
страница. У чата без таких позиций (не длиннее одной страницы обхода)
|
||||
— только для первой.
|
||||
|
||||
Для страницы из середины каждого чата, а у чата короче двух страниц —
|
||||
для первой, SHALL сохраняться планы того же запроса с теми же
|
||||
параметрами в вариантах:
|
||||
Для страницы из середины каждого чата, а у чата без неё — для первой,
|
||||
SHALL сохраняться планы того же запроса с теми же параметрами в
|
||||
вариантах:
|
||||
- с индексом, который использовал план приложения;
|
||||
- то же с generic plan;
|
||||
- с условием курсора, записанным через `OR` вместо сравнения кортежей,
|
||||
|
||||
Reference in New Issue
Block a user