fix: reset app history index per bench size

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-02 05:04:08 +03:00
co-authored by Claude Opus 5.5
parent 472ed0bca5
commit a44a576bbc
4 changed files with 13 additions and 7 deletions
+1 -1
View File
@@ -254,7 +254,7 @@ change `track2-query-plans`. Этот файл и `.claude/rules/` описыв
| `make student_test [BASE_URL=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); сервер недоступен — код 2 и одна строка с адресом |
| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, ~45 с) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres и Valkey, обычный и «тесный» API (срок 2 с, пул 1), hook `student-tests/fault_hook.py`; стенд и его volume удаляются при любом исходе, рабочий не трогается (`student-tests.md`) |
| `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k читаемого чата плюс 100 000 сообщений в 1 110 фоновых чатах разного размера (~35 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда); на каждый размер — свежий стенд, `VACUUM (ANALYZE)`, планы запроса истории (`auto_explain`) по уровням чатов с вариантами индекса и запроса, в конце — пробы стоимости записи по вариантам. Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) |
| `make bench_quick` | самопроверка стенда на 1k / 5k / 10k (~2,5 мин), метка `quick-<время>`, в git не идёт |
| `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт |
| `make bench_ab BEFORE=... AFTER=... REAPPLY=<commit>` | «до» и «после» одного изменения подряд (два прогона `bench`): `bench` для `BEFORE`, commit доказательств, `git revert` commit отката `REAPPLY`, `bench` для `AFTER`. Нужно чистое рабочее дерево; сама делает два коммита |
| `make bench_compare BEFORE=... AFTER=... [AA=...]` | дельта двух меток `make bench` по ячейкам матрицы; метки с разной методикой не сравнивает; с `AA` (метка того же кода, что `BEFORE`) отделяет эффект от шума. Результат в `evidence/compare/<до>__<после>.md` |
+3 -2
View File
@@ -140,14 +140,15 @@ stop_cache:
BENCH_LABEL ?= baseline
# полная матрица на своём проекте compose mtusi-bench (API, PostgreSQL,
# Valkey, без портов хоста), ~30 мин; метка не должна существовать;
# Valkey, без портов хоста), с фоновыми чатами разного размера, вариантами
# плана и пробами записи, ~35 мин; метка не должна существовать;
# результаты и планы запроса истории — evidence/bench/$(BENCH_LABEL)/,
# ход — строки в терминале и progress.json
.PHONY: bench
bench:
uv run python bench/run.py --profile full --label $(BENCH_LABEL)
# самопроверка стенда на малых размерах, ~2,5 мин; результат в git не идёт
# самопроверка стенда на малых размерах, ~3 мин; результат в git не идёт
.PHONY: bench_quick
bench_quick:
uv run python bench/run.py --profile quick --label quick-$(shell date -u +%Y%m%dT%H%M%SZ)
+2
View File
@@ -1710,6 +1710,8 @@ class Bench:
self.size = size
self.prefilled = 0
self.prepared = False
# индекс плана приложения ищется заново на каждом размере
self.app_index = None
self.run_size(index, size)
self.done_sizes += 1
@@ -144,11 +144,14 @@ BUFFERS)` запроса страницы истории с `limit` профил
HTTP-запроса. Планы снимаются:
- для читаемого чата и одного чата каждого фонового уровня;
- для первой страницы, страницы из середины истории и последней полной
страницы чата. У чата короче двух страниц — только для первой.
страницы чата. Середина и конец выбираются из позиций обхода истории
страницами по размеру обхода из методики, после которых есть полная
страница. У чата без таких позиций (не длиннее одной страницы обхода)
— только для первой.
Для страницы из середины каждого чата, а у чата короче двух страниц —
для первой, SHALL сохраняться планы того же запроса с теми же
параметрами в вариантах:
Для страницы из середины каждого чата, а у чата без неё — для первой,
SHALL сохраняться планы того же запроса с теми же параметрами в
вариантах:
- с индексом, который использовал план приложения;
- то же с generic plan;
- с условием курсора, записанным через `OR` вместо сравнения кортежей,