From e61a0e59e4f838548249a4546322a65fa58a9316 Mon Sep 17 00:00:00 2001 From: roman Date: Fri, 2 Oct 2026 03:20:54 +0300 Subject: [PATCH] refactor: shorten bench matrix to 500k and prefill chunks to 25k Co-Authored-By: Claude Opus 5.5 --- AGENTS.md | 2 +- Makefile | 2 +- REPORT.md | 12 +++++---- bench/run.py | 8 ++++-- openspec/changes/bench-postgres/design.md | 26 ++++++++++--------- openspec/changes/bench-postgres/proposal.md | 14 ++++++---- .../specs/load-benchmark/spec.md | 15 ++++++----- openspec/changes/bench-postgres/tasks.md | 4 +-- 8 files changed, 48 insertions(+), 35 deletions(-) diff --git a/AGENTS.md b/AGENTS.md index 322be788..3d13400d 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -250,7 +250,7 @@ PostgreSQL с планами запроса — change `bench-postgres`. Это | `make test_isolated [KEEP_TEST_DB=1]` | образ на временной базе `test_` с Valkey стенда (ключи разделены именем базы): сборка, миграции, отдельный контейнер API на `TEST_APP_PORT`, `make test` + `make student_test`, уборка при любом исходе (`student-tests.md`) | | `make student_test [BASE_URL=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); сервер недоступен — код 2 и одна строка с адресом | | `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, ~45 с) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres и Valkey, обычный и «тесный» API (срок 2 с, пул 1), hook `student-tests/fault_hook.py`; стенд и его volume удаляются при любом исходе, рабочий не трогается (`student-tests.md`) | -| `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 1M (~45 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда); на каждый размер — свежий стенд, `VACUUM (ANALYZE)` и планы запроса истории (`auto_explain`). Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) | +| `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k (~30 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда); на каждый размер — свежий стенд, `VACUUM (ANALYZE)` и планы запроса истории (`auto_explain`). Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) | | `make bench_quick` | самопроверка стенда на 1k / 5k / 10k (~2,5 мин), метка `quick-<время>`, в git не идёт | | `make bench_ab BEFORE=... AFTER=... REAPPLY=` | «до» и «после» одного изменения подряд (два прогона `bench`): `bench` для `BEFORE`, commit доказательств, `git revert` commit отката `REAPPLY`, `bench` для `AFTER`. Нужно чистое рабочее дерево; сама делает два коммита | | `make bench_compare BEFORE=... AFTER=... [AA=...]` | дельта двух меток `make bench` по ячейкам матрицы; метки с разной методикой не сравнивает; с `AA` (метка того же кода, что `BEFORE`) отделяет эффект от шума. Результат в `evidence/compare/<до>__<после>.md` | diff --git a/Makefile b/Makefile index 1ab54256..a8f01290 100644 --- a/Makefile +++ b/Makefile @@ -140,7 +140,7 @@ stop_cache: BENCH_LABEL ?= baseline # полная матрица на своём проекте compose mtusi-bench (API, PostgreSQL, -# Valkey, без портов хоста), ~45 мин; метка не должна существовать; +# Valkey, без портов хоста), ~30 мин; метка не должна существовать; # результаты и планы запроса истории — evidence/bench/$(BENCH_LABEL)/, # ход — строки в терминале и progress.json .PHONY: bench diff --git a/REPORT.md b/REPORT.md index 4effddc3..da2eb5a4 100644 --- a/REPORT.md +++ b/REPORT.md @@ -444,14 +444,16 @@ Valkey, что у рабочего стенда, без портов хоста **Профиль.** - Матрица: - - размеры истории читаемого чата 10 000 / 100 000 / 1 000 000; + - размеры истории читаемого чата 10 000 / 100 000 / 500 000 (не 1M, + как на лабе 1: прогон ~30 мин вместо ~45, а ×50 по длине истории + достаточно, чтобы увидеть рост); - 1 / 10 / 50 клиентов; - сценарии `read` (страница `limit=50` со случайным курсором) и `write` (сообщение в соседний чат); - по 3 повтора с прогревом. - На каждый размер: - свежий стенд и миграции; - - наполнение через HTTP API порциями по 50 000; + - наполнение через HTTP API порциями по 25 000; - `VACUUM (ANALYZE)` и `CHECKPOINT`; - `EXPLAIN (ANALYZE, BUFFERS)` запроса страницы, которую выполнило приложение: первая, средняя и последняя страница, плюс средняя без @@ -467,10 +469,10 @@ bench_quick` (1k–10k, от батареи). Там API на 4–16 клиен | | Гипотеза | Опровергнута, если | | --- | --- | --- | -| H1 | Время страницы истории не зависит от длины истории: keyset по индексу `(chat_id, created_at, id)` читает ограниченное число страниц, а не всю историю до курсора | p50 `read` на 1M больше, чем на 10k, более чем на 20% при той же конкуренции, или буферы средней и последней страницы в плане приложения на 1M больше, чем на 10k, более чем вдвое | -| H2 | Без индекса тот же запрос — `Seq Scan` всей таблицы и сортировка: буферы — порядка числа страниц таблицы, время растёт примерно пропорционально N | план без индекса читает ограниченное число страниц или его время на 1M меньше чем в 10 раз больше, чем на 10k | +| H1 | Время страницы истории не зависит от длины истории: keyset по индексу `(chat_id, created_at, id)` читает ограниченное число страниц, а не всю историю до курсора | p50 `read` на 500k больше, чем на 10k, более чем на 20% при той же конкуренции, или буферы средней и последней страницы в плане приложения на 500k больше, чем на 10k, более чем вдвое | +| H2 | Без индекса тот же запрос — `Seq Scan` всей таблицы и сортировка: буферы — порядка числа страниц таблицы, время растёт примерно пропорционально N | план без индекса читает ограниченное число страниц или его время на 500k меньше чем в 10 раз больше, чем на 10k (при пропорциональном росте — ×50) | | H3 | На 10 и 50 клиентах `read` и `write` упираются в CPU API (1 ядро), а не в Postgres | `app_cpu_cores` меньше 0,9 при `db_cpu_cores` больше 2 в этих ячейках | -| H4 | Стоимость записи растёт с размером индекса слабо (глубина B-дерева — логарифм N) | RPS последней порции наполнения 1M меньше 80% RPS первой порции | +| H4 | Стоимость записи растёт с размером индекса слабо (глубина B-дерева — логарифм N) | RPS последней порции наполнения 500k меньше 80% RPS первой порции | Результаты — после прогона `baseline`. diff --git a/bench/run.py b/bench/run.py index 7ef2e58e..c6fb8085 100644 --- a/bench/run.py +++ b/bench/run.py @@ -163,7 +163,9 @@ class Profile: read_measure_s: int write_warmup: int write_measure: int - prefill_chunk: int = 50_000 + # порция ~30 с при ~850 сообщ/с на Postgres: прогресс наполнения + # печатается после порции, а спек требует строку не реже раза в минуту + prefill_chunk: int = 25_000 prefill_vus: int = 32 text_length: int = 64 page_limit: int = 50 @@ -190,7 +192,9 @@ class Profile: PROFILES = { "full": Profile( name="full", - sizes=(10_000, 100_000, 1_000_000), + # 500k вместо 1M лабы 1: прогон ~30 мин вместо ~45, а диапазон + # 10k → 500k (×50) уже показывает, растёт ли страница с историей + sizes=(10_000, 100_000, 500_000), concurrency=(1, 10, 50), repeats=3, read_warmup_s=5, diff --git a/openspec/changes/bench-postgres/design.md b/openspec/changes/bench-postgres/design.md index 3955130e..639fc236 100644 --- a/openspec/changes/bench-postgres/design.md +++ b/openspec/changes/bench-postgres/design.md @@ -131,7 +131,9 @@ |---|---|---| | `db_cpus`, `db_memory` | `"4"`, `"3g"` (swap = память) | объект замера — API на 1 CPU, как на лабе 1. Postgres не должен быть первым ограничением: у приложения пул до 15 соединений, то есть до 15 активных процессов БД, а 4 CPU хватает с запасом. Кто упёрся первым, видно по столбцам CPU (решение 6) | | `cache_cpus`, `cache_memory` | `"2"`, `"512m"` | Valkey выполняет команды в одном потоке, и лимит в 2 CPU не даёт квоте cgroup притормаживать его вместе с фоновыми потоками. Данные ограничивает `maxmemory 64mb` из `valkey.conf`, остальное — запас на процесс | -| `session_ttl_seconds` | `21600` | размер 1M с наполнением идёт до ~40 мин. Срок 3600 с по умолчанию на медленном хосте мог бы истечь посреди прогона и дать 401 | +| `session_ttl_seconds` | `21600` | размер 500k с наполнением идёт ~20 мин на машине автора. На медленном хосте срок 3600 с по умолчанию мог бы истечь посреди прогона и дать 401 | +| `sizes` (профиль `full`) | `10k, 100k, 500k` | вместо 1M лабы 1, по просьбе пользователя сократить прогон: ~30 мин вместо ~45. Диапазон ×50 достаточен, чтобы увидеть, растёт ли страница с длиной истории; 500k ≥ 100k трека 2 | +| `prefill_chunk` | `25000` | вместо 50 000: на Postgres наполнение ~850 сообщ/с, и порция в 50 000 шла бы ~59 с, на границе требования «прогресс не реже раза в минуту». Заодно кривая наполнения в два раза подробнее | Остальные настройки приложения — значения по умолчанию из `settings.py`: пул 10 + 5, таймауты и кэш. Их видно в паспорте @@ -142,9 +144,9 @@ Что даёт память Postgres при настройках образа. Свои буферы Postgres — 128 МБ, остальное читается через кэш страниц ОС. Кэш страниц входит в -лимит памяти cgroup контейнера. Таблица `messages` на 1M с индексами — -ориентировочно 250–350 МБ, так что в 3 ГБ она помещается целиком -вместе с WAL. Больший лимит без изменения `shared_buffers` результат +лимит памяти cgroup контейнера. Таблица `messages` на 500k с индексами — +ориентировочно 130–150 МБ (`bench_quick`: 272 байта на сообщение на +10k), так что в 3 ГБ она помещается целиком вместе с WAL. Больший лимит без изменения `shared_buffers` результат не изменит. Настройка Postgres — Non-Goal. **Бюджет VM.** Docker Desktop на машине автора — 12 CPU и 7,75 ГиБ. @@ -384,7 +386,7 @@ Postgres стенда запускается с `shared_preload_libraries=auto_e Гипотезы записываются в `REPORT.md` до запуска полной матрицы. По `bench.md` результат пишется как получился: -- **H1.** p50 чтения при той же конкуренции не растёт с 10k до 1M +- **H1.** p50 чтения при той же конкуренции не растёт с 10k до 500k больше чем на величину шума: страница — keyset по индексу. `Buffers` средней и последней страницы того же порядка, что у первой, на всех размерах. @@ -392,7 +394,7 @@ Postgres стенда запускается с `shared_preload_libraries=auto_e порядка размера таблицы, время растёт линейно с N. - **H3.** На `c=10` и `c=50` чтение и запись упираются в CPU API (`app_cpu_cores` ≈ 1), а Postgres загружен меньше (`db_cpu_cores`). -- **H4.** Скорость записи на кривой наполнения до 1M падает слабо: +- **H4.** Скорость записи на кривой наполнения до 500k падает слабо: глубина B-дерева растёт логарифмически. ## Risks / Trade-offs @@ -401,14 +403,14 @@ Postgres стенда запускается с `shared_preload_libraries=auto_e пула или формат журнала другой] → маркеры начала и конца, ровно три ожидаемые записи, иначе отказ с размером. Первая задача реализации — проба на `bench_quick` до остального. -- [Наполнение 1M через HTTP идёт дольше оценки (15–25 мин): запись — +- [Наполнение 500k через HTTP идёт дольше оценки (~10 мин): запись — это ещё проверка сессии, вставка и commit с fsync на диске VM Docker] → ETA в выводе пересчитывается по факту. Если полная матрица - выходит заметно дольше часа, сказать пользователю до baseline, а не - менять методику молча. -- [Рабочие наборы 1M (таблица ~250–350 МБ с индексами) больше - `shared_buffers` 128 МБ: часть чтений идёт из кэша ОС внутри лимита - 3 ГБ контейнера] → это свойство стенда, видно по `shared read` в + выходит заметно дольше 30 минут, сказать пользователю, а не менять + методику молча. +- [Рабочий набор 500k (таблица с индексами ~130–150 МБ) около + `shared_buffers` 128 МБ: часть чтений может идти из кэша ОС внутри + лимита 3 ГБ контейнера] → это свойство стенда, видно по `shared read` в планах. Прогрев перед каждым прогоном и одинаковое обслуживание делают его одинаковым у меток. В ограничениях отчёта сказано, что настройки Postgres — по умолчанию. diff --git a/openspec/changes/bench-postgres/proposal.md b/openspec/changes/bench-postgres/proposal.md index 9805c1ff..9601e527 100644 --- a/openspec/changes/bench-postgres/proposal.md +++ b/openspec/changes/bench-postgres/proposal.md @@ -57,9 +57,12 @@ - `make bench_compare` проверяет методику по лимитам всех контейнеров, образам и настройкам Postgres и Valkey. Таблица памяти показывает байты на сообщение в БД. -- **Базовый замер** `baseline` полной матрицы (10k, 100k, 1M) на - закоммиченном коде. По нему в `REPORT.md` пишутся раздел экспериментов - и строка уровня 4 «индекс истории и EXPLAIN». +- **Матрица короче, чем на лабе 1:** размеры 10k, 100k и 500k вместо + 1M, порция наполнения 25 000 вместо 50 000. Полный прогон — около + 30 минут вместо 45. 500k ≥ 100k трека 2 и ≥ 10k уровня 4. +- **Базовый замер** `baseline` полной матрицы на закоммиченном коде. По + нему в `REPORT.md` пишутся раздел экспериментов и строка уровня 4 + «индекс истории и EXPLAIN». ## Capabilities @@ -73,6 +76,7 @@ - изменённые требования: - стенд из API, PostgreSQL и Valkey с миграциями, лимитами и свежим volume на каждый размер; + - матрица: наибольший размер 500 000 вместо 1 000 000; - идентификация Bearer в сценариях; - обслуживание БД после наполнения; - метрики Postgres; @@ -104,6 +108,6 @@ - `REPORT.md` — эксперименты, уровень 4, ограничения. - **Доказательства:** `evidence/bench/baseline/`, включая `explain-<размер>.txt`. -- **Время хоста:** полная матрица на PostgreSQL — ориентировочно около - часа (не измерено). Запуск — только с согласия пользователя и после +- **Время хоста:** полная матрица на PostgreSQL — около 30 минут (оценка + по скоростям `make bench_quick`). Запуск — только с согласия пользователя и после подготовки хоста (`bench.md`, «Результаты»). diff --git a/openspec/changes/bench-postgres/specs/load-benchmark/spec.md b/openspec/changes/bench-postgres/specs/load-benchmark/spec.md index 1e876509..be48f41e 100644 --- a/openspec/changes/bench-postgres/specs/load-benchmark/spec.md +++ b/openspec/changes/bench-postgres/specs/load-benchmark/spec.md @@ -17,8 +17,9 @@ MUST NOT сохраняться в результатах. #### Scenario: Сессия не истекает за размер -- **WHEN** размер 1 000 000 от наполнения до последнего прогона идёт - дольше часа +- **WHEN** размер от наполнения до последнего прогона идёт дольше + часа (срок сессии приложения по умолчанию), например на медленном + хосте - **THEN** ответов 401 в его прогонах нет #### Scenario: Секретов стенда нет в результатах @@ -165,7 +166,7 @@ MUST NOT публиковаться. Настройки приложения и ### Requirement: Матрица и повторы Полная матрица SHALL включать размеры истории 10 000, 100 000 и -1 000 000 сообщений, уровни конкуренции 1, 10 и 50 одновременных +500 000 сообщений, уровни конкуренции 1, 10 и 50 одновременных клиентов и оба сценария, по 3 измеряемых прогона на ячейку. Перед каждым измеряемым прогоном SHALL идти прогрев с той же нагрузкой, не входящий в результат. @@ -224,7 +225,7 @@ MUST NOT публиковаться. Настройки приложения и - CPU приложения и CPU PostgreSQL; - RSS в конце порции. -Так наполнение до 1 000 000 даёт кривую «запись при росте хранилища» +Так наполнение до 500 000 даёт кривую «запись при росте хранилища» без дополнительного времени прогона. Новые метрики SHALL добавляться новыми столбцами в конце таблиц. Прежние столбцы MUST NOT переименовываться и удаляться. @@ -242,9 +243,9 @@ MUST NOT публиковаться. Настройки приложения и #### Scenario: Кривая наполнения -- **WHEN** наполнение размера 1 000 000 завершено +- **WHEN** наполнение размера 500 000 завершено - **THEN** в таблице наполнения есть строка на каждую порцию, от - пустого хранилища до 1 000 000 сообщений, с RPS, p95, p99, max, CPU + пустого хранилища до 500 000 сообщений, с RPS, p95, p99, max, CPU приложения и PostgreSQL и RSS ### Requirement: Достоверность прогона @@ -298,7 +299,7 @@ MUST NOT публиковаться. Настройки приложения и #### Scenario: Где мы сейчас -- **WHEN** идёт наполнение размера 1M +- **WHEN** идёт наполнение размера 500k - **THEN** в выводе не реже раза в минуту появляется строка с числом отправленных сообщений, скоростью и оценкой оставшегося времени diff --git a/openspec/changes/bench-postgres/tasks.md b/openspec/changes/bench-postgres/tasks.md index 3bb9ec91..ade3df33 100644 --- a/openspec/changes/bench-postgres/tasks.md +++ b/openspec/changes/bench-postgres/tasks.md @@ -192,7 +192,7 @@ bench BENCH_LABEL=baseline`. Проверка: - код 0, `status: complete`, 54 прогона; - в паспорте `dirty: false`, без `host_warnings`; - - файлы `explain-10k.txt`, `explain-100k.txt`, `explain-1M.txt` + - файлы `explain-10k.txt`, `explain-100k.txt`, `explain-500k.txt` есть. Предупреждение о хосте — переснять, а не игнорировать. @@ -204,7 +204,7 @@ таблица результатов по ячейкам, ссылка на каталог, итог по H1–H4 как получилось; - в разделе архитектуры — обоснование индекса истории: запрос, - планы первой, средней и последней страницы на 10k / 100k / 1M, + планы первой, средней и последней страницы на 10k / 100k / 500k, сравнение без индекса, ссылки на `explain-*.txt`; - строка уровня 4 «индекс истории и EXPLAIN» в таблице доказательств вместо TODO;