refactor: shorten bench matrix to 500k and prefill chunks to 25k
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -250,7 +250,7 @@ PostgreSQL с планами запроса — change `bench-postgres`. Это
|
||||
| `make test_isolated [KEEP_TEST_DB=1]` | образ на временной базе `test_<db>` с Valkey стенда (ключи разделены именем базы): сборка, миграции, отдельный контейнер API на `TEST_APP_PORT`, `make test` + `make student_test`, уборка при любом исходе (`student-tests.md`) |
|
||||
| `make student_test [BASE_URL=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); сервер недоступен — код 2 и одна строка с адресом |
|
||||
| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, ~45 с) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres и Valkey, обычный и «тесный» API (срок 2 с, пул 1), hook `student-tests/fault_hook.py`; стенд и его volume удаляются при любом исходе, рабочий не трогается (`student-tests.md`) |
|
||||
| `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 1M (~45 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда); на каждый размер — свежий стенд, `VACUUM (ANALYZE)` и планы запроса истории (`auto_explain`). Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) |
|
||||
| `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k (~30 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда); на каждый размер — свежий стенд, `VACUUM (ANALYZE)` и планы запроса истории (`auto_explain`). Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) |
|
||||
| `make bench_quick` | самопроверка стенда на 1k / 5k / 10k (~2,5 мин), метка `quick-<время>`, в git не идёт |
|
||||
| `make bench_ab BEFORE=... AFTER=... REAPPLY=<commit>` | «до» и «после» одного изменения подряд (два прогона `bench`): `bench` для `BEFORE`, commit доказательств, `git revert` commit отката `REAPPLY`, `bench` для `AFTER`. Нужно чистое рабочее дерево; сама делает два коммита |
|
||||
| `make bench_compare BEFORE=... AFTER=... [AA=...]` | дельта двух меток `make bench` по ячейкам матрицы; метки с разной методикой не сравнивает; с `AA` (метка того же кода, что `BEFORE`) отделяет эффект от шума. Результат в `evidence/compare/<до>__<после>.md` |
|
||||
|
||||
@@ -140,7 +140,7 @@ stop_cache:
|
||||
BENCH_LABEL ?= baseline
|
||||
|
||||
# полная матрица на своём проекте compose mtusi-bench (API, PostgreSQL,
|
||||
# Valkey, без портов хоста), ~45 мин; метка не должна существовать;
|
||||
# Valkey, без портов хоста), ~30 мин; метка не должна существовать;
|
||||
# результаты и планы запроса истории — evidence/bench/$(BENCH_LABEL)/,
|
||||
# ход — строки в терминале и progress.json
|
||||
.PHONY: bench
|
||||
|
||||
@@ -444,14 +444,16 @@ Valkey, что у рабочего стенда, без портов хоста
|
||||
|
||||
**Профиль.**
|
||||
- Матрица:
|
||||
- размеры истории читаемого чата 10 000 / 100 000 / 1 000 000;
|
||||
- размеры истории читаемого чата 10 000 / 100 000 / 500 000 (не 1M,
|
||||
как на лабе 1: прогон ~30 мин вместо ~45, а ×50 по длине истории
|
||||
достаточно, чтобы увидеть рост);
|
||||
- 1 / 10 / 50 клиентов;
|
||||
- сценарии `read` (страница `limit=50` со случайным курсором) и
|
||||
`write` (сообщение в соседний чат);
|
||||
- по 3 повтора с прогревом.
|
||||
- На каждый размер:
|
||||
- свежий стенд и миграции;
|
||||
- наполнение через HTTP API порциями по 50 000;
|
||||
- наполнение через HTTP API порциями по 25 000;
|
||||
- `VACUUM (ANALYZE)` и `CHECKPOINT`;
|
||||
- `EXPLAIN (ANALYZE, BUFFERS)` запроса страницы, которую выполнило
|
||||
приложение: первая, средняя и последняя страница, плюс средняя без
|
||||
@@ -467,10 +469,10 @@ bench_quick` (1k–10k, от батареи). Там API на 4–16 клиен
|
||||
|
||||
| | Гипотеза | Опровергнута, если |
|
||||
| --- | --- | --- |
|
||||
| H1 | Время страницы истории не зависит от длины истории: keyset по индексу `(chat_id, created_at, id)` читает ограниченное число страниц, а не всю историю до курсора | p50 `read` на 1M больше, чем на 10k, более чем на 20% при той же конкуренции, или буферы средней и последней страницы в плане приложения на 1M больше, чем на 10k, более чем вдвое |
|
||||
| H2 | Без индекса тот же запрос — `Seq Scan` всей таблицы и сортировка: буферы — порядка числа страниц таблицы, время растёт примерно пропорционально N | план без индекса читает ограниченное число страниц или его время на 1M меньше чем в 10 раз больше, чем на 10k |
|
||||
| H1 | Время страницы истории не зависит от длины истории: keyset по индексу `(chat_id, created_at, id)` читает ограниченное число страниц, а не всю историю до курсора | p50 `read` на 500k больше, чем на 10k, более чем на 20% при той же конкуренции, или буферы средней и последней страницы в плане приложения на 500k больше, чем на 10k, более чем вдвое |
|
||||
| H2 | Без индекса тот же запрос — `Seq Scan` всей таблицы и сортировка: буферы — порядка числа страниц таблицы, время растёт примерно пропорционально N | план без индекса читает ограниченное число страниц или его время на 500k меньше чем в 10 раз больше, чем на 10k (при пропорциональном росте — ×50) |
|
||||
| H3 | На 10 и 50 клиентах `read` и `write` упираются в CPU API (1 ядро), а не в Postgres | `app_cpu_cores` меньше 0,9 при `db_cpu_cores` больше 2 в этих ячейках |
|
||||
| H4 | Стоимость записи растёт с размером индекса слабо (глубина B-дерева — логарифм N) | RPS последней порции наполнения 1M меньше 80% RPS первой порции |
|
||||
| H4 | Стоимость записи растёт с размером индекса слабо (глубина B-дерева — логарифм N) | RPS последней порции наполнения 500k меньше 80% RPS первой порции |
|
||||
|
||||
Результаты — после прогона `baseline`.
|
||||
|
||||
|
||||
+6
-2
@@ -163,7 +163,9 @@ class Profile:
|
||||
read_measure_s: int
|
||||
write_warmup: int
|
||||
write_measure: int
|
||||
prefill_chunk: int = 50_000
|
||||
# порция ~30 с при ~850 сообщ/с на Postgres: прогресс наполнения
|
||||
# печатается после порции, а спек требует строку не реже раза в минуту
|
||||
prefill_chunk: int = 25_000
|
||||
prefill_vus: int = 32
|
||||
text_length: int = 64
|
||||
page_limit: int = 50
|
||||
@@ -190,7 +192,9 @@ class Profile:
|
||||
PROFILES = {
|
||||
"full": Profile(
|
||||
name="full",
|
||||
sizes=(10_000, 100_000, 1_000_000),
|
||||
# 500k вместо 1M лабы 1: прогон ~30 мин вместо ~45, а диапазон
|
||||
# 10k → 500k (×50) уже показывает, растёт ли страница с историей
|
||||
sizes=(10_000, 100_000, 500_000),
|
||||
concurrency=(1, 10, 50),
|
||||
repeats=3,
|
||||
read_warmup_s=5,
|
||||
|
||||
@@ -131,7 +131,9 @@
|
||||
|---|---|---|
|
||||
| `db_cpus`, `db_memory` | `"4"`, `"3g"` (swap = память) | объект замера — API на 1 CPU, как на лабе 1. Postgres не должен быть первым ограничением: у приложения пул до 15 соединений, то есть до 15 активных процессов БД, а 4 CPU хватает с запасом. Кто упёрся первым, видно по столбцам CPU (решение 6) |
|
||||
| `cache_cpus`, `cache_memory` | `"2"`, `"512m"` | Valkey выполняет команды в одном потоке, и лимит в 2 CPU не даёт квоте cgroup притормаживать его вместе с фоновыми потоками. Данные ограничивает `maxmemory 64mb` из `valkey.conf`, остальное — запас на процесс |
|
||||
| `session_ttl_seconds` | `21600` | размер 1M с наполнением идёт до ~40 мин. Срок 3600 с по умолчанию на медленном хосте мог бы истечь посреди прогона и дать 401 |
|
||||
| `session_ttl_seconds` | `21600` | размер 500k с наполнением идёт ~20 мин на машине автора. На медленном хосте срок 3600 с по умолчанию мог бы истечь посреди прогона и дать 401 |
|
||||
| `sizes` (профиль `full`) | `10k, 100k, 500k` | вместо 1M лабы 1, по просьбе пользователя сократить прогон: ~30 мин вместо ~45. Диапазон ×50 достаточен, чтобы увидеть, растёт ли страница с длиной истории; 500k ≥ 100k трека 2 |
|
||||
| `prefill_chunk` | `25000` | вместо 50 000: на Postgres наполнение ~850 сообщ/с, и порция в 50 000 шла бы ~59 с, на границе требования «прогресс не реже раза в минуту». Заодно кривая наполнения в два раза подробнее |
|
||||
|
||||
Остальные настройки приложения — значения по умолчанию из
|
||||
`settings.py`: пул 10 + 5, таймауты и кэш. Их видно в паспорте
|
||||
@@ -142,9 +144,9 @@
|
||||
|
||||
Что даёт память Postgres при настройках образа. Свои буферы Postgres —
|
||||
128 МБ, остальное читается через кэш страниц ОС. Кэш страниц входит в
|
||||
лимит памяти cgroup контейнера. Таблица `messages` на 1M с индексами —
|
||||
ориентировочно 250–350 МБ, так что в 3 ГБ она помещается целиком
|
||||
вместе с WAL. Больший лимит без изменения `shared_buffers` результат
|
||||
лимит памяти cgroup контейнера. Таблица `messages` на 500k с индексами —
|
||||
ориентировочно 130–150 МБ (`bench_quick`: 272 байта на сообщение на
|
||||
10k), так что в 3 ГБ она помещается целиком вместе с WAL. Больший лимит без изменения `shared_buffers` результат
|
||||
не изменит. Настройка Postgres — Non-Goal.
|
||||
|
||||
**Бюджет VM.** Docker Desktop на машине автора — 12 CPU и 7,75 ГиБ.
|
||||
@@ -384,7 +386,7 @@ Postgres стенда запускается с `shared_preload_libraries=auto_e
|
||||
Гипотезы записываются в `REPORT.md` до запуска полной матрицы. По
|
||||
`bench.md` результат пишется как получился:
|
||||
|
||||
- **H1.** p50 чтения при той же конкуренции не растёт с 10k до 1M
|
||||
- **H1.** p50 чтения при той же конкуренции не растёт с 10k до 500k
|
||||
больше чем на величину шума: страница — keyset по индексу.
|
||||
`Buffers` средней и последней страницы того же порядка, что у первой,
|
||||
на всех размерах.
|
||||
@@ -392,7 +394,7 @@ Postgres стенда запускается с `shared_preload_libraries=auto_e
|
||||
порядка размера таблицы, время растёт линейно с N.
|
||||
- **H3.** На `c=10` и `c=50` чтение и запись упираются в CPU API
|
||||
(`app_cpu_cores` ≈ 1), а Postgres загружен меньше (`db_cpu_cores`).
|
||||
- **H4.** Скорость записи на кривой наполнения до 1M падает слабо:
|
||||
- **H4.** Скорость записи на кривой наполнения до 500k падает слабо:
|
||||
глубина B-дерева растёт логарифмически.
|
||||
|
||||
## Risks / Trade-offs
|
||||
@@ -401,14 +403,14 @@ Postgres стенда запускается с `shared_preload_libraries=auto_e
|
||||
пула или формат журнала другой] → маркеры начала и конца, ровно три
|
||||
ожидаемые записи, иначе отказ с размером. Первая задача реализации —
|
||||
проба на `bench_quick` до остального.
|
||||
- [Наполнение 1M через HTTP идёт дольше оценки (15–25 мин): запись —
|
||||
- [Наполнение 500k через HTTP идёт дольше оценки (~10 мин): запись —
|
||||
это ещё проверка сессии, вставка и commit с fsync на диске VM Docker]
|
||||
→ ETA в выводе пересчитывается по факту. Если полная матрица
|
||||
выходит заметно дольше часа, сказать пользователю до baseline, а не
|
||||
менять методику молча.
|
||||
- [Рабочие наборы 1M (таблица ~250–350 МБ с индексами) больше
|
||||
`shared_buffers` 128 МБ: часть чтений идёт из кэша ОС внутри лимита
|
||||
3 ГБ контейнера] → это свойство стенда, видно по `shared read` в
|
||||
выходит заметно дольше 30 минут, сказать пользователю, а не менять
|
||||
методику молча.
|
||||
- [Рабочий набор 500k (таблица с индексами ~130–150 МБ) около
|
||||
`shared_buffers` 128 МБ: часть чтений может идти из кэша ОС внутри
|
||||
лимита 3 ГБ контейнера] → это свойство стенда, видно по `shared read` в
|
||||
планах. Прогрев перед каждым прогоном и одинаковое обслуживание
|
||||
делают его одинаковым у меток. В ограничениях отчёта сказано, что
|
||||
настройки Postgres — по умолчанию.
|
||||
|
||||
@@ -57,9 +57,12 @@
|
||||
- `make bench_compare` проверяет методику по лимитам всех контейнеров,
|
||||
образам и настройкам Postgres и Valkey. Таблица памяти показывает
|
||||
байты на сообщение в БД.
|
||||
- **Базовый замер** `baseline` полной матрицы (10k, 100k, 1M) на
|
||||
закоммиченном коде. По нему в `REPORT.md` пишутся раздел экспериментов
|
||||
и строка уровня 4 «индекс истории и EXPLAIN».
|
||||
- **Матрица короче, чем на лабе 1:** размеры 10k, 100k и 500k вместо
|
||||
1M, порция наполнения 25 000 вместо 50 000. Полный прогон — около
|
||||
30 минут вместо 45. 500k ≥ 100k трека 2 и ≥ 10k уровня 4.
|
||||
- **Базовый замер** `baseline` полной матрицы на закоммиченном коде. По
|
||||
нему в `REPORT.md` пишутся раздел экспериментов и строка уровня 4
|
||||
«индекс истории и EXPLAIN».
|
||||
|
||||
## Capabilities
|
||||
|
||||
@@ -73,6 +76,7 @@
|
||||
- изменённые требования:
|
||||
- стенд из API, PostgreSQL и Valkey с миграциями, лимитами и
|
||||
свежим volume на каждый размер;
|
||||
- матрица: наибольший размер 500 000 вместо 1 000 000;
|
||||
- идентификация Bearer в сценариях;
|
||||
- обслуживание БД после наполнения;
|
||||
- метрики Postgres;
|
||||
@@ -104,6 +108,6 @@
|
||||
- `REPORT.md` — эксперименты, уровень 4, ограничения.
|
||||
- **Доказательства:** `evidence/bench/baseline/`, включая
|
||||
`explain-<размер>.txt`.
|
||||
- **Время хоста:** полная матрица на PostgreSQL — ориентировочно около
|
||||
часа (не измерено). Запуск — только с согласия пользователя и после
|
||||
- **Время хоста:** полная матрица на PostgreSQL — около 30 минут (оценка
|
||||
по скоростям `make bench_quick`). Запуск — только с согласия пользователя и после
|
||||
подготовки хоста (`bench.md`, «Результаты»).
|
||||
|
||||
@@ -17,8 +17,9 @@ MUST NOT сохраняться в результатах.
|
||||
|
||||
#### Scenario: Сессия не истекает за размер
|
||||
|
||||
- **WHEN** размер 1 000 000 от наполнения до последнего прогона идёт
|
||||
дольше часа
|
||||
- **WHEN** размер от наполнения до последнего прогона идёт дольше
|
||||
часа (срок сессии приложения по умолчанию), например на медленном
|
||||
хосте
|
||||
- **THEN** ответов 401 в его прогонах нет
|
||||
|
||||
#### Scenario: Секретов стенда нет в результатах
|
||||
@@ -165,7 +166,7 @@ MUST NOT публиковаться. Настройки приложения и
|
||||
### Requirement: Матрица и повторы
|
||||
|
||||
Полная матрица SHALL включать размеры истории 10 000, 100 000 и
|
||||
1 000 000 сообщений, уровни конкуренции 1, 10 и 50 одновременных
|
||||
500 000 сообщений, уровни конкуренции 1, 10 и 50 одновременных
|
||||
клиентов и оба сценария, по 3 измеряемых прогона на ячейку. Перед
|
||||
каждым измеряемым прогоном SHALL идти прогрев с той же нагрузкой, не
|
||||
входящий в результат.
|
||||
@@ -224,7 +225,7 @@ MUST NOT публиковаться. Настройки приложения и
|
||||
- CPU приложения и CPU PostgreSQL;
|
||||
- RSS в конце порции.
|
||||
|
||||
Так наполнение до 1 000 000 даёт кривую «запись при росте хранилища»
|
||||
Так наполнение до 500 000 даёт кривую «запись при росте хранилища»
|
||||
без дополнительного времени прогона. Новые метрики SHALL добавляться
|
||||
новыми столбцами в конце таблиц. Прежние столбцы MUST NOT
|
||||
переименовываться и удаляться.
|
||||
@@ -242,9 +243,9 @@ MUST NOT публиковаться. Настройки приложения и
|
||||
|
||||
#### Scenario: Кривая наполнения
|
||||
|
||||
- **WHEN** наполнение размера 1 000 000 завершено
|
||||
- **WHEN** наполнение размера 500 000 завершено
|
||||
- **THEN** в таблице наполнения есть строка на каждую порцию, от
|
||||
пустого хранилища до 1 000 000 сообщений, с RPS, p95, p99, max, CPU
|
||||
пустого хранилища до 500 000 сообщений, с RPS, p95, p99, max, CPU
|
||||
приложения и PostgreSQL и RSS
|
||||
|
||||
### Requirement: Достоверность прогона
|
||||
@@ -298,7 +299,7 @@ MUST NOT публиковаться. Настройки приложения и
|
||||
|
||||
#### Scenario: Где мы сейчас
|
||||
|
||||
- **WHEN** идёт наполнение размера 1M
|
||||
- **WHEN** идёт наполнение размера 500k
|
||||
- **THEN** в выводе не реже раза в минуту появляется строка с числом
|
||||
отправленных сообщений, скоростью и оценкой оставшегося времени
|
||||
|
||||
|
||||
@@ -192,7 +192,7 @@
|
||||
bench BENCH_LABEL=baseline`. Проверка:
|
||||
- код 0, `status: complete`, 54 прогона;
|
||||
- в паспорте `dirty: false`, без `host_warnings`;
|
||||
- файлы `explain-10k.txt`, `explain-100k.txt`, `explain-1M.txt`
|
||||
- файлы `explain-10k.txt`, `explain-100k.txt`, `explain-500k.txt`
|
||||
есть.
|
||||
|
||||
Предупреждение о хосте — переснять, а не игнорировать.
|
||||
@@ -204,7 +204,7 @@
|
||||
таблица результатов по ячейкам, ссылка на каталог, итог по H1–H4
|
||||
как получилось;
|
||||
- в разделе архитектуры — обоснование индекса истории: запрос,
|
||||
планы первой, средней и последней страницы на 10k / 100k / 1M,
|
||||
планы первой, средней и последней страницы на 10k / 100k / 500k,
|
||||
сравнение без индекса, ссылки на `explain-*.txt`;
|
||||
- строка уровня 4 «индекс истории и EXPLAIN» в таблице
|
||||
доказательств вместо TODO;
|
||||
|
||||
Reference in New Issue
Block a user