refactor: shorten bench matrix to 500k and prefill chunks to 25k

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-02 03:20:54 +03:00
co-authored by Claude Opus 5.5
parent b2624cce5c
commit e61a0e59e4
8 changed files with 48 additions and 35 deletions
+14 -12
View File
@@ -131,7 +131,9 @@
|---|---|---|
| `db_cpus`, `db_memory` | `"4"`, `"3g"` (swap = память) | объект замера — API на 1 CPU, как на лабе 1. Postgres не должен быть первым ограничением: у приложения пул до 15 соединений, то есть до 15 активных процессов БД, а 4 CPU хватает с запасом. Кто упёрся первым, видно по столбцам CPU (решение 6) |
| `cache_cpus`, `cache_memory` | `"2"`, `"512m"` | Valkey выполняет команды в одном потоке, и лимит в 2 CPU не даёт квоте cgroup притормаживать его вместе с фоновыми потоками. Данные ограничивает `maxmemory 64mb` из `valkey.conf`, остальное — запас на процесс |
| `session_ttl_seconds` | `21600` | размер 1M с наполнением идёт до ~40 мин. Срок 3600 с по умолчанию на медленном хосте мог бы истечь посреди прогона и дать 401 |
| `session_ttl_seconds` | `21600` | размер 500k с наполнением идёт ~20 мин на машине автора. На медленном хосте срок 3600 с по умолчанию мог бы истечь посреди прогона и дать 401 |
| `sizes` (профиль `full`) | `10k, 100k, 500k` | вместо 1M лабы 1, по просьбе пользователя сократить прогон: ~30 мин вместо ~45. Диапазон ×50 достаточен, чтобы увидеть, растёт ли страница с длиной истории; 500k ≥ 100k трека 2 |
| `prefill_chunk` | `25000` | вместо 50 000: на Postgres наполнение ~850 сообщ/с, и порция в 50 000 шла бы ~59 с, на границе требования «прогресс не реже раза в минуту». Заодно кривая наполнения в два раза подробнее |
Остальные настройки приложения — значения по умолчанию из
`settings.py`: пул 10 + 5, таймауты и кэш. Их видно в паспорте
@@ -142,9 +144,9 @@
Что даёт память Postgres при настройках образа. Свои буферы Postgres —
128 МБ, остальное читается через кэш страниц ОС. Кэш страниц входит в
лимит памяти cgroup контейнера. Таблица `messages` на 1M с индексами —
ориентировочно 250–350 МБ, так что в 3 ГБ она помещается целиком
вместе с WAL. Больший лимит без изменения `shared_buffers` результат
лимит памяти cgroup контейнера. Таблица `messages` на 500k с индексами —
ориентировочно 130–150 МБ (`bench_quick`: 272 байта на сообщение на
10k), так что в 3 ГБ она помещается целиком вместе с WAL. Больший лимит без изменения `shared_buffers` результат
не изменит. Настройка Postgres — Non-Goal.
**Бюджет VM.** Docker Desktop на машине автора — 12 CPU и 7,75 ГиБ.
@@ -384,7 +386,7 @@ Postgres стенда запускается с `shared_preload_libraries=auto_e
Гипотезы записываются в `REPORT.md` до запуска полной матрицы. По
`bench.md` результат пишется как получился:
- **H1.** p50 чтения при той же конкуренции не растёт с 10k до 1M
- **H1.** p50 чтения при той же конкуренции не растёт с 10k до 500k
больше чем на величину шума: страница — keyset по индексу.
`Buffers` средней и последней страницы того же порядка, что у первой,
на всех размерах.
@@ -392,7 +394,7 @@ Postgres стенда запускается с `shared_preload_libraries=auto_e
порядка размера таблицы, время растёт линейно с N.
- **H3.** На `c=10` и `c=50` чтение и запись упираются в CPU API
(`app_cpu_cores` ≈ 1), а Postgres загружен меньше (`db_cpu_cores`).
- **H4.** Скорость записи на кривой наполнения до 1M падает слабо:
- **H4.** Скорость записи на кривой наполнения до 500k падает слабо:
глубина B-дерева растёт логарифмически.
## Risks / Trade-offs
@@ -401,14 +403,14 @@ Postgres стенда запускается с `shared_preload_libraries=auto_e
пула или формат журнала другой] → маркеры начала и конца, ровно три
ожидаемые записи, иначе отказ с размером. Первая задача реализации —
проба на `bench_quick` до остального.
- [Наполнение 1M через HTTP идёт дольше оценки (15–25 мин): запись —
- [Наполнение 500k через HTTP идёт дольше оценки (~10 мин): запись —
это ещё проверка сессии, вставка и commit с fsync на диске VM Docker]
→ ETA в выводе пересчитывается по факту. Если полная матрица
выходит заметно дольше часа, сказать пользователю до baseline, а не
менять методику молча.
- [Рабочие наборы 1M (таблица ~250–350 МБ с индексами) больше
`shared_buffers` 128 МБ: часть чтений идёт из кэша ОС внутри лимита
3 ГБ контейнера] → это свойство стенда, видно по `shared read` в
выходит заметно дольше 30 минут, сказать пользователю, а не менять
методику молча.
- [Рабочий набор 500k (таблица с индексами ~130–150 МБ) около
`shared_buffers` 128 МБ: часть чтений может идти из кэша ОС внутри
лимита 3 ГБ контейнера] → это свойство стенда, видно по `shared read` в
планах. Прогрев перед каждым прогоном и одинаковое обслуживание
делают его одинаковым у меток. В ограничениях отчёта сказано, что
настройки Postgres — по умолчанию.
+9 -5
View File
@@ -57,9 +57,12 @@
- `make bench_compare` проверяет методику по лимитам всех контейнеров,
образам и настройкам Postgres и Valkey. Таблица памяти показывает
байты на сообщение в БД.
- **Базовый замер** `baseline` полной матрицы (10k, 100k, 1M) на
закоммиченном коде. По нему в `REPORT.md` пишутся раздел экспериментов
и строка уровня 4 «индекс истории и EXPLAIN».
- **Матрица короче, чем на лабе 1:** размеры 10k, 100k и 500k вместо
1M, порция наполнения 25 000 вместо 50 000. Полный прогон — около
30 минут вместо 45. 500k ≥ 100k трека 2 и ≥ 10k уровня 4.
- **Базовый замер** `baseline` полной матрицы на закоммиченном коде. По
нему в `REPORT.md` пишутся раздел экспериментов и строка уровня 4
«индекс истории и EXPLAIN».
## Capabilities
@@ -73,6 +76,7 @@
- изменённые требования:
- стенд из API, PostgreSQL и Valkey с миграциями, лимитами и
свежим volume на каждый размер;
- матрица: наибольший размер 500 000 вместо 1 000 000;
- идентификация Bearer в сценариях;
- обслуживание БД после наполнения;
- метрики Postgres;
@@ -104,6 +108,6 @@
- `REPORT.md` — эксперименты, уровень 4, ограничения.
- **Доказательства:** `evidence/bench/baseline/`, включая
`explain-<размер>.txt`.
- **Время хоста:** полная матрица на PostgreSQL — ориентировочно около
часа (не измерено). Запуск — только с согласия пользователя и после
- **Время хоста:** полная матрица на PostgreSQL — около 30 минут (оценка
по скоростям `make bench_quick`). Запуск — только с согласия пользователя и после
подготовки хоста (`bench.md`, «Результаты»).
@@ -17,8 +17,9 @@ MUST NOT сохраняться в результатах.
#### Scenario: Сессия не истекает за размер
- **WHEN** размер 1 000 000 от наполнения до последнего прогона идёт
дольше часа
- **WHEN** размер от наполнения до последнего прогона идёт дольше
часа (срок сессии приложения по умолчанию), например на медленном
хосте
- **THEN** ответов 401 в его прогонах нет
#### Scenario: Секретов стенда нет в результатах
@@ -165,7 +166,7 @@ MUST NOT публиковаться. Настройки приложения и
### Requirement: Матрица и повторы
Полная матрица SHALL включать размеры истории 10 000, 100 000 и
1 000 000 сообщений, уровни конкуренции 1, 10 и 50 одновременных
500 000 сообщений, уровни конкуренции 1, 10 и 50 одновременных
клиентов и оба сценария, по 3 измеряемых прогона на ячейку. Перед
каждым измеряемым прогоном SHALL идти прогрев с той же нагрузкой, не
входящий в результат.
@@ -224,7 +225,7 @@ MUST NOT публиковаться. Настройки приложения и
- CPU приложения и CPU PostgreSQL;
- RSS в конце порции.
Так наполнение до 1 000 000 даёт кривую «запись при росте хранилища»
Так наполнение до 500 000 даёт кривую «запись при росте хранилища»
без дополнительного времени прогона. Новые метрики SHALL добавляться
новыми столбцами в конце таблиц. Прежние столбцы MUST NOT
переименовываться и удаляться.
@@ -242,9 +243,9 @@ MUST NOT публиковаться. Настройки приложения и
#### Scenario: Кривая наполнения
- **WHEN** наполнение размера 1 000 000 завершено
- **WHEN** наполнение размера 500 000 завершено
- **THEN** в таблице наполнения есть строка на каждую порцию, от
пустого хранилища до 1 000 000 сообщений, с RPS, p95, p99, max, CPU
пустого хранилища до 500 000 сообщений, с RPS, p95, p99, max, CPU
приложения и PostgreSQL и RSS
### Requirement: Достоверность прогона
@@ -298,7 +299,7 @@ MUST NOT публиковаться. Настройки приложения и
#### Scenario: Где мы сейчас
- **WHEN** идёт наполнение размера 1M
- **WHEN** идёт наполнение размера 500k
- **THEN** в выводе не реже раза в минуту появляется строка с числом
отправленных сообщений, скоростью и оценкой оставшегося времени
+2 -2
View File
@@ -192,7 +192,7 @@
bench BENCH_LABEL=baseline`. Проверка:
- код 0, `status: complete`, 54 прогона;
- в паспорте `dirty: false`, без `host_warnings`;
- файлы `explain-10k.txt`, `explain-100k.txt`, `explain-1M.txt`
- файлы `explain-10k.txt`, `explain-100k.txt`, `explain-500k.txt`
есть.
Предупреждение о хосте — переснять, а не игнорировать.
@@ -204,7 +204,7 @@
таблица результатов по ячейкам, ссылка на каталог, итог по H1–H4
как получилось;
- в разделе архитектуры — обоснование индекса истории: запрос,
планы первой, средней и последней страницы на 10k / 100k / 1M,
планы первой, средней и последней страницы на 10k / 100k / 500k,
сравнение без индекса, ссылки на `explain-*.txt`;
- строка уровня 4 «индекс истории и EXPLAIN» в таблице
доказательств вместо TODO;