refactor: shorten bench matrix to 500k and prefill chunks to 25k
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -131,7 +131,9 @@
|
||||
|---|---|---|
|
||||
| `db_cpus`, `db_memory` | `"4"`, `"3g"` (swap = память) | объект замера — API на 1 CPU, как на лабе 1. Postgres не должен быть первым ограничением: у приложения пул до 15 соединений, то есть до 15 активных процессов БД, а 4 CPU хватает с запасом. Кто упёрся первым, видно по столбцам CPU (решение 6) |
|
||||
| `cache_cpus`, `cache_memory` | `"2"`, `"512m"` | Valkey выполняет команды в одном потоке, и лимит в 2 CPU не даёт квоте cgroup притормаживать его вместе с фоновыми потоками. Данные ограничивает `maxmemory 64mb` из `valkey.conf`, остальное — запас на процесс |
|
||||
| `session_ttl_seconds` | `21600` | размер 1M с наполнением идёт до ~40 мин. Срок 3600 с по умолчанию на медленном хосте мог бы истечь посреди прогона и дать 401 |
|
||||
| `session_ttl_seconds` | `21600` | размер 500k с наполнением идёт ~20 мин на машине автора. На медленном хосте срок 3600 с по умолчанию мог бы истечь посреди прогона и дать 401 |
|
||||
| `sizes` (профиль `full`) | `10k, 100k, 500k` | вместо 1M лабы 1, по просьбе пользователя сократить прогон: ~30 мин вместо ~45. Диапазон ×50 достаточен, чтобы увидеть, растёт ли страница с длиной истории; 500k ≥ 100k трека 2 |
|
||||
| `prefill_chunk` | `25000` | вместо 50 000: на Postgres наполнение ~850 сообщ/с, и порция в 50 000 шла бы ~59 с, на границе требования «прогресс не реже раза в минуту». Заодно кривая наполнения в два раза подробнее |
|
||||
|
||||
Остальные настройки приложения — значения по умолчанию из
|
||||
`settings.py`: пул 10 + 5, таймауты и кэш. Их видно в паспорте
|
||||
@@ -142,9 +144,9 @@
|
||||
|
||||
Что даёт память Postgres при настройках образа. Свои буферы Postgres —
|
||||
128 МБ, остальное читается через кэш страниц ОС. Кэш страниц входит в
|
||||
лимит памяти cgroup контейнера. Таблица `messages` на 1M с индексами —
|
||||
ориентировочно 250–350 МБ, так что в 3 ГБ она помещается целиком
|
||||
вместе с WAL. Больший лимит без изменения `shared_buffers` результат
|
||||
лимит памяти cgroup контейнера. Таблица `messages` на 500k с индексами —
|
||||
ориентировочно 130–150 МБ (`bench_quick`: 272 байта на сообщение на
|
||||
10k), так что в 3 ГБ она помещается целиком вместе с WAL. Больший лимит без изменения `shared_buffers` результат
|
||||
не изменит. Настройка Postgres — Non-Goal.
|
||||
|
||||
**Бюджет VM.** Docker Desktop на машине автора — 12 CPU и 7,75 ГиБ.
|
||||
@@ -384,7 +386,7 @@ Postgres стенда запускается с `shared_preload_libraries=auto_e
|
||||
Гипотезы записываются в `REPORT.md` до запуска полной матрицы. По
|
||||
`bench.md` результат пишется как получился:
|
||||
|
||||
- **H1.** p50 чтения при той же конкуренции не растёт с 10k до 1M
|
||||
- **H1.** p50 чтения при той же конкуренции не растёт с 10k до 500k
|
||||
больше чем на величину шума: страница — keyset по индексу.
|
||||
`Buffers` средней и последней страницы того же порядка, что у первой,
|
||||
на всех размерах.
|
||||
@@ -392,7 +394,7 @@ Postgres стенда запускается с `shared_preload_libraries=auto_e
|
||||
порядка размера таблицы, время растёт линейно с N.
|
||||
- **H3.** На `c=10` и `c=50` чтение и запись упираются в CPU API
|
||||
(`app_cpu_cores` ≈ 1), а Postgres загружен меньше (`db_cpu_cores`).
|
||||
- **H4.** Скорость записи на кривой наполнения до 1M падает слабо:
|
||||
- **H4.** Скорость записи на кривой наполнения до 500k падает слабо:
|
||||
глубина B-дерева растёт логарифмически.
|
||||
|
||||
## Risks / Trade-offs
|
||||
@@ -401,14 +403,14 @@ Postgres стенда запускается с `shared_preload_libraries=auto_e
|
||||
пула или формат журнала другой] → маркеры начала и конца, ровно три
|
||||
ожидаемые записи, иначе отказ с размером. Первая задача реализации —
|
||||
проба на `bench_quick` до остального.
|
||||
- [Наполнение 1M через HTTP идёт дольше оценки (15–25 мин): запись —
|
||||
- [Наполнение 500k через HTTP идёт дольше оценки (~10 мин): запись —
|
||||
это ещё проверка сессии, вставка и commit с fsync на диске VM Docker]
|
||||
→ ETA в выводе пересчитывается по факту. Если полная матрица
|
||||
выходит заметно дольше часа, сказать пользователю до baseline, а не
|
||||
менять методику молча.
|
||||
- [Рабочие наборы 1M (таблица ~250–350 МБ с индексами) больше
|
||||
`shared_buffers` 128 МБ: часть чтений идёт из кэша ОС внутри лимита
|
||||
3 ГБ контейнера] → это свойство стенда, видно по `shared read` в
|
||||
выходит заметно дольше 30 минут, сказать пользователю, а не менять
|
||||
методику молча.
|
||||
- [Рабочий набор 500k (таблица с индексами ~130–150 МБ) около
|
||||
`shared_buffers` 128 МБ: часть чтений может идти из кэша ОС внутри
|
||||
лимита 3 ГБ контейнера] → это свойство стенда, видно по `shared read` в
|
||||
планах. Прогрев перед каждым прогоном и одинаковое обслуживание
|
||||
делают его одинаковым у меток. В ограничениях отчёта сказано, что
|
||||
настройки Postgres — по умолчанию.
|
||||
|
||||
@@ -57,9 +57,12 @@
|
||||
- `make bench_compare` проверяет методику по лимитам всех контейнеров,
|
||||
образам и настройкам Postgres и Valkey. Таблица памяти показывает
|
||||
байты на сообщение в БД.
|
||||
- **Базовый замер** `baseline` полной матрицы (10k, 100k, 1M) на
|
||||
закоммиченном коде. По нему в `REPORT.md` пишутся раздел экспериментов
|
||||
и строка уровня 4 «индекс истории и EXPLAIN».
|
||||
- **Матрица короче, чем на лабе 1:** размеры 10k, 100k и 500k вместо
|
||||
1M, порция наполнения 25 000 вместо 50 000. Полный прогон — около
|
||||
30 минут вместо 45. 500k ≥ 100k трека 2 и ≥ 10k уровня 4.
|
||||
- **Базовый замер** `baseline` полной матрицы на закоммиченном коде. По
|
||||
нему в `REPORT.md` пишутся раздел экспериментов и строка уровня 4
|
||||
«индекс истории и EXPLAIN».
|
||||
|
||||
## Capabilities
|
||||
|
||||
@@ -73,6 +76,7 @@
|
||||
- изменённые требования:
|
||||
- стенд из API, PostgreSQL и Valkey с миграциями, лимитами и
|
||||
свежим volume на каждый размер;
|
||||
- матрица: наибольший размер 500 000 вместо 1 000 000;
|
||||
- идентификация Bearer в сценариях;
|
||||
- обслуживание БД после наполнения;
|
||||
- метрики Postgres;
|
||||
@@ -104,6 +108,6 @@
|
||||
- `REPORT.md` — эксперименты, уровень 4, ограничения.
|
||||
- **Доказательства:** `evidence/bench/baseline/`, включая
|
||||
`explain-<размер>.txt`.
|
||||
- **Время хоста:** полная матрица на PostgreSQL — ориентировочно около
|
||||
часа (не измерено). Запуск — только с согласия пользователя и после
|
||||
- **Время хоста:** полная матрица на PostgreSQL — около 30 минут (оценка
|
||||
по скоростям `make bench_quick`). Запуск — только с согласия пользователя и после
|
||||
подготовки хоста (`bench.md`, «Результаты»).
|
||||
|
||||
@@ -17,8 +17,9 @@ MUST NOT сохраняться в результатах.
|
||||
|
||||
#### Scenario: Сессия не истекает за размер
|
||||
|
||||
- **WHEN** размер 1 000 000 от наполнения до последнего прогона идёт
|
||||
дольше часа
|
||||
- **WHEN** размер от наполнения до последнего прогона идёт дольше
|
||||
часа (срок сессии приложения по умолчанию), например на медленном
|
||||
хосте
|
||||
- **THEN** ответов 401 в его прогонах нет
|
||||
|
||||
#### Scenario: Секретов стенда нет в результатах
|
||||
@@ -165,7 +166,7 @@ MUST NOT публиковаться. Настройки приложения и
|
||||
### Requirement: Матрица и повторы
|
||||
|
||||
Полная матрица SHALL включать размеры истории 10 000, 100 000 и
|
||||
1 000 000 сообщений, уровни конкуренции 1, 10 и 50 одновременных
|
||||
500 000 сообщений, уровни конкуренции 1, 10 и 50 одновременных
|
||||
клиентов и оба сценария, по 3 измеряемых прогона на ячейку. Перед
|
||||
каждым измеряемым прогоном SHALL идти прогрев с той же нагрузкой, не
|
||||
входящий в результат.
|
||||
@@ -224,7 +225,7 @@ MUST NOT публиковаться. Настройки приложения и
|
||||
- CPU приложения и CPU PostgreSQL;
|
||||
- RSS в конце порции.
|
||||
|
||||
Так наполнение до 1 000 000 даёт кривую «запись при росте хранилища»
|
||||
Так наполнение до 500 000 даёт кривую «запись при росте хранилища»
|
||||
без дополнительного времени прогона. Новые метрики SHALL добавляться
|
||||
новыми столбцами в конце таблиц. Прежние столбцы MUST NOT
|
||||
переименовываться и удаляться.
|
||||
@@ -242,9 +243,9 @@ MUST NOT публиковаться. Настройки приложения и
|
||||
|
||||
#### Scenario: Кривая наполнения
|
||||
|
||||
- **WHEN** наполнение размера 1 000 000 завершено
|
||||
- **WHEN** наполнение размера 500 000 завершено
|
||||
- **THEN** в таблице наполнения есть строка на каждую порцию, от
|
||||
пустого хранилища до 1 000 000 сообщений, с RPS, p95, p99, max, CPU
|
||||
пустого хранилища до 500 000 сообщений, с RPS, p95, p99, max, CPU
|
||||
приложения и PostgreSQL и RSS
|
||||
|
||||
### Requirement: Достоверность прогона
|
||||
@@ -298,7 +299,7 @@ MUST NOT публиковаться. Настройки приложения и
|
||||
|
||||
#### Scenario: Где мы сейчас
|
||||
|
||||
- **WHEN** идёт наполнение размера 1M
|
||||
- **WHEN** идёт наполнение размера 500k
|
||||
- **THEN** в выводе не реже раза в минуту появляется строка с числом
|
||||
отправленных сообщений, скоростью и оценкой оставшегося времени
|
||||
|
||||
|
||||
@@ -192,7 +192,7 @@
|
||||
bench BENCH_LABEL=baseline`. Проверка:
|
||||
- код 0, `status: complete`, 54 прогона;
|
||||
- в паспорте `dirty: false`, без `host_warnings`;
|
||||
- файлы `explain-10k.txt`, `explain-100k.txt`, `explain-1M.txt`
|
||||
- файлы `explain-10k.txt`, `explain-100k.txt`, `explain-500k.txt`
|
||||
есть.
|
||||
|
||||
Предупреждение о хосте — переснять, а не игнорировать.
|
||||
@@ -204,7 +204,7 @@
|
||||
таблица результатов по ячейкам, ссылка на каталог, итог по H1–H4
|
||||
как получилось;
|
||||
- в разделе архитектуры — обоснование индекса истории: запрос,
|
||||
планы первой, средней и последней страницы на 10k / 100k / 1M,
|
||||
планы первой, средней и последней страницы на 10k / 100k / 500k,
|
||||
сравнение без индекса, ссылки на `explain-*.txt`;
|
||||
- строка уровня 4 «индекс истории и EXPLAIN» в таблице
|
||||
доказательств вместо TODO;
|
||||
|
||||
Reference in New Issue
Block a user