forked from mtusi2026/mtusi2026lab3
Archive the scaling cost change
Track 1 of grade 5 is closed. At a fixed 4 CPU / 2 GiB the 1x4, 2x2 and 4x1 layouts peak at 5 375, 4 964 and 4 724 rps: within the hypothesised 15 percent, yet smaller replicas cost a third more CPU per request and reach a long tail earlier. Growing one-CPU replicas gives 1 720, 2 936, 4 724 and only 4 260 rps at eight, a retrograde curve with USL sigma 0.014 and kappa 0.038. The saturation point is the chat row lock in PostgreSQL: at eight replicas 47.5 of 64 connections wait for it while the API, the balancer and the database CPU still have room. Writing a message with one statement removed the application round trips from under the lock: p95 at 3 600 rps fell from 64.5 to 3.7 ms and the peak rose by 15 % with the same resources. The new lab3-scaling-cost spec is synced to openspec/specs, with the compare scenario stated as measured: below the knee fewer lock waits and a lower p95, past it a higher peak. AGENTS.md lists make track1 and make plots. The neighbour CPU sampler is stopped and its file closed. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01V1d3RLHNBBMA6UqBLLJv27
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
3e63b16ca6
commit
e88673dfec
@@ -24,6 +24,8 @@ make limits # уровень 4: лимиты, порты, с
|
||||
make detection # уровень 4: время обнаружения SIGTERM/kill/pause/PostgreSQL против заявленного максимума
|
||||
make failover-each # уровень 4: каждая реплика по очереди под k6 (RATE=100) → evidence/failover-each
|
||||
make rolling-update [FROM_REV=<коммит>] # уровень 4: замена реплик по одной под k6, migrate один раз
|
||||
make track1 # трек 1: снимок хоста, серии A (1x4/2x2/4x1) и B (1x1/2x1/8x1), до/после на 8x1, графики (≈2,5 ч)
|
||||
make plots # трек 1: графики и сводка потолков из evidence/track1/*/summary.csv
|
||||
make down # остановка без удаления данных; make reset-data — намеренное удаление volumes
|
||||
```
|
||||
|
||||
|
||||
+2
@@ -1,2 +1,4 @@
|
||||
schema: spec-driven
|
||||
created: 2026-10-28
|
||||
archived: 2026-10-29
|
||||
lab: 3
|
||||
+2
-2
@@ -75,8 +75,8 @@
|
||||
|
||||
#### Scenario: Под нагрузкой транзакции не ждут приложение
|
||||
|
||||
- **WHEN** выполняется `make track1-compare` на 8×1 при насыщающей интенсивности
|
||||
- **THEN** у варианта «после» в `pg_stat_activity` среднее число соединений `idle in transaction` близко к нулю, ожиданий блокировки меньше, чем «до», а пик успешных RPS выше, чем «до», с непересекающимися интервалами повторов
|
||||
- **WHEN** выполняется `make track1-compare` на 8×1
|
||||
- **THEN** у варианта «после» в `pg_stat_activity` среднее число соединений `idle in transaction` близко к нулю на любой интенсивности; ниже колена ожиданий блокировки и p95 меньше, чем «до»; за коленом пик успешных RPS выше, чем «до», с непересекающимися интервалами повторов
|
||||
|
||||
#### Scenario: Отстающие часы реплики не ломают порядок
|
||||
|
||||
@@ -0,0 +1,84 @@
|
||||
# lab3-scaling-cost Specification
|
||||
|
||||
## Purpose
|
||||
Определяет, как стенд измеряет цену горизонтального масштабирования API: сравнение числа реплик при фиксированном бюджете, рост ресурсов до насыщения общей зависимости, доказательства точки насыщения и подтверждение улучшения замером до и после.
|
||||
## Requirements
|
||||
### Requirement: Повторяемые серии одной командой
|
||||
|
||||
Оператор SHALL запускать каждую серию трека одной командой `make` на поднятом стенде. Каждый шаг серии SHALL выполняться открытой нагрузкой постоянной интенсивности из сети балансировщика (тот же профиль, что на уровне «4»: 80 % отправок сообщения с уникальным `Idempotency-Key`, 20 % чтений первой страницы истории, новые синтетические пользователи и чаты на каждый прогон) с прогревом перед окном замера; метрики считаются только по окну замера. Каждая точка «конфигурация × интенсивность» SHALL повторяться не менее 3 раз. Серия SHALL дописывать строку на прогон в `summary.csv` и сохранять сырьё шага в отдельном каталоге. Прогон, на который повлияла посторонняя нагрузка на общей VM (CPU вне контейнеров стенда больше одного ядра, разрыв сэмплов больше 10 с или прогон k6 дольше нагрузки на 90 с), SHALL отбраковываться в `disturbed.csv` и повторяться после того, как VM успокоится.
|
||||
|
||||
#### Scenario: Строка итогов на каждый прогон
|
||||
|
||||
- **WHEN** выполняется `make track1-a`
|
||||
- **THEN** в `evidence/track1/series-a/summary.csv` на каждую пару «конфигурация × интенсивность» есть не менее 3 строк с полями: конфигурация (реплики, CPU и память на реплику, воркеры, пул, очередь LB на реплику), предложенная интенсивность, номер повтора, успешные RPS, доля ошибок, сброшенные итерации, p50/p95/p99, CPU каждого компонента, память API, число соединений и ожиданий блокировок PostgreSQL, очередь LB, размер базы, признак насыщения
|
||||
|
||||
#### Scenario: Сырьё шага сохранено
|
||||
|
||||
- **WHEN** завершён любой шаг серии
|
||||
- **THEN** в каталоге шага лежат итог k6 в JSON без токенов, сэмплы `docker stats`, статистики HAProxy и `pg_stat_activity` в CSV и топ запросов `pg_stat_statements`
|
||||
|
||||
#### Scenario: Возмущённый прогон повторяется
|
||||
|
||||
- **WHEN** во время прогона соседний стенд собирает образ и CPU VM вне контейнеров стенда превышает одно ядро
|
||||
- **THEN** строка прогона попадает в `disturbed.csv`, а в `summary.csv` записывается повтор, сделанный после 15 с тишины
|
||||
|
||||
#### Scenario: Генератор не мешает измерению
|
||||
|
||||
- **WHEN** шаг завершился
|
||||
- **THEN** CPU генератора нагрузки в строке итогов ниже его лимита, иначе шаг считается недостоверным и это видно по полю CPU генератора
|
||||
|
||||
### Requirement: Фиксированный бюджет реплик
|
||||
|
||||
Серия A SHALL сравнивать конфигурации 1×4, 2×2 и 4×1 (реплики × CPU на реплику) при одинаковом суммарном бюджете API 4 CPU и 2 GiB. Число воркеров реплики SHALL равняться её CPU, а суммарные пул соединений с БД и допустимая конкуренция LB к API SHALL быть одинаковыми во всех конфигурациях. Реплики API SHALL быть закреплены за одним и тем же набором из 4 CPU, а PostgreSQL, балансировщик, Valkey и генератор нагрузки — каждый за своими CPU с теми же лимитами во всех шагах.
|
||||
|
||||
#### Scenario: Конфигурации равны по ресурсам
|
||||
|
||||
- **WHEN** выполняется `make track1-a`
|
||||
- **THEN** для каждой конфигурации `docker inspect` реплик даёт одинаковый набор CPU, а произведения «реплики × CPU», «реплики × память», «реплики × воркеры × пул» и «реплики × очередь LB на реплику» совпадают
|
||||
|
||||
### Requirement: Рост ресурсов до насыщения
|
||||
|
||||
Серия B SHALL наращивать число реплик 1→2→4→8 с постоянными ресурсами на реплику (1 CPU, 512 MiB, 1 воркер), повышая интенсивность каждой конфигурации, пока два шага подряд не окажутся насыщенными во всех повторах. Шаг SHALL считаться насыщенным, если доля ошибок больше 1 %, сброшенных итераций больше 1 % от предложенных или p95 больше 500 мс. Интенсивность SHALL считаться насыщенной, если насыщено большинство её повторов. Потолком конфигурации по SLO SHALL считаться наибольшая ненасыщенная интенсивность, а пиком — наибольшая медиана успешных RPS по всем интенсивностям.
|
||||
|
||||
#### Scenario: Точка насыщения обоснована метриками
|
||||
|
||||
- **WHEN** выполняется `make track1-b`
|
||||
- **THEN** `evidence/track1/series-b/summary.csv` содержит потолок каждой конфигурации, а в каждой строке видны CPU PostgreSQL против его лимита, ожидания блокировок и активные соединения в `pg_stat_activity` против `max_connections` и суммарного пула, очередь и CPU балансировщика; по ним в отчёте названо насыщенное звено
|
||||
|
||||
### Requirement: Графики из сырья
|
||||
|
||||
Оператор SHALL строить графики трека одной командой из файлов `summary.csv` без повторного прогона нагрузки: успешные RPS и p95/p99 от предложенной интенсивности, потолок по конфигурациям, CPU по компонентам.
|
||||
|
||||
#### Scenario: Графики построены
|
||||
|
||||
- **WHEN** выполняется `make plots`
|
||||
- **THEN** в `evidence/track1/plots/` появляются PNG-файлы: зависимость пропускной способности и задержек от нагрузки, потолок по конфигурациям и CPU по компонентам; точка — медиана повторов, разброс — минимум и максимум
|
||||
|
||||
### Requirement: Подтверждённое улучшение
|
||||
|
||||
Одно улучшение SHALL быть направлено против звена, найденного насыщенным в серии B, и SHALL подтверждаться замером до и после на той же конфигурации, с теми же ресурсами, профилем нагрузки и интенсивностями, не менее 3 повторов на точку. Улучшение SHALL считаться подтверждённым, только если его эффект больше разброса повторов: интервалы «минимум–максимум» до и после не пересекаются по потолку или по p95 на одной интенсивности. Публичные проверки уровней «3» и «4» после улучшения SHALL проходить.
|
||||
|
||||
#### Scenario: До и после на одной конфигурации
|
||||
|
||||
- **WHEN** выполняется `make track1-compare`
|
||||
- **THEN** `evidence/track1/compare/summary.csv` содержит прогоны «до» и «после» на одинаковых интенсивностях с ≥3 повторами, и по ним видно, на сколько изменились потолок и p95
|
||||
|
||||
#### Scenario: Улучшение не ломает контракт
|
||||
|
||||
- **WHEN** после внедрения улучшения выполняются `make test`, `make student-test` и `make lint`
|
||||
- **THEN** все проходят
|
||||
|
||||
### Requirement: Короткая критическая секция отправки сообщения
|
||||
|
||||
Отправка сообщения SHALL держать блокировку строки чата только на время одной команды PostgreSQL: проверка участия, отметка времени не раньше последнего сообщения чата, запись ключа идемпотентности и сообщения SHALL выполняться одной атомарной командой без обращений к приложению между ними. Наблюдаемое поведение API (коды, тела, идемпотентность, порядок истории) SHALL NOT меняться.
|
||||
|
||||
#### Scenario: Под нагрузкой транзакции не ждут приложение
|
||||
|
||||
- **WHEN** выполняется `make track1-compare` на 8×1
|
||||
- **THEN** у варианта «после» в `pg_stat_activity` среднее число соединений `idle in transaction` близко к нулю на любой интенсивности; ниже колена ожиданий блокировки и p95 меньше, чем «до»; за коленом пик успешных RPS выше, чем «до», с непересекающимися интервалами повторов
|
||||
|
||||
#### Scenario: Отстающие часы реплики не ломают порядок
|
||||
|
||||
- **WHEN** часы реплики отстают от отметки последнего сообщения чата
|
||||
- **THEN** новое сообщение получает `created_at` на 1 мкс позже последнего, а история остаётся упорядоченной по `(created_at, id)`
|
||||
|
||||
Reference in New Issue
Block a user