diff --git a/AGENTS.md b/AGENTS.md index 7b5fb908..81a17449 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -24,6 +24,8 @@ make limits # уровень 4: лимиты, порты, с make detection # уровень 4: время обнаружения SIGTERM/kill/pause/PostgreSQL против заявленного максимума make failover-each # уровень 4: каждая реплика по очереди под k6 (RATE=100) → evidence/failover-each make rolling-update [FROM_REV=<коммит>] # уровень 4: замена реплик по одной под k6, migrate один раз +make track1 # трек 1: снимок хоста, серии A (1x4/2x2/4x1) и B (1x1/2x1/8x1), до/после на 8x1, графики (≈2,5 ч) +make plots # трек 1: графики и сводка потолков из evidence/track1/*/summary.csv make down # остановка без удаления данных; make reset-data — намеренное удаление volumes ``` diff --git a/openspec/changes/add-lab3-scaling-cost/.openspec.yaml b/openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/.openspec.yaml similarity index 58% rename from openspec/changes/add-lab3-scaling-cost/.openspec.yaml rename to openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/.openspec.yaml index 1bb6456d..d151b931 100644 --- a/openspec/changes/add-lab3-scaling-cost/.openspec.yaml +++ b/openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/.openspec.yaml @@ -1,2 +1,4 @@ schema: spec-driven created: 2026-10-28 +archived: 2026-10-29 +lab: 3 diff --git a/openspec/changes/add-lab3-scaling-cost/design.md b/openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/design.md similarity index 100% rename from openspec/changes/add-lab3-scaling-cost/design.md rename to openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/design.md diff --git a/openspec/changes/add-lab3-scaling-cost/proposal.md b/openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/proposal.md similarity index 100% rename from openspec/changes/add-lab3-scaling-cost/proposal.md rename to openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/proposal.md diff --git a/openspec/changes/add-lab3-scaling-cost/specs/lab3-scaling-cost/spec.md b/openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/specs/lab3-scaling-cost/spec.md similarity index 97% rename from openspec/changes/add-lab3-scaling-cost/specs/lab3-scaling-cost/spec.md rename to openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/specs/lab3-scaling-cost/spec.md index ec801395..31f4e1d4 100644 --- a/openspec/changes/add-lab3-scaling-cost/specs/lab3-scaling-cost/spec.md +++ b/openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/specs/lab3-scaling-cost/spec.md @@ -75,8 +75,8 @@ #### Scenario: Под нагрузкой транзакции не ждут приложение -- **WHEN** выполняется `make track1-compare` на 8×1 при насыщающей интенсивности -- **THEN** у варианта «после» в `pg_stat_activity` среднее число соединений `idle in transaction` близко к нулю, ожиданий блокировки меньше, чем «до», а пик успешных RPS выше, чем «до», с непересекающимися интервалами повторов +- **WHEN** выполняется `make track1-compare` на 8×1 +- **THEN** у варианта «после» в `pg_stat_activity` среднее число соединений `idle in transaction` близко к нулю на любой интенсивности; ниже колена ожиданий блокировки и p95 меньше, чем «до»; за коленом пик успешных RPS выше, чем «до», с непересекающимися интервалами повторов #### Scenario: Отстающие часы реплики не ломают порядок diff --git a/openspec/changes/add-lab3-scaling-cost/tasks.md b/openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/tasks.md similarity index 100% rename from openspec/changes/add-lab3-scaling-cost/tasks.md rename to openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/tasks.md diff --git a/openspec/specs/lab3-scaling-cost/spec.md b/openspec/specs/lab3-scaling-cost/spec.md new file mode 100644 index 00000000..14a71ab4 --- /dev/null +++ b/openspec/specs/lab3-scaling-cost/spec.md @@ -0,0 +1,84 @@ +# lab3-scaling-cost Specification + +## Purpose +Определяет, как стенд измеряет цену горизонтального масштабирования API: сравнение числа реплик при фиксированном бюджете, рост ресурсов до насыщения общей зависимости, доказательства точки насыщения и подтверждение улучшения замером до и после. +## Requirements +### Requirement: Повторяемые серии одной командой + +Оператор SHALL запускать каждую серию трека одной командой `make` на поднятом стенде. Каждый шаг серии SHALL выполняться открытой нагрузкой постоянной интенсивности из сети балансировщика (тот же профиль, что на уровне «4»: 80 % отправок сообщения с уникальным `Idempotency-Key`, 20 % чтений первой страницы истории, новые синтетические пользователи и чаты на каждый прогон) с прогревом перед окном замера; метрики считаются только по окну замера. Каждая точка «конфигурация × интенсивность» SHALL повторяться не менее 3 раз. Серия SHALL дописывать строку на прогон в `summary.csv` и сохранять сырьё шага в отдельном каталоге. Прогон, на который повлияла посторонняя нагрузка на общей VM (CPU вне контейнеров стенда больше одного ядра, разрыв сэмплов больше 10 с или прогон k6 дольше нагрузки на 90 с), SHALL отбраковываться в `disturbed.csv` и повторяться после того, как VM успокоится. + +#### Scenario: Строка итогов на каждый прогон + +- **WHEN** выполняется `make track1-a` +- **THEN** в `evidence/track1/series-a/summary.csv` на каждую пару «конфигурация × интенсивность» есть не менее 3 строк с полями: конфигурация (реплики, CPU и память на реплику, воркеры, пул, очередь LB на реплику), предложенная интенсивность, номер повтора, успешные RPS, доля ошибок, сброшенные итерации, p50/p95/p99, CPU каждого компонента, память API, число соединений и ожиданий блокировок PostgreSQL, очередь LB, размер базы, признак насыщения + +#### Scenario: Сырьё шага сохранено + +- **WHEN** завершён любой шаг серии +- **THEN** в каталоге шага лежат итог k6 в JSON без токенов, сэмплы `docker stats`, статистики HAProxy и `pg_stat_activity` в CSV и топ запросов `pg_stat_statements` + +#### Scenario: Возмущённый прогон повторяется + +- **WHEN** во время прогона соседний стенд собирает образ и CPU VM вне контейнеров стенда превышает одно ядро +- **THEN** строка прогона попадает в `disturbed.csv`, а в `summary.csv` записывается повтор, сделанный после 15 с тишины + +#### Scenario: Генератор не мешает измерению + +- **WHEN** шаг завершился +- **THEN** CPU генератора нагрузки в строке итогов ниже его лимита, иначе шаг считается недостоверным и это видно по полю CPU генератора + +### Requirement: Фиксированный бюджет реплик + +Серия A SHALL сравнивать конфигурации 1×4, 2×2 и 4×1 (реплики × CPU на реплику) при одинаковом суммарном бюджете API 4 CPU и 2 GiB. Число воркеров реплики SHALL равняться её CPU, а суммарные пул соединений с БД и допустимая конкуренция LB к API SHALL быть одинаковыми во всех конфигурациях. Реплики API SHALL быть закреплены за одним и тем же набором из 4 CPU, а PostgreSQL, балансировщик, Valkey и генератор нагрузки — каждый за своими CPU с теми же лимитами во всех шагах. + +#### Scenario: Конфигурации равны по ресурсам + +- **WHEN** выполняется `make track1-a` +- **THEN** для каждой конфигурации `docker inspect` реплик даёт одинаковый набор CPU, а произведения «реплики × CPU», «реплики × память», «реплики × воркеры × пул» и «реплики × очередь LB на реплику» совпадают + +### Requirement: Рост ресурсов до насыщения + +Серия B SHALL наращивать число реплик 1→2→4→8 с постоянными ресурсами на реплику (1 CPU, 512 MiB, 1 воркер), повышая интенсивность каждой конфигурации, пока два шага подряд не окажутся насыщенными во всех повторах. Шаг SHALL считаться насыщенным, если доля ошибок больше 1 %, сброшенных итераций больше 1 % от предложенных или p95 больше 500 мс. Интенсивность SHALL считаться насыщенной, если насыщено большинство её повторов. Потолком конфигурации по SLO SHALL считаться наибольшая ненасыщенная интенсивность, а пиком — наибольшая медиана успешных RPS по всем интенсивностям. + +#### Scenario: Точка насыщения обоснована метриками + +- **WHEN** выполняется `make track1-b` +- **THEN** `evidence/track1/series-b/summary.csv` содержит потолок каждой конфигурации, а в каждой строке видны CPU PostgreSQL против его лимита, ожидания блокировок и активные соединения в `pg_stat_activity` против `max_connections` и суммарного пула, очередь и CPU балансировщика; по ним в отчёте названо насыщенное звено + +### Requirement: Графики из сырья + +Оператор SHALL строить графики трека одной командой из файлов `summary.csv` без повторного прогона нагрузки: успешные RPS и p95/p99 от предложенной интенсивности, потолок по конфигурациям, CPU по компонентам. + +#### Scenario: Графики построены + +- **WHEN** выполняется `make plots` +- **THEN** в `evidence/track1/plots/` появляются PNG-файлы: зависимость пропускной способности и задержек от нагрузки, потолок по конфигурациям и CPU по компонентам; точка — медиана повторов, разброс — минимум и максимум + +### Requirement: Подтверждённое улучшение + +Одно улучшение SHALL быть направлено против звена, найденного насыщенным в серии B, и SHALL подтверждаться замером до и после на той же конфигурации, с теми же ресурсами, профилем нагрузки и интенсивностями, не менее 3 повторов на точку. Улучшение SHALL считаться подтверждённым, только если его эффект больше разброса повторов: интервалы «минимум–максимум» до и после не пересекаются по потолку или по p95 на одной интенсивности. Публичные проверки уровней «3» и «4» после улучшения SHALL проходить. + +#### Scenario: До и после на одной конфигурации + +- **WHEN** выполняется `make track1-compare` +- **THEN** `evidence/track1/compare/summary.csv` содержит прогоны «до» и «после» на одинаковых интенсивностях с ≥3 повторами, и по ним видно, на сколько изменились потолок и p95 + +#### Scenario: Улучшение не ломает контракт + +- **WHEN** после внедрения улучшения выполняются `make test`, `make student-test` и `make lint` +- **THEN** все проходят + +### Requirement: Короткая критическая секция отправки сообщения + +Отправка сообщения SHALL держать блокировку строки чата только на время одной команды PostgreSQL: проверка участия, отметка времени не раньше последнего сообщения чата, запись ключа идемпотентности и сообщения SHALL выполняться одной атомарной командой без обращений к приложению между ними. Наблюдаемое поведение API (коды, тела, идемпотентность, порядок истории) SHALL NOT меняться. + +#### Scenario: Под нагрузкой транзакции не ждут приложение + +- **WHEN** выполняется `make track1-compare` на 8×1 +- **THEN** у варианта «после» в `pg_stat_activity` среднее число соединений `idle in transaction` близко к нулю на любой интенсивности; ниже колена ожиданий блокировки и p95 меньше, чем «до»; за коленом пик успешных RPS выше, чем «до», с непересекающимися интервалами повторов + +#### Scenario: Отстающие часы реплики не ломают порядок + +- **WHEN** часы реплики отстают от отметки последнего сообщения чата +- **THEN** новое сообщение получает `created_at` на 1 мкс позже последнего, а история остаётся упорядоченной по `(created_at, id)` +