docs: report CPU and memory of failover and rollout profiles
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -24,7 +24,11 @@ PostgreSQL «too many clients», `scaling-improvement` — пул PostgreSQL
|
||||
«до/после» с A/A, засчитано с оговоркой). Лаба 3 закрыта: все шесть
|
||||
changes лабы 3, как и changes перехода на lab2, — в
|
||||
`openspec/changes/archive/`, `REPORT.md` заполнен, чистый clone
|
||||
проверен (`evidence/tests/clean-clone-final.md`); дальше — перенос в
|
||||
проверен (`evidence/tests/clean-clone-final.md`). После закрытия —
|
||||
седьмой change `profile-resources`: CPU и память каждого компонента
|
||||
по окнам профилей `failover` и `rollout` (сэмплер `scan`,
|
||||
`bench/resources.py`, метки `resources`); код приложения он не трогает,
|
||||
до archive — в `openspec/changes/`. Дальше — перенос в
|
||||
лабу 4 (раздел «Переход в следующую лабу»). Рабочий план лабы
|
||||
(`PLAN.md`) удалён, его решения — в `REPORT.md` и design архивных
|
||||
changes; последняя версия — `git show 063eedb:PLAN.md`. Стек:
|
||||
@@ -284,10 +288,10 @@ Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings, structlog
|
||||
| `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт |
|
||||
| `make bench_restore [RESTORE_LABEL=...]` | трек 2, восстановление (~20 мин, метка `restore` по умолчанию): тот же стенд и данные, без матрицы прогонов; на каждый размер — `pg_dump` во время записи через HTTP, активность после backup, `pg_restore -j` в новый контейнер Postgres на новом volume, сверка обеих баз построчно, переключение API, проверки через HTTP до и после `FLUSHALL`; время dump / restore / RTO и потерянные сообщения — в `summary.md` |
|
||||
| `make bench_restore_quick` | то же на 1k / 5k / 10k (~1,5 мин), метка `quick-restore-<время>`, в git не идёт; сценарий защиты трека 2 |
|
||||
| `make bench_failover [FAILOVER_LABEL=...]` | уровень 4, отказ реплик под нагрузкой (~6 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` с HAProxy и двумя репликами с лимитами рабочего стенда, k6 — 100 записей с ключом и 100 чтений в секунду; каждая реплика в режимах `stop`, `kill`, `pause` с возвратом. Посекундная шкала, время исключения из LB и восстановления, сверка записей после повтора с тем же ключом — `evidence/failover/<метка>/`. Перед запуском — проверка хоста (`bench.md`) |
|
||||
| `make bench_failover_quick` | то же короче, режимы `stop` и `kill` (~2 мин), метка `quick-failover-<время>`, в git не идёт |
|
||||
| `make bench_rollout [ROLLOUT_LABEL=...]` | уровень 4, поочерёдная замена под нагрузкой (~3 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` как у `bench_failover`, реплики на образе прежнего commit (`Profile.rollout_from`, `git archive`), та же нагрузка; посреди неё `scripts/rolling-update.sh` меняет их на образ текущего checkout. Посекундная шкала с ответами старых и новых реплик, шаги по репликам, контейнеры, образы и ревизия до и после, сверка записей — `evidence/rollout/<метка>/`. Перед запуском — проверка хоста (`bench.md`) |
|
||||
| `make bench_rollout_quick` | то же с короткими окнами (~2 мин), метка `quick-rollout-<время>`, в git не идёт |
|
||||
| `make bench_failover [FAILOVER_LABEL=...]` | уровень 4, отказ реплик под нагрузкой (~6 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` с HAProxy и двумя репликами с лимитами рабочего стенда, k6 — 100 записей с ключом и 100 чтений в секунду; каждая реплика в режимах `stop`, `kill`, `pause` с возвратом. Посекундная шкала, время исключения из LB и восстановления, сверка записей после повтора с тем же ключом, CPU и память каждого компонента по окнам фазы (сэмплер `scan`, `resources.csv`, `samples.csv`; CPU на запрос — только до действия) — `evidence/failover/<метка>/`. Перед запуском — проверка хоста (`bench.md`): питание, давление памяти, `Swapouts` без роста; сумма лимитов на пике больше CPU ВМ — код 2 |
|
||||
| `make bench_failover_quick` | то же короче, режимы `stop` и `kill` (~2 мин), с ресурсами, метка `quick-failover-<время>`, в git не идёт |
|
||||
| `make bench_rollout [ROLLOUT_LABEL=...]` | уровень 4, поочерёдная замена под нагрузкой (~3 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` как у `bench_failover`, реплики на образе прежнего commit (`Profile.rollout_from`, `git archive`), та же нагрузка; посреди неё `scripts/rolling-update.sh` меняет их на образ текущего checkout. Посекундная шкала с ответами старых и новых реплик, шаги по репликам, контейнеры, образы и ревизия до и после, сверка записей, CPU и память каждой старой и новой реплики, миграции и остальных компонентов по окнам до / подготовка / замена / после (CPU на запрос — до и после) — `evidence/rollout/<метка>/`. Перед запуском — проверка хоста (`bench.md`) |
|
||||
| `make bench_rollout_quick` | то же с короткими окнами (~2 мин), с ресурсами, метка `quick-rollout-<время>`, в git не идёт |
|
||||
| `make bench_scaling SERIES=a\|b\|pool\|ab\|db\|db4 [SCALING_LABEL=...] [RESUME=1]` | уровень 5, трек 1: серия на стенде `mtusi-bench` (метка `scaling-<серия>` по умолчанию). `a` — бюджет 4 CPU: 1 × 4, 2 × 2, 4 × 1 (~50 мин); `b` — 1…6 реплик по 1 CPU (~100 мин); `pool` — 4 реплики при `max_connections` 100 и 50 (~35 мин); `ab` — 1 × 1 и 6 × 1 для «до/после» и A/A (~35 мин); `db` — 1, 2, 4 реплики при PostgreSQL 0,5 CPU и контроль 4 × 1 при 2 CPU (~50 мин); `db4` — только 4 × 1 при 0,5 и 2 CPU (~25 мин, «до/после» `scaling-improvement`); `db_quick` — самопроверка серии `db` (~4 мин, метка `quick-*`). Ячейка — конфигурация × повтор (3), свежий стенд; открытая модель 70/20/10, фиксированные 250 и 500/с и поиск R* по SLO; сэмплер контейнеров, ВМ, LB и PostgreSQL. `RESUME=1` — продолжить прерванную метку на том же commit. Перед запуском — проверка хоста, рабочий стенд — `make stop`; метку коммитить до следующей серии (`bench.md`) |
|
||||
| `make bench_scaling_quick` | самопроверка серий: 1 × 1 и 2 × 1 при `max_connections` 50, короткие окна (~4 мин), метка `quick-scaling-<время>`, в git не идёт |
|
||||
| `make bench_plots LABELS="..." [PLOTS=scaling]` | графики SVG и сводка серий трека 1 из меток: R* от числа реплик, p95 от интенсивности, CPU по компонентам, эффективность и точка насыщения — `evidence/plots/<PLOTS>/` |
|
||||
@@ -354,10 +358,11 @@ student-tests/ # black-box тесты по HTTP (уровень 4)
|
||||
fault_hook.py # hook стенда отказов: stop/start/pause/unpause, кэш, триггеры сбоя участников и сообщений, заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions (stdlib)
|
||||
failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, LB), healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения)
|
||||
bench/ # нагрузочный стенд на HAProxy + N реплик API + Postgres + Valkey: make bench / bench_quick / bench_restore / bench_failover / bench_rollout / bench_scaling
|
||||
run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover, профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json
|
||||
run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover, профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker с exec_start), ресурсы профилей failover и rollout (Profile.sample_resources: сэмплер scan, карта контейнеров по меткам compose, окна, бюджет на пике, сторож), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json
|
||||
scaling.py # серии трека 1 без docker: лестница и автомат поиска R*, разбор итога k6 и строк сэмплера, агрегаты окна, вердикт SLO и брака генератора, признаки узкого места (THRESHOLDS), предельный CPU на запрос, сводка серии; --selftest
|
||||
plots.py # make bench_plots: SVG на stdlib (R* от числа реплик, p95 от интенсивности, CPU по компонентам) и сводка с точкой насыщения; render_series — графики в каталоге метки
|
||||
sampler.sh # сэмплер ячейки (только в контейнере mtusi-bench-sampler на образе PostgreSQL, --cgroupns host): cpu.stat, память и PSI контейнеров, /proc/stat и PSI ВМ, статистика HAProxy, psql \watch по pg_stat_activity / database / wal / io
|
||||
sampler.sh # сэмплер (только в контейнере mtusi-bench-sampler на образе PostgreSQL, --cgroupns host): режим list (серии) — cpu.stat, память и PSI заданных контейнеров, /proc/stat и PSI ВМ, статистика HAProxy, psql \watch по pg_stat_activity / database / wal / io; режим scan (failover, rollout) — обход cgroup всех контейнеров и /proc/stat, без сети, psql и LB
|
||||
resources.py # ресурсы профилей failover и rollout без docker: интервалы контейнеров (сброс при новой cgroup, заморозка, новые контейнеры с момента запуска), окна, CPU / троттлинг / память по компонентам и ВМ, CPU на запрос в установившихся окнах, resources.csv / samples.csv, разделы summary.md; --selftest
|
||||
failover.py # профиль failover без docker: строки k6 о запросах, статистика и журнал HAProxy, события Docker, посекундная шкала, величины фазы, summary.md
|
||||
rollout.py # профиль rollout без docker: строки скрипта замены, события контейнеров проекта, состояния слотов LB (UP, drain, maint, ready), шаги по репликам, шкала со старыми и новыми ответами, окна до / во время / после, summary.md
|
||||
bench.compose.yml # override стенда mtusi-bench: имена, BENCH_API_REPLICAS реплик api без container_name, haproxy с лимитами BENCH_LB_*, лимиты BENCH_* (deploy.resources), без портов и config.toml, auto_explain
|
||||
@@ -380,13 +385,13 @@ evidence/storage/ # отказы БД, пул, statement_timeout, р
|
||||
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции
|
||||
evidence/auth/ # пароли и токены в БД, срок сессии, TTL из конфига
|
||||
evidence/cache/ # попадания в кэш, отказ Valkey, FLUSHALL и рестарт
|
||||
evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md
|
||||
evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline
|
||||
evidence/idempotency/ # повтор, 409, гонка, таблица ключей, X-Instance-Id
|
||||
evidence/replicas/ # стенд с LB: порты, лимиты и их цена для Argon2id, окружение, распределение, ответы LB (нет реплик, зависшая, без PostgreSQL), test-persistence, чистый clone на нестандартных портах
|
||||
evidence/failover/ # make test-failover для каждой реплики (stop и kill), отказы stop-one.sh; замер обнаружения, keep-alive, зависшая реплика и ключ
|
||||
evidence/failover/<метка>/ # результаты make bench_failover: паспорт, phases.csv, посекундная timeline.csv, summary.md, итоги k6 и журнал LB по фазам
|
||||
evidence/failover/<метка>/ # результаты make bench_failover: паспорт, phases.csv, посекундная timeline.csv, summary.md, итоги k6 и журнал LB по фазам; с меткой resources — resources.csv (фаза × окно × компонент) и samples.csv (посекундно от действия)
|
||||
evidence/rollout/ # совместимость старого образа с новой схемой, make rolling_update и жизненный цикл стенда после замены, отказы скрипта (Ctrl+C, слоты, lock_timeout миграции)
|
||||
evidence/rollout/<метка>/ # результаты make bench_rollout: паспорт с контейнерами, образами и ревизией до и после, rollout.csv, replicas.csv, timeline.csv, summary.md, строки скрипта, журнал LB
|
||||
evidence/rollout/<метка>/ # результаты make bench_rollout: паспорт с контейнерами, образами и ревизией до и после, rollout.csv, replicas.csv, timeline.csv, summary.md, строки скрипта, журнал LB; с меткой resources — resources.csv (окно × компонент) и samples.csv (посекундно от начала замены)
|
||||
evidence/bench/<метка>/ # результаты make bench / bench_restore: паспорт, прогоны, наполнение, сводка (планы, стоимость записи, восстановление), планы explain-<размер>.txt, сырые итоги k6
|
||||
evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL; db4 — «до/после» пула без переполнения: scaling-db-aa*, -before*, -nooverflow*, окончательные — с суффиксом 2): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx
|
||||
evidence/plots/scaling/ # make bench_plots по сериям a и b: графики SVG и summary.md (R*, эффективность, точка насыщения, цена запроса, память)
|
||||
|
||||
@@ -9,8 +9,12 @@
|
||||
документы (`REPORT.md`, `AGENTS.md`, правила `.claude/rules/`,
|
||||
удалён `PLAN.md`), проза evidence и драйвер скилла
|
||||
`.claude/skills/run-mtusi-messenger/driver.py` за `make instances`
|
||||
(совместимость с `python3` 3.9); код приложения, `Dockerfile`,
|
||||
`pyproject.toml`, `uv.lock`, compose, конфигурации и скрипты — нет.
|
||||
(совместимость с `python3` 3.9), а change `profile-resources` поменял
|
||||
нагрузочный стенд `bench/` (сэмплер CPU и памяти в профилях `failover`
|
||||
и `rollout`) и комментарии целей `Makefile`; код приложения,
|
||||
`Dockerfile`, `pyproject.toml`, `uv.lock`, compose, конфигурации и
|
||||
скрипты — нет (`git diff --stat 67b4303 HEAD -- src Dockerfile
|
||||
docker-compose.yml scripts infra pyproject.toml uv.lock` пуст).
|
||||
- Использованные источники, библиотеки и помощь ИИ: раздел «Источники,
|
||||
библиотеки и использование ИИ» в конце отчёта.
|
||||
|
||||
@@ -25,6 +29,9 @@
|
||||
- поочерёдная замена реплик с дренажём через runtime API HAProxy,
|
||||
expand-миграция и профиль замены под нагрузкой — `rolling-update`
|
||||
(уровень «4»);
|
||||
- CPU и память каждого компонента по окнам профилей отказа и замены
|
||||
(сэмплер cgroup без сети, метки `resources`) — `profile-resources`
|
||||
(уровень «4», «CPU/RAM» минимального отчёта о нагрузке);
|
||||
- трек 1 «Цена масштабирования»: серии `a`, `b`, `pool`, `db`, A/A,
|
||||
графики, точка насыщения и ответ 503 на «too many clients» —
|
||||
`scaling-bench` (уровень «5»);
|
||||
@@ -651,6 +658,7 @@ SHA-256 тела; `created_at` с индексом; `CHECK` формата и д
|
||||
| Итоговая проверка из чистого clone по разделу «Запуск из чистого clone» (COURSE.md, «Что сдавать»: PR должен собираться из чистого clone по инструкции автора) | настоящий `git clone` commit `67b4303`, проект `mtusi-lab3` на портах по умолчанию: `make env_setup`, `make run_docker`, `make check`, `make validate`, `make test`, `make instances`, `make test-persistence`, `make test-failover` для каждой реплики (`stop`, затем `make replicas`; плюс `kill`), `make student_test`, `make failure_checks`, `make test_isolated`; `docker build --no-cache` | все команды — код 0 без правки файлов клона: `PASS` у публичных проверок, `instances: 2`, остановлены по очереди `0089ca350b2b` и `437292ccaf78` (ID = `TARGET_INSTANCE_ID`), первая запись через 0,99–1,0 с, неудачных попыток 0; после `restart.sh` те же ID с новым `StartedAt` у LB, реплик, Postgres и Valkey; 131 passed через LB, 17 проверок отказов, 127 passed + 4 пропуска с причиной в изоляции; образ без `.env` и `config.toml`, UID 10001 | `evidence/tests/clean-clone-final.md` |
|
||||
| Стенд `bench/`: отправки с ключом при восстановлении | `make bench_restore_quick` (самопроверка, не замер) | 1000 отправок во время backup на каждом размере, 0 неудачных; сообщений в исходной базе = подтверждённых отправок; сверка баз прошла | `evidence/tests/bench-restore-quick.md` |
|
||||
| «4»: rolling update (поочерёдная замена) проверен под нагрузкой | `make bench_rollout ROLLOUT_LABEL=baseline` (commit `9dcea0b`, код `de654a1`, хост проверен, рабочий стенд остановлен): 100 записей с ключом и 100 чтений в секунду, две реплики образа `c50b721` заменяются на образ текущего checkout тем же `scripts/rolling-update.sh`; на рабочем стенде (итоговый код `84161c0`) — `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0`, снова вперёд и две замены подряд под `tests/load.py`; быстрый профиль `make bench_rollout_quick` на `84161c0` | замена 8,9 с; **0 ошибок** из 24 002 запросов, доля успешных 1,0 в каждой секунде, p95 5 → макс. 11 мс; по шагам: новая `UP` в LB через 2,0–2,1 с после старта, дренаж старой 0,14–0,16 с, остановка 0,3–0,4 с; после вывода из LB старая не получила ни одного запроса; сообщений 12 001 = ключей 12 001. Рабочий стенд: 0 неуспешных из 21 043 / 16 687 / 18 480 / 27 278 запросов `tests/load.py`; старые реплики завершаются за 0,1 с с кодом 0 («Finished server process»); контейнеров прежних реплик после замены нет. Быстрый профиль на итоговом коде: замена 8,1 с, 0 ошибок, 7 301 = 7 301 | `evidence/rollout/baseline/summary.md`, `evidence/rollout/compatibility.md`, `evidence/tests/rolling-update-checks.md` |
|
||||
| «4»: CPU и память профилей отказа и замены (COURSE.md: CPU/RAM в отчёте о нагрузке) | `make bench_failover FAILOVER_LABEL=resources`, `make bench_rollout ROLLOUT_LABEL=resources` (код `2d267bf`, хост проверен, `Swapouts` без прироста, рабочий стенд остановлен): тот же профиль и сэмплер cgroup в режиме `scan` (0,25 CPU / 128 МиБ, без сети) на всё время нагрузки; самопроверки — быстрые профили, сторож (`docker rm -f` сэмплера посреди фазы) | `failover`, фазы 1–5: до действия реплика 0,28–0,31 ядра, PostgreSQL 0,09–0,10, ВМ 1,03–1,16 из 12; в окне отказа выжившая 0,37–0,43, цель 0 (у `pause` — 0 CPU при той же памяти); после возврата — запуск до 1,06 ядра; CPU на запрос до действия — API 2 810–3 136 мкс, PostgreSQL 432–478. `rollout`: API всего 0,57 → 0,82 ядра и 176 → 279 МиБ на пике замены (три реплики), ВМ 1,0 → 2,8 ядра на сборке; CPU на запрос до / после 2 876 / 2 895 мкс. Доступность та же, что у `baseline`: обнаружение в границах, восстановление ≤ 7 с, у замены 0 ошибок и 0 ответов старой после дренажа. Наблюдатель — 0,003 ядра, 2–3 МиБ, к стенду не обращается; сторож — код 1 с фазой, стенд убран | `evidence/failover/resources/`, `evidence/rollout/resources/` (`summary.md`, `resources.csv`, `samples.csv`), `evidence/tests/profile-resources-checks.md` |
|
||||
| «4»: миграции однократно и совместимы с работающей версией | реплики образа `c50b721` + миграция нового образа в контейнере сервиса `migrate` (команда скрипта), без замены; `make test`, `make student_test`; замена; `SELECT instance_id, count(*)` по сообщениям; миграция под чужой блокировкой и нагрузкой | новая ревизия `e656d6bbe1a4` (колонка `messages.instance_id`, NULL) при прежних репликах: `PASS`, 131 passed; запись прежней версии — NULL, новой — её `X-Instance-Id`; при замене одна миграция в контейнере `migrate` до первой новой реплики, в журналах реплик alembic нет; повторный запуск — no-op; откат кода без отката схемы (после отката `migrate` прежнего образа падает на новой ревизии — ограничение, описано); под чужой транзакцией `lock_timeout` 2 с → миграция падает с кодом 1, схема и реплики не тронуты, 6 запросов из очереди за ней — успешны за 2,0 с (с 5 с в apply — все 6 получили 503), повтор проходит | `evidence/rollout/compatibility.md`, `evidence/rollout/script-failures.md` |
|
||||
| Замена при сбое и неготовом стенде | остановленная реплика, `API_REPLICAS=3`, слоты в ручном `maint` / `drain`, `ROLLOUT_READY_TIMEOUT=1`, настоящий Ctrl+C (^C в псевдотерминал под `make`) во время дренажа и внутри `up --scale` под нагрузкой, порт 9999 LB из сети и с хоста | код 2 до сборки (для слотов — с командой возврата в `ready`); неготовая новая реплика удалена, работают 2 реплики `UP`; Ctrl+C во время дренажа — вывод старой доведён до удаления, внутри `up --scale` — новая реплика найдена и удалена (до исправления в verify оставалась третья реплика), 0 неуспешных запросов, повтор довёл замену; слоты LB без ручного состояния; канал управления LB из сети и с хоста — отказ соединения | `evidence/rollout/script-failures.md` |
|
||||
| `make run_docker` после пересборки | реплики на образе прежнего commit, `docker compose build api`, `docker compose --dry-run up -d`; `make run_docker` поверх заменённых реплик | compose пересоздаёт реплики с изменившимся образом, без изменений — не трогает (те же ID); пункт `KNOWN_ISSUES.md` не воспроизвёлся и закрыт | `evidence/rollout/compatibility.md` |
|
||||
@@ -679,9 +687,9 @@ SHA-256 тела; `created_at` с индексом; `CHECK` формата и д
|
||||
| 3 | повтор с тем же `Idempotency-Key` без дублей: конкурентный, при переключении реплики, неподтверждённая запись | «3»: повтор `POST`…; другое тело с тем же ключом; повтор через другой процесс; при переключении реплики; ключ переживает рестарт; неподтверждённую запись можно повторить; «4»: идемпотентность под параллельными запросами |
|
||||
| 3 | `make test`, persistence и failover проходят, ≥2 наблюдаемых реплики; hook подтверждён составом перезапущенных процессов | публичный smoke; «3»: `make test-persistence` с LB (`StartedAt` всех контейнеров до и после); «3»: отказ любой одной реплики (`STOP_ONE_LOG`, `docker compose ps -a`); failover hook не трогает чужое |
|
||||
| 4 | health/readiness, таймауты, SIGTERM согласованы; LB исключает недоступный backend; период проверок и максимальное время обнаружения | «4» (часть): LB исключает недоступный backend; «4»: health/readiness, таймауты и прекращение приёма при SIGTERM |
|
||||
| 4 | каждая реплика по очереди с восстановлением: RPS, ошибки, время восстановления; идемпотентность параллельными запросами | «4»: последовательная остановка каждой реплики…; «4»: идемпотентность под параллельными запросами |
|
||||
| 4 | каждая реплика по очереди с восстановлением: RPS, ошибки, время восстановления; идемпотентность параллельными запросами | «4»: последовательная остановка каждой реплики…; «4»: CPU и память профилей отказа и замены; «4»: идемпотентность под параллельными запросами |
|
||||
| 4 | лимиты CPU/RAM, порты API не наружу, секреты только где нужно, нет `container_name` | «4»: лимиты CPU/RAM…; порты из `.env` со стендом за LB |
|
||||
| 4 | rolling update под нагрузкой; миграции однократно и совместимы | «4»: rolling update…; «4»: миграции однократно и совместимы; замена при сбое и неготовом стенде |
|
||||
| 4 | rolling update под нагрузкой; миграции однократно и совместимы | «4»: rolling update…; «4»: CPU и память профилей отказа и замены; «4»: миграции однократно и совместимы; замена при сбое и неготовом стенде |
|
||||
| 5, трек 1 | 1/2/4 реплики при фиксированном бюджете; серия с ростом ресурсов | «5», трек 1: 1/2/4 реплики…; серия с ростом ресурсов |
|
||||
| 5, трек 1 | точка насыщения БД / LB / пула и почему рост перестаёт помогать | «5», трек 1: точка насыщения…; граница пула; точка насыщения БД |
|
||||
| 5, трек 1 | исходные данные, графики, одно подтверждённое улучшение; гипотеза, методика, ограничения | «5», трек 1: исходные данные и графики; уровень шума; одно подтверждённое улучшение (с оговоркой); раздел «Цена масштабирования» |
|
||||
@@ -713,22 +721,26 @@ Desktop 29.8.2, ВМ 12 vCPU / 7,7 GiB; перед каждым замером
|
||||
и выгрузок в swap (паспорта `meta.json`; у профиля `failover` счётчик
|
||||
выгрузок — в `evidence/failover/detection.md`, у `rollout` — только
|
||||
занятый swap, у меток попытки 2 улучшения — `Swapouts` 0 в начале и в
|
||||
конце без поля `swapouts_delta`, `KNOWN_ISSUES.md`). Версии — раздел «Запуск из
|
||||
конце без поля `swapouts_delta`, `KNOWN_ISSUES.md`; у меток `resources`
|
||||
обоих профилей — `Swapouts` в начале и в конце равны: 129 588 у
|
||||
`failover`, 157 300 у `rollout`, `host_warnings` пусты; прогон `rollout`
|
||||
с выгрузкой 7 236 страниц отброшен и переснят,
|
||||
`evidence/tests/profile-resources-checks.md`). Версии — раздел «Запуск из
|
||||
чистого clone». Сырые итоги k6, журналы LB и посекундные таблицы лежат
|
||||
рядом со сводками, без токенов и паролей.
|
||||
|
||||
| | Отказ реплик (`failover`) | Поочерёдная замена (`rollout`) | Трек 1 (`scaling_*`) |
|
||||
|---|---|---|---|
|
||||
| Гипотеза | `stop` и `kill` без ошибок недоступности, `pause` исключается ≤ 6,5 с, восстановление ≤ 10 с, без потерь и дублей | 0 ошибок при плановой замене, старая реплика после дренажа запросов не получает | H1–H4 (раздел «Цена масштабирования»), записаны до прогонов |
|
||||
| Лимиты | API 1 CPU / 512 МиБ × 2, PostgreSQL 2 CPU / 1 ГиБ, HAProxy 1 CPU / 256 МиБ, Valkey 0,5 CPU / 128 МиБ — как у рабочего стенда; k6 без лимита (`.claude/rules/bench.md`) | те же | реплики 1 × 4 … 6 × 1, PostgreSQL 2 или 0,5 CPU; k6 2 CPU / 1 ГиБ, сэмплер 0,25 CPU; сумма ≤ 12 vCPU |
|
||||
| Лимиты | API 1 CPU / 512 МиБ × 2, PostgreSQL 2 CPU / 1 ГиБ, HAProxy 1 CPU / 256 МиБ, Valkey 0,5 CPU / 128 МиБ — как у рабочего стенда; k6 без лимита (`.claude/rules/bench.md`); у меток `resources` — сэмплер 0,25 CPU / 128 МиБ, сумма 5,75 CPU из 12 | те же; на пике замены — три реплики, сумма с сэмплером 6,75 CPU / 3,0 GiB из 12 / 7,75 | реплики 1 × 4 … 6 × 1, PostgreSQL 2 или 0,5 CPU; k6 2 CPU / 1 ГиБ, сэмплер 0,25 CPU; сумма ≤ 12 vCPU |
|
||||
| Данные | чат чтения из 1 000 сообщений, отдельный чат записи | те же | чат чтения из 10 000 сообщений, 10 чатов записи |
|
||||
| Нагрузка | открытая модель, постоянная интенсивность: 100 записей с ключом + 100 чтений истории в секунду | та же | открытая модель 70/20/10 (история / запись / `users/me`): 250 и 500/с, затем поиск R* по ступеням |
|
||||
| Длительность, прогрев | фаза 15 с до действия (опорное окно) + 20 с до возврата + 15 с; 6 фаз, ~6 мин | 15 с до замены, замена 8,9 с, ≥ 15 с после; 24 002 запроса | прогрев 15 с (5 с подъёма между ступенями), окно 20 с |
|
||||
| Повторы | один прогон на фазу | один прогон | 3 повтора каждой конфигурации, свежий стенд на ячейку, A/A для шума |
|
||||
| Успешные RPS, ошибки | `stop`, `kill`: ~200/с, 0 ошибок; `pause`: 99–100/с в окне, 584–602 × 504 | 200/с, 0 ошибок | R* 630–2 034 запросов/с при ошибках ≤ 1 % |
|
||||
| p50 / p95 / p99 | фаза `stop` 1: 3,5 / 6,1 / 97,1 мс за прогон; p95 по секундам — до 505 мс в секунду действия | 3,3 / 5,0 / 9,7 мс за прогон | p50 / p95 / p99 на 500/с по конфигурациям — таблица R* (p50 1,7–2,1 мс у всех); на каждой ступени — `runs.csv` |
|
||||
| CPU / RAM | только лимиты, использование не снималось: профиль меряет доступность при отказе, цену запроса в CPU — трек 1 при тех же лимитах реплики | только лимиты, по той же причине | посекундно у каждого контейнера и ВМ (`samples.csv`), CPU на запрос по компонентам |
|
||||
| Файлы | `evidence/failover/baseline/` | `evidence/rollout/baseline/` | `evidence/bench/scaling-*/`, `evidence/plots/`, `evidence/compare/` |
|
||||
| CPU / RAM | метка `resources`, фазы 1–5 (ср. ядер): до действия реплика 0,28–0,31 (API всего 0,56–0,63), PostgreSQL 0,09–0,10, HAProxy 0,03, Valkey 0,01, k6 0,11–0,14, ВМ 1,03–1,16 из 12; в окне отказа выжившая реплика 0,37–0,43 (макс. 0,58), цель — 0; после возврата перезапущенная реплика 0,32–0,35 (макс. на старте 1,06). Пики памяти: реплика 87–127 МиБ из 512, PostgreSQL до 292 из 1 024, k6 до 420. CPU на успешный запрос до действия: API 2 810–3 136 мкс, PostgreSQL 432–478, ВМ 5 159–5 806. Фаза 06 — всплеск хоста в окне «до» (API 1,13) | метка `resources` (ср. ядер до / подготовка / замена / после): API всего 0,57 / 0,60 / 0,82 / 0,58 (макс. 1,64 в замене), миграция 0,08 за 1 с жизни, PostgreSQL 0,08–0,10, ВМ 1,02 / 2,77 / 2,34 / 1,03 (сборка образа); пик памяти API 176 → 279 МиБ при трёх репликах. CPU на запрос до / после: API 2 876 / 2 895 мкс, PostgreSQL 432 / 440 | посекундно у каждого контейнера и ВМ (`samples.csv`), CPU на запрос по компонентам |
|
||||
| Файлы | `evidence/failover/baseline/`, ресурсы — `evidence/failover/resources/` (`resources.csv`, `samples.csv`) | `evidence/rollout/baseline/`, ресурсы — `evidence/rollout/resources/` | `evidence/bench/scaling-*/`, `evidence/plots/`, `evidence/compare/` |
|
||||
|
||||
Ограничения каждого замера — в конце его раздела, сводно — «Ограничения
|
||||
и следующие шаги».
|
||||
@@ -826,6 +838,110 @@ PostgreSQL делят ВМ Docker. Один прогон на фазу. Инте
|
||||
ещё и ошибки перегрузки. Отказ узла, LB и PostgreSQL не воспроизводится
|
||||
(«Ограничения»).
|
||||
|
||||
#### Ресурсы (change `profile-resources`, метка `resources`)
|
||||
|
||||
**Методика.** `make bench_failover FAILOVER_LABEL=resources` — тот же
|
||||
профиль (нагрузка, фазы, окна, лимиты и пороги совпадают с `baseline`
|
||||
по паспортам), плюс наблюдатель:
|
||||
|
||||
- сэмплер `bench/sampler.sh` в режиме `scan` в своём контейнере
|
||||
(0,25 CPU / 128 МиБ без swap, без сети, без паролей): раз в секунду
|
||||
обходит cgroup всех контейнеров ВМ (`cpu.stat`, `memory.current`,
|
||||
`cpu.pressure`) и читает `/proc/stat` ВМ, на часах ВМ, как шкала фазы.
|
||||
К PostgreSQL и LB не обращается, процессов в контейнерах стенда не
|
||||
запускает; роли контейнерам назначает оркестратор по меткам compose,
|
||||
чужие cgroup отбрасываются;
|
||||
- окна фазы: до действия (от первого запроса + 2 с разгона k6), окно
|
||||
отказа (действие → возврат), после возврата (до последнего запроса).
|
||||
`docker start` после `stop` / `kill` — новая cgroup, её CPU считается с
|
||||
момента возврата; у `pause` CPU интервалов, задевающих заморозку,
|
||||
относится к её внешней части (моменты — события Docker);
|
||||
- ячейка — среднее CPU за окно (CPU-секунды / длина окна) и наибольшее
|
||||
посекундное, пик памяти cgroup (с кэшем файлов) по отсчётам. CPU на
|
||||
успешный запрос — только до действия: в окне отказа CPU идёт на
|
||||
ошибки, ожидание зависшей реплики и повторы LB, после возврата — на
|
||||
запуск процесса, и делитель «успешные» с этим не связан;
|
||||
- бюджет: сумма лимитов стенда и сэмплера 5,75 CPU / 2,5 GiB из
|
||||
12 / 7,75; k6 без лимита — его CPU в таблице.
|
||||
|
||||
Commit `309a00d` (код `2d267bf`), чистое дерево; хост проверен
|
||||
(питание от сети, свободно 61 %, давления нет, посторонних контейнеров
|
||||
нет, `Swapouts` 129 588 в начале и в конце). Один прогон.
|
||||
|
||||
**Результат** (`evidence/failover/resources/summary.md`,
|
||||
`resources.csv`, `samples.csv`), средние ядра; «макс.» — посекундный
|
||||
максимум; фазы 1–5 — диапазон, фаза 06 — отдельно:
|
||||
|
||||
| Компонент | До действия | Окно отказа | После возврата | Пик памяти, МиБ (лимит) |
|
||||
|---|---|---|---|---|
|
||||
| реплика-цель | 0,28–0,31 (макс. 0,34–0,54) | `stop`/`kill` — 0 (контейнера нет), `pause` — 0,000 | 0,32–0,35 (макс. 0,97–1,06 — запуск) | 87–127 (512) |
|
||||
| вторая реплика | 0,29–0,31 | 0,37–0,43 (макс. 0,47–0,52) | 0,31–0,33 | 98–127 (512) |
|
||||
| API всего | 0,56–0,63 | 0,37–0,43 | 0,64–0,68 (макс. 1,45–1,54) | 190–254 (сумма) |
|
||||
| PostgreSQL | 0,09–0,10 | 0,07–0,08 | 0,09–0,12 | 199–292 (1 024) |
|
||||
| HAProxy | 0,03 | 0,02 | 0,03 | 57–64 (256) |
|
||||
| Valkey | 0,01 | 0,01 | 0,01 | 47–57 (128) |
|
||||
| k6 (без лимита) | 0,11–0,14 | 0,08–0,09 | 0,10–0,12 | 341–420 |
|
||||
| сэмплер | 0,003 | 0,003 | 0,003 | 2–3 (128) |
|
||||
| ВМ, занятые ядра из 12 | 1,03–1,16 (макс. 1,58–2,45) | 0,75–0,88 | 1,10–1,22 | — |
|
||||
|
||||
CPU на успешный запрос до действия (≈ 200 успешных в секунду), мкс, фазы
|
||||
1–5: API всего 2 810–3 136, PostgreSQL 432–478, HAProxy 153–175, k6
|
||||
554–690, ВМ 5 159–5 806. С трека 1 эти числа напрямую не сравниваются:
|
||||
другая смесь (50 % записи и 50 % чтения страницы чата из 1 000 сообщений
|
||||
против 70/20/10 и чата из 10 000).
|
||||
|
||||
Фаза `06-pause-r2`: первые ~6 с окна «до действия» — всплеск у всех
|
||||
компонентов сразу (реплики по 0,8–0,97 ядра с троттлингом CFS,
|
||||
PostgreSQL до 0,46, k6 до 1,3, ВМ до 4,3 ядра), p95 до действия 729 мс
|
||||
при 0 ошибок. Сэмплер — 0,01 ядра, выгрузок в swap за прогон не было.
|
||||
Причина не установлена, похоже на хост; средние «до» этой фазы (API
|
||||
всего 1,13, CPU на запрос 5 653 мкс) в диапазоны выше не включены.
|
||||
|
||||
**Доступность рядом с `baseline`** (`phases.csv` обеих меток):
|
||||
|
||||
| Фаза | Исключение LB, с | Ошибки в окне отказа | Восстановление, с | Возврат в LB, с | Ошибки после | Сообщений = ключей |
|
||||
|---|---|---|---|---|---|---|
|
||||
| `stop` 1 | 1,06 / 0,45 | 0 / 0 | 0 / 0 | 1,73 / 1,98 | 0 / 0 | 5 001 / 5 001 |
|
||||
| `stop` 2 | 1,01 / 0,96 | 0 / 0 | 0 / 0 | 1,21 / 1,29 | 0 / 0 | 10 002 / 10 002 |
|
||||
| `kill` 1 | 1,81 / 0,66 | 0 / 1 × 502 | 0 / 0 | 1,16 / 0,87 | 0 / 0 | 15 002 / 15 003 |
|
||||
| `kill` 2 | 0,79 / 1,02 | 0 / 1 × 502 | 0 / 0 | 1,75 / 0,98 | 0 / 0 | 20 003 / 20 004 |
|
||||
| `pause` 1 | 6,00 / 6,16 | 602 / 618 × 504 | 6 / 7 | 1,53 / 1,70 | 0 / 0 | 25 004 / 25 004 |
|
||||
| `pause` 2 | 5,83 / 6,23 | 584 / 624 × 504 | 6 / 7 | 1,53 / 1,77 | 0 / 0 | 30 005 / 30 005 |
|
||||
|
||||
Условия различаются: commit `459f84c` → `2d267bf` (код приложения с тех
|
||||
пор — колонка `messages.instance_id`, 503 на «too many clients», пул
|
||||
10 + 0, runtime API в `haproxy.cfg`), другая сессия хоста (2026-10-10 →
|
||||
2026-10-12), наблюдатель. Поведение то же: обнаружение в пределах
|
||||
границы (2,5 / 6,5 с), восстановление ≤ 7 с, после возврата ошибок нет,
|
||||
сверка сошлась. Одиночные 502 в фазах `kill` — гонка keep-alive
|
||||
(`evidence/failover/keep-alive.md`, 0–4 на фазу в самопроверках),
|
||||
восстановление `pause` 7 с против 6 — в пределах разброса одного
|
||||
прогона. Влияние наблюдателя этим сравнением не отделяется: различаются
|
||||
и код, и сессия хоста.
|
||||
|
||||
**Накладные расходы наблюдения:** 0,003 ядра и 2–3 МиБ (16 мкс из
|
||||
~5 100 мкс ВМ на запрос), ни соединений, ни запросов к стенду.
|
||||
|
||||
**Вывод.** Запас до лимитов большой: реплика при 100 + 100/с берёт
|
||||
~0,3 ядра из 1 и ~0,4 после отказа второй, ~100–127 МиБ из 512;
|
||||
PostgreSQL — 0,1 ядра из 2; ВМ занята на ~1 ядро из 12. Отказ реплики
|
||||
стоит выжившей +30–40 % CPU, а не вдвое: в окне отказа всего API тратит
|
||||
меньше (0,37–0,43 против 0,56–0,63) — почему, этот замер не разделяет
|
||||
(у `pause` к тому же половина запросов висит на замороженной).
|
||||
Перезапуск — около секунды на пределе 1 CPU (импорт и старт uvicorn);
|
||||
новый процесс начинает с ~87 МиБ против ~100 до остановки. Замороженная
|
||||
реплика CPU не тратит, её память держится (104–106 МиБ, колебание
|
||||
±2 МиБ — буферы сокетов входящих соединений в cgroup); после разморозки
|
||||
она растёт до 126–127 МиБ — разбор накопленных за 20 с соединений.
|
||||
|
||||
**Ограничения:** один прогон на фазу; разрешение 1 с (CPU после
|
||||
последнего отсчёта перед остановкой не виден, первый интервал после
|
||||
`docker start` — до 1,06 ядра: счёт cgroup начинается чуть раньше
|
||||
события `start`); память — `memory.current` cgroup с кэшем файлов, пик по
|
||||
отсчётам; пропорциональное деление граничных интервалов (в окнах ≤ 3 с
|
||||
заметно, в окнах 15–20 с — нет); генератор, стенд и наблюдатель делят
|
||||
один хост.
|
||||
|
||||
### Поочерёдная замена под нагрузкой (change `rolling-update`)
|
||||
|
||||
**Гипотеза** (design `rolling-update`, решения 2–4):
|
||||
@@ -901,6 +1017,101 @@ swap занят 920 МиБ и за прогон не менялся (`meta.json`
|
||||
займёт больше времени, но на шаги замены не влияет: она идёт до
|
||||
миграции.
|
||||
|
||||
#### Ресурсы (change `profile-resources`, метка `resources`)
|
||||
|
||||
**Методика.** `make bench_rollout ROLLOUT_LABEL=resources` — тот же
|
||||
профиль и тот же сэмплер `scan`, что у `failover` (раздел выше): обход
|
||||
cgroup видит третью реплику и контейнер миграции с первого тика после их
|
||||
запуска, без перезапуска наблюдения. Окна (секунды от начала замены —
|
||||
создания контейнера миграции):
|
||||
|
||||
- до — от первого запроса + 2 с до первого обращения скрипта к стенду
|
||||
(`exec_start` в событиях проекта, кроме проверок здоровья);
|
||||
- подготовка — проверки скрипта и сборка образа из кэша до начала
|
||||
замены;
|
||||
- замена — до удаления последней старой реплики;
|
||||
- после — до последнего запроса.
|
||||
|
||||
CPU на запрос — только до и после: в подготовке и замене CPU идёт на
|
||||
сборку, миграцию, старт третьей реплики, дренаж и остановку — цену
|
||||
процедуры. Бюджет на пике (три реплики + сэмплер) — 6,75 CPU / 3,0 GiB
|
||||
из 12 / 7,75; k6 без лимита.
|
||||
|
||||
Commit `309a00d` (код `2d267bf`), чистое дерево; хост проверен
|
||||
(питание от сети, свободно 72–75 %, давления нет, посторонних
|
||||
контейнеров нет, `Swapouts` 157 300 в начале и в конце). Первый прогон
|
||||
отброшен: во время него хост выгрузил в swap 7 236 страниц
|
||||
(`host_warnings`), замена шла 12,0 с, p95 во время замены — 337 мс;
|
||||
переснят после освобождения памяти хоста
|
||||
(`evidence/tests/profile-resources-checks.md`). Один прогон.
|
||||
|
||||
**Результат** (`evidence/rollout/resources/summary.md`,
|
||||
`resources.csv`), ср. / макс. ядер; пик памяти, МиБ; в скобках —
|
||||
сколько секунд окна контейнер существовал:
|
||||
|
||||
| Компонент | До (−14,1…−1,1 с) | Подготовка (−1,1…0 с) | Замена (0…7,35 с) | После (7,35…104 с) |
|
||||
|---|---|---|---|---|
|
||||
| старая `97e43c2595ec` | 0,29 / 0,33; 88 | 0,30 / 0,31; 89 | 0,27 / 0,31; 91 | — |
|
||||
| старая `bc2139090257` | 0,29 / 0,37; 88 | 0,30 / 0,31; 89 | 0,15 / 0,30; 90 (4,2 с) | — |
|
||||
| новая `83ea4a71fb8d` | — | — | 0,25 / 0,84; 103 (6,2 с) | 0,29 / 0,36; 119 |
|
||||
| новая `5ae2ed238ef5` | — | — | 0,15 / 1,02; 72 (1,8 с) | 0,29 / 0,38; 92 |
|
||||
| API всего | 0,57 / 0,64; 176 | 0,60 / 0,62; 177 | 0,82 / 1,64; **279** | 0,58 / 0,71; 212 |
|
||||
| миграция (лимит 0,5 CPU / 256 МиБ) | — | — | 0,08 / 1,52*; 97 (1,0 с) | — |
|
||||
| PostgreSQL | 0,09 / 0,11; 225 | 0,08 / 0,08; 225 | 0,10 / 0,13; 236 | 0,09 / 0,16; 240 |
|
||||
| HAProxy | 0,03 / 0,05; 59 | 0,06 / 0,06; 60 | 0,06 / 0,08; 61 | 0,03 / 0,07; 63 |
|
||||
| Valkey | 0,01 / 0,02; 37 | 0,01 / 0,01; 36 | 0,01 / 0,02; 36 | 0,01 / 0,02; 37 |
|
||||
| k6 (без лимита) | 0,11 / 0,28; 351 | 0,09 / 0,09; 350 | 0,09 / 0,28; 386 | 0,10 / 0,40; 459 |
|
||||
| сэмплер | 0,00; 3 | 0,00; 2 | 0,00; 2 | 0,00; 2 |
|
||||
| ВМ, занятые ядра из 12 | 1,02 / 1,81 | **2,77 / 3,16** | **2,34 / 3,35** | 1,03 / 2,34 |
|
||||
|
||||
\* Первый интервал миграции — доли секунды от события `start` до отсчёта:
|
||||
CPU запуска контейнера до события попадает в него, и посекундное
|
||||
значение завышено. Во второй секунде миграция упирается в свой лимит:
|
||||
0,52 ядра, троттлинг CFS 424 мс/с (`samples.csv`).
|
||||
|
||||
CPU на успешный запрос (≈ 200 в секунду), мкс, до / после: API всего
|
||||
2 876 / 2 895, PostgreSQL 432 / 440, HAProxy 156 / 126, Valkey 54 / 50,
|
||||
k6 559 / 488, сэмплер 16 / 16, ВМ 5 110 / 5 141. Новая версия (с
|
||||
колонкой `messages.instance_id`) обслуживает запрос за то же CPU, что
|
||||
прежняя: разница меньше 1 %, в пределах одного прогона.
|
||||
|
||||
**Доступность рядом с `baseline`** (`rollout.csv`, `replicas.csv`):
|
||||
|
||||
| | `baseline` (код `de654a1`) | `resources` (код `2d267bf`) |
|
||||
|---|---|---|
|
||||
| Замена целиком, с | 8,9 | 7,35 |
|
||||
| Ошибки до / во время / после | 0 / 0 / 0 | 0 / 0 / 0 |
|
||||
| p95 до / макс. во время, мс | 5 / 11 | 5 / 7 |
|
||||
| Первый ответ новой / последний старой, с | 4,05 / 8,3 | 3,95 / 6,74 |
|
||||
| Ответов старой после дренажа | 0 | 0 |
|
||||
| Шаг 1: старт → `UP` / дренаж / остановка / целиком, с | 2,08 / 0,16 / 0,42 / 3,21 | 1,77 / 0,14 / 0,31 / 3,07 |
|
||||
| Шаг 2 | 2,03 / 0,14 / 0,33 / 3,13 | 0,90 / 0,14 / 0,33 / 1,90 |
|
||||
| Сообщений = ключей | 12 001 | 12 001 |
|
||||
|
||||
Условия различаются: код `de654a1` → `2d267bf` (пул 10 + 0, 503 на «too
|
||||
many clients», `lock_timeout` миграции 2 с, правки путей сбоя скрипта),
|
||||
сессия хоста, наблюдатель. Поведение то же: ни одной ошибки, старая
|
||||
реплика после дренажа запросов не получает, шаги не дольше. Шаг 2 короче
|
||||
— новая реплика прошла проверки LB за 0,9 с; это разброс момента первой
|
||||
проверки (`inter` 1 с), а не изменение.
|
||||
|
||||
**Накладные расходы наблюдения** — те же 0,003 ядра и 2–3 МиБ, к стенду
|
||||
не обращается.
|
||||
|
||||
**Вывод.** Цена замены — в ВМ, а не в репликах: на подготовке и замене
|
||||
ВМ занята на 2,3–2,8 ядра вместо ~1 (сборка образа из кэша идёт в
|
||||
BuildKit вне контейнеров стенда, плюс старт третьей реплики и
|
||||
миграция), API всего — 0,82 ядра против 0,57 и 279 МиБ памяти на пике
|
||||
(три реплики) против 176. До лимитов далеко: новая реплика на старте
|
||||
берёт до 1 ядра из своего 1 CPU около секунды, PostgreSQL на миграции —
|
||||
0,13 ядра из 2. В свой лимит упирается только миграция (0,5 CPU,
|
||||
троттлинг 42 % в её единственную полную секунду), но живёт она около
|
||||
секунды.
|
||||
|
||||
**Ограничения:** один прогон; окна подготовки (1,1 с) и миграции (~1 с)
|
||||
короче нескольких отсчётов, их средние грубые; холодная сборка не
|
||||
мерилась; остальное — как у `failover`.
|
||||
|
||||
### Цена масштабирования (трек 1, change `scaling-bench`)
|
||||
|
||||
Уровень «5», трек 1 `README.md`. Гипотезы записаны и закоммичены до
|
||||
@@ -1771,6 +1982,14 @@ CHANGE=scaling-improvement`
|
||||
- **Учебные упрощения:** один Docker-host; все замеры — на нём же
|
||||
вместе с генератором; один прогон на фазу у профилей уровня «4»;
|
||||
`X-Instance-Id` — hostname контейнера (непрозрачный alias — лаба 7).
|
||||
- **CPU / RAM уровня «4»** (метки `resources`) — один прогон на фазу и
|
||||
одна замена, отсчёты раз в секунду: CPU последней доли секунды перед
|
||||
остановкой не виден, первый интервал после запуска контейнера завышен
|
||||
(счёт cgroup — с создания, начало интервала — событие `start`); память
|
||||
— `memory.current` cgroup с кэшем файлов, пик по отсчётам. Всплеск
|
||||
хоста в окне «до» фазы `06-pause-r2` не объяснён. Хост между прогонами
|
||||
уходил в давление на память (18 ГиБ на ВМ 7,75 GiB и приложения
|
||||
пользователя): прогон `rollout` с выгрузкой в swap отброшен и переснят.
|
||||
- **Подтверждено:** цепочка таймаутов и время обнаружения (замер по
|
||||
режимам), отсутствие ошибок при плановой замене; в треке 1 — граница
|
||||
пула (H3), насыщение PostgreSQL управляемым опытом (серия `db`) и
|
||||
@@ -1798,7 +2017,8 @@ CHANGE=scaling-improvement`
|
||||
(`KNOWN_ISSUES.md`); пинг соединения только после простоя (design
|
||||
`scaling-improvement`, решение 6); причинная проба хоста («грелка» на
|
||||
6 vCPU); фоновая уборка ключей в worker лабы 5; повтор замеров уровня
|
||||
«4» с несколькими прогонами на фазу; пункты `KNOWN_ISSUES.md`
|
||||
«4» с несколькими прогонами на фазу (и ресурсов — с распределением, а
|
||||
не одним значением); пункты `KNOWN_ISSUES.md`
|
||||
(evidence лабы 2 в исключениях сверки покрытия, буфер событий Docker в
|
||||
профиле `failover`).
|
||||
|
||||
@@ -2184,7 +2404,8 @@ structlog, SQLAlchemy, asyncpg, alembic, argon2-cffi, redis-py, uvicorn
|
||||
|
||||
**Использование ИИ.** Инструмент — Claude Code, модель Claude Opus 5.5.
|
||||
Работа велась по changes OpenSpec (`openspec/changes/archive/`, шесть
|
||||
changes лабы 3). Каждый change проходил этапы propose → apply → verify →
|
||||
changes лабы 3, и седьмой — `profile-resources`, CPU и память профилей
|
||||
уровня «4», после закрытия лабы). Каждый change проходил этапы propose → apply → verify →
|
||||
правки по verify и archive. Каждый этап выполнял отдельный субагент,
|
||||
основная сессия координировала: передавала этапы, проверяла итоги,
|
||||
присылала автору прогресс. Все commit после skeleton помечены
|
||||
|
||||
@@ -0,0 +1,356 @@
|
||||
# Проверки change `profile-resources`: CPU и память профилей отказа и замены
|
||||
|
||||
| | |
|
||||
|---|---|
|
||||
| Спек | `load-benchmark`: «Ресурсы профилей отказа и замены» (все сценарии), «Ресурсы профилей отказа и замены в отчёте», «Профиль отказа реплик» — «Ресурсы фазы», «Реплика остановлена или заморожена», «Быстрый профиль»; «Профиль поочерёдной замены» — «Ресурсы замены», «Новая реплика с первых секунд», «Быстрый профиль» |
|
||||
| Change | `profile-resources`, задачи 1.1–9.1 |
|
||||
| Дата | 2026-10-12, 14:30–16:05 UTC |
|
||||
| Commit | до change — `417fdd2`; код — `6505b5e` (сэмплер `scan`, `resources.py`, оркестратор) и `2d267bf` (CPU вокруг `pause`, найдено на первом полном прогоне); метки: `evidence/failover/resources/` — `309a00d` (код `2d267bf`), `evidence/rollout/resources/` — `9c4249d` (снята на `309a00d`, код `2d267bf`); отчёт — commit с этим файлом |
|
||||
| Стенд | `mtusi-bench` (HAProxy, две реплики с лимитами рабочего стенда, PostgreSQL, Valkey, k6, сэмплер `mtusi-bench-sampler`); рабочий `mtusi-lab3` — в пробе 1.1, в отладке 5.2 (посторонние контейнеры) и для цены запроса `psql` |
|
||||
| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64, Apple M3 Pro, 18 ГиБ; ВМ Docker 12 CPU, 7,75 GiB (8 319 238 144 Б), cgroup v2 |
|
||||
|
||||
Код приложения, compose, `Dockerfile`, скрипты и конфигурации change не
|
||||
трогал:
|
||||
|
||||
```text
|
||||
$ git diff --stat 417fdd2 9c4249d -- src Dockerfile docker-compose.yml scripts infra pyproject.toml uv.lock
|
||||
(пусто)
|
||||
```
|
||||
|
||||
Поэтому `make test`, `make student_test`, `make test_isolated` и
|
||||
`make failure_checks` не перезапускались (design, решение 12).
|
||||
|
||||
## Статические проверки и самотесты (5.1)
|
||||
|
||||
```text
|
||||
$ make lint → All checks passed! (дважды, COM812)
|
||||
$ uv run python bench/resources.py --selftest → selftest ok
|
||||
$ uv run python bench/scaling.py --selftest → selftest ok # разбор строк сэмплера не тронут
|
||||
$ bash -n bench/sampler.sh → exit 0
|
||||
$ make check → PASS: offline skeleton structure, local refs and Python syntax
|
||||
```
|
||||
|
||||
Самотест `resources.py` (синтетические строки сэмплера через
|
||||
`scaling.parse_samples`): непрерывный контейнер; `stop` → пропуск тиков →
|
||||
`start` со сбросом счётчика (в окне отказа CPU 0 и `absent`, после
|
||||
возврата — CPU от момента запуска); пауза (прирост 0, память та же) и
|
||||
заморозка из событий (CPU интервала разморозки — после `unpause`); новая
|
||||
реплика с первого тика после запуска; деление интервала на границе окна;
|
||||
ложный пропуск тиков без сброса — продолжение; чужой ID отброшен и
|
||||
посчитан; `api-total` и пик суммарной памяти; ВМ; CPU на запрос только в
|
||||
установившемся окне; профиль замены — роли старых и новых, `migrate`
|
||||
`absent`, пустое окно подготовки; рендер обоих разделов.
|
||||
|
||||
## Проба режима `scan` (1.1)
|
||||
|
||||
Без оркестратора, против работающего рабочего стенда: контейнер на
|
||||
образе PostgreSQL стенда, `--cgroupns host --network none --cpus 0.25
|
||||
--memory 128m`, `bash /sampler.sh 1 scan`, ~3,5 с, затем `docker rm -f`.
|
||||
|
||||
```text
|
||||
пробный сэмплер 5fd3d451960a; работающие mtusi-lab3: bc8cbe991e97 0da806f7a03e 0105b1dcf4cd 7763df52c1b5 73394304f856
|
||||
samples.log: по 4 строки `cg <нс> - <id12> …` у всех шести, 4 строки `vm`, строк `lb` — 0; pg-samples.log нет
|
||||
cg 1791815061296199000 - 0105b1dcf4cd 598214070 120071 1259 64102954 79572992 13372661
|
||||
```
|
||||
|
||||
`git diff bench/sampler.sh`: ветка `list` (серии) по-прежнему запускает
|
||||
`psql \watch` и `lb_lines`; в `scan` — только обход
|
||||
`/sys/fs/cgroup/docker/<64 hex>/` и строка `vm`.
|
||||
|
||||
## Бюджет (3.1)
|
||||
|
||||
```text
|
||||
$ uv run python -c "...run.level4_budget(run.PROFILES['failover'], 12, 8*2**30); ...(run.PROFILES['rollout'], 4, 8*2**30)"
|
||||
{'cpus': 5.75, 'memory_gib': 2.5, 'peak_replicas': 2, 'vm_cpus': 12, 'vm_memory_gib': 8.0, 'generator': 'no limit'}
|
||||
{'cpus': 6.75, 'memory_gib': 3.0, 'peak_replicas': 3, 'vm_cpus': 4, 'vm_memory_gib': 8.0, 'generator': 'no limit'}
|
||||
```
|
||||
|
||||
Второй — больше 4 CPU ВМ: в `main()` это отказ с кодом 2 до стенда. В
|
||||
паспортах меток — `resources.budget`: 5,75 CPU / 2,5 GiB (failover) и
|
||||
6,75 / 3,0 (rollout, три реплики на пике) из 12 / 7,75.
|
||||
|
||||
## Сводка без ресурсов не изменилась (3.4)
|
||||
|
||||
Скрипт в scratchpad: старые `failover.py` и `rollout.py` из `git show
|
||||
HEAD:` (до change) и новые, `render_summary` без `resources` на одних
|
||||
синтетических данных (две фазы × 17 с шкалы, один шаг замены, 35 с
|
||||
шкалы):
|
||||
|
||||
```text
|
||||
failover equal: True 3711
|
||||
rollout equal: True 4387
|
||||
```
|
||||
|
||||
## Быстрые профили на рабочем дереве (5.2, до коммита кода)
|
||||
|
||||
Рабочий стенд `mtusi-lab3` работал — его 5 контейнеров были
|
||||
«посторонними» для сценария «Контейнер вне стенда».
|
||||
|
||||
`make bench_failover_quick` → `quick-failover-20261012T143533Z`. Во время
|
||||
фаз:
|
||||
|
||||
```text
|
||||
$ docker top mtusi-bench-sampler
|
||||
root 46989 46966 0 14:35 ? 00:00:00 bash /sampler.sh 1 scan
|
||||
root 47428 46989 0 14:36 ? 00:00:00 sleep 1
|
||||
$ docker inspect -f '{{.HostConfig.NetworkMode}}' mtusi-bench-sampler
|
||||
none
|
||||
```
|
||||
|
||||
- `meta.json`: `limits.sampler` — `nano_cpus` 250000000, `memory`
|
||||
134217728 (= `memory_swap`); `resources.budget.cpus` 5.75;
|
||||
`resources.unmapped` 5 = число `other_containers` (5 контейнеров
|
||||
`mtusi-lab3`).
|
||||
- `resources.csv` — 108 строк (4 фазы × 3 окна × 9 ролей); ID рабочего
|
||||
стенда нет ни там, ни в `samples.csv` (696 строк).
|
||||
- `api-target` в окне отказа — `present_s` 0, среднее 0 (`absent`) во
|
||||
всех фазах; после возврата снова есть, посекундный максимум
|
||||
1,02–1,08 ядра: первый интервал после `docker start` (импорт Python на
|
||||
пределе 1 CPU; счёт новой cgroup идёт с её создания, а интервал — от
|
||||
события `start`, оно чуть позже). «Всей истории» контейнера (сотни
|
||||
секунд CPU) в одном интервале нет.
|
||||
- В каждом окне занятые ядра ВМ ≥ 0,95 × суммы средних компонентов (до
|
||||
действия: 1,12 против 0,87; 1,10 / 0,74; 0,96 / 0,74; 2,07 / 1,20).
|
||||
- Среднее посекундных `cpu_cores` против `cpu_mean_cores` у PostgreSQL и
|
||||
HAProxy — в пределах 10 % в фазах 1–3; в 04-kill-r2 — 14–33 %: окно
|
||||
«до» быстрого профиля 3 с, а граничный интервал (−0,81; 0,22] — всплеск
|
||||
у всех сразу (ВМ 2,44 ядра). Пропорциональное деление относит его долю к
|
||||
окну, посекундное среднее граничный интервал не берёт; ошибки расчёта
|
||||
нет.
|
||||
- Найдено: в коротком окне среднее с долями граничных интервалов бывало
|
||||
больше «максимума» (максимум брал только интервалы с концом внутри
|
||||
окна). Поправка до коммита: максимум — по всем интервалам, задевающим
|
||||
окно.
|
||||
- `summary.md` — «Ресурсы по фазам», «CPU на успешный запрос до
|
||||
действия» с причиной пустых ячеек, таблица «компонент × окно» в каждой
|
||||
фазе.
|
||||
|
||||
`make bench_rollout_quick` → `quick-rollout-20261012T143915Z`:
|
||||
|
||||
- окна `before`, `prepare`, `during`, `after`; `rollout.script_start_at`
|
||||
есть — через 5 с после первого запроса, как запуск скрипта;
|
||||
- строки `api-old` × 2, `api-new` × 2, `migrate` (видна 0,65 с,
|
||||
`partial`);
|
||||
- первая строка новых реплик в `samples.csv` — через 0,82 и 0,89 с после
|
||||
`new_created_s`;
|
||||
- пик суммарной памяти API: до 157,6 МиБ, во время замены 235,6 МиБ;
|
||||
- CPU на запрос только в `before` и `after`;
|
||||
- `raw/rollout-script.log` без ошибок, сверка 7 301 = 7 301.
|
||||
|
||||
Найдено: проверки здоровья PostgreSQL, Valkey и HAProxy (раз в 5 с) тоже
|
||||
дают `exec_start` в событиях проекта:
|
||||
|
||||
```text
|
||||
$ docker events --filter label=com.docker.compose.project=mtusi-lab3 --filter event=exec_start --since 12s --until 0s …
|
||||
…|exec_start: /bin/sh -c pg_isready -h 127.0.0.1 -U "$POSTGRES_USER" -d "$POSTGRES_DB"|mtusi-lab3-postgres-1
|
||||
…|exec_start: bash -c exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\r\n\r\n' >&3 && head -n 1 <&3 | grep -q ' 200 '|mtusi-lab3-haproxy-1
|
||||
…|exec_start: /bin/sh -c test "$(valkey-cli -p "$VALKEY_PORT" ping)" = PONG|mtusi-lab3-valkey-1
|
||||
```
|
||||
|
||||
Поэтому начало подготовки — первое `exec_start` проекта после первого
|
||||
запроса, кроме действий проверок здоровья (`Stand.healthcheck_actions`
|
||||
из `Config.Healthcheck.Test` контейнеров, `rollout.script_start`).
|
||||
|
||||
## Быстрые профили на закоммиченном коде (6.1)
|
||||
|
||||
Цепочка `make bench_quick && make bench_restore_quick && make
|
||||
bench_failover_quick && make bench_rollout_quick && make
|
||||
bench_scaling_quick` дважды: на `6505b5e` (рабочий стенд работал) и на
|
||||
итоговом коде `2d267bf` (рабочий стенд остановлен). Обе — `chain-exit=0`.
|
||||
|
||||
| Метка (`2d267bf`) | Итог | `git` | Предупреждения |
|
||||
|---|---|---|---|
|
||||
| `quick-20261012T150909Z` | complete, 18/18 | `2d267bf`, `dirty: false` | — |
|
||||
| `quick-restore-20261012T151243Z` | complete | `2d267bf`, `dirty: false` | — |
|
||||
| `quick-failover-20261012T151501Z` | complete, 4/4 | `2d267bf`, `dirty: false` | — |
|
||||
| `quick-rollout-20261012T151706Z` | complete, 1/1 | `2d267bf`, `dirty: false` | — |
|
||||
| `quick-scaling-20261012T151838Z` | complete, 2/2 | `2d267bf`, `dirty: false` | — |
|
||||
|
||||
- Серия: роли `samples.csv` — `api`, `haproxy`, `k6`, `postgres`,
|
||||
`valkey`, `vm` (прежние); в `runs.csv` заполнены `db_commits_per_s`
|
||||
(49,7 … 210,4) и `lb_scur_max` (1 … 263) — режим `list` с `psql` и
|
||||
опросом LB работает как раньше. (В первой цепочке у серии было
|
||||
предупреждение о swap — рабочий стенд работал; быстрые метки в git не
|
||||
идут.)
|
||||
- Быстрый `failover`: `unmapped` 0, 108 строк; `api-target` в окне отказа
|
||||
— `present_s` 0 (в `04-kill-r2` — 1,05 с, 0,005 ядра, 7,1 МиБ: cgroup
|
||||
убитой реплики жила ещё ~1 с); ошибки 0 / 0 / 1 / 1 (502 гонки
|
||||
keep-alive), восстановление 0, сверка.
|
||||
- Быстрый `rollout`: замена 9,24 с, ошибок 0, сверка 7 300; первая строка
|
||||
новых реплик — через 0,81 и 1,03 с после создания; пик памяти API
|
||||
161 → 243 МиБ.
|
||||
- `git status --porcelain` после цепочки пуст: метки `quick-*` — в
|
||||
`.gitignore`.
|
||||
|
||||
## Сторож (6.2)
|
||||
|
||||
`make bench_failover_quick`; после строки `phase 01-stop-r1: stop …`
|
||||
(14:55:52 UTC) — `docker rm -f mtusi-bench-sampler`:
|
||||
|
||||
```text
|
||||
[00:00:20] phase 01-stop-r1: stop c8b70a209086 (api-2)
|
||||
[00:00:30] phase 01-stop-r1: start c8b70a209086
|
||||
[00:00:40] bench failed: phase 01-stop-r1: sampler mtusi-bench-sampler stopped during the load: resources not measured
|
||||
[00:00:41] incomplete: 0/4 runs, results in evidence/failover/quick-failover-20261012T145530Z
|
||||
make: *** [bench_failover_quick] Error 1
|
||||
```
|
||||
|
||||
`meta.json`: `status: incomplete`, `reason` — та же строка с фазой и
|
||||
сэмплером. `docker ps -a --filter name=mtusi-bench` — пусто, volume
|
||||
проекта — 0.
|
||||
|
||||
## Проверки хоста и `Swapouts`
|
||||
|
||||
| Замер | Время (UTC) | Питание | Память (`memory_pressure`, уровень) | Контейнеры | Нагрузка 1/5/15 | Spotlight | `Swapouts` до → после |
|
||||
|---|---|---|---|---|---|---|---|
|
||||
| `failover`, первый прогон (`6505b5e`, отброшен) | 15:00:58 | AC | 55 %, 1 (в 14:56 — 35 %, уровень 2: ждал) | нет | 2,82 / 4,18 / 4,82 | 0 % | 107 616 → 107 616 |
|
||||
| `failover`, метка `resources` (`2d267bf`) | 15:28:11 | AC | 61 %, 1 (в 15:22 — 40 %, уровень 2: ждал) | нет | 2,50 / 4,52 / 4,64 | 0 % | 129 588 → 129 588 |
|
||||
| `rollout`, прогон со swap (`309a00d`, отброшен) | 15:38:05 | AC | 54 %, 1 | нет | 2,23 / 3,45 / 4,15 | 0 % | 150 064 → 157 300 |
|
||||
| `rollout`, метка `resources` (`309a00d`) | 15:54:45 | AC | 72 %, 1 (пользователь закрыл PyCharm и Chrome) | нет | 3,69 / 3,33 / 3,58 | 0,4 % | 157 300 → 157 300 |
|
||||
|
||||
Zoom не запущен ни разу; ВМ — 12 CPU / 7,75 GiB. После каждого прогона
|
||||
давление на память хоста поднималось до уровня 2, и `Swapouts` росли,
|
||||
пока система освобождала память (107 616 → 129 588 → 150 064), — поэтому
|
||||
перед каждым замером ждал уровня 1, свободной памяти ≥ 50 % и
|
||||
неизменных `Swapouts`. Метки в git — только с `swapouts` в начале и в
|
||||
конце равными и пустыми `host_warnings`.
|
||||
|
||||
## Отброшенные прогоны
|
||||
|
||||
- **`failover` на `6505b5e`.** Прошёл чисто, но проверка «у фаз `pause`
|
||||
`api-target` в окне отказа — среднее < 0,01 ядра» не прошла: 0,0121 и
|
||||
0,0109, посекундный максимум 0,76 / 0,81. В самих замороженных
|
||||
интервалах прирост 0; часть работы до `pause` и всплеск после
|
||||
`unpause` пропорциональное деление относило к окну отказа. Поправка
|
||||
`2d267bf`: CPU интервала, задевающего начало или конец заморозки
|
||||
(моменты — события Docker), относится к её внешней части. Доступность
|
||||
этого прогона: LB out `stop` / `kill` 0,10–1,64 с, один 502, `pause`
|
||||
5,56 / 6,47 с (граница 6,5), 504: 558 / 649, восстановление 6 / 7 с,
|
||||
ошибок после возврата 0, сверка 30 003.
|
||||
- **`rollout` со swap на `309a00d`.** `host_warnings: host swapped out
|
||||
7236 pages during the run: rerun` (`Swapouts` 150 064 → 157 300, swap
|
||||
1 128 → 1 241 МиБ). Замена 12,01 с, p95 во время замены 337 мс, шаги
|
||||
3,90 / 3,94 с; ошибок 0, ответов старых после дренажа 0. Переснят после
|
||||
освобождения памяти: 7,35 с, p95 7 мс — разница согласуется с выгрузкой
|
||||
в swap.
|
||||
|
||||
## Полный `failover` — `evidence/failover/resources/` (7.2)
|
||||
|
||||
`make bench_failover FAILOVER_LABEL=resources`, 15:28–15:34 UTC.
|
||||
|
||||
- `meta.json`: `status: complete`, `git` `2d267bf`, `dirty: false`;
|
||||
`host_warnings` пуст, `slept_seconds` 0, `swapouts` 129 588 = 129 588;
|
||||
`other_containers` пуст, `resources.unmapped` 0; `limits.sampler`
|
||||
0,25 CPU / 128 МиБ без swap; `limits.k6` — `nano_cpus` 0 (без лимита).
|
||||
- 6 фаз в `phases.csv`; `resources.csv` — 162 строки (6 × 3 × 9);
|
||||
`samples.csv` — 2 312.
|
||||
- `pause`, `api-target` в окне отказа: среднее 0,0 и 0,0, максимум 0,0;
|
||||
пик памяти 104,3 / 105,9 МиБ против 102,2 / 103,9 до действия. По
|
||||
секундам память замороженной реплики ходит 101,9 → 104,3 → 102,7 МиБ
|
||||
при CPU 0 — сокетные буферы ядра входящих соединений LB, учтённые в
|
||||
cgroup.
|
||||
- Наблюдение: в фазе `06-pause-r2` первые ~6 с окна «до действия»
|
||||
(−12…−8 с) — всплеск у всех компонентов сразу: реплики по 0,8–0,97
|
||||
ядра с троттлингом CFS до 108 мс/с, PostgreSQL до 0,46, k6 до 1,3, ВМ
|
||||
до 4,3 ядра; p95 до действия — 729 мс, ошибок нет. Сэмплер — 0,01
|
||||
ядра, `swapouts` за прогон 0. Причина не установлена: всё сразу —
|
||||
похоже на хост. Поэтому в отчёте фазы 1–5 и 06 — отдельно.
|
||||
|
||||
## Полный `rollout` — `evidence/rollout/resources/` (8.2)
|
||||
|
||||
`make bench_rollout ROLLOUT_LABEL=resources`, 15:54:53–15:57:15 UTC.
|
||||
|
||||
- `meta.json`: `status: complete`, `git` `309a00d`, `dirty: false`;
|
||||
`host_warnings` пуст, `swapouts` 157 300 = 157 300 (`swapouts_delta`
|
||||
0), `other_containers` пуст, `resources.unmapped` 0;
|
||||
`rollout.script_start_at` 15:55:26.524; бюджет 6,75 CPU / 3,0 GiB,
|
||||
три реплики на пике.
|
||||
- `rollout.csv`, `replicas.csv` (2 шага), `timeline.csv`;
|
||||
`resources.csv` — 48 строк (4 окна × 12: две старые, две новые,
|
||||
`api-total`, `migrate`, `postgres`, `haproxy`, `valkey`, `k6`,
|
||||
`sampler`, `vm`); `samples.csv` — 967.
|
||||
- Первая строка новых реплик в `samples.csv` — через 0,10 и 0,71 с после
|
||||
`new_created_s` (2,05 → 2,15; 5,45 → 6,16).
|
||||
|
||||
## Паспорта новых меток против `baseline`
|
||||
|
||||
Плоские ключи `meta.profile` и `meta.limits`: общих ключей с разными
|
||||
значениями — **0** у обоих профилей. Ключи только в новых метках:
|
||||
|
||||
- `profile`: `sample_resources` (признак наблюдения), `sampler_cpus`,
|
||||
`sampler_memory`, `sample_interval_s` и поля серий трека 1 (`series`,
|
||||
`configs`, `mix`, `fixed_rps`, `generator_cpus` = `''` …), появившиеся
|
||||
после `baseline`; у `failover` ещё поля `rollout_*` (добавлены change
|
||||
`rolling-update` после `failover/baseline`);
|
||||
- `limits`: `sampler.*` (лимит наблюдателя), `k6.*` (`nano_cpus` 0 — без
|
||||
лимита, как и было) и `max_connections` 100 (записывается с change
|
||||
`scaling-bench`).
|
||||
|
||||
Нагрузка (100 + 100/с), окна фаз и замены, лимиты стенда
|
||||
(API 1 / 512m × 2, PostgreSQL 2 / 1g, HAProxy 1 / 256m, Valkey 0,5 /
|
||||
128m) и пороги совпадают.
|
||||
|
||||
## Доступность против `baseline` (7.3, 8.3)
|
||||
|
||||
`failover` (`baseline` — `459f84c`, 2026-10-10 / `resources` —
|
||||
`2d267bf`, 2026-10-12; числа `phases.csv`):
|
||||
|
||||
| Фаза | Исключение LB, с | Причина | Ошибки в окне отказа | Мин. доля | Восстановление, с | p95 до / макс. в окне, мс | Возврат в LB, с | Ошибки после | Повтор записей | Сообщений = ключей |
|
||||
|---|---|---|---|---|---|---|---|---|---|---|
|
||||
| 01-stop-r1 | 1,06 / 0,45 | DNS / DNS | 0 / 0 | 1 / 1 | 0 / 0 | 5, 505 / 10, 73 | 1,73 / 1,98 | 0 / 0 | 0 / 0 | 5 001 / 5 001 |
|
||||
| 02-stop-r2 | 1,01 / 0,96 | DNS / DNS | 0 / 0 | 1 / 1 | 0 / 0 | 4, 505 / 7, 506 | 1,21 / 1,29 | 0 / 0 | 0 / 0 | 10 002 / 10 002 |
|
||||
| 03-kill-r1 | 1,81 / 0,66 | DNS / DNS | 0 / 1 × 502 | 1 / 0,995 | 0 / 0 | 4, 505 / 5, 506 | 1,16 / 0,87 | 0 / 0 | 0 / 1 → 1 | 15 002 / 15 003 |
|
||||
| 04-kill-r2 | 0,79 / 1,02 | DNS / проверки (Layer4) | 0 / 1 × 502 | 1 / 0,995 | 0 / 0 | 5, 505 / 5, 506 | 1,75 / 0,98 | 0 / 0 | 0 / 0 | 20 003 / 20 004 |
|
||||
| 05-pause-r1 | 6,00 / 6,16 | проверки | 602 / 618 × 504 | 0,5 / 0,5 | 6 / 7 | 5, 104 / 8, 39 | 1,53 / 1,70 | 0 / 0 | 240 / 285 | 25 004 / 25 004 |
|
||||
| 06-pause-r2 | 5,83 / 6,23 | проверки | 584 / 624 × 504 | 0,5 / 0,5 | 6 / 7 | 4, 150 / 729, 75 | 1,53 / 1,77 | 0 / 0 | 584 / 294 | 30 005 / 30 005 |
|
||||
|
||||
- Требование `load-balancing` выполнено: обнаружение не выше границы
|
||||
(2,5 / 6,5 с; максимум 6,23), восстановление ≤ 7 с, ошибок после
|
||||
возврата 0, сверка сошлась; пропусков итераций k6 нет.
|
||||
- По классам решения 10: одиночный 502 в двух фазах `kill` — гонка
|
||||
keep-alive (0–4 на фазу, `keep-alive.md`), разброс; восстановление
|
||||
`pause` 7 с против 6 — не расхождение (порог > 7 с); p95 до действия
|
||||
фазы 06 — 729 мс, всплеск хоста (выше).
|
||||
|
||||
`rollout` (`baseline` — код `de654a1` / отброшенный со swap / `resources`):
|
||||
|
||||
| | `baseline` | со swap (отброшен) | `resources` |
|
||||
|---|---|---|---|
|
||||
| Замена, с | 8,9 | 12,01 | 7,35 |
|
||||
| Сборка / миграция, с | 0 / 2 | 1 / 2 | 0 / 2 |
|
||||
| Ошибки до / во время / после | 0 / 0 / 0 | 0 / 0 / 0 | 0 / 0 / 0 |
|
||||
| Мин. доля успешных | 1,0 | 1,0 | 1,0 |
|
||||
| p95 до / макс. во время, мс | 5 / 11 | 8 / 337 | 5 / 7 |
|
||||
| Первый ответ новой / последний старой, с | 4,05 / 8,3 | 4,35 / 11,14 | 3,95 / 6,74 |
|
||||
| Ответов старых после дренажа | 0 | 0 | 0 |
|
||||
| Шаг 1: старт → `UP` / дренаж / остановка / целиком, с | 2,08 / 0,16 / 0,42 / 3,21 | 2,03 / 0,18 / 0,62 / 3,90 | 1,77 / 0,14 / 0,31 / 3,07 |
|
||||
| Шаг 2 | 2,03 / 0,14 / 0,33 / 3,13 | 1,88 / 0,30 / 0,39 / 3,94 | 0,90 / 0,14 / 0,33 / 1,90 |
|
||||
| Сообщений = ключей | 12 001 | 12 001 | 12 001 |
|
||||
|
||||
Нарушений `load-balancing` и расхождений по решению 10 нет: ошибок 0,
|
||||
ответов старой реплики после дренажа 0, шаги не вдвое дольше.
|
||||
|
||||
## Накладные расходы наблюдения
|
||||
|
||||
- **Режим `scan` (профили уровня «4»).** Наблюдатель не держит соединений
|
||||
с PostgreSQL и не обращается к LB: контейнер без сети, в нём только
|
||||
`bash` и `sleep`. Его собственные ресурсы в метках: 0,003–0,006 ядра
|
||||
среднее, до 0,014 посекундно, 2–3 МиБ (`resources.csv`, роль
|
||||
`sampler`); CPU на запрос 16 мкс из ~5 100 мкс ВМ.
|
||||
- **Режим `list` (серии трека 1, не меняется).** Цена запроса
|
||||
`psql \watch` переснята той же командой: SQL из `bench/sampler.sh`,
|
||||
50 раз через `psql` с `\timing` в контейнере PostgreSQL рабочего стенда
|
||||
(после `make run_docker`, ~15:59 UTC): первый — 7,16 мс (холодный кэш
|
||||
каталога), медиана 0,473 мс, p90 0,602 мс; второй запуск подряд —
|
||||
медиана 0,515, p90 0,634. Это время клиента — верхняя граница CPU
|
||||
сервера: ≤ 0,0005 ядра на запрос в секунду. CPU PostgreSQL на 250/с
|
||||
у 1 × 1 — 0,066–0,069 ядра (`scaling-b` и `scaling-aa`, `runs.csv`,
|
||||
`db_cpu_cores`; коммитов 50,8–52,1/с), так что наблюдатель ≤ 0,8 % CPU
|
||||
PostgreSQL при 250/с и меньше при большей интенсивности.
|
||||
|
||||
## Итог
|
||||
|
||||
Все задачи 1.1–8.5 выполнены, проверки выше — код 0 или ожидаемый отказ
|
||||
(сторож). Рабочий стенд после замеров снова поднят:
|
||||
`make run_docker`, `make lb_stats` — `api-1` и `api-2` `UP` (`L7OK`),
|
||||
`make instances` — `instances: 2`.
|
||||
@@ -670,3 +670,56 @@ PostgreSQL и ВМ по трём окнам, сэмплер. У `rollout` — т
|
||||
`resources.csv` у них нет.
|
||||
- Откат — `git revert` commit кода. Метки `resources` остаются
|
||||
доказательством commit, на котором сняты.
|
||||
|
||||
## Найдено в apply
|
||||
|
||||
1. **Проверки здоровья дают `exec_start`** (решение 4). PostgreSQL,
|
||||
Valkey и HAProxy стенда проверяются раз в 5 с через `docker exec`, и
|
||||
эти события приходят в поток проекта (`docker events --filter
|
||||
event=exec_start` на рабочем стенде: `/bin/sh -c pg_isready …`,
|
||||
`bash -c exec 3<>/dev/tcp/127.0.0.1/8404 …`, `/bin/sh -c test
|
||||
"$(valkey-cli …)"`). Предпосылка «первое `exec_start` проекта после
|
||||
первого запроса — скрипт» неверна. Поправка:
|
||||
`rollout.script_start(events, since, ignore)` отбрасывает действия
|
||||
проверок здоровья; их строит `Stand.healthcheck_actions()` из
|
||||
`Config.Healthcheck.Test` работающих контейнеров (`CMD-SHELL` →
|
||||
`/bin/sh -c <команда>`, `CMD` → аргументы через пробел — так их пишет
|
||||
Docker). В метках начало подготовки — запуск скрипта (через 15 с
|
||||
после первого запроса).
|
||||
2. **Заморозка и пропорциональное деление** (решения 3, 5). Первый
|
||||
полный `failover` (`6505b5e`) дал у `pause` в окне отказа 0,011–0,012
|
||||
ядра и посекундный максимум 0,76–0,81: интервал, задевающий `pause`,
|
||||
нёс работу до неё, а задевающий `unpause` — всплеск после неё, и
|
||||
деление по длине относило их доли к окну отказа. Поправка `2d267bf`
|
||||
(`resources.thaw`): CPU такого интервала относится к незамороженной
|
||||
части (моменты — события Docker), присутствие считается по всему
|
||||
интервалу. Метка переснята, первый прогон отброшен.
|
||||
3. **Посекундный максимум** (решение 5) — по всем интервалам, задевающим
|
||||
окно, а не только с концом внутри: иначе в коротком окне среднее с
|
||||
долями граничных интервалов выходило больше максимума.
|
||||
4. **«Контейнер был» и «контейнера не было»** (решение 5, Risks).
|
||||
Остановленная реплика в окне отказа — CPU 0 и пометка `absent`
|
||||
(контейнер известен по другим окнам); контейнер, не попавший ни в
|
||||
один отсчёт за прогон, — пустые значения и `absent`. Окно нулевой
|
||||
длины (начало подготовки не найдено) — пометка `empty`.
|
||||
5. **`sampler.sh`: каталог пропал посреди чтения.** Раньше получалась
|
||||
строка нулей (`usage_usec` 0 похож на сброс); теперь чтение молча, и
|
||||
пустые `usage_usec` или `memory.current` дают `missing`. Касается и
|
||||
режима `list`, но там контейнеры посреди ячейки не пропадают.
|
||||
6. **Первый интервал после запуска завышен** (Risks, разрешение 1 с).
|
||||
Счёт новой cgroup идёт с её создания, а начало интервала — событие
|
||||
`start`, оно чуть позже: реплика после `docker start` — до 1,06
|
||||
ядра при лимите 1, у миграции интервал в доли секунды — 1,52 при
|
||||
лимите 0,5. В отчёте — ограничение.
|
||||
7. **Хост между прогонами** (решение 10). После каждого прогона давление
|
||||
на память хоста доходило до уровня 2, и `Swapouts` росли, пока
|
||||
система освобождала память; перед замером ждали уровня 1, свободной
|
||||
памяти ≥ 50 % и неизменных `Swapouts`. Первый полный `rollout`
|
||||
(`309a00d`) всё равно выгрузил 7 236 страниц (замена 12,0 с, p95
|
||||
337 мс) и отброшен; повтор после закрытия приложений пользователя —
|
||||
без выгрузки.
|
||||
8. **Фаза `06-pause-r2` метки `failover/resources`.** В первые ~6 с
|
||||
окна «до» — всплеск у всех компонентов сразу (ВМ до 4,3 ядра), p95 до
|
||||
действия 729 мс без ошибок, swap 0. Причина не установлена; по
|
||||
решению основной сессии метка не переснималась, в отчёте фазы 1–5 и
|
||||
06 — отдельно.
|
||||
|
||||
@@ -347,7 +347,7 @@ nohup make <цель> > <scratchpad>/profile-resources/<имя>.log 2>&1 &
|
||||
- в `raw/rollout-script.log` нет ошибок, сверка сошлась.
|
||||
|
||||
Расхождение — разбор и правка до коммита.
|
||||
- [ ] 5.3 Commit кода: `bench/sampler.sh`, `bench/resources.py`,
|
||||
- [x] 5.3 Commit кода: `bench/sampler.sh`, `bench/resources.py`,
|
||||
`bench/run.py`, `bench/failover.py`, `bench/rollout.py`,
|
||||
`.claude/rules/bench.md`, `Makefile`, `tasks.md` change с отметками
|
||||
1.1–5.2. Сообщение `feat: sample CPU and memory in failover and
|
||||
@@ -360,7 +360,7 @@ nohup make <цель> > <scratchpad>/profile-resources/<имя>.log 2>&1 &
|
||||
|
||||
## 6. Быстрые профили и сторож на закоммиченном коде
|
||||
|
||||
- [ ] 6.1 Одной цепочкой, фоном: `make bench_quick && make
|
||||
- [x] 6.1 Одной цепочкой, фоном: `make bench_quick && make
|
||||
bench_restore_quick && make bench_failover_quick && make
|
||||
bench_rollout_quick && make bench_scaling_quick; echo
|
||||
"chain-exit=$?"`. Журнал — `<scratchpad>/profile-resources/quick.log`,
|
||||
@@ -375,7 +375,7 @@ nohup make <цель> > <scratchpad>/profile-resources/<имя>.log 2>&1 &
|
||||
- `git status --porcelain` пуст: метки `quick-*` — в `.gitignore`.
|
||||
|
||||
Сбой — разбор. Правка кода — новый commit и повтор цепочки.
|
||||
- [ ] 6.2 Сторож (сценарий «Наблюдатель остановился»).
|
||||
- [x] 6.2 Сторож (сценарий «Наблюдатель остановился»).
|
||||
`make bench_failover_quick`; когда в журнале появится строка первой
|
||||
фазы — `docker rm -f mtusi-bench-sampler`. Ждём:
|
||||
- код выхода ≠ 0;
|
||||
@@ -386,9 +386,9 @@ nohup make <цель> > <scratchpad>/profile-resources/<имя>.log 2>&1 &
|
||||
|
||||
## 7. Полный замер `failover`
|
||||
|
||||
- [ ] 7.1 Проверка хоста (шапка задач), `Swapouts` «до». Плохо —
|
||||
- [x] 7.1 Проверка хоста (шапка задач), `Swapouts` «до». Плохо —
|
||||
остановка и отчёт основной сессии.
|
||||
- [ ] 7.2 `nohup make bench_failover FAILOVER_LABEL=resources >
|
||||
- [x] 7.2 `nohup make bench_failover FAILOVER_LABEL=resources >
|
||||
<scratchpad>/profile-resources/failover.log 2>&1 &`, ~6 мин, ожидание
|
||||
циклом. Затем `Swapouts` «после». Проверка
|
||||
`evidence/failover/resources/`:
|
||||
@@ -408,20 +408,20 @@ nohup make <цель> > <scratchpad>/profile-resources/<имя>.log 2>&1 &
|
||||
Прервался — разбор причины. Предупреждение о хосте в паспорте — не
|
||||
коммитить, остановиться и отдать отчёт основной сессии. Занятую метку
|
||||
не перезаписывать, неудачную не удалять без разбора.
|
||||
- [ ] 7.3 Сравнение с `baseline` по решению 10 — таблица в журнале для
|
||||
- [x] 7.3 Сравнение с `baseline` по решению 10 — таблица в журнале для
|
||||
9.1 и 9.2, числа из `phases.csv` обеих меток.
|
||||
- Нарушено требование `load-balancing` (обнаружение выше формулы,
|
||||
восстановление > 10 с, ошибки после возврата) — остановка и вопрос
|
||||
основной сессии до отчёта.
|
||||
- Иное расхождение — записать, отчёт его описывает.
|
||||
- [ ] 7.4 Commit метки: `git add evidence/failover/resources`, `docs:
|
||||
- [x] 7.4 Commit метки: `git add evidence/failover/resources`, `docs:
|
||||
add failover resources label`. Проверка: `git status --porcelain`
|
||||
пуст.
|
||||
|
||||
## 8. Полный замер `rollout`
|
||||
|
||||
- [ ] 8.1 Проверка хоста, `Swapouts` «до». Плохо — остановка и отчёт.
|
||||
- [ ] 8.2 `nohup make bench_rollout ROLLOUT_LABEL=resources >
|
||||
- [x] 8.1 Проверка хоста, `Swapouts` «до». Плохо — остановка и отчёт.
|
||||
- [x] 8.2 `nohup make bench_rollout ROLLOUT_LABEL=resources >
|
||||
<scratchpad>/profile-resources/rollout.log 2>&1 &`, ~3 мин. Затем
|
||||
`Swapouts` «после». Проверка `evidence/rollout/resources/`:
|
||||
- `meta.json`: `status: complete`, `dirty: false`, commit кода,
|
||||
@@ -435,19 +435,19 @@ nohup make <цель> > <scratchpad>/profile-resources/<имя>.log 2>&1 &
|
||||
- сводка с разделом ресурсов.
|
||||
|
||||
Предупреждение о хосте — как в 7.2.
|
||||
- [ ] 8.3 Сравнение с `baseline` по решению 10: числа из `rollout.csv` и
|
||||
- [x] 8.3 Сравнение с `baseline` по решению 10: числа из `rollout.csv` и
|
||||
`replicas.csv`.
|
||||
- Любая ошибка или ответ старой реплики после дренажа — нарушение
|
||||
`load-balancing` («Поочерёдная замена реплик»): остановка и вопрос.
|
||||
- Шаг вдвое дольше — записать.
|
||||
- [ ] 8.4 Commit метки: `docs: add rollout resources label`. Проверка:
|
||||
- [x] 8.4 Commit метки: `docs: add rollout resources label`. Проверка:
|
||||
дерево чистое.
|
||||
- [ ] 8.5 Рабочий стенд снова: `make run_docker`, затем `make lb_stats`
|
||||
- [x] 8.5 Рабочий стенд снова: `make run_docker`, затем `make lb_stats`
|
||||
— обе реплики `UP`.
|
||||
|
||||
## 9. Evidence, отчёт и документы
|
||||
|
||||
- [ ] 9.1 `evidence/tests/profile-resources-checks.md`, в стиле
|
||||
- [x] 9.1 `evidence/tests/profile-resources-checks.md`, в стиле
|
||||
`rolling-update-checks.md`:
|
||||
- шапка: спек и требования дельты, change, даты, хэши (код, метки,
|
||||
отчёт), стенд, хост (`docker version`, `docker info`);
|
||||
@@ -474,7 +474,7 @@ nohup make <цель> > <scratchpad>/profile-resources/<имя>.log 2>&1 &
|
||||
Без секретов и абсолютных путей домашнего каталога. Проверка: `grep
|
||||
-nE "/Users/|PASSWORD=|Bearer [A-Za-z0-9_-]{20,}"
|
||||
evidence/tests/profile-resources-checks.md` ничего не находит.
|
||||
- [ ] 9.2 `REPORT.md` по решению 11, свежий Read перед правкой. Числа —
|
||||
- [x] 9.2 `REPORT.md` по решению 11, свежий Read перед правкой. Числа —
|
||||
из `summary.md`, `resources.csv`, `phases.csv` и `rollout.csv` меток,
|
||||
не пересчитывать вручную.
|
||||
- **Шапка:**
|
||||
@@ -511,7 +511,7 @@ nohup make <цель> > <scratchpad>/profile-resources/<имя>.log 2>&1 &
|
||||
- `grep -n "использование не снималось" REPORT.md` — пусто;
|
||||
- у каждой новой строки — команда, наблюдение, файл;
|
||||
- числа совпадают с файлами меток.
|
||||
- [ ] 9.3 `AGENTS.md` (решение 11):
|
||||
- [x] 9.3 `AGENTS.md` (решение 11):
|
||||
- вступление: change `profile-resources` в перечне changes лабы 3;
|
||||
- таблица команд: `make bench_failover` / `bench_rollout` — CPU и
|
||||
память по компонентам и окнам;
|
||||
@@ -525,7 +525,7 @@ nohup make <цель> > <scratchpad>/profile-resources/<имя>.log 2>&1 &
|
||||
|
||||
Проверка: `grep -n "resources.py\|profile-resources" AGENTS.md`
|
||||
находит новые строки, описания не противоречат коду.
|
||||
- [ ] 9.4 Финал:
|
||||
- [x] 9.4 Финал:
|
||||
- отметки задач 5.3–9.4 из журнала и раздел «Найдено в apply» в
|
||||
`design.md`, если было что найти;
|
||||
- `make lint`, `make check`, `openspec validate profile-resources
|
||||
|
||||
Reference in New Issue
Block a user