diff --git a/AGENTS.md b/AGENTS.md index 4aad0235..3930abb9 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -24,7 +24,11 @@ PostgreSQL «too many clients», `scaling-improvement` — пул PostgreSQL «до/после» с A/A, засчитано с оговоркой). Лаба 3 закрыта: все шесть changes лабы 3, как и changes перехода на lab2, — в `openspec/changes/archive/`, `REPORT.md` заполнен, чистый clone -проверен (`evidence/tests/clean-clone-final.md`); дальше — перенос в +проверен (`evidence/tests/clean-clone-final.md`). После закрытия — +седьмой change `profile-resources`: CPU и память каждого компонента +по окнам профилей `failover` и `rollout` (сэмплер `scan`, +`bench/resources.py`, метки `resources`); код приложения он не трогает, +до archive — в `openspec/changes/`. Дальше — перенос в лабу 4 (раздел «Переход в следующую лабу»). Рабочий план лабы (`PLAN.md`) удалён, его решения — в `REPORT.md` и design архивных changes; последняя версия — `git show 063eedb:PLAN.md`. Стек: @@ -284,10 +288,10 @@ Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings, structlog | `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт | | `make bench_restore [RESTORE_LABEL=...]` | трек 2, восстановление (~20 мин, метка `restore` по умолчанию): тот же стенд и данные, без матрицы прогонов; на каждый размер — `pg_dump` во время записи через HTTP, активность после backup, `pg_restore -j` в новый контейнер Postgres на новом volume, сверка обеих баз построчно, переключение API, проверки через HTTP до и после `FLUSHALL`; время dump / restore / RTO и потерянные сообщения — в `summary.md` | | `make bench_restore_quick` | то же на 1k / 5k / 10k (~1,5 мин), метка `quick-restore-<время>`, в git не идёт; сценарий защиты трека 2 | -| `make bench_failover [FAILOVER_LABEL=...]` | уровень 4, отказ реплик под нагрузкой (~6 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` с HAProxy и двумя репликами с лимитами рабочего стенда, k6 — 100 записей с ключом и 100 чтений в секунду; каждая реплика в режимах `stop`, `kill`, `pause` с возвратом. Посекундная шкала, время исключения из LB и восстановления, сверка записей после повтора с тем же ключом — `evidence/failover/<метка>/`. Перед запуском — проверка хоста (`bench.md`) | -| `make bench_failover_quick` | то же короче, режимы `stop` и `kill` (~2 мин), метка `quick-failover-<время>`, в git не идёт | -| `make bench_rollout [ROLLOUT_LABEL=...]` | уровень 4, поочерёдная замена под нагрузкой (~3 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` как у `bench_failover`, реплики на образе прежнего commit (`Profile.rollout_from`, `git archive`), та же нагрузка; посреди неё `scripts/rolling-update.sh` меняет их на образ текущего checkout. Посекундная шкала с ответами старых и новых реплик, шаги по репликам, контейнеры, образы и ревизия до и после, сверка записей — `evidence/rollout/<метка>/`. Перед запуском — проверка хоста (`bench.md`) | -| `make bench_rollout_quick` | то же с короткими окнами (~2 мин), метка `quick-rollout-<время>`, в git не идёт | +| `make bench_failover [FAILOVER_LABEL=...]` | уровень 4, отказ реплик под нагрузкой (~6 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` с HAProxy и двумя репликами с лимитами рабочего стенда, k6 — 100 записей с ключом и 100 чтений в секунду; каждая реплика в режимах `stop`, `kill`, `pause` с возвратом. Посекундная шкала, время исключения из LB и восстановления, сверка записей после повтора с тем же ключом, CPU и память каждого компонента по окнам фазы (сэмплер `scan`, `resources.csv`, `samples.csv`; CPU на запрос — только до действия) — `evidence/failover/<метка>/`. Перед запуском — проверка хоста (`bench.md`): питание, давление памяти, `Swapouts` без роста; сумма лимитов на пике больше CPU ВМ — код 2 | +| `make bench_failover_quick` | то же короче, режимы `stop` и `kill` (~2 мин), с ресурсами, метка `quick-failover-<время>`, в git не идёт | +| `make bench_rollout [ROLLOUT_LABEL=...]` | уровень 4, поочерёдная замена под нагрузкой (~3 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` как у `bench_failover`, реплики на образе прежнего commit (`Profile.rollout_from`, `git archive`), та же нагрузка; посреди неё `scripts/rolling-update.sh` меняет их на образ текущего checkout. Посекундная шкала с ответами старых и новых реплик, шаги по репликам, контейнеры, образы и ревизия до и после, сверка записей, CPU и память каждой старой и новой реплики, миграции и остальных компонентов по окнам до / подготовка / замена / после (CPU на запрос — до и после) — `evidence/rollout/<метка>/`. Перед запуском — проверка хоста (`bench.md`) | +| `make bench_rollout_quick` | то же с короткими окнами (~2 мин), с ресурсами, метка `quick-rollout-<время>`, в git не идёт | | `make bench_scaling SERIES=a\|b\|pool\|ab\|db\|db4 [SCALING_LABEL=...] [RESUME=1]` | уровень 5, трек 1: серия на стенде `mtusi-bench` (метка `scaling-<серия>` по умолчанию). `a` — бюджет 4 CPU: 1 × 4, 2 × 2, 4 × 1 (~50 мин); `b` — 1…6 реплик по 1 CPU (~100 мин); `pool` — 4 реплики при `max_connections` 100 и 50 (~35 мин); `ab` — 1 × 1 и 6 × 1 для «до/после» и A/A (~35 мин); `db` — 1, 2, 4 реплики при PostgreSQL 0,5 CPU и контроль 4 × 1 при 2 CPU (~50 мин); `db4` — только 4 × 1 при 0,5 и 2 CPU (~25 мин, «до/после» `scaling-improvement`); `db_quick` — самопроверка серии `db` (~4 мин, метка `quick-*`). Ячейка — конфигурация × повтор (3), свежий стенд; открытая модель 70/20/10, фиксированные 250 и 500/с и поиск R* по SLO; сэмплер контейнеров, ВМ, LB и PostgreSQL. `RESUME=1` — продолжить прерванную метку на том же commit. Перед запуском — проверка хоста, рабочий стенд — `make stop`; метку коммитить до следующей серии (`bench.md`) | | `make bench_scaling_quick` | самопроверка серий: 1 × 1 и 2 × 1 при `max_connections` 50, короткие окна (~4 мин), метка `quick-scaling-<время>`, в git не идёт | | `make bench_plots LABELS="..." [PLOTS=scaling]` | графики SVG и сводка серий трека 1 из меток: R* от числа реплик, p95 от интенсивности, CPU по компонентам, эффективность и точка насыщения — `evidence/plots//` | @@ -354,10 +358,11 @@ student-tests/ # black-box тесты по HTTP (уровень 4) fault_hook.py # hook стенда отказов: stop/start/pause/unpause, кэш, триггеры сбоя участников и сообщений, заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions (stdlib) failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, LB), healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения) bench/ # нагрузочный стенд на HAProxy + N реплик API + Postgres + Valkey: make bench / bench_quick / bench_restore / bench_failover / bench_rollout / bench_scaling - run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover, профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json + run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover, профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker с exec_start), ресурсы профилей failover и rollout (Profile.sample_resources: сэмплер scan, карта контейнеров по меткам compose, окна, бюджет на пике, сторож), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json scaling.py # серии трека 1 без docker: лестница и автомат поиска R*, разбор итога k6 и строк сэмплера, агрегаты окна, вердикт SLO и брака генератора, признаки узкого места (THRESHOLDS), предельный CPU на запрос, сводка серии; --selftest plots.py # make bench_plots: SVG на stdlib (R* от числа реплик, p95 от интенсивности, CPU по компонентам) и сводка с точкой насыщения; render_series — графики в каталоге метки - sampler.sh # сэмплер ячейки (только в контейнере mtusi-bench-sampler на образе PostgreSQL, --cgroupns host): cpu.stat, память и PSI контейнеров, /proc/stat и PSI ВМ, статистика HAProxy, psql \watch по pg_stat_activity / database / wal / io + sampler.sh # сэмплер (только в контейнере mtusi-bench-sampler на образе PostgreSQL, --cgroupns host): режим list (серии) — cpu.stat, память и PSI заданных контейнеров, /proc/stat и PSI ВМ, статистика HAProxy, psql \watch по pg_stat_activity / database / wal / io; режим scan (failover, rollout) — обход cgroup всех контейнеров и /proc/stat, без сети, psql и LB + resources.py # ресурсы профилей failover и rollout без docker: интервалы контейнеров (сброс при новой cgroup, заморозка, новые контейнеры с момента запуска), окна, CPU / троттлинг / память по компонентам и ВМ, CPU на запрос в установившихся окнах, resources.csv / samples.csv, разделы summary.md; --selftest failover.py # профиль failover без docker: строки k6 о запросах, статистика и журнал HAProxy, события Docker, посекундная шкала, величины фазы, summary.md rollout.py # профиль rollout без docker: строки скрипта замены, события контейнеров проекта, состояния слотов LB (UP, drain, maint, ready), шаги по репликам, шкала со старыми и новыми ответами, окна до / во время / после, summary.md bench.compose.yml # override стенда mtusi-bench: имена, BENCH_API_REPLICAS реплик api без container_name, haproxy с лимитами BENCH_LB_*, лимиты BENCH_* (deploy.resources), без портов и config.toml, auto_explain @@ -380,13 +385,13 @@ evidence/storage/ # отказы БД, пул, statement_timeout, р evidence/migrations/ # миграции с нуля и повторно, ошибка миграции evidence/auth/ # пароли и токены в БД, срок сессии, TTL из конфига evidence/cache/ # попадания в кэш, отказ Valkey, FLUSHALL и рестарт -evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md +evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline evidence/idempotency/ # повтор, 409, гонка, таблица ключей, X-Instance-Id evidence/replicas/ # стенд с LB: порты, лимиты и их цена для Argon2id, окружение, распределение, ответы LB (нет реплик, зависшая, без PostgreSQL), test-persistence, чистый clone на нестандартных портах evidence/failover/ # make test-failover для каждой реплики (stop и kill), отказы stop-one.sh; замер обнаружения, keep-alive, зависшая реплика и ключ -evidence/failover/<метка>/ # результаты make bench_failover: паспорт, phases.csv, посекундная timeline.csv, summary.md, итоги k6 и журнал LB по фазам +evidence/failover/<метка>/ # результаты make bench_failover: паспорт, phases.csv, посекундная timeline.csv, summary.md, итоги k6 и журнал LB по фазам; с меткой resources — resources.csv (фаза × окно × компонент) и samples.csv (посекундно от действия) evidence/rollout/ # совместимость старого образа с новой схемой, make rolling_update и жизненный цикл стенда после замены, отказы скрипта (Ctrl+C, слоты, lock_timeout миграции) -evidence/rollout/<метка>/ # результаты make bench_rollout: паспорт с контейнерами, образами и ревизией до и после, rollout.csv, replicas.csv, timeline.csv, summary.md, строки скрипта, журнал LB +evidence/rollout/<метка>/ # результаты make bench_rollout: паспорт с контейнерами, образами и ревизией до и после, rollout.csv, replicas.csv, timeline.csv, summary.md, строки скрипта, журнал LB; с меткой resources — resources.csv (окно × компонент) и samples.csv (посекундно от начала замены) evidence/bench/<метка>/ # результаты make bench / bench_restore: паспорт, прогоны, наполнение, сводка (планы, стоимость записи, восстановление), планы explain-<размер>.txt, сырые итоги k6 evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL; db4 — «до/после» пула без переполнения: scaling-db-aa*, -before*, -nooverflow*, окончательные — с суффиксом 2): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx evidence/plots/scaling/ # make bench_plots по сериям a и b: графики SVG и summary.md (R*, эффективность, точка насыщения, цена запроса, память) diff --git a/REPORT.md b/REPORT.md index 9602c6ad..c43bcd95 100644 --- a/REPORT.md +++ b/REPORT.md @@ -9,8 +9,12 @@ документы (`REPORT.md`, `AGENTS.md`, правила `.claude/rules/`, удалён `PLAN.md`), проза evidence и драйвер скилла `.claude/skills/run-mtusi-messenger/driver.py` за `make instances` - (совместимость с `python3` 3.9); код приложения, `Dockerfile`, - `pyproject.toml`, `uv.lock`, compose, конфигурации и скрипты — нет. + (совместимость с `python3` 3.9), а change `profile-resources` поменял + нагрузочный стенд `bench/` (сэмплер CPU и памяти в профилях `failover` + и `rollout`) и комментарии целей `Makefile`; код приложения, + `Dockerfile`, `pyproject.toml`, `uv.lock`, compose, конфигурации и + скрипты — нет (`git diff --stat 67b4303 HEAD -- src Dockerfile + docker-compose.yml scripts infra pyproject.toml uv.lock` пуст). - Использованные источники, библиотеки и помощь ИИ: раздел «Источники, библиотеки и использование ИИ» в конце отчёта. @@ -25,6 +29,9 @@ - поочерёдная замена реплик с дренажём через runtime API HAProxy, expand-миграция и профиль замены под нагрузкой — `rolling-update` (уровень «4»); +- CPU и память каждого компонента по окнам профилей отказа и замены + (сэмплер cgroup без сети, метки `resources`) — `profile-resources` + (уровень «4», «CPU/RAM» минимального отчёта о нагрузке); - трек 1 «Цена масштабирования»: серии `a`, `b`, `pool`, `db`, A/A, графики, точка насыщения и ответ 503 на «too many clients» — `scaling-bench` (уровень «5»); @@ -651,6 +658,7 @@ SHA-256 тела; `created_at` с индексом; `CHECK` формата и д | Итоговая проверка из чистого clone по разделу «Запуск из чистого clone» (COURSE.md, «Что сдавать»: PR должен собираться из чистого clone по инструкции автора) | настоящий `git clone` commit `67b4303`, проект `mtusi-lab3` на портах по умолчанию: `make env_setup`, `make run_docker`, `make check`, `make validate`, `make test`, `make instances`, `make test-persistence`, `make test-failover` для каждой реплики (`stop`, затем `make replicas`; плюс `kill`), `make student_test`, `make failure_checks`, `make test_isolated`; `docker build --no-cache` | все команды — код 0 без правки файлов клона: `PASS` у публичных проверок, `instances: 2`, остановлены по очереди `0089ca350b2b` и `437292ccaf78` (ID = `TARGET_INSTANCE_ID`), первая запись через 0,99–1,0 с, неудачных попыток 0; после `restart.sh` те же ID с новым `StartedAt` у LB, реплик, Postgres и Valkey; 131 passed через LB, 17 проверок отказов, 127 passed + 4 пропуска с причиной в изоляции; образ без `.env` и `config.toml`, UID 10001 | `evidence/tests/clean-clone-final.md` | | Стенд `bench/`: отправки с ключом при восстановлении | `make bench_restore_quick` (самопроверка, не замер) | 1000 отправок во время backup на каждом размере, 0 неудачных; сообщений в исходной базе = подтверждённых отправок; сверка баз прошла | `evidence/tests/bench-restore-quick.md` | | «4»: rolling update (поочерёдная замена) проверен под нагрузкой | `make bench_rollout ROLLOUT_LABEL=baseline` (commit `9dcea0b`, код `de654a1`, хост проверен, рабочий стенд остановлен): 100 записей с ключом и 100 чтений в секунду, две реплики образа `c50b721` заменяются на образ текущего checkout тем же `scripts/rolling-update.sh`; на рабочем стенде (итоговый код `84161c0`) — `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0`, снова вперёд и две замены подряд под `tests/load.py`; быстрый профиль `make bench_rollout_quick` на `84161c0` | замена 8,9 с; **0 ошибок** из 24 002 запросов, доля успешных 1,0 в каждой секунде, p95 5 → макс. 11 мс; по шагам: новая `UP` в LB через 2,0–2,1 с после старта, дренаж старой 0,14–0,16 с, остановка 0,3–0,4 с; после вывода из LB старая не получила ни одного запроса; сообщений 12 001 = ключей 12 001. Рабочий стенд: 0 неуспешных из 21 043 / 16 687 / 18 480 / 27 278 запросов `tests/load.py`; старые реплики завершаются за 0,1 с с кодом 0 («Finished server process»); контейнеров прежних реплик после замены нет. Быстрый профиль на итоговом коде: замена 8,1 с, 0 ошибок, 7 301 = 7 301 | `evidence/rollout/baseline/summary.md`, `evidence/rollout/compatibility.md`, `evidence/tests/rolling-update-checks.md` | +| «4»: CPU и память профилей отказа и замены (COURSE.md: CPU/RAM в отчёте о нагрузке) | `make bench_failover FAILOVER_LABEL=resources`, `make bench_rollout ROLLOUT_LABEL=resources` (код `2d267bf`, хост проверен, `Swapouts` без прироста, рабочий стенд остановлен): тот же профиль и сэмплер cgroup в режиме `scan` (0,25 CPU / 128 МиБ, без сети) на всё время нагрузки; самопроверки — быстрые профили, сторож (`docker rm -f` сэмплера посреди фазы) | `failover`, фазы 1–5: до действия реплика 0,28–0,31 ядра, PostgreSQL 0,09–0,10, ВМ 1,03–1,16 из 12; в окне отказа выжившая 0,37–0,43, цель 0 (у `pause` — 0 CPU при той же памяти); после возврата — запуск до 1,06 ядра; CPU на запрос до действия — API 2 810–3 136 мкс, PostgreSQL 432–478. `rollout`: API всего 0,57 → 0,82 ядра и 176 → 279 МиБ на пике замены (три реплики), ВМ 1,0 → 2,8 ядра на сборке; CPU на запрос до / после 2 876 / 2 895 мкс. Доступность та же, что у `baseline`: обнаружение в границах, восстановление ≤ 7 с, у замены 0 ошибок и 0 ответов старой после дренажа. Наблюдатель — 0,003 ядра, 2–3 МиБ, к стенду не обращается; сторож — код 1 с фазой, стенд убран | `evidence/failover/resources/`, `evidence/rollout/resources/` (`summary.md`, `resources.csv`, `samples.csv`), `evidence/tests/profile-resources-checks.md` | | «4»: миграции однократно и совместимы с работающей версией | реплики образа `c50b721` + миграция нового образа в контейнере сервиса `migrate` (команда скрипта), без замены; `make test`, `make student_test`; замена; `SELECT instance_id, count(*)` по сообщениям; миграция под чужой блокировкой и нагрузкой | новая ревизия `e656d6bbe1a4` (колонка `messages.instance_id`, NULL) при прежних репликах: `PASS`, 131 passed; запись прежней версии — NULL, новой — её `X-Instance-Id`; при замене одна миграция в контейнере `migrate` до первой новой реплики, в журналах реплик alembic нет; повторный запуск — no-op; откат кода без отката схемы (после отката `migrate` прежнего образа падает на новой ревизии — ограничение, описано); под чужой транзакцией `lock_timeout` 2 с → миграция падает с кодом 1, схема и реплики не тронуты, 6 запросов из очереди за ней — успешны за 2,0 с (с 5 с в apply — все 6 получили 503), повтор проходит | `evidence/rollout/compatibility.md`, `evidence/rollout/script-failures.md` | | Замена при сбое и неготовом стенде | остановленная реплика, `API_REPLICAS=3`, слоты в ручном `maint` / `drain`, `ROLLOUT_READY_TIMEOUT=1`, настоящий Ctrl+C (^C в псевдотерминал под `make`) во время дренажа и внутри `up --scale` под нагрузкой, порт 9999 LB из сети и с хоста | код 2 до сборки (для слотов — с командой возврата в `ready`); неготовая новая реплика удалена, работают 2 реплики `UP`; Ctrl+C во время дренажа — вывод старой доведён до удаления, внутри `up --scale` — новая реплика найдена и удалена (до исправления в verify оставалась третья реплика), 0 неуспешных запросов, повтор довёл замену; слоты LB без ручного состояния; канал управления LB из сети и с хоста — отказ соединения | `evidence/rollout/script-failures.md` | | `make run_docker` после пересборки | реплики на образе прежнего commit, `docker compose build api`, `docker compose --dry-run up -d`; `make run_docker` поверх заменённых реплик | compose пересоздаёт реплики с изменившимся образом, без изменений — не трогает (те же ID); пункт `KNOWN_ISSUES.md` не воспроизвёлся и закрыт | `evidence/rollout/compatibility.md` | @@ -679,9 +687,9 @@ SHA-256 тела; `created_at` с индексом; `CHECK` формата и д | 3 | повтор с тем же `Idempotency-Key` без дублей: конкурентный, при переключении реплики, неподтверждённая запись | «3»: повтор `POST`…; другое тело с тем же ключом; повтор через другой процесс; при переключении реплики; ключ переживает рестарт; неподтверждённую запись можно повторить; «4»: идемпотентность под параллельными запросами | | 3 | `make test`, persistence и failover проходят, ≥2 наблюдаемых реплики; hook подтверждён составом перезапущенных процессов | публичный smoke; «3»: `make test-persistence` с LB (`StartedAt` всех контейнеров до и после); «3»: отказ любой одной реплики (`STOP_ONE_LOG`, `docker compose ps -a`); failover hook не трогает чужое | | 4 | health/readiness, таймауты, SIGTERM согласованы; LB исключает недоступный backend; период проверок и максимальное время обнаружения | «4» (часть): LB исключает недоступный backend; «4»: health/readiness, таймауты и прекращение приёма при SIGTERM | -| 4 | каждая реплика по очереди с восстановлением: RPS, ошибки, время восстановления; идемпотентность параллельными запросами | «4»: последовательная остановка каждой реплики…; «4»: идемпотентность под параллельными запросами | +| 4 | каждая реплика по очереди с восстановлением: RPS, ошибки, время восстановления; идемпотентность параллельными запросами | «4»: последовательная остановка каждой реплики…; «4»: CPU и память профилей отказа и замены; «4»: идемпотентность под параллельными запросами | | 4 | лимиты CPU/RAM, порты API не наружу, секреты только где нужно, нет `container_name` | «4»: лимиты CPU/RAM…; порты из `.env` со стендом за LB | -| 4 | rolling update под нагрузкой; миграции однократно и совместимы | «4»: rolling update…; «4»: миграции однократно и совместимы; замена при сбое и неготовом стенде | +| 4 | rolling update под нагрузкой; миграции однократно и совместимы | «4»: rolling update…; «4»: CPU и память профилей отказа и замены; «4»: миграции однократно и совместимы; замена при сбое и неготовом стенде | | 5, трек 1 | 1/2/4 реплики при фиксированном бюджете; серия с ростом ресурсов | «5», трек 1: 1/2/4 реплики…; серия с ростом ресурсов | | 5, трек 1 | точка насыщения БД / LB / пула и почему рост перестаёт помогать | «5», трек 1: точка насыщения…; граница пула; точка насыщения БД | | 5, трек 1 | исходные данные, графики, одно подтверждённое улучшение; гипотеза, методика, ограничения | «5», трек 1: исходные данные и графики; уровень шума; одно подтверждённое улучшение (с оговоркой); раздел «Цена масштабирования» | @@ -713,22 +721,26 @@ Desktop 29.8.2, ВМ 12 vCPU / 7,7 GiB; перед каждым замером и выгрузок в swap (паспорта `meta.json`; у профиля `failover` счётчик выгрузок — в `evidence/failover/detection.md`, у `rollout` — только занятый swap, у меток попытки 2 улучшения — `Swapouts` 0 в начале и в -конце без поля `swapouts_delta`, `KNOWN_ISSUES.md`). Версии — раздел «Запуск из +конце без поля `swapouts_delta`, `KNOWN_ISSUES.md`; у меток `resources` +обоих профилей — `Swapouts` в начале и в конце равны: 129 588 у +`failover`, 157 300 у `rollout`, `host_warnings` пусты; прогон `rollout` +с выгрузкой 7 236 страниц отброшен и переснят, +`evidence/tests/profile-resources-checks.md`). Версии — раздел «Запуск из чистого clone». Сырые итоги k6, журналы LB и посекундные таблицы лежат рядом со сводками, без токенов и паролей. | | Отказ реплик (`failover`) | Поочерёдная замена (`rollout`) | Трек 1 (`scaling_*`) | |---|---|---|---| | Гипотеза | `stop` и `kill` без ошибок недоступности, `pause` исключается ≤ 6,5 с, восстановление ≤ 10 с, без потерь и дублей | 0 ошибок при плановой замене, старая реплика после дренажа запросов не получает | H1–H4 (раздел «Цена масштабирования»), записаны до прогонов | -| Лимиты | API 1 CPU / 512 МиБ × 2, PostgreSQL 2 CPU / 1 ГиБ, HAProxy 1 CPU / 256 МиБ, Valkey 0,5 CPU / 128 МиБ — как у рабочего стенда; k6 без лимита (`.claude/rules/bench.md`) | те же | реплики 1 × 4 … 6 × 1, PostgreSQL 2 или 0,5 CPU; k6 2 CPU / 1 ГиБ, сэмплер 0,25 CPU; сумма ≤ 12 vCPU | +| Лимиты | API 1 CPU / 512 МиБ × 2, PostgreSQL 2 CPU / 1 ГиБ, HAProxy 1 CPU / 256 МиБ, Valkey 0,5 CPU / 128 МиБ — как у рабочего стенда; k6 без лимита (`.claude/rules/bench.md`); у меток `resources` — сэмплер 0,25 CPU / 128 МиБ, сумма 5,75 CPU из 12 | те же; на пике замены — три реплики, сумма с сэмплером 6,75 CPU / 3,0 GiB из 12 / 7,75 | реплики 1 × 4 … 6 × 1, PostgreSQL 2 или 0,5 CPU; k6 2 CPU / 1 ГиБ, сэмплер 0,25 CPU; сумма ≤ 12 vCPU | | Данные | чат чтения из 1 000 сообщений, отдельный чат записи | те же | чат чтения из 10 000 сообщений, 10 чатов записи | | Нагрузка | открытая модель, постоянная интенсивность: 100 записей с ключом + 100 чтений истории в секунду | та же | открытая модель 70/20/10 (история / запись / `users/me`): 250 и 500/с, затем поиск R* по ступеням | | Длительность, прогрев | фаза 15 с до действия (опорное окно) + 20 с до возврата + 15 с; 6 фаз, ~6 мин | 15 с до замены, замена 8,9 с, ≥ 15 с после; 24 002 запроса | прогрев 15 с (5 с подъёма между ступенями), окно 20 с | | Повторы | один прогон на фазу | один прогон | 3 повтора каждой конфигурации, свежий стенд на ячейку, A/A для шума | | Успешные RPS, ошибки | `stop`, `kill`: ~200/с, 0 ошибок; `pause`: 99–100/с в окне, 584–602 × 504 | 200/с, 0 ошибок | R* 630–2 034 запросов/с при ошибках ≤ 1 % | | p50 / p95 / p99 | фаза `stop` 1: 3,5 / 6,1 / 97,1 мс за прогон; p95 по секундам — до 505 мс в секунду действия | 3,3 / 5,0 / 9,7 мс за прогон | p50 / p95 / p99 на 500/с по конфигурациям — таблица R* (p50 1,7–2,1 мс у всех); на каждой ступени — `runs.csv` | -| CPU / RAM | только лимиты, использование не снималось: профиль меряет доступность при отказе, цену запроса в CPU — трек 1 при тех же лимитах реплики | только лимиты, по той же причине | посекундно у каждого контейнера и ВМ (`samples.csv`), CPU на запрос по компонентам | -| Файлы | `evidence/failover/baseline/` | `evidence/rollout/baseline/` | `evidence/bench/scaling-*/`, `evidence/plots/`, `evidence/compare/` | +| CPU / RAM | метка `resources`, фазы 1–5 (ср. ядер): до действия реплика 0,28–0,31 (API всего 0,56–0,63), PostgreSQL 0,09–0,10, HAProxy 0,03, Valkey 0,01, k6 0,11–0,14, ВМ 1,03–1,16 из 12; в окне отказа выжившая реплика 0,37–0,43 (макс. 0,58), цель — 0; после возврата перезапущенная реплика 0,32–0,35 (макс. на старте 1,06). Пики памяти: реплика 87–127 МиБ из 512, PostgreSQL до 292 из 1 024, k6 до 420. CPU на успешный запрос до действия: API 2 810–3 136 мкс, PostgreSQL 432–478, ВМ 5 159–5 806. Фаза 06 — всплеск хоста в окне «до» (API 1,13) | метка `resources` (ср. ядер до / подготовка / замена / после): API всего 0,57 / 0,60 / 0,82 / 0,58 (макс. 1,64 в замене), миграция 0,08 за 1 с жизни, PostgreSQL 0,08–0,10, ВМ 1,02 / 2,77 / 2,34 / 1,03 (сборка образа); пик памяти API 176 → 279 МиБ при трёх репликах. CPU на запрос до / после: API 2 876 / 2 895 мкс, PostgreSQL 432 / 440 | посекундно у каждого контейнера и ВМ (`samples.csv`), CPU на запрос по компонентам | +| Файлы | `evidence/failover/baseline/`, ресурсы — `evidence/failover/resources/` (`resources.csv`, `samples.csv`) | `evidence/rollout/baseline/`, ресурсы — `evidence/rollout/resources/` | `evidence/bench/scaling-*/`, `evidence/plots/`, `evidence/compare/` | Ограничения каждого замера — в конце его раздела, сводно — «Ограничения и следующие шаги». @@ -826,6 +838,110 @@ PostgreSQL делят ВМ Docker. Один прогон на фазу. Инте ещё и ошибки перегрузки. Отказ узла, LB и PostgreSQL не воспроизводится («Ограничения»). +#### Ресурсы (change `profile-resources`, метка `resources`) + +**Методика.** `make bench_failover FAILOVER_LABEL=resources` — тот же +профиль (нагрузка, фазы, окна, лимиты и пороги совпадают с `baseline` +по паспортам), плюс наблюдатель: + +- сэмплер `bench/sampler.sh` в режиме `scan` в своём контейнере + (0,25 CPU / 128 МиБ без swap, без сети, без паролей): раз в секунду + обходит cgroup всех контейнеров ВМ (`cpu.stat`, `memory.current`, + `cpu.pressure`) и читает `/proc/stat` ВМ, на часах ВМ, как шкала фазы. + К PostgreSQL и LB не обращается, процессов в контейнерах стенда не + запускает; роли контейнерам назначает оркестратор по меткам compose, + чужие cgroup отбрасываются; +- окна фазы: до действия (от первого запроса + 2 с разгона k6), окно + отказа (действие → возврат), после возврата (до последнего запроса). + `docker start` после `stop` / `kill` — новая cgroup, её CPU считается с + момента возврата; у `pause` CPU интервалов, задевающих заморозку, + относится к её внешней части (моменты — события Docker); +- ячейка — среднее CPU за окно (CPU-секунды / длина окна) и наибольшее + посекундное, пик памяти cgroup (с кэшем файлов) по отсчётам. CPU на + успешный запрос — только до действия: в окне отказа CPU идёт на + ошибки, ожидание зависшей реплики и повторы LB, после возврата — на + запуск процесса, и делитель «успешные» с этим не связан; +- бюджет: сумма лимитов стенда и сэмплера 5,75 CPU / 2,5 GiB из + 12 / 7,75; k6 без лимита — его CPU в таблице. + +Commit `309a00d` (код `2d267bf`), чистое дерево; хост проверен +(питание от сети, свободно 61 %, давления нет, посторонних контейнеров +нет, `Swapouts` 129 588 в начале и в конце). Один прогон. + +**Результат** (`evidence/failover/resources/summary.md`, +`resources.csv`, `samples.csv`), средние ядра; «макс.» — посекундный +максимум; фазы 1–5 — диапазон, фаза 06 — отдельно: + +| Компонент | До действия | Окно отказа | После возврата | Пик памяти, МиБ (лимит) | +|---|---|---|---|---| +| реплика-цель | 0,28–0,31 (макс. 0,34–0,54) | `stop`/`kill` — 0 (контейнера нет), `pause` — 0,000 | 0,32–0,35 (макс. 0,97–1,06 — запуск) | 87–127 (512) | +| вторая реплика | 0,29–0,31 | 0,37–0,43 (макс. 0,47–0,52) | 0,31–0,33 | 98–127 (512) | +| API всего | 0,56–0,63 | 0,37–0,43 | 0,64–0,68 (макс. 1,45–1,54) | 190–254 (сумма) | +| PostgreSQL | 0,09–0,10 | 0,07–0,08 | 0,09–0,12 | 199–292 (1 024) | +| HAProxy | 0,03 | 0,02 | 0,03 | 57–64 (256) | +| Valkey | 0,01 | 0,01 | 0,01 | 47–57 (128) | +| k6 (без лимита) | 0,11–0,14 | 0,08–0,09 | 0,10–0,12 | 341–420 | +| сэмплер | 0,003 | 0,003 | 0,003 | 2–3 (128) | +| ВМ, занятые ядра из 12 | 1,03–1,16 (макс. 1,58–2,45) | 0,75–0,88 | 1,10–1,22 | — | + +CPU на успешный запрос до действия (≈ 200 успешных в секунду), мкс, фазы +1–5: API всего 2 810–3 136, PostgreSQL 432–478, HAProxy 153–175, k6 +554–690, ВМ 5 159–5 806. С трека 1 эти числа напрямую не сравниваются: +другая смесь (50 % записи и 50 % чтения страницы чата из 1 000 сообщений +против 70/20/10 и чата из 10 000). + +Фаза `06-pause-r2`: первые ~6 с окна «до действия» — всплеск у всех +компонентов сразу (реплики по 0,8–0,97 ядра с троттлингом CFS, +PostgreSQL до 0,46, k6 до 1,3, ВМ до 4,3 ядра), p95 до действия 729 мс +при 0 ошибок. Сэмплер — 0,01 ядра, выгрузок в swap за прогон не было. +Причина не установлена, похоже на хост; средние «до» этой фазы (API +всего 1,13, CPU на запрос 5 653 мкс) в диапазоны выше не включены. + +**Доступность рядом с `baseline`** (`phases.csv` обеих меток): + +| Фаза | Исключение LB, с | Ошибки в окне отказа | Восстановление, с | Возврат в LB, с | Ошибки после | Сообщений = ключей | +|---|---|---|---|---|---|---| +| `stop` 1 | 1,06 / 0,45 | 0 / 0 | 0 / 0 | 1,73 / 1,98 | 0 / 0 | 5 001 / 5 001 | +| `stop` 2 | 1,01 / 0,96 | 0 / 0 | 0 / 0 | 1,21 / 1,29 | 0 / 0 | 10 002 / 10 002 | +| `kill` 1 | 1,81 / 0,66 | 0 / 1 × 502 | 0 / 0 | 1,16 / 0,87 | 0 / 0 | 15 002 / 15 003 | +| `kill` 2 | 0,79 / 1,02 | 0 / 1 × 502 | 0 / 0 | 1,75 / 0,98 | 0 / 0 | 20 003 / 20 004 | +| `pause` 1 | 6,00 / 6,16 | 602 / 618 × 504 | 6 / 7 | 1,53 / 1,70 | 0 / 0 | 25 004 / 25 004 | +| `pause` 2 | 5,83 / 6,23 | 584 / 624 × 504 | 6 / 7 | 1,53 / 1,77 | 0 / 0 | 30 005 / 30 005 | + +Условия различаются: commit `459f84c` → `2d267bf` (код приложения с тех +пор — колонка `messages.instance_id`, 503 на «too many clients», пул +10 + 0, runtime API в `haproxy.cfg`), другая сессия хоста (2026-10-10 → +2026-10-12), наблюдатель. Поведение то же: обнаружение в пределах +границы (2,5 / 6,5 с), восстановление ≤ 7 с, после возврата ошибок нет, +сверка сошлась. Одиночные 502 в фазах `kill` — гонка keep-alive +(`evidence/failover/keep-alive.md`, 0–4 на фазу в самопроверках), +восстановление `pause` 7 с против 6 — в пределах разброса одного +прогона. Влияние наблюдателя этим сравнением не отделяется: различаются +и код, и сессия хоста. + +**Накладные расходы наблюдения:** 0,003 ядра и 2–3 МиБ (16 мкс из +~5 100 мкс ВМ на запрос), ни соединений, ни запросов к стенду. + +**Вывод.** Запас до лимитов большой: реплика при 100 + 100/с берёт +~0,3 ядра из 1 и ~0,4 после отказа второй, ~100–127 МиБ из 512; +PostgreSQL — 0,1 ядра из 2; ВМ занята на ~1 ядро из 12. Отказ реплики +стоит выжившей +30–40 % CPU, а не вдвое: в окне отказа всего API тратит +меньше (0,37–0,43 против 0,56–0,63) — почему, этот замер не разделяет +(у `pause` к тому же половина запросов висит на замороженной). +Перезапуск — около секунды на пределе 1 CPU (импорт и старт uvicorn); +новый процесс начинает с ~87 МиБ против ~100 до остановки. Замороженная +реплика CPU не тратит, её память держится (104–106 МиБ, колебание +±2 МиБ — буферы сокетов входящих соединений в cgroup); после разморозки +она растёт до 126–127 МиБ — разбор накопленных за 20 с соединений. + +**Ограничения:** один прогон на фазу; разрешение 1 с (CPU после +последнего отсчёта перед остановкой не виден, первый интервал после +`docker start` — до 1,06 ядра: счёт cgroup начинается чуть раньше +события `start`); память — `memory.current` cgroup с кэшем файлов, пик по +отсчётам; пропорциональное деление граничных интервалов (в окнах ≤ 3 с +заметно, в окнах 15–20 с — нет); генератор, стенд и наблюдатель делят +один хост. + ### Поочерёдная замена под нагрузкой (change `rolling-update`) **Гипотеза** (design `rolling-update`, решения 2–4): @@ -901,6 +1017,101 @@ swap занят 920 МиБ и за прогон не менялся (`meta.json` займёт больше времени, но на шаги замены не влияет: она идёт до миграции. +#### Ресурсы (change `profile-resources`, метка `resources`) + +**Методика.** `make bench_rollout ROLLOUT_LABEL=resources` — тот же +профиль и тот же сэмплер `scan`, что у `failover` (раздел выше): обход +cgroup видит третью реплику и контейнер миграции с первого тика после их +запуска, без перезапуска наблюдения. Окна (секунды от начала замены — +создания контейнера миграции): + +- до — от первого запроса + 2 с до первого обращения скрипта к стенду + (`exec_start` в событиях проекта, кроме проверок здоровья); +- подготовка — проверки скрипта и сборка образа из кэша до начала + замены; +- замена — до удаления последней старой реплики; +- после — до последнего запроса. + +CPU на запрос — только до и после: в подготовке и замене CPU идёт на +сборку, миграцию, старт третьей реплики, дренаж и остановку — цену +процедуры. Бюджет на пике (три реплики + сэмплер) — 6,75 CPU / 3,0 GiB +из 12 / 7,75; k6 без лимита. + +Commit `309a00d` (код `2d267bf`), чистое дерево; хост проверен +(питание от сети, свободно 72–75 %, давления нет, посторонних +контейнеров нет, `Swapouts` 157 300 в начале и в конце). Первый прогон +отброшен: во время него хост выгрузил в swap 7 236 страниц +(`host_warnings`), замена шла 12,0 с, p95 во время замены — 337 мс; +переснят после освобождения памяти хоста +(`evidence/tests/profile-resources-checks.md`). Один прогон. + +**Результат** (`evidence/rollout/resources/summary.md`, +`resources.csv`), ср. / макс. ядер; пик памяти, МиБ; в скобках — +сколько секунд окна контейнер существовал: + +| Компонент | До (−14,1…−1,1 с) | Подготовка (−1,1…0 с) | Замена (0…7,35 с) | После (7,35…104 с) | +|---|---|---|---|---| +| старая `97e43c2595ec` | 0,29 / 0,33; 88 | 0,30 / 0,31; 89 | 0,27 / 0,31; 91 | — | +| старая `bc2139090257` | 0,29 / 0,37; 88 | 0,30 / 0,31; 89 | 0,15 / 0,30; 90 (4,2 с) | — | +| новая `83ea4a71fb8d` | — | — | 0,25 / 0,84; 103 (6,2 с) | 0,29 / 0,36; 119 | +| новая `5ae2ed238ef5` | — | — | 0,15 / 1,02; 72 (1,8 с) | 0,29 / 0,38; 92 | +| API всего | 0,57 / 0,64; 176 | 0,60 / 0,62; 177 | 0,82 / 1,64; **279** | 0,58 / 0,71; 212 | +| миграция (лимит 0,5 CPU / 256 МиБ) | — | — | 0,08 / 1,52*; 97 (1,0 с) | — | +| PostgreSQL | 0,09 / 0,11; 225 | 0,08 / 0,08; 225 | 0,10 / 0,13; 236 | 0,09 / 0,16; 240 | +| HAProxy | 0,03 / 0,05; 59 | 0,06 / 0,06; 60 | 0,06 / 0,08; 61 | 0,03 / 0,07; 63 | +| Valkey | 0,01 / 0,02; 37 | 0,01 / 0,01; 36 | 0,01 / 0,02; 36 | 0,01 / 0,02; 37 | +| k6 (без лимита) | 0,11 / 0,28; 351 | 0,09 / 0,09; 350 | 0,09 / 0,28; 386 | 0,10 / 0,40; 459 | +| сэмплер | 0,00; 3 | 0,00; 2 | 0,00; 2 | 0,00; 2 | +| ВМ, занятые ядра из 12 | 1,02 / 1,81 | **2,77 / 3,16** | **2,34 / 3,35** | 1,03 / 2,34 | + +\* Первый интервал миграции — доли секунды от события `start` до отсчёта: +CPU запуска контейнера до события попадает в него, и посекундное +значение завышено. Во второй секунде миграция упирается в свой лимит: +0,52 ядра, троттлинг CFS 424 мс/с (`samples.csv`). + +CPU на успешный запрос (≈ 200 в секунду), мкс, до / после: API всего +2 876 / 2 895, PostgreSQL 432 / 440, HAProxy 156 / 126, Valkey 54 / 50, +k6 559 / 488, сэмплер 16 / 16, ВМ 5 110 / 5 141. Новая версия (с +колонкой `messages.instance_id`) обслуживает запрос за то же CPU, что +прежняя: разница меньше 1 %, в пределах одного прогона. + +**Доступность рядом с `baseline`** (`rollout.csv`, `replicas.csv`): + +| | `baseline` (код `de654a1`) | `resources` (код `2d267bf`) | +|---|---|---| +| Замена целиком, с | 8,9 | 7,35 | +| Ошибки до / во время / после | 0 / 0 / 0 | 0 / 0 / 0 | +| p95 до / макс. во время, мс | 5 / 11 | 5 / 7 | +| Первый ответ новой / последний старой, с | 4,05 / 8,3 | 3,95 / 6,74 | +| Ответов старой после дренажа | 0 | 0 | +| Шаг 1: старт → `UP` / дренаж / остановка / целиком, с | 2,08 / 0,16 / 0,42 / 3,21 | 1,77 / 0,14 / 0,31 / 3,07 | +| Шаг 2 | 2,03 / 0,14 / 0,33 / 3,13 | 0,90 / 0,14 / 0,33 / 1,90 | +| Сообщений = ключей | 12 001 | 12 001 | + +Условия различаются: код `de654a1` → `2d267bf` (пул 10 + 0, 503 на «too +many clients», `lock_timeout` миграции 2 с, правки путей сбоя скрипта), +сессия хоста, наблюдатель. Поведение то же: ни одной ошибки, старая +реплика после дренажа запросов не получает, шаги не дольше. Шаг 2 короче +— новая реплика прошла проверки LB за 0,9 с; это разброс момента первой +проверки (`inter` 1 с), а не изменение. + +**Накладные расходы наблюдения** — те же 0,003 ядра и 2–3 МиБ, к стенду +не обращается. + +**Вывод.** Цена замены — в ВМ, а не в репликах: на подготовке и замене +ВМ занята на 2,3–2,8 ядра вместо ~1 (сборка образа из кэша идёт в +BuildKit вне контейнеров стенда, плюс старт третьей реплики и +миграция), API всего — 0,82 ядра против 0,57 и 279 МиБ памяти на пике +(три реплики) против 176. До лимитов далеко: новая реплика на старте +берёт до 1 ядра из своего 1 CPU около секунды, PostgreSQL на миграции — +0,13 ядра из 2. В свой лимит упирается только миграция (0,5 CPU, +троттлинг 42 % в её единственную полную секунду), но живёт она около +секунды. + +**Ограничения:** один прогон; окна подготовки (1,1 с) и миграции (~1 с) +короче нескольких отсчётов, их средние грубые; холодная сборка не +мерилась; остальное — как у `failover`. + ### Цена масштабирования (трек 1, change `scaling-bench`) Уровень «5», трек 1 `README.md`. Гипотезы записаны и закоммичены до @@ -1771,6 +1982,14 @@ CHANGE=scaling-improvement` - **Учебные упрощения:** один Docker-host; все замеры — на нём же вместе с генератором; один прогон на фазу у профилей уровня «4»; `X-Instance-Id` — hostname контейнера (непрозрачный alias — лаба 7). +- **CPU / RAM уровня «4»** (метки `resources`) — один прогон на фазу и + одна замена, отсчёты раз в секунду: CPU последней доли секунды перед + остановкой не виден, первый интервал после запуска контейнера завышен + (счёт cgroup — с создания, начало интервала — событие `start`); память + — `memory.current` cgroup с кэшем файлов, пик по отсчётам. Всплеск + хоста в окне «до» фазы `06-pause-r2` не объяснён. Хост между прогонами + уходил в давление на память (18 ГиБ на ВМ 7,75 GiB и приложения + пользователя): прогон `rollout` с выгрузкой в swap отброшен и переснят. - **Подтверждено:** цепочка таймаутов и время обнаружения (замер по режимам), отсутствие ошибок при плановой замене; в треке 1 — граница пула (H3), насыщение PostgreSQL управляемым опытом (серия `db`) и @@ -1798,7 +2017,8 @@ CHANGE=scaling-improvement` (`KNOWN_ISSUES.md`); пинг соединения только после простоя (design `scaling-improvement`, решение 6); причинная проба хоста («грелка» на 6 vCPU); фоновая уборка ключей в worker лабы 5; повтор замеров уровня -«4» с несколькими прогонами на фазу; пункты `KNOWN_ISSUES.md` +«4» с несколькими прогонами на фазу (и ресурсов — с распределением, а +не одним значением); пункты `KNOWN_ISSUES.md` (evidence лабы 2 в исключениях сверки покрытия, буфер событий Docker в профиле `failover`). @@ -2184,7 +2404,8 @@ structlog, SQLAlchemy, asyncpg, alembic, argon2-cffi, redis-py, uvicorn **Использование ИИ.** Инструмент — Claude Code, модель Claude Opus 5.5. Работа велась по changes OpenSpec (`openspec/changes/archive/`, шесть -changes лабы 3). Каждый change проходил этапы propose → apply → verify → +changes лабы 3, и седьмой — `profile-resources`, CPU и память профилей +уровня «4», после закрытия лабы). Каждый change проходил этапы propose → apply → verify → правки по verify и archive. Каждый этап выполнял отдельный субагент, основная сессия координировала: передавала этапы, проверяла итоги, присылала автору прогресс. Все commit после skeleton помечены diff --git a/evidence/tests/profile-resources-checks.md b/evidence/tests/profile-resources-checks.md new file mode 100644 index 00000000..a2287b24 --- /dev/null +++ b/evidence/tests/profile-resources-checks.md @@ -0,0 +1,356 @@ +# Проверки change `profile-resources`: CPU и память профилей отказа и замены + +| | | +|---|---| +| Спек | `load-benchmark`: «Ресурсы профилей отказа и замены» (все сценарии), «Ресурсы профилей отказа и замены в отчёте», «Профиль отказа реплик» — «Ресурсы фазы», «Реплика остановлена или заморожена», «Быстрый профиль»; «Профиль поочерёдной замены» — «Ресурсы замены», «Новая реплика с первых секунд», «Быстрый профиль» | +| Change | `profile-resources`, задачи 1.1–9.1 | +| Дата | 2026-10-12, 14:30–16:05 UTC | +| Commit | до change — `417fdd2`; код — `6505b5e` (сэмплер `scan`, `resources.py`, оркестратор) и `2d267bf` (CPU вокруг `pause`, найдено на первом полном прогоне); метки: `evidence/failover/resources/` — `309a00d` (код `2d267bf`), `evidence/rollout/resources/` — `9c4249d` (снята на `309a00d`, код `2d267bf`); отчёт — commit с этим файлом | +| Стенд | `mtusi-bench` (HAProxy, две реплики с лимитами рабочего стенда, PostgreSQL, Valkey, k6, сэмплер `mtusi-bench-sampler`); рабочий `mtusi-lab3` — в пробе 1.1, в отладке 5.2 (посторонние контейнеры) и для цены запроса `psql` | +| Хост | Docker Desktop 29.8.2 (Compose 5.5.1), macOS 26.6.2 arm64, Apple M3 Pro, 18 ГиБ; ВМ Docker 12 CPU, 7,75 GiB (8 319 238 144 Б), cgroup v2 | + +Код приложения, compose, `Dockerfile`, скрипты и конфигурации change не +трогал: + +```text +$ git diff --stat 417fdd2 9c4249d -- src Dockerfile docker-compose.yml scripts infra pyproject.toml uv.lock +(пусто) +``` + +Поэтому `make test`, `make student_test`, `make test_isolated` и +`make failure_checks` не перезапускались (design, решение 12). + +## Статические проверки и самотесты (5.1) + +```text +$ make lint → All checks passed! (дважды, COM812) +$ uv run python bench/resources.py --selftest → selftest ok +$ uv run python bench/scaling.py --selftest → selftest ok # разбор строк сэмплера не тронут +$ bash -n bench/sampler.sh → exit 0 +$ make check → PASS: offline skeleton structure, local refs and Python syntax +``` + +Самотест `resources.py` (синтетические строки сэмплера через +`scaling.parse_samples`): непрерывный контейнер; `stop` → пропуск тиков → +`start` со сбросом счётчика (в окне отказа CPU 0 и `absent`, после +возврата — CPU от момента запуска); пауза (прирост 0, память та же) и +заморозка из событий (CPU интервала разморозки — после `unpause`); новая +реплика с первого тика после запуска; деление интервала на границе окна; +ложный пропуск тиков без сброса — продолжение; чужой ID отброшен и +посчитан; `api-total` и пик суммарной памяти; ВМ; CPU на запрос только в +установившемся окне; профиль замены — роли старых и новых, `migrate` +`absent`, пустое окно подготовки; рендер обоих разделов. + +## Проба режима `scan` (1.1) + +Без оркестратора, против работающего рабочего стенда: контейнер на +образе PostgreSQL стенда, `--cgroupns host --network none --cpus 0.25 +--memory 128m`, `bash /sampler.sh 1 scan`, ~3,5 с, затем `docker rm -f`. + +```text +пробный сэмплер 5fd3d451960a; работающие mtusi-lab3: bc8cbe991e97 0da806f7a03e 0105b1dcf4cd 7763df52c1b5 73394304f856 +samples.log: по 4 строки `cg <нс> - …` у всех шести, 4 строки `vm`, строк `lb` — 0; pg-samples.log нет +cg 1791815061296199000 - 0105b1dcf4cd 598214070 120071 1259 64102954 79572992 13372661 +``` + +`git diff bench/sampler.sh`: ветка `list` (серии) по-прежнему запускает +`psql \watch` и `lb_lines`; в `scan` — только обход +`/sys/fs/cgroup/docker/<64 hex>/` и строка `vm`. + +## Бюджет (3.1) + +```text +$ uv run python -c "...run.level4_budget(run.PROFILES['failover'], 12, 8*2**30); ...(run.PROFILES['rollout'], 4, 8*2**30)" +{'cpus': 5.75, 'memory_gib': 2.5, 'peak_replicas': 2, 'vm_cpus': 12, 'vm_memory_gib': 8.0, 'generator': 'no limit'} +{'cpus': 6.75, 'memory_gib': 3.0, 'peak_replicas': 3, 'vm_cpus': 4, 'vm_memory_gib': 8.0, 'generator': 'no limit'} +``` + +Второй — больше 4 CPU ВМ: в `main()` это отказ с кодом 2 до стенда. В +паспортах меток — `resources.budget`: 5,75 CPU / 2,5 GiB (failover) и +6,75 / 3,0 (rollout, три реплики на пике) из 12 / 7,75. + +## Сводка без ресурсов не изменилась (3.4) + +Скрипт в scratchpad: старые `failover.py` и `rollout.py` из `git show +HEAD:` (до change) и новые, `render_summary` без `resources` на одних +синтетических данных (две фазы × 17 с шкалы, один шаг замены, 35 с +шкалы): + +```text +failover equal: True 3711 +rollout equal: True 4387 +``` + +## Быстрые профили на рабочем дереве (5.2, до коммита кода) + +Рабочий стенд `mtusi-lab3` работал — его 5 контейнеров были +«посторонними» для сценария «Контейнер вне стенда». + +`make bench_failover_quick` → `quick-failover-20261012T143533Z`. Во время +фаз: + +```text +$ docker top mtusi-bench-sampler +root 46989 46966 0 14:35 ? 00:00:00 bash /sampler.sh 1 scan +root 47428 46989 0 14:36 ? 00:00:00 sleep 1 +$ docker inspect -f '{{.HostConfig.NetworkMode}}' mtusi-bench-sampler +none +``` + +- `meta.json`: `limits.sampler` — `nano_cpus` 250000000, `memory` + 134217728 (= `memory_swap`); `resources.budget.cpus` 5.75; + `resources.unmapped` 5 = число `other_containers` (5 контейнеров + `mtusi-lab3`). +- `resources.csv` — 108 строк (4 фазы × 3 окна × 9 ролей); ID рабочего + стенда нет ни там, ни в `samples.csv` (696 строк). +- `api-target` в окне отказа — `present_s` 0, среднее 0 (`absent`) во + всех фазах; после возврата снова есть, посекундный максимум + 1,02–1,08 ядра: первый интервал после `docker start` (импорт Python на + пределе 1 CPU; счёт новой cgroup идёт с её создания, а интервал — от + события `start`, оно чуть позже). «Всей истории» контейнера (сотни + секунд CPU) в одном интервале нет. +- В каждом окне занятые ядра ВМ ≥ 0,95 × суммы средних компонентов (до + действия: 1,12 против 0,87; 1,10 / 0,74; 0,96 / 0,74; 2,07 / 1,20). +- Среднее посекундных `cpu_cores` против `cpu_mean_cores` у PostgreSQL и + HAProxy — в пределах 10 % в фазах 1–3; в 04-kill-r2 — 14–33 %: окно + «до» быстрого профиля 3 с, а граничный интервал (−0,81; 0,22] — всплеск + у всех сразу (ВМ 2,44 ядра). Пропорциональное деление относит его долю к + окну, посекундное среднее граничный интервал не берёт; ошибки расчёта + нет. +- Найдено: в коротком окне среднее с долями граничных интервалов бывало + больше «максимума» (максимум брал только интервалы с концом внутри + окна). Поправка до коммита: максимум — по всем интервалам, задевающим + окно. +- `summary.md` — «Ресурсы по фазам», «CPU на успешный запрос до + действия» с причиной пустых ячеек, таблица «компонент × окно» в каждой + фазе. + +`make bench_rollout_quick` → `quick-rollout-20261012T143915Z`: + +- окна `before`, `prepare`, `during`, `after`; `rollout.script_start_at` + есть — через 5 с после первого запроса, как запуск скрипта; +- строки `api-old` × 2, `api-new` × 2, `migrate` (видна 0,65 с, + `partial`); +- первая строка новых реплик в `samples.csv` — через 0,82 и 0,89 с после + `new_created_s`; +- пик суммарной памяти API: до 157,6 МиБ, во время замены 235,6 МиБ; +- CPU на запрос только в `before` и `after`; +- `raw/rollout-script.log` без ошибок, сверка 7 301 = 7 301. + +Найдено: проверки здоровья PostgreSQL, Valkey и HAProxy (раз в 5 с) тоже +дают `exec_start` в событиях проекта: + +```text +$ docker events --filter label=com.docker.compose.project=mtusi-lab3 --filter event=exec_start --since 12s --until 0s … +…|exec_start: /bin/sh -c pg_isready -h 127.0.0.1 -U "$POSTGRES_USER" -d "$POSTGRES_DB"|mtusi-lab3-postgres-1 +…|exec_start: bash -c exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\r\n\r\n' >&3 && head -n 1 <&3 | grep -q ' 200 '|mtusi-lab3-haproxy-1 +…|exec_start: /bin/sh -c test "$(valkey-cli -p "$VALKEY_PORT" ping)" = PONG|mtusi-lab3-valkey-1 +``` + +Поэтому начало подготовки — первое `exec_start` проекта после первого +запроса, кроме действий проверок здоровья (`Stand.healthcheck_actions` +из `Config.Healthcheck.Test` контейнеров, `rollout.script_start`). + +## Быстрые профили на закоммиченном коде (6.1) + +Цепочка `make bench_quick && make bench_restore_quick && make +bench_failover_quick && make bench_rollout_quick && make +bench_scaling_quick` дважды: на `6505b5e` (рабочий стенд работал) и на +итоговом коде `2d267bf` (рабочий стенд остановлен). Обе — `chain-exit=0`. + +| Метка (`2d267bf`) | Итог | `git` | Предупреждения | +|---|---|---|---| +| `quick-20261012T150909Z` | complete, 18/18 | `2d267bf`, `dirty: false` | — | +| `quick-restore-20261012T151243Z` | complete | `2d267bf`, `dirty: false` | — | +| `quick-failover-20261012T151501Z` | complete, 4/4 | `2d267bf`, `dirty: false` | — | +| `quick-rollout-20261012T151706Z` | complete, 1/1 | `2d267bf`, `dirty: false` | — | +| `quick-scaling-20261012T151838Z` | complete, 2/2 | `2d267bf`, `dirty: false` | — | + +- Серия: роли `samples.csv` — `api`, `haproxy`, `k6`, `postgres`, + `valkey`, `vm` (прежние); в `runs.csv` заполнены `db_commits_per_s` + (49,7 … 210,4) и `lb_scur_max` (1 … 263) — режим `list` с `psql` и + опросом LB работает как раньше. (В первой цепочке у серии было + предупреждение о swap — рабочий стенд работал; быстрые метки в git не + идут.) +- Быстрый `failover`: `unmapped` 0, 108 строк; `api-target` в окне отказа + — `present_s` 0 (в `04-kill-r2` — 1,05 с, 0,005 ядра, 7,1 МиБ: cgroup + убитой реплики жила ещё ~1 с); ошибки 0 / 0 / 1 / 1 (502 гонки + keep-alive), восстановление 0, сверка. +- Быстрый `rollout`: замена 9,24 с, ошибок 0, сверка 7 300; первая строка + новых реплик — через 0,81 и 1,03 с после создания; пик памяти API + 161 → 243 МиБ. +- `git status --porcelain` после цепочки пуст: метки `quick-*` — в + `.gitignore`. + +## Сторож (6.2) + +`make bench_failover_quick`; после строки `phase 01-stop-r1: stop …` +(14:55:52 UTC) — `docker rm -f mtusi-bench-sampler`: + +```text +[00:00:20] phase 01-stop-r1: stop c8b70a209086 (api-2) +[00:00:30] phase 01-stop-r1: start c8b70a209086 +[00:00:40] bench failed: phase 01-stop-r1: sampler mtusi-bench-sampler stopped during the load: resources not measured +[00:00:41] incomplete: 0/4 runs, results in evidence/failover/quick-failover-20261012T145530Z +make: *** [bench_failover_quick] Error 1 +``` + +`meta.json`: `status: incomplete`, `reason` — та же строка с фазой и +сэмплером. `docker ps -a --filter name=mtusi-bench` — пусто, volume +проекта — 0. + +## Проверки хоста и `Swapouts` + +| Замер | Время (UTC) | Питание | Память (`memory_pressure`, уровень) | Контейнеры | Нагрузка 1/5/15 | Spotlight | `Swapouts` до → после | +|---|---|---|---|---|---|---|---| +| `failover`, первый прогон (`6505b5e`, отброшен) | 15:00:58 | AC | 55 %, 1 (в 14:56 — 35 %, уровень 2: ждал) | нет | 2,82 / 4,18 / 4,82 | 0 % | 107 616 → 107 616 | +| `failover`, метка `resources` (`2d267bf`) | 15:28:11 | AC | 61 %, 1 (в 15:22 — 40 %, уровень 2: ждал) | нет | 2,50 / 4,52 / 4,64 | 0 % | 129 588 → 129 588 | +| `rollout`, прогон со swap (`309a00d`, отброшен) | 15:38:05 | AC | 54 %, 1 | нет | 2,23 / 3,45 / 4,15 | 0 % | 150 064 → 157 300 | +| `rollout`, метка `resources` (`309a00d`) | 15:54:45 | AC | 72 %, 1 (пользователь закрыл PyCharm и Chrome) | нет | 3,69 / 3,33 / 3,58 | 0,4 % | 157 300 → 157 300 | + +Zoom не запущен ни разу; ВМ — 12 CPU / 7,75 GiB. После каждого прогона +давление на память хоста поднималось до уровня 2, и `Swapouts` росли, +пока система освобождала память (107 616 → 129 588 → 150 064), — поэтому +перед каждым замером ждал уровня 1, свободной памяти ≥ 50 % и +неизменных `Swapouts`. Метки в git — только с `swapouts` в начале и в +конце равными и пустыми `host_warnings`. + +## Отброшенные прогоны + +- **`failover` на `6505b5e`.** Прошёл чисто, но проверка «у фаз `pause` + `api-target` в окне отказа — среднее < 0,01 ядра» не прошла: 0,0121 и + 0,0109, посекундный максимум 0,76 / 0,81. В самих замороженных + интервалах прирост 0; часть работы до `pause` и всплеск после + `unpause` пропорциональное деление относило к окну отказа. Поправка + `2d267bf`: CPU интервала, задевающего начало или конец заморозки + (моменты — события Docker), относится к её внешней части. Доступность + этого прогона: LB out `stop` / `kill` 0,10–1,64 с, один 502, `pause` + 5,56 / 6,47 с (граница 6,5), 504: 558 / 649, восстановление 6 / 7 с, + ошибок после возврата 0, сверка 30 003. +- **`rollout` со swap на `309a00d`.** `host_warnings: host swapped out + 7236 pages during the run: rerun` (`Swapouts` 150 064 → 157 300, swap + 1 128 → 1 241 МиБ). Замена 12,01 с, p95 во время замены 337 мс, шаги + 3,90 / 3,94 с; ошибок 0, ответов старых после дренажа 0. Переснят после + освобождения памяти: 7,35 с, p95 7 мс — разница согласуется с выгрузкой + в swap. + +## Полный `failover` — `evidence/failover/resources/` (7.2) + +`make bench_failover FAILOVER_LABEL=resources`, 15:28–15:34 UTC. + +- `meta.json`: `status: complete`, `git` `2d267bf`, `dirty: false`; + `host_warnings` пуст, `slept_seconds` 0, `swapouts` 129 588 = 129 588; + `other_containers` пуст, `resources.unmapped` 0; `limits.sampler` + 0,25 CPU / 128 МиБ без swap; `limits.k6` — `nano_cpus` 0 (без лимита). +- 6 фаз в `phases.csv`; `resources.csv` — 162 строки (6 × 3 × 9); + `samples.csv` — 2 312. +- `pause`, `api-target` в окне отказа: среднее 0,0 и 0,0, максимум 0,0; + пик памяти 104,3 / 105,9 МиБ против 102,2 / 103,9 до действия. По + секундам память замороженной реплики ходит 101,9 → 104,3 → 102,7 МиБ + при CPU 0 — сокетные буферы ядра входящих соединений LB, учтённые в + cgroup. +- Наблюдение: в фазе `06-pause-r2` первые ~6 с окна «до действия» + (−12…−8 с) — всплеск у всех компонентов сразу: реплики по 0,8–0,97 + ядра с троттлингом CFS до 108 мс/с, PostgreSQL до 0,46, k6 до 1,3, ВМ + до 4,3 ядра; p95 до действия — 729 мс, ошибок нет. Сэмплер — 0,01 + ядра, `swapouts` за прогон 0. Причина не установлена: всё сразу — + похоже на хост. Поэтому в отчёте фазы 1–5 и 06 — отдельно. + +## Полный `rollout` — `evidence/rollout/resources/` (8.2) + +`make bench_rollout ROLLOUT_LABEL=resources`, 15:54:53–15:57:15 UTC. + +- `meta.json`: `status: complete`, `git` `309a00d`, `dirty: false`; + `host_warnings` пуст, `swapouts` 157 300 = 157 300 (`swapouts_delta` + 0), `other_containers` пуст, `resources.unmapped` 0; + `rollout.script_start_at` 15:55:26.524; бюджет 6,75 CPU / 3,0 GiB, + три реплики на пике. +- `rollout.csv`, `replicas.csv` (2 шага), `timeline.csv`; + `resources.csv` — 48 строк (4 окна × 12: две старые, две новые, + `api-total`, `migrate`, `postgres`, `haproxy`, `valkey`, `k6`, + `sampler`, `vm`); `samples.csv` — 967. +- Первая строка новых реплик в `samples.csv` — через 0,10 и 0,71 с после + `new_created_s` (2,05 → 2,15; 5,45 → 6,16). + +## Паспорта новых меток против `baseline` + +Плоские ключи `meta.profile` и `meta.limits`: общих ключей с разными +значениями — **0** у обоих профилей. Ключи только в новых метках: + +- `profile`: `sample_resources` (признак наблюдения), `sampler_cpus`, + `sampler_memory`, `sample_interval_s` и поля серий трека 1 (`series`, + `configs`, `mix`, `fixed_rps`, `generator_cpus` = `''` …), появившиеся + после `baseline`; у `failover` ещё поля `rollout_*` (добавлены change + `rolling-update` после `failover/baseline`); +- `limits`: `sampler.*` (лимит наблюдателя), `k6.*` (`nano_cpus` 0 — без + лимита, как и было) и `max_connections` 100 (записывается с change + `scaling-bench`). + +Нагрузка (100 + 100/с), окна фаз и замены, лимиты стенда +(API 1 / 512m × 2, PostgreSQL 2 / 1g, HAProxy 1 / 256m, Valkey 0,5 / +128m) и пороги совпадают. + +## Доступность против `baseline` (7.3, 8.3) + +`failover` (`baseline` — `459f84c`, 2026-10-10 / `resources` — +`2d267bf`, 2026-10-12; числа `phases.csv`): + +| Фаза | Исключение LB, с | Причина | Ошибки в окне отказа | Мин. доля | Восстановление, с | p95 до / макс. в окне, мс | Возврат в LB, с | Ошибки после | Повтор записей | Сообщений = ключей | +|---|---|---|---|---|---|---|---|---|---|---| +| 01-stop-r1 | 1,06 / 0,45 | DNS / DNS | 0 / 0 | 1 / 1 | 0 / 0 | 5, 505 / 10, 73 | 1,73 / 1,98 | 0 / 0 | 0 / 0 | 5 001 / 5 001 | +| 02-stop-r2 | 1,01 / 0,96 | DNS / DNS | 0 / 0 | 1 / 1 | 0 / 0 | 4, 505 / 7, 506 | 1,21 / 1,29 | 0 / 0 | 0 / 0 | 10 002 / 10 002 | +| 03-kill-r1 | 1,81 / 0,66 | DNS / DNS | 0 / 1 × 502 | 1 / 0,995 | 0 / 0 | 4, 505 / 5, 506 | 1,16 / 0,87 | 0 / 0 | 0 / 1 → 1 | 15 002 / 15 003 | +| 04-kill-r2 | 0,79 / 1,02 | DNS / проверки (Layer4) | 0 / 1 × 502 | 1 / 0,995 | 0 / 0 | 5, 505 / 5, 506 | 1,75 / 0,98 | 0 / 0 | 0 / 0 | 20 003 / 20 004 | +| 05-pause-r1 | 6,00 / 6,16 | проверки | 602 / 618 × 504 | 0,5 / 0,5 | 6 / 7 | 5, 104 / 8, 39 | 1,53 / 1,70 | 0 / 0 | 240 / 285 | 25 004 / 25 004 | +| 06-pause-r2 | 5,83 / 6,23 | проверки | 584 / 624 × 504 | 0,5 / 0,5 | 6 / 7 | 4, 150 / 729, 75 | 1,53 / 1,77 | 0 / 0 | 584 / 294 | 30 005 / 30 005 | + +- Требование `load-balancing` выполнено: обнаружение не выше границы + (2,5 / 6,5 с; максимум 6,23), восстановление ≤ 7 с, ошибок после + возврата 0, сверка сошлась; пропусков итераций k6 нет. +- По классам решения 10: одиночный 502 в двух фазах `kill` — гонка + keep-alive (0–4 на фазу, `keep-alive.md`), разброс; восстановление + `pause` 7 с против 6 — не расхождение (порог > 7 с); p95 до действия + фазы 06 — 729 мс, всплеск хоста (выше). + +`rollout` (`baseline` — код `de654a1` / отброшенный со swap / `resources`): + +| | `baseline` | со swap (отброшен) | `resources` | +|---|---|---|---| +| Замена, с | 8,9 | 12,01 | 7,35 | +| Сборка / миграция, с | 0 / 2 | 1 / 2 | 0 / 2 | +| Ошибки до / во время / после | 0 / 0 / 0 | 0 / 0 / 0 | 0 / 0 / 0 | +| Мин. доля успешных | 1,0 | 1,0 | 1,0 | +| p95 до / макс. во время, мс | 5 / 11 | 8 / 337 | 5 / 7 | +| Первый ответ новой / последний старой, с | 4,05 / 8,3 | 4,35 / 11,14 | 3,95 / 6,74 | +| Ответов старых после дренажа | 0 | 0 | 0 | +| Шаг 1: старт → `UP` / дренаж / остановка / целиком, с | 2,08 / 0,16 / 0,42 / 3,21 | 2,03 / 0,18 / 0,62 / 3,90 | 1,77 / 0,14 / 0,31 / 3,07 | +| Шаг 2 | 2,03 / 0,14 / 0,33 / 3,13 | 1,88 / 0,30 / 0,39 / 3,94 | 0,90 / 0,14 / 0,33 / 1,90 | +| Сообщений = ключей | 12 001 | 12 001 | 12 001 | + +Нарушений `load-balancing` и расхождений по решению 10 нет: ошибок 0, +ответов старой реплики после дренажа 0, шаги не вдвое дольше. + +## Накладные расходы наблюдения + +- **Режим `scan` (профили уровня «4»).** Наблюдатель не держит соединений + с PostgreSQL и не обращается к LB: контейнер без сети, в нём только + `bash` и `sleep`. Его собственные ресурсы в метках: 0,003–0,006 ядра + среднее, до 0,014 посекундно, 2–3 МиБ (`resources.csv`, роль + `sampler`); CPU на запрос 16 мкс из ~5 100 мкс ВМ. +- **Режим `list` (серии трека 1, не меняется).** Цена запроса + `psql \watch` переснята той же командой: SQL из `bench/sampler.sh`, + 50 раз через `psql` с `\timing` в контейнере PostgreSQL рабочего стенда + (после `make run_docker`, ~15:59 UTC): первый — 7,16 мс (холодный кэш + каталога), медиана 0,473 мс, p90 0,602 мс; второй запуск подряд — + медиана 0,515, p90 0,634. Это время клиента — верхняя граница CPU + сервера: ≤ 0,0005 ядра на запрос в секунду. CPU PostgreSQL на 250/с + у 1 × 1 — 0,066–0,069 ядра (`scaling-b` и `scaling-aa`, `runs.csv`, + `db_cpu_cores`; коммитов 50,8–52,1/с), так что наблюдатель ≤ 0,8 % CPU + PostgreSQL при 250/с и меньше при большей интенсивности. + +## Итог + +Все задачи 1.1–8.5 выполнены, проверки выше — код 0 или ожидаемый отказ +(сторож). Рабочий стенд после замеров снова поднят: +`make run_docker`, `make lb_stats` — `api-1` и `api-2` `UP` (`L7OK`), +`make instances` — `instances: 2`. diff --git a/openspec/changes/profile-resources/design.md b/openspec/changes/profile-resources/design.md index 96dcb9e2..f2c22a7f 100644 --- a/openspec/changes/profile-resources/design.md +++ b/openspec/changes/profile-resources/design.md @@ -670,3 +670,56 @@ PostgreSQL и ВМ по трём окнам, сэмплер. У `rollout` — т `resources.csv` у них нет. - Откат — `git revert` commit кода. Метки `resources` остаются доказательством commit, на котором сняты. + +## Найдено в apply + +1. **Проверки здоровья дают `exec_start`** (решение 4). PostgreSQL, + Valkey и HAProxy стенда проверяются раз в 5 с через `docker exec`, и + эти события приходят в поток проекта (`docker events --filter + event=exec_start` на рабочем стенде: `/bin/sh -c pg_isready …`, + `bash -c exec 3<>/dev/tcp/127.0.0.1/8404 …`, `/bin/sh -c test + "$(valkey-cli …)"`). Предпосылка «первое `exec_start` проекта после + первого запроса — скрипт» неверна. Поправка: + `rollout.script_start(events, since, ignore)` отбрасывает действия + проверок здоровья; их строит `Stand.healthcheck_actions()` из + `Config.Healthcheck.Test` работающих контейнеров (`CMD-SHELL` → + `/bin/sh -c <команда>`, `CMD` → аргументы через пробел — так их пишет + Docker). В метках начало подготовки — запуск скрипта (через 15 с + после первого запроса). +2. **Заморозка и пропорциональное деление** (решения 3, 5). Первый + полный `failover` (`6505b5e`) дал у `pause` в окне отказа 0,011–0,012 + ядра и посекундный максимум 0,76–0,81: интервал, задевающий `pause`, + нёс работу до неё, а задевающий `unpause` — всплеск после неё, и + деление по длине относило их доли к окну отказа. Поправка `2d267bf` + (`resources.thaw`): CPU такого интервала относится к незамороженной + части (моменты — события Docker), присутствие считается по всему + интервалу. Метка переснята, первый прогон отброшен. +3. **Посекундный максимум** (решение 5) — по всем интервалам, задевающим + окно, а не только с концом внутри: иначе в коротком окне среднее с + долями граничных интервалов выходило больше максимума. +4. **«Контейнер был» и «контейнера не было»** (решение 5, Risks). + Остановленная реплика в окне отказа — CPU 0 и пометка `absent` + (контейнер известен по другим окнам); контейнер, не попавший ни в + один отсчёт за прогон, — пустые значения и `absent`. Окно нулевой + длины (начало подготовки не найдено) — пометка `empty`. +5. **`sampler.sh`: каталог пропал посреди чтения.** Раньше получалась + строка нулей (`usage_usec` 0 похож на сброс); теперь чтение молча, и + пустые `usage_usec` или `memory.current` дают `missing`. Касается и + режима `list`, но там контейнеры посреди ячейки не пропадают. +6. **Первый интервал после запуска завышен** (Risks, разрешение 1 с). + Счёт новой cgroup идёт с её создания, а начало интервала — событие + `start`, оно чуть позже: реплика после `docker start` — до 1,06 + ядра при лимите 1, у миграции интервал в доли секунды — 1,52 при + лимите 0,5. В отчёте — ограничение. +7. **Хост между прогонами** (решение 10). После каждого прогона давление + на память хоста доходило до уровня 2, и `Swapouts` росли, пока + система освобождала память; перед замером ждали уровня 1, свободной + памяти ≥ 50 % и неизменных `Swapouts`. Первый полный `rollout` + (`309a00d`) всё равно выгрузил 7 236 страниц (замена 12,0 с, p95 + 337 мс) и отброшен; повтор после закрытия приложений пользователя — + без выгрузки. +8. **Фаза `06-pause-r2` метки `failover/resources`.** В первые ~6 с + окна «до» — всплеск у всех компонентов сразу (ВМ до 4,3 ядра), p95 до + действия 729 мс без ошибок, swap 0. Причина не установлена; по + решению основной сессии метка не переснималась, в отчёте фазы 1–5 и + 06 — отдельно. diff --git a/openspec/changes/profile-resources/tasks.md b/openspec/changes/profile-resources/tasks.md index 055eaa24..b66b048a 100644 --- a/openspec/changes/profile-resources/tasks.md +++ b/openspec/changes/profile-resources/tasks.md @@ -347,7 +347,7 @@ nohup make <цель> > /profile-resources/<имя>.log 2>&1 & - в `raw/rollout-script.log` нет ошибок, сверка сошлась. Расхождение — разбор и правка до коммита. -- [ ] 5.3 Commit кода: `bench/sampler.sh`, `bench/resources.py`, +- [x] 5.3 Commit кода: `bench/sampler.sh`, `bench/resources.py`, `bench/run.py`, `bench/failover.py`, `bench/rollout.py`, `.claude/rules/bench.md`, `Makefile`, `tasks.md` change с отметками 1.1–5.2. Сообщение `feat: sample CPU and memory in failover and @@ -360,7 +360,7 @@ nohup make <цель> > /profile-resources/<имя>.log 2>&1 & ## 6. Быстрые профили и сторож на закоммиченном коде -- [ ] 6.1 Одной цепочкой, фоном: `make bench_quick && make +- [x] 6.1 Одной цепочкой, фоном: `make bench_quick && make bench_restore_quick && make bench_failover_quick && make bench_rollout_quick && make bench_scaling_quick; echo "chain-exit=$?"`. Журнал — `/profile-resources/quick.log`, @@ -375,7 +375,7 @@ nohup make <цель> > /profile-resources/<имя>.log 2>&1 & - `git status --porcelain` пуст: метки `quick-*` — в `.gitignore`. Сбой — разбор. Правка кода — новый commit и повтор цепочки. -- [ ] 6.2 Сторож (сценарий «Наблюдатель остановился»). +- [x] 6.2 Сторож (сценарий «Наблюдатель остановился»). `make bench_failover_quick`; когда в журнале появится строка первой фазы — `docker rm -f mtusi-bench-sampler`. Ждём: - код выхода ≠ 0; @@ -386,9 +386,9 @@ nohup make <цель> > /profile-resources/<имя>.log 2>&1 & ## 7. Полный замер `failover` -- [ ] 7.1 Проверка хоста (шапка задач), `Swapouts` «до». Плохо — +- [x] 7.1 Проверка хоста (шапка задач), `Swapouts` «до». Плохо — остановка и отчёт основной сессии. -- [ ] 7.2 `nohup make bench_failover FAILOVER_LABEL=resources > +- [x] 7.2 `nohup make bench_failover FAILOVER_LABEL=resources > /profile-resources/failover.log 2>&1 &`, ~6 мин, ожидание циклом. Затем `Swapouts` «после». Проверка `evidence/failover/resources/`: @@ -408,20 +408,20 @@ nohup make <цель> > /profile-resources/<имя>.log 2>&1 & Прервался — разбор причины. Предупреждение о хосте в паспорте — не коммитить, остановиться и отдать отчёт основной сессии. Занятую метку не перезаписывать, неудачную не удалять без разбора. -- [ ] 7.3 Сравнение с `baseline` по решению 10 — таблица в журнале для +- [x] 7.3 Сравнение с `baseline` по решению 10 — таблица в журнале для 9.1 и 9.2, числа из `phases.csv` обеих меток. - Нарушено требование `load-balancing` (обнаружение выше формулы, восстановление > 10 с, ошибки после возврата) — остановка и вопрос основной сессии до отчёта. - Иное расхождение — записать, отчёт его описывает. -- [ ] 7.4 Commit метки: `git add evidence/failover/resources`, `docs: +- [x] 7.4 Commit метки: `git add evidence/failover/resources`, `docs: add failover resources label`. Проверка: `git status --porcelain` пуст. ## 8. Полный замер `rollout` -- [ ] 8.1 Проверка хоста, `Swapouts` «до». Плохо — остановка и отчёт. -- [ ] 8.2 `nohup make bench_rollout ROLLOUT_LABEL=resources > +- [x] 8.1 Проверка хоста, `Swapouts` «до». Плохо — остановка и отчёт. +- [x] 8.2 `nohup make bench_rollout ROLLOUT_LABEL=resources > /profile-resources/rollout.log 2>&1 &`, ~3 мин. Затем `Swapouts` «после». Проверка `evidence/rollout/resources/`: - `meta.json`: `status: complete`, `dirty: false`, commit кода, @@ -435,19 +435,19 @@ nohup make <цель> > /profile-resources/<имя>.log 2>&1 & - сводка с разделом ресурсов. Предупреждение о хосте — как в 7.2. -- [ ] 8.3 Сравнение с `baseline` по решению 10: числа из `rollout.csv` и +- [x] 8.3 Сравнение с `baseline` по решению 10: числа из `rollout.csv` и `replicas.csv`. - Любая ошибка или ответ старой реплики после дренажа — нарушение `load-balancing` («Поочерёдная замена реплик»): остановка и вопрос. - Шаг вдвое дольше — записать. -- [ ] 8.4 Commit метки: `docs: add rollout resources label`. Проверка: +- [x] 8.4 Commit метки: `docs: add rollout resources label`. Проверка: дерево чистое. -- [ ] 8.5 Рабочий стенд снова: `make run_docker`, затем `make lb_stats` +- [x] 8.5 Рабочий стенд снова: `make run_docker`, затем `make lb_stats` — обе реплики `UP`. ## 9. Evidence, отчёт и документы -- [ ] 9.1 `evidence/tests/profile-resources-checks.md`, в стиле +- [x] 9.1 `evidence/tests/profile-resources-checks.md`, в стиле `rolling-update-checks.md`: - шапка: спек и требования дельты, change, даты, хэши (код, метки, отчёт), стенд, хост (`docker version`, `docker info`); @@ -474,7 +474,7 @@ nohup make <цель> > /profile-resources/<имя>.log 2>&1 & Без секретов и абсолютных путей домашнего каталога. Проверка: `grep -nE "/Users/|PASSWORD=|Bearer [A-Za-z0-9_-]{20,}" evidence/tests/profile-resources-checks.md` ничего не находит. -- [ ] 9.2 `REPORT.md` по решению 11, свежий Read перед правкой. Числа — +- [x] 9.2 `REPORT.md` по решению 11, свежий Read перед правкой. Числа — из `summary.md`, `resources.csv`, `phases.csv` и `rollout.csv` меток, не пересчитывать вручную. - **Шапка:** @@ -511,7 +511,7 @@ nohup make <цель> > /profile-resources/<имя>.log 2>&1 & - `grep -n "использование не снималось" REPORT.md` — пусто; - у каждой новой строки — команда, наблюдение, файл; - числа совпадают с файлами меток. -- [ ] 9.3 `AGENTS.md` (решение 11): +- [x] 9.3 `AGENTS.md` (решение 11): - вступление: change `profile-resources` в перечне changes лабы 3; - таблица команд: `make bench_failover` / `bench_rollout` — CPU и память по компонентам и окнам; @@ -525,7 +525,7 @@ nohup make <цель> > /profile-resources/<имя>.log 2>&1 & Проверка: `grep -n "resources.py\|profile-resources" AGENTS.md` находит новые строки, описания не противоречат коду. -- [ ] 9.4 Финал: +- [x] 9.4 Финал: - отметки задач 5.3–9.4 из журнала и раздел «Найдено в apply» в `design.md`, если было что найти; - `make lint`, `make check`, `openspec validate profile-resources