From 67cb4d7d9af91a2dfc0bae5e91b3bbaf089c54f3 Mon Sep 17 00:00:00 2001 From: roman Date: Fri, 2 Oct 2026 07:25:20 +0300 Subject: [PATCH] fix: keep the host awake during bench runs Co-Authored-By: Claude Opus 5.5 --- .claude/rules/bench.md | 9 +++++-- Makefile | 12 ++++++--- bench/run.py | 12 +++++++++ .../changes/track2-backup-restore/design.md | 27 +++++++++++++++++++ .../changes/track2-backup-restore/tasks.md | 9 +++++++ 5 files changed, 63 insertions(+), 6 deletions(-) diff --git a/.claude/rules/bench.md b/.claude/rules/bench.md index cd149794..19e367f7 100644 --- a/.claude/rules/bench.md +++ b/.claude/rules/bench.md @@ -206,6 +206,11 @@ paths: Если swap занят или память под давлением — перезагрузить ноутбук; если условия выполнены, перезагрузка не обязательна. Состояние записывается в паспорт (`host_state`), в отчёте оно указывается по - паспорту, а не по плану. Во время прогона ноутбук не нагружать. - Предупреждения о хосте в `meta.json` (`host_warnings`) — повод + паспорту, а не по плану. Во время прогона ноутбук не нагружать и не + закрывать крышку: цели `bench*` запускаются под `caffeinate -isu` + (`-u` будит из DarkWake полностью, `-i -s` не дают уснуть по простою), + но от сна при закрытой крышке он не спасает. Сон посреди прогона ставит + ВМ Docker на паузу; `run.py` замечает его по разнице реального и + монотонного времени (`host_state.slept_seconds`, предупреждение больше + 5 с). Предупреждения о хосте в `meta.json` (`host_warnings`) — повод переснять, а не игнорировать. diff --git a/Makefile b/Makefile index 4744236b..8eb7e348 100644 --- a/Makefile +++ b/Makefile @@ -138,6 +138,10 @@ stop_cache: # ------------------------- BENCH_LABEL ?= baseline +# macOS не засыпает на время замера (сон ставит ВМ Docker на паузу посреди +# прогона): -u будит из DarkWake полностью, -i и -s не дают уснуть до +# конца; на других ОС caffeinate нет, и префикс пустой +KEEP_AWAKE := $(shell command -v caffeinate >/dev/null 2>&1 && echo caffeinate -isu) # полная матрица на своём проекте compose mtusi-bench (API, PostgreSQL, # Valkey, без портов хоста), с фоновыми чатами разного размера, вариантами @@ -146,12 +150,12 @@ BENCH_LABEL ?= baseline # ход — строки в терминале и progress.json .PHONY: bench bench: - uv run python bench/run.py --profile full --label $(BENCH_LABEL) + $(KEEP_AWAKE) uv run python bench/run.py --profile full --label $(BENCH_LABEL) # самопроверка стенда на малых размерах, ~3 мин; результат в git не идёт .PHONY: bench_quick bench_quick: - uv run python bench/run.py --profile quick --label quick-$(shell date -u +%Y%m%dT%H%M%SZ) + $(KEEP_AWAKE) uv run python bench/run.py --profile quick --label quick-$(shell date -u +%Y%m%dT%H%M%SZ) RESTORE_LABEL ?= restore @@ -161,13 +165,13 @@ RESTORE_LABEL ?= restore # evidence/bench/$(RESTORE_LABEL)/ .PHONY: bench_restore bench_restore: - uv run python bench/run.py --profile restore --label $(RESTORE_LABEL) + $(KEEP_AWAKE) uv run python bench/run.py --profile restore --label $(RESTORE_LABEL) # то же на малых размерах (самопроверка, сценарий защиты), ~2 мин; в git # не идёт .PHONY: bench_restore_quick bench_restore_quick: - uv run python bench/run.py --profile restore_quick --label quick-restore-$(shell date -u +%Y%m%dT%H%M%SZ) + $(KEEP_AWAKE) uv run python bench/run.py --profile restore_quick --label quick-restore-$(shell date -u +%Y%m%dT%H%M%SZ) # дельта двух меток по ячейкам матрицы: BEFORE и AFTER обязательны, AA — # метка того же кода, что BEFORE, для уровня шума; результат — diff --git a/bench/run.py b/bench/run.py index 04508b18..846c3d78 100644 --- a/bench/run.py +++ b/bench/run.py @@ -69,6 +69,8 @@ SUCCESS_METRIC = "http_req_duration{expected_response:true}" SWAP_WARN_MIB = 1024 # предупреждение о VM: лимиты памяти стенда + этот запас больше памяти VM VM_RESERVE_GIB = 1.5 +# предупреждение о хосте: реальное время прогона больше монотонного, с +SLEEP_WARN_S = 5 # psql в контейнере Postgres от пользователя образа, без пароля; SQL — stdin PSQL = ( 'exec psql -U "$POSTGRES_USER" -d "$POSTGRES_DB" -XAtq -v ON_ERROR_STOP=1' @@ -2903,6 +2905,10 @@ def main(argv: list[str]) -> int: } stand_check = Stand(profile, label_dir) started = time.monotonic() + # на macOS монотонные часы во сне стоят, а реальные идут: разница — + # сколько хост проспал посреди прогона (решение 9 design change + # track2-backup-restore) + started_wall = time.time() def say(text: str) -> None: elapsed = int(time.monotonic() - started) @@ -2954,6 +2960,12 @@ def main(argv: list[str]) -> int: shutil.rmtree(bench.stand.work_dir, ignore_errors=True) meta["finished_at"] = datetime.now(UTC).isoformat(timespec="seconds") meta["host_state"]["end"] = host_state() + slept = (time.time() - started_wall) - (time.monotonic() - started) + meta["host_state"]["slept_seconds"] = round(max(0.0, slept)) + if slept > SLEEP_WARN_S: + warning = f"host slept {slept:.0f}s during the run: rerun" + meta["host_warnings"].append(warning) + say(f"WARNING: {warning}") results.write_meta() results.write_summary() bench.stage = "done" if code == 0 else meta.get("reason", "stopped") diff --git a/openspec/changes/track2-backup-restore/design.md b/openspec/changes/track2-backup-restore/design.md index b683c900..8be7bf07 100644 --- a/openspec/changes/track2-backup-restore/design.md +++ b/openspec/changes/track2-backup-restore/design.md @@ -234,6 +234,33 @@ valkey-cli FLUSHALL`, пароль из `VALKEYCLI_AUTH` контейнера. Пороги уточняются по `bench_restore_quick` до записи. +### 9. Сон хоста во время прогона + +Найдено при первом запуске `make bench_restore`. macOS ушёл в сон по +простою (`pmset -g log`: `Entering Sleep state due to 'Idle'`) посреди +наполнения: +- ВМ Docker стояла на паузе, порция наполнения показала 467 сообщений в + секунду вместо ~930; +- метки времени в выводе отстали от реального времени на 15 минут: + `time.monotonic()` на macOS во сне не идёт. + +Прогон прерван, метка удалена. `baseline` и `track2` закончились до +первого сна, их это не задело (сверено по `started_at` / `finished_at` +и журналу питания). + +- **Цели `bench*`** в `Makefile` запускаются под `caffeinate -isu`, если + команда есть (macOS). В `pmset` хоста стоит `sleep 1`, система уже + спала и выполняла команды только в окнах DarkWake (возможности `CPU + Network`). `-u` объявляет активность пользователя и даёт полное + пробуждение (`DarkWake to FullWake` в журнале питания), а `-i -s` не + дают уснуть до конца прогона. При закрытой крышке без внешнего + дисплея не помогает ничто без `sudo pmset`, это ограничение записано + в `bench.md`. +- **`run.py` сравнивает** прошедшее реальное время (`time.time()`) с + `time.monotonic()`. Если разница больше 5 с, хост спал. В + `host_warnings` идёт предупреждение, в `host_state` — `slept_seconds`. + По `bench.md` предупреждение о хосте — повод переснять метку. + ## Risks / Trade-offs - [Dump закончится раньше, чем начнётся запись, и граница потери не diff --git a/openspec/changes/track2-backup-restore/tasks.md b/openspec/changes/track2-backup-restore/tasks.md index b18c14ab..412c9ffe 100644 --- a/openspec/changes/track2-backup-restore/tasks.md +++ b/openspec/changes/track2-backup-restore/tasks.md @@ -68,6 +68,15 @@ - [x] 4.4 Закоммитить (`feat: add backup and restore stage to bench`). Проверка: `git status` чистый. +- [x] 4.5 Защита от сна хоста (решение 9): `caffeinate -isu` в целях + `bench*` `Makefile`, если команда есть; предупреждение + `host_warnings` и `host_state.slept_seconds` в `run.py` при разнице + реального и монотонного времени больше 5 с; строка в `bench.md` + («Результаты»). Проверка: `make -n bench_restore` печатает + `caffeinate -isu`; на коротком прогоне `slept_seconds` около 0 и + предупреждения нет. Закоммитить (`fix: keep the host awake during + bench runs`). + ## 5. Замер и отчёт - [ ] 5.1 Записать в `REPORT.md` гипотезы R1–R5 (решение 8) до замера