fix: keep the host awake during bench runs

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-02 07:25:20 +03:00
co-authored by Claude Opus 5.5
parent 4be2316bf8
commit 67cb4d7d9a
5 changed files with 63 additions and 6 deletions
+7 -2
View File
@@ -206,6 +206,11 @@ paths:
Если swap занят или память под давлением — перезагрузить ноутбук;
если условия выполнены, перезагрузка не обязательна. Состояние
записывается в паспорт (`host_state`), в отчёте оно указывается по
паспорту, а не по плану. Во время прогона ноутбук не нагружать.
Предупреждения о хосте в `meta.json` (`host_warnings`) — повод
паспорту, а не по плану. Во время прогона ноутбук не нагружать и не
закрывать крышку: цели `bench*` запускаются под `caffeinate -isu`
(`-u` будит из DarkWake полностью, `-i -s` не дают уснуть по простою),
но от сна при закрытой крышке он не спасает. Сон посреди прогона ставит
ВМ Docker на паузу; `run.py` замечает его по разнице реального и
монотонного времени (`host_state.slept_seconds`, предупреждение больше
5 с). Предупреждения о хосте в `meta.json` (`host_warnings`) — повод
переснять, а не игнорировать.
+8 -4
View File
@@ -138,6 +138,10 @@ stop_cache:
# -------------------------
BENCH_LABEL ?= baseline
# macOS не засыпает на время замера (сон ставит ВМ Docker на паузу посреди
# прогона): -u будит из DarkWake полностью, -i и -s не дают уснуть до
# конца; на других ОС caffeinate нет, и префикс пустой
KEEP_AWAKE := $(shell command -v caffeinate >/dev/null 2>&1 && echo caffeinate -isu)
# полная матрица на своём проекте compose mtusi-bench (API, PostgreSQL,
# Valkey, без портов хоста), с фоновыми чатами разного размера, вариантами
@@ -146,12 +150,12 @@ BENCH_LABEL ?= baseline
# ход — строки в терминале и progress.json
.PHONY: bench
bench:
uv run python bench/run.py --profile full --label $(BENCH_LABEL)
$(KEEP_AWAKE) uv run python bench/run.py --profile full --label $(BENCH_LABEL)
# самопроверка стенда на малых размерах, ~3 мин; результат в git не идёт
.PHONY: bench_quick
bench_quick:
uv run python bench/run.py --profile quick --label quick-$(shell date -u +%Y%m%dT%H%M%SZ)
$(KEEP_AWAKE) uv run python bench/run.py --profile quick --label quick-$(shell date -u +%Y%m%dT%H%M%SZ)
RESTORE_LABEL ?= restore
@@ -161,13 +165,13 @@ RESTORE_LABEL ?= restore
# evidence/bench/$(RESTORE_LABEL)/
.PHONY: bench_restore
bench_restore:
uv run python bench/run.py --profile restore --label $(RESTORE_LABEL)
$(KEEP_AWAKE) uv run python bench/run.py --profile restore --label $(RESTORE_LABEL)
# то же на малых размерах (самопроверка, сценарий защиты), ~2 мин; в git
# не идёт
.PHONY: bench_restore_quick
bench_restore_quick:
uv run python bench/run.py --profile restore_quick --label quick-restore-$(shell date -u +%Y%m%dT%H%M%SZ)
$(KEEP_AWAKE) uv run python bench/run.py --profile restore_quick --label quick-restore-$(shell date -u +%Y%m%dT%H%M%SZ)
# дельта двух меток по ячейкам матрицы: BEFORE и AFTER обязательны, AA —
# метка того же кода, что BEFORE, для уровня шума; результат —
+12
View File
@@ -69,6 +69,8 @@ SUCCESS_METRIC = "http_req_duration{expected_response:true}"
SWAP_WARN_MIB = 1024
# предупреждение о VM: лимиты памяти стенда + этот запас больше памяти VM
VM_RESERVE_GIB = 1.5
# предупреждение о хосте: реальное время прогона больше монотонного, с
SLEEP_WARN_S = 5
# psql в контейнере Postgres от пользователя образа, без пароля; SQL — stdin
PSQL = (
'exec psql -U "$POSTGRES_USER" -d "$POSTGRES_DB" -XAtq -v ON_ERROR_STOP=1'
@@ -2903,6 +2905,10 @@ def main(argv: list[str]) -> int:
}
stand_check = Stand(profile, label_dir)
started = time.monotonic()
# на macOS монотонные часы во сне стоят, а реальные идут: разница —
# сколько хост проспал посреди прогона (решение 9 design change
# track2-backup-restore)
started_wall = time.time()
def say(text: str) -> None:
elapsed = int(time.monotonic() - started)
@@ -2954,6 +2960,12 @@ def main(argv: list[str]) -> int:
shutil.rmtree(bench.stand.work_dir, ignore_errors=True)
meta["finished_at"] = datetime.now(UTC).isoformat(timespec="seconds")
meta["host_state"]["end"] = host_state()
slept = (time.time() - started_wall) - (time.monotonic() - started)
meta["host_state"]["slept_seconds"] = round(max(0.0, slept))
if slept > SLEEP_WARN_S:
warning = f"host slept {slept:.0f}s during the run: rerun"
meta["host_warnings"].append(warning)
say(f"WARNING: {warning}")
results.write_meta()
results.write_summary()
bench.stage = "done" if code == 0 else meta.get("reason", "stopped")
@@ -234,6 +234,33 @@ valkey-cli FLUSHALL`, пароль из `VALKEYCLI_AUTH` контейнера.
Пороги уточняются по `bench_restore_quick` до записи.
### 9. Сон хоста во время прогона
Найдено при первом запуске `make bench_restore`. macOS ушёл в сон по
простою (`pmset -g log`: `Entering Sleep state due to 'Idle'`) посреди
наполнения:
- ВМ Docker стояла на паузе, порция наполнения показала 467 сообщений в
секунду вместо ~930;
- метки времени в выводе отстали от реального времени на 15 минут:
`time.monotonic()` на macOS во сне не идёт.
Прогон прерван, метка удалена. `baseline` и `track2` закончились до
первого сна, их это не задело (сверено по `started_at` / `finished_at`
и журналу питания).
- **Цели `bench*`** в `Makefile` запускаются под `caffeinate -isu`, если
команда есть (macOS). В `pmset` хоста стоит `sleep 1`, система уже
спала и выполняла команды только в окнах DarkWake (возможности `CPU
Network`). `-u` объявляет активность пользователя и даёт полное
пробуждение (`DarkWake to FullWake` в журнале питания), а `-i -s` не
дают уснуть до конца прогона. При закрытой крышке без внешнего
дисплея не помогает ничто без `sudo pmset`, это ограничение записано
в `bench.md`.
- **`run.py` сравнивает** прошедшее реальное время (`time.time()`) с
`time.monotonic()`. Если разница больше 5 с, хост спал. В
`host_warnings` идёт предупреждение, в `host_state` — `slept_seconds`.
По `bench.md` предупреждение о хосте — повод переснять метку.
## Risks / Trade-offs
- [Dump закончится раньше, чем начнётся запись, и граница потери не
@@ -68,6 +68,15 @@
- [x] 4.4 Закоммитить (`feat: add backup and restore stage to bench`).
Проверка: `git status` чистый.
- [x] 4.5 Защита от сна хоста (решение 9): `caffeinate -isu` в целях
`bench*` `Makefile`, если команда есть; предупреждение
`host_warnings` и `host_state.slept_seconds` в `run.py` при разнице
реального и монотонного времени больше 5 с; строка в `bench.md`
(«Результаты»). Проверка: `make -n bench_restore` печатает
`caffeinate -isu`; на коротком прогоне `slept_seconds` около 0 и
предупреждения нет. Закоммитить (`fix: keep the host awake during
bench runs`).
## 5. Замер и отчёт
- [ ] 5.1 Записать в `REPORT.md` гипотезы R1–R5 (решение 8) до замера