From 2514ff177d02a3bd38a36d90e4f26ca3908ec689 Mon Sep 17 00:00:00 2001 From: roman Date: Mon, 12 Oct 2026 19:26:18 +0300 Subject: [PATCH] docs: address profile-resources verify findings Report the failover ranges strictly over phases 1-5 with phase 06 apart, add per-window memory peaks to the failover table, describe which intervals the window maximum covers, and note the per-second rows and per-request zeros of the taken labels fixed in f34cb9a. Record the design findings, the raw logs ignored by git as a known issue, and the checks after the fixes. Co-Authored-By: Claude Opus 5.5 --- AGENTS.md | 4 +- KNOWN_ISSUES.md | 22 ++++ REPORT.md | 113 +++++++++++++------ evidence/tests/profile-resources-checks.md | 72 +++++++++++- openspec/changes/profile-resources/design.md | 29 ++++- 5 files changed, 196 insertions(+), 44 deletions(-) diff --git a/AGENTS.md b/AGENTS.md index 3930abb9..63c210a9 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -389,9 +389,9 @@ evidence/tests/ # выводы make test_isolated, make student_tes evidence/idempotency/ # повтор, 409, гонка, таблица ключей, X-Instance-Id evidence/replicas/ # стенд с LB: порты, лимиты и их цена для Argon2id, окружение, распределение, ответы LB (нет реплик, зависшая, без PostgreSQL), test-persistence, чистый clone на нестандартных портах evidence/failover/ # make test-failover для каждой реплики (stop и kill), отказы stop-one.sh; замер обнаружения, keep-alive, зависшая реплика и ключ -evidence/failover/<метка>/ # результаты make bench_failover: паспорт, phases.csv, посекундная timeline.csv, summary.md, итоги k6 и журнал LB по фазам; с меткой resources — resources.csv (фаза × окно × компонент) и samples.csv (посекундно от действия) +evidence/failover/<метка>/ # результаты make bench_failover: паспорт, phases.csv, посекундная timeline.csv, summary.md, итоги k6 и журнал LB по фазам; с change profile-resources (метка resources и новые) — resources.csv (фаза × окно × компонент) и samples.csv (посекундно от действия) evidence/rollout/ # совместимость старого образа с новой схемой, make rolling_update и жизненный цикл стенда после замены, отказы скрипта (Ctrl+C, слоты, lock_timeout миграции) -evidence/rollout/<метка>/ # результаты make bench_rollout: паспорт с контейнерами, образами и ревизией до и после, rollout.csv, replicas.csv, timeline.csv, summary.md, строки скрипта, журнал LB; с меткой resources — resources.csv (окно × компонент) и samples.csv (посекундно от начала замены) +evidence/rollout/<метка>/ # результаты make bench_rollout: паспорт с контейнерами, образами и ревизией до и после, rollout.csv, replicas.csv, timeline.csv, summary.md, строки скрипта, журнал LB; с change profile-resources (метка resources и новые) — resources.csv (окно × компонент) и samples.csv (посекундно от начала замены) evidence/bench/<метка>/ # результаты make bench / bench_restore: паспорт, прогоны, наполнение, сводка (планы, стоимость записи, восстановление), планы explain-<размер>.txt, сырые итоги k6 evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL; db4 — «до/после» пула без переполнения: scaling-db-aa*, -before*, -nooverflow*, окончательные — с суффиксом 2): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx evidence/plots/scaling/ # make bench_plots по сериям a и b: графики SVG и summary.md (R*, эффективность, точка насыщения, цена запроса, память) diff --git a/KNOWN_ISSUES.md b/KNOWN_ISSUES.md index b0b5b292..31ffee3e 100644 --- a/KNOWN_ISSUES.md +++ b/KNOWN_ISSUES.md @@ -100,3 +100,25 @@ - **Предложение:** `end_state.get("swapouts") is not None`. Правка меняет код стенда `bench/`: делать её между сериями, а не посреди «до/после». + +## Журналы `raw/*.log` меток не попадают в git + +- **Где:** `.gitignore`, строка `*.log`; каталоги + `evidence/failover/<метка>/raw/` (`<фаза>-lb.log`), + `evidence/rollout/<метка>/raw/` (`rollout-lb.log`, `rollout-script.log`) + и `evidence/bench/scaling-*/raw/` (`…-errors.log`). +- **Что не так:** `run.py` пишет журналы LB, строки скрипта замены и + журналы 5xx в каталог метки, но `*.log` их игнорирует: в git из `raw/` + только `.json` (`git ls-files evidence | grep 'raw/.*\.log$'` — пусто). + При этом `REPORT.md` («Эксперименты и отказы»), `AGENTS.md` (карта + кода) и `.claude/rules/bench.md` (файлы меток) говорят, что журналы + лежат рядом со сводками. В чистом clone их нет; числа из них уже + перенесены в `phases.csv`, `rollout.csv`, `replicas.csv` и сводки. + Так у меток `baseline` и `resources` обоих профилей и у серий трека 1; + было до change `profile-resources`. +- **Найдено:** verify change `profile-resources` (2026-10-12, S10). +- **Предложение:** после проверки журналов на секреты (`grep -E + "Bearer|PASSWORD|/Users/"`) добавить в `.gitignore` исключение + `!evidence/**/raw/*.log` и закоммитить журналы существующих меток; + либо оставить их локальными и сказать в `REPORT.md` и `bench.md`, что + журналы в git не идут. diff --git a/REPORT.md b/REPORT.md index c43bcd95..69cc2503 100644 --- a/REPORT.md +++ b/REPORT.md @@ -739,7 +739,7 @@ Desktop 29.8.2, ВМ 12 vCPU / 7,7 GiB; перед каждым замером | Повторы | один прогон на фазу | один прогон | 3 повтора каждой конфигурации, свежий стенд на ячейку, A/A для шума | | Успешные RPS, ошибки | `stop`, `kill`: ~200/с, 0 ошибок; `pause`: 99–100/с в окне, 584–602 × 504 | 200/с, 0 ошибок | R* 630–2 034 запросов/с при ошибках ≤ 1 % | | p50 / p95 / p99 | фаза `stop` 1: 3,5 / 6,1 / 97,1 мс за прогон; p95 по секундам — до 505 мс в секунду действия | 3,3 / 5,0 / 9,7 мс за прогон | p50 / p95 / p99 на 500/с по конфигурациям — таблица R* (p50 1,7–2,1 мс у всех); на каждой ступени — `runs.csv` | -| CPU / RAM | метка `resources`, фазы 1–5 (ср. ядер): до действия реплика 0,28–0,31 (API всего 0,56–0,63), PostgreSQL 0,09–0,10, HAProxy 0,03, Valkey 0,01, k6 0,11–0,14, ВМ 1,03–1,16 из 12; в окне отказа выжившая реплика 0,37–0,43 (макс. 0,58), цель — 0; после возврата перезапущенная реплика 0,32–0,35 (макс. на старте 1,06). Пики памяти: реплика 87–127 МиБ из 512, PostgreSQL до 292 из 1 024, k6 до 420. CPU на успешный запрос до действия: API 2 810–3 136 мкс, PostgreSQL 432–478, ВМ 5 159–5 806. Фаза 06 — всплеск хоста в окне «до» (API 1,13) | метка `resources` (ср. ядер до / подготовка / замена / после): API всего 0,57 / 0,60 / 0,82 / 0,58 (макс. 1,64 в замене), миграция 0,08 за 1 с жизни, PostgreSQL 0,08–0,10, ВМ 1,02 / 2,77 / 2,34 / 1,03 (сборка образа); пик памяти API 176 → 279 МиБ при трёх репликах. CPU на запрос до / после: API 2 876 / 2 895 мкс, PostgreSQL 432 / 440 | посекундно у каждого контейнера и ВМ (`samples.csv`), CPU на запрос по компонентам | +| CPU / RAM | метка `resources`, фазы 1–5 (ср. ядер): до действия реплика 0,28–0,31 (API всего 0,56–0,63), PostgreSQL 0,09–0,10, HAProxy 0,03, Valkey 0,01, k6 0,11–0,14, ВМ 1,03–1,16 из 12; в окне отказа выжившая реплика 0,37–0,43 (макс. 0,47–0,52), цель — 0; после возврата перезапущенная реплика 0,32–0,35 (макс. на старте 0,99–1,06). Пики памяти: реплика 87–126 МиБ из 512, PostgreSQL до 268 из 1 024, k6 до 420. CPU на успешный запрос до действия: API 2 810–3 136 мкс, PostgreSQL 432–478, ВМ 5 159–5 806. Фаза 06 — отдельно: всплеск хоста в окне «до» (API 1,13), пики памяти выше (PostgreSQL до 292) | метка `resources` (ср. ядер до / подготовка / замена / после): API всего 0,57 / 0,60 / 0,82 / 0,58 (макс. 1,64 в замене), миграция 0,08 за 1 с жизни, PostgreSQL 0,08–0,10, ВМ 1,02 / 2,77 / 2,34 / 1,03 (сборка образа); пик памяти API 176 → 279 МиБ при трёх репликах. CPU на запрос до / после: API 2 876 / 2 895 мкс, PostgreSQL 432 / 440 | посекундно у каждого контейнера и ВМ (`samples.csv`), CPU на запрос по компонентам | | Файлы | `evidence/failover/baseline/`, ресурсы — `evidence/failover/resources/` (`resources.csv`, `samples.csv`) | `evidence/rollout/baseline/`, ресурсы — `evidence/rollout/resources/` | `evidence/bench/scaling-*/`, `evidence/plots/`, `evidence/compare/` | Ограничения каждого замера — в конце его раздела, сводно — «Ограничения @@ -857,7 +857,13 @@ PostgreSQL делят ВМ Docker. Один прогон на фазу. Инте момента возврата; у `pause` CPU интервалов, задевающих заморозку, относится к её внешней части (моменты — события Docker); - ячейка — среднее CPU за окно (CPU-секунды / длина окна) и наибольшее - посекундное, пик памяти cgroup (с кэшем файлов) по отсчётам. CPU на + посекундное, пик памяти cgroup (с кэшем файлов) по отсчётам. + Наибольшее посекундное — CPU интервала между отсчётами / его длина, + по всем интервалам, задевающим окно, включая граничный; строка + граничного интервала в `samples.csv` помечена соседним окном (окно + строки — по концу интервала), поэтому максимум строк `samples.csv` + одного окна бывает меньше «макс.» сводки (у `rollout` в подготовке ВМ + 3,16 против 1,14 в строках окна). CPU на успешный запрос — только до действия: в окне отказа CPU идёт на ошибки, ожидание зависшей реплики и повторы LB, после возврата — на запуск процесса, и делитель «успешные» с этим не связан; @@ -865,27 +871,29 @@ PostgreSQL делят ВМ Docker. Один прогон на фазу. Инте 12 / 7,75; k6 без лимита — его CPU в таблице. Commit `309a00d` (код `2d267bf`), чистое дерево; хост проверен -(питание от сети, свободно 61 %, давления нет, посторонних контейнеров -нет, `Swapouts` 129 588 в начале и в конце). Один прогон. +(питание от сети, давления нет, посторонних контейнеров нет; по +паспорту свободно 60 % памяти в начале и 48 % в конце, `Swapouts` +129 588 в начале и в конце). Один прогон. **Результат** (`evidence/failover/resources/summary.md`, -`resources.csv`, `samples.csv`), средние ядра; «макс.» — посекундный -максимум; фазы 1–5 — диапазон, фаза 06 — отдельно: +`resources.csv`, `samples.csv`): средние ядра, «макс.» — посекундный +максимум, после «;» — пик памяти cgroup в окне, МиБ. Все диапазоны — по +фазам 1–5 (все окна), фаза 06 — отдельно, ниже: -| Компонент | До действия | Окно отказа | После возврата | Пик памяти, МиБ (лимит) | +| Компонент | До действия | Окно отказа | После возврата | Пик памяти за фазу, МиБ (лимит) | |---|---|---|---|---| -| реплика-цель | 0,28–0,31 (макс. 0,34–0,54) | `stop`/`kill` — 0 (контейнера нет), `pause` — 0,000 | 0,32–0,35 (макс. 0,97–1,06 — запуск) | 87–127 (512) | -| вторая реплика | 0,29–0,31 | 0,37–0,43 (макс. 0,47–0,52) | 0,31–0,33 | 98–127 (512) | -| API всего | 0,56–0,63 | 0,37–0,43 | 0,64–0,68 (макс. 1,45–1,54) | 190–254 (сумма) | -| PostgreSQL | 0,09–0,10 | 0,07–0,08 | 0,09–0,12 | 199–292 (1 024) | -| HAProxy | 0,03 | 0,02 | 0,03 | 57–64 (256) | -| Valkey | 0,01 | 0,01 | 0,01 | 47–57 (128) | -| k6 (без лимита) | 0,11–0,14 | 0,08–0,09 | 0,10–0,12 | 341–420 | -| сэмплер | 0,003 | 0,003 | 0,003 | 2–3 (128) | +| реплика-цель | 0,28–0,31 (макс. 0,34–0,54); 94–122 | `stop`/`kill` — 0 (контейнера нет); `pause` — 0,000; 104 | 0,32–0,35 (макс. 0,99–1,06 — запуск); 87–126 | 87–126 (512) | +| вторая реплика | 0,29–0,31; 98–109 | 0,37–0,43 (макс. 0,47–0,52); 102–114 | 0,31–0,33; 103–115 | 98–115 (512) | +| API всего | 0,56–0,63; 200–221 | 0,37–0,43; 103–206 (у `stop`/`kill` — одна реплика) | 0,64–0,68 (макс. 1,45–1,54); 190–229 | 103–229 (сумма) | +| PostgreSQL | 0,09–0,10; 219–261 | 0,07–0,08; 199–262 | 0,09–0,12; 226–268 | 199–268 (1 024) | +| HAProxy | 0,03; 59–60 | 0,02; 57–64 | 0,03; 60–63 | 57–64 (256) | +| Valkey | 0,01; 47–48 | 0,01; 48 | 0,01; 48 | 47–48 (128) | +| k6 (без лимита) | 0,11–0,14; 341–370 | 0,08–0,09; 397–405 | 0,10–0,12; 403–420 | 341–420 | +| сэмплер | 0,003; 2 | 0,002–0,003; 3 | 0,003; 2–3 | 2–3 (128) | | ВМ, занятые ядра из 12 | 1,03–1,16 (макс. 1,58–2,45) | 0,75–0,88 | 1,10–1,22 | — | CPU на успешный запрос до действия (≈ 200 успешных в секунду), мкс, фазы -1–5: API всего 2 810–3 136, PostgreSQL 432–478, HAProxy 153–175, k6 +1–5: API всего 2 810–3 136, PostgreSQL 432–478, HAProxy 153–174, k6 554–690, ВМ 5 159–5 806. С трека 1 эти числа напрямую не сравниваются: другая смесь (50 % записи и 50 % чтения страницы чата из 1 000 сообщений против 70/20/10 и чата из 10 000). @@ -894,8 +902,12 @@ CPU на успешный запрос до действия (≈ 200 успеш компонентов сразу (реплики по 0,8–0,97 ядра с троттлингом CFS, PostgreSQL до 0,46, k6 до 1,3, ВМ до 4,3 ядра), p95 до действия 729 мс при 0 ошибок. Сэмплер — 0,01 ядра, выгрузок в swap за прогон не было. -Причина не установлена, похоже на хост; средние «до» этой фазы (API -всего 1,13, CPU на запрос 5 653 мкс) в диапазоны выше не включены. +Причина не установлена, похоже на хост; ни одно окно этой фазы в +диапазоны выше не включено. До действия: API всего 1,13 (макс. 1,93), +CPU на запрос 5 653 мкс. В окне отказа и после возврата CPU — как у фаз +1–5 (вторая реплика 0,43 и 0,33, макс. 0,58; цель после возврата 0,36, +макс. 0,97), а пики памяти выше: реплики до 127 МиБ, API всего до 254, +PostgreSQL до 292, Valkey до 56. **Доступность рядом с `baseline`** (`phases.csv` обеих меток): @@ -913,8 +925,13 @@ PostgreSQL до 0,46, k6 до 1,3, ВМ до 4,3 ядра), p95 до дейст 10 + 0, runtime API в `haproxy.cfg`), другая сессия хоста (2026-10-10 → 2026-10-12), наблюдатель. Поведение то же: обнаружение в пределах границы (2,5 / 6,5 с), восстановление ≤ 7 с, после возврата ошибок нет, -сверка сошлась. Одиночные 502 в фазах `kill` — гонка keep-alive -(`evidence/failover/keep-alive.md`, 0–4 на фазу в самопроверках), +сверка сошлась. В `kill` 2 метки `resources` реплику исключила +проверка (`DOWN`, Layer4 timeout, 1,02 с), а не пропажа адреса в DNS, как +в остальных фазах `stop`/`kill` обеих меток: это в границе 2,5 с и +разброс момента, когда пропадает адрес, относительно проверок +(`evidence/tests/profile-resources-checks.md`). Одиночные 502 в фазах +`kill` — гонка keep-alive (`evidence/failover/keep-alive.md`, 0–4 на +фазу в самопроверках), восстановление `pause` 7 с против 6 — в пределах разброса одного прогона. Влияние наблюдателя этим сравнением не отделяется: различаются и код, и сессия хоста. @@ -923,15 +940,17 @@ PostgreSQL до 0,46, k6 до 1,3, ВМ до 4,3 ядра), p95 до дейст ~5 100 мкс ВМ на запрос), ни соединений, ни запросов к стенду. **Вывод.** Запас до лимитов большой: реплика при 100 + 100/с берёт -~0,3 ядра из 1 и ~0,4 после отказа второй, ~100–127 МиБ из 512; +~0,3 ядра из 1 и ~0,4 после отказа второй, ~100–126 МиБ из 512; PostgreSQL — 0,1 ядра из 2; ВМ занята на ~1 ядро из 12. Отказ реплики -стоит выжившей +30–40 % CPU, а не вдвое: в окне отказа всего API тратит -меньше (0,37–0,43 против 0,56–0,63) — почему, этот замер не разделяет -(у `pause` к тому же половина запросов висит на замороженной). +стоит выжившей +36…+46 % CPU у `stop` и `kill` и +19 % у `pause` (фазы +1–5, среднее до действия → окно отказа), а не вдвое: в окне отказа всего +API тратит меньше (0,37–0,43 против 0,56–0,63) — почему, этот замер не +разделяет (у `pause` к тому же половина запросов висит на замороженной). Перезапуск — около секунды на пределе 1 CPU (импорт и старт uvicorn); новый процесс начинает с ~87 МиБ против ~100 до остановки. Замороженная -реплика CPU не тратит, её память держится (104–106 МиБ, колебание -±2 МиБ — буферы сокетов входящих соединений в cgroup); после разморозки +реплика (фазы 05 и 06) CPU не тратит, её память держится (104–106 МиБ, +колебание ±2 МиБ — буферы сокетов входящих соединений в cgroup); после +разморозки она растёт до 126–127 МиБ — разбор накопленных за 20 с соединений. **Ограничения:** один прогон на фазу; разрешение 1 с (CPU после @@ -940,7 +959,13 @@ PostgreSQL — 0,1 ядра из 2; ВМ занята на ~1 ядро из 12. события `start`); память — `memory.current` cgroup с кэшем файлов, пик по отсчётам; пропорциональное деление граничных интервалов (в окнах ≤ 3 с заметно, в окнах 15–20 с — нет); генератор, стенд и наблюдатель делят -один хост. +один хост. Посекундная таблица метки снята кодом `2d267bf`: у фаз 05 и +06 в `samples.csv` у цели в окне отказа есть по одной строке с CPU +(`t_s` 0,14 и 0,23, 0,24 ядра). Это интервал, задевающий `pause`: строка +получила окно по концу интервала, а его CPU — до заморозки. Агрегаты +(`resources.csv`, сводка, таблица выше) эту долю уже относят к окну до +действия, в окне отказа у цели 0 / 0. С `f34cb9a` строка такого +интервала помечается окном незамороженной части; метка не переснималась. ### Поочерёдная замена под нагрузкой (change `rolling-update`) @@ -1038,16 +1063,18 @@ CPU на запрос — только до и после: в подготовк из 12 / 7,75; k6 без лимита. Commit `309a00d` (код `2d267bf`), чистое дерево; хост проверен -(питание от сети, свободно 72–75 %, давления нет, посторонних -контейнеров нет, `Swapouts` 157 300 в начале и в конце). Первый прогон +(питание от сети, давления нет, посторонних контейнеров нет; по +паспорту свободно 75 % памяти в начале и 73 % в конце, `Swapouts` +157 300 в начале и в конце). Первый прогон отброшен: во время него хост выгрузил в swap 7 236 страниц (`host_warnings`), замена шла 12,0 с, p95 во время замены — 337 мс; переснят после освобождения памяти хоста (`evidence/tests/profile-resources-checks.md`). Один прогон. **Результат** (`evidence/rollout/resources/summary.md`, -`resources.csv`), ср. / макс. ядер; пик памяти, МиБ; в скобках — -сколько секунд окна контейнер существовал: +`resources.csv`), ср. / макс. ядер («макс.» — как у `failover`, по всем +интервалам, задевающим окно, включая граничный); пик памяти, МиБ; в +скобках — сколько секунд окна контейнер существовал: | Компонент | До (−14,1…−1,1 с) | Подготовка (−1,1…0 с) | Замена (0…7,35 с) | После (7,35…104 с) | |---|---|---|---|---| @@ -1099,9 +1126,13 @@ many clients», `lock_timeout` миграции 2 с, правки путей с не обращается. **Вывод.** Цена замены — в ВМ, а не в репликах: на подготовке и замене -ВМ занята на 2,3–2,8 ядра вместо ~1 (сборка образа из кэша идёт в -BuildKit вне контейнеров стенда, плюс старт третьей реплики и -миграция), API всего — 0,82 ядра против 0,57 и 279 МиБ памяти на пике +ВМ занята на 2,3–2,8 ядра вместо ~1. Контейнеры стенда вместе (с +третьей репликой и миграцией) берут из них 0,84 ядра в подготовке и +1,14 в замене; остальные ~1,9 и ~1,2 ядра идут вне контейнеров стенда — +сборка образа из кэша в BuildKit, `dockerd`, `containerd` (в окнах до и +после вне контейнеров ~0,2 ядра). Как они делятся между этими +процессами, замер не разделяет: сэмплер видит только cgroup контейнеров +и ВМ целиком. API всего — 0,82 ядра против 0,57 и 279 МиБ памяти на пике (три реплики) против 176. До лимитов далеко: новая реплика на старте берёт до 1 ядра из своего 1 CPU около секунды, PostgreSQL на миграции — 0,13 ядра из 2. В свой лимит упирается только миграция (0,5 CPU, @@ -1110,7 +1141,11 @@ BuildKit вне контейнеров стенда, плюс старт тре **Ограничения:** один прогон; окна подготовки (1,1 с) и миграции (~1 с) короче нескольких отсчётов, их средние грубые; холодная сборка не -мерилась; остальное — как у `failover`. +мерилась; остальное — как у `failover`. В `resources.csv` метки (код +`2d267bf`) у контейнеров, которых в окне нет (новые реплики и миграция +до замены, старые реплики и миграция после), CPU на запрос — 0,0 вместо +пустого поля, шесть строк; сводка и таблицы выше их не показывают. С +`f34cb9a` при `present_s` 0 CPU на запрос не считается. ### Цена масштабирования (трек 1, change `scaling-bench`) @@ -1987,8 +2022,12 @@ CHANGE=scaling-improvement` остановкой не виден, первый интервал после запуска контейнера завышен (счёт cgroup — с создания, начало интервала — событие `start`); память — `memory.current` cgroup с кэшем файлов, пик по отсчётам. Всплеск - хоста в окне «до» фазы `06-pause-r2` не объяснён. Хост между прогонами - уходил в давление на память (18 ГиБ на ВМ 7,75 GiB и приложения + хоста в окне «до» фазы `06-pause-r2` не объяснён. В `samples.csv` + метки `failover/resources` две строки интервала перед `pause` помечены + окном отказа, в `resources.csv` метки `rollout/resources` шесть строк + CPU на запрос 0,0 у отсутствующих контейнеров; агрегаты и сводки + верны, разбор исправлен в `f34cb9a`, метки не переснимались. Хост + между прогонами уходил в давление на память (18 ГиБ на ВМ 7,75 GiB и приложения пользователя): прогон `rollout` с выгрузкой в swap отброшен и переснят. - **Подтверждено:** цепочка таймаутов и время обнаружения (замер по режимам), отсутствие ошибок при плановой замене; в треке 1 — граница diff --git a/evidence/tests/profile-resources-checks.md b/evidence/tests/profile-resources-checks.md index a2287b24..6285a915 100644 --- a/evidence/tests/profile-resources-checks.md +++ b/evidence/tests/profile-resources-checks.md @@ -69,6 +69,13 @@ $ uv run python -c "...run.level4_budget(run.PROFILES['failover'], 12, 8*2**30); паспортах меток — `resources.budget`: 5,75 CPU / 2,5 GiB (failover) и 6,75 / 3,0 (rollout, три реплики на пике) из 12 / 7,75. +Сценарий «Бюджет ВМ» целиком не прогонялся: для этого нужна ВМ Docker с +меньшим числом CPU, а у этой 12. Ветка отказа проверена расчётом выше и +чтением `bench/run.py`, `main()`: при `sample_resources` сумма +`level4_budget(...)["cpus"]` больше CPU ВМ — строка `CPU limits at peak +( replicas, sampler) <сумма> CPU exceed docker VM CPUs ()` и +`return 2` до создания стенда. + ## Сводка без ресурсов не изменилась (3.4) Скрипт в scratchpad: старые `failover.py` и `rollout.py` из `git show @@ -245,10 +252,12 @@ Zoom не запущен ни разу; ВМ — 12 CPU / 7,75 GiB. После - 6 фаз в `phases.csv`; `resources.csv` — 162 строки (6 × 3 × 9); `samples.csv` — 2 312. - `pause`, `api-target` в окне отказа: среднее 0,0 и 0,0, максимум 0,0; - пик памяти 104,3 / 105,9 МиБ против 102,2 / 103,9 до действия. По - секундам память замороженной реплики ходит 101,9 → 104,3 → 102,7 МиБ - при CPU 0 — сокетные буферы ядра входящих соединений LB, учтённые в - cgroup. + пик памяти 104,3 / 105,9 МиБ против 102,2 / 103,9 до действия, то есть + +2,1 / +2,0 МиБ. У `05-pause-r1` порог задачи 7.2 («как в `before` + ±2 МиБ») превышен на 0,1 МиБ, у `06-pause-r2` — на границе. Метка + принята: по секундам память замороженной реплики ходит 101,9 → 104,3 → + 102,7 МиБ при CPU 0 — сокетные буферы ядра входящих соединений LB, + учтённые в cgroup, а не работа процесса. - Наблюдение: в фазе `06-pause-r2` первые ~6 с окна «до действия» (−12…−8 с) — всплеск у всех компонентов сразу: реплики по 0,8–0,97 ядра с троттлингом CFS до 108 мс/с, PostgreSQL до 0,46, k6 до 1,3, ВМ @@ -354,3 +363,58 @@ Zoom не запущен ни разу; ВМ — 12 CPU / 7,75 GiB. После (сторож). Рабочий стенд после замеров снова поднят: `make run_docker`, `make lb_stats` — `api-1` и `api-2` `UP` (`L7OK`), `make instances` — `instances: 2`. + +## Правки по verify (2026-10-12) + +Отчёт verify: 0 критических, 4 предупреждения (W1–W4), 11 предложений +(S1–S11). Метки не переснимались: W1 и S5 — правка разбора на будущее и +оговорка для снятых меток, остальное — текст. + +| Пункт | Что исправлено | Где | +|---|---|---| +| W1 | посекундная строка интервала, задевающего `pause`, получает окно по концу незамороженной части (`Interval.span`), как агрегаты с `thaw`; в снятой метке `failover/resources` у цели фаз 05 и 06 по строке с CPU в окне `down` (`t_s` 0,14 и 0,23) — оговорка | `bench/resources.py` (`f34cb9a`), `REPORT.md` (ограничения ресурсов отказа и сводные), design, «Найдено в apply», п. 2 | +| W2 | описано, по каким интервалам берётся максимум окна (все задевающие окно, включая граничный, чья строка в `samples.csv` помечена соседним окном); расчёт не менялся | `DEFINITIONS` в `bench/resources.py`, методика ресурсов `failover` и шапка таблицы `rollout` в `REPORT.md`, design, п. 3 | +| W3 | диапазоны строго по фазам 1–5, все окна, в том числе «API всего»; фаза 06 — отдельным абзацем со своими числами | `REPORT.md`: сводная строка «CPU / RAM», таблица ресурсов `failover`, вывод | +| W4 | пик памяти по окнам в ячейках таблицы ресурсов `failover`, как у `rollout` | `REPORT.md` | +| S1 | `kill` 2: исключение по проверке (Layer4), а не по DNS — в границе, разброс | `REPORT.md`, доступность `failover` | +| S2 | рост CPU выжившей — +36…+46 % у `stop` / `kill`, +19 % у `pause` | `REPORT.md`, вывод `failover` | +| S3 | свободная память хоста — по паспортам (60 → 48 % у `failover`, 75 → 73 % у `rollout`) | `REPORT.md` | +| S4 | CPU ВМ вне контейнеров стенда в подготовке и замене (~1,9 и ~1,2 ядра) не разделён | `REPORT.md`, вывод `rollout` | +| S5 | CPU на запрос не считается при `present_s` 0; в снятой метке `rollout/resources` шесть строк 0,0 — оговорка | `bench/resources.py` (`f34cb9a`), `REPORT.md`, design, п. 10 | +| S6 | сброс по событию запуска требует ещё пропущенного тика — записано | design, п. 9 | +| S7 | превышение порога ±2 МиБ на 0,1 МиБ названо явно | этот файл, раздел 7.2 | +| S8 | «кроме проверок здоровья» в абзаце окон сводки `rollout` | `bench/resources.py` | +| S9 | формулировки `AGENTS.md` о файлах меток и о месте change | `AGENTS.md` | +| S10 | журналы `raw/*.log` не в git из-за `*.log` в `.gitignore` — запись с предложением правки | `KNOWN_ISSUES.md` | +| S11 | сценарий «Бюджет ВМ» проверен расчётом и чтением кода, не прогоном — сказано явно | этот файл, раздел «Бюджет (3.1)» | + +Проверки после правок (вывод — ниже): + +```text +$ uv run python bench/resources.py --selftest → selftest ok +$ uv run python bench/scaling.py --selftest → selftest ok +$ make lint → All checks passed! (346 files left unchanged) +$ make check → PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +$ openspec validate profile-resources --strict → Change 'profile-resources' is valid +$ git diff --stat 417fdd2 HEAD -- src Dockerfile docker-compose.yml scripts infra pyproject.toml uv.lock +(пусто) +``` + +- Новый самотест против `analyze` из `c575296` (до правки) падает ровно + на новых проверках — значит, он ловит оба дефекта: + + ```text + pause samples down: got [0.25, 0.0, 0.0, 0.0], want [0.0, 0.0, 0.0] + pause samples before: got [], want [(0.5, 0.25)] + per request absent: got 0.0, want None + ``` + +- Сводка без ресурсов не изменилась: `render_summary` без `resources` + против `417fdd2` (до change) и против `c575296` — `failover equal: + True 3711`, `rollout equal: True 4387`. +- Разделы ресурсов, отрисованные новым кодом из `resources.csv` меток + `resources`, против их `summary.md`: таблицы совпадают, отличаются + только абзац определений (W2) и у `rollout` абзац окон (S8). +- Режим `list` серий не тронут: `bench/sampler.sh`, `bench/scaling.py` и + `bench/run.py` не менялись (`git diff --stat c575296 f34cb9a` — только + `bench/resources.py`), серии `resources.py` не вызывают. diff --git a/openspec/changes/profile-resources/design.md b/openspec/changes/profile-resources/design.md index f2c22a7f..4e31dd15 100644 --- a/openspec/changes/profile-resources/design.md +++ b/openspec/changes/profile-resources/design.md @@ -694,9 +694,21 @@ PostgreSQL и ВМ по трём окнам, сэмплер. У `rollout` — т (`resources.thaw`): CPU такого интервала относится к незамороженной части (моменты — события Docker), присутствие считается по всему интервалу. Метка переснята, первый прогон отброшен. + Поправка дошла только до агрегатов (verify, W1): посекундная строка + интервала, задевающего `pause`, по-прежнему получала окно по концу + интервала. В `samples.csv` метки `failover/resources` (код `2d267bf`) + у цели фаз 05 и 06 в окне `down` поэтому по одной строке с CPU + (`t_s` 0,14 и 0,23; 0,24 ядра) — это работа до заморозки, в + `resources.csv` у тех же окон 0 / 0. С `f34cb9a` окно строки — по + концу незамороженной части (`Interval.span`), самотест проверяет + `pause` на действии; метка не переснималась, оговорка — в `REPORT.md`. 3. **Посекундный максимум** (решение 5) — по всем интервалам, задевающим окно, а не только с концом внутри: иначе в коротком окне среднее с - долями граничных интервалов выходило больше максимума. + долями граничных интервалов выходило больше максимума. Строка + граничного интервала в `samples.csv` помечена соседним окном, поэтому + максимум строк одного окна бывает меньше `cpu_max_cores` (verify, W2: + 20 строк в метках `resources`, у `rollout` ВМ в подготовке 3,16 против + 1,14). Расчёт оставлен, это сказано в определениях сводки и в отчёте. 4. **«Контейнер был» и «контейнера не было»** (решение 5, Risks). Остановленная реплика в окне отказа — CPU 0 и пометка `absent` (контейнер известен по другим окнам); контейнер, не попавший ни в @@ -723,3 +735,18 @@ PostgreSQL и ВМ по трём окнам, сэмплер. У `rollout` — т действия 729 мс без ошибок, swap 0. Причина не установлена; по решению основной сессии метка не переснималась, в отчёте фазы 1–5 и 06 — отдельно. +9. **Сброс по событию запуска** (решение 3). Решение говорит «или между + отсчётами есть момент запуска»; код (`container_intervals`) требует + ещё пропущенный тик между отсчётами (`tick_between`). Перезапуск + через `stop` / `kill` и `start` удаляет cgroup хотя бы на один тик + (окно отказа — 20 с); если контейнер виден на каждом тике, cgroup та + же, и момент запуска между соседними отсчётами (например, событие + первого запуска рядом с первым тиком) сегмент не сбрасывает. Сброс + без пропуска по-прежнему ловит уменьшение `usage_usec` (verify, S6). +10. **CPU на запрос у отсутствующего контейнера** (решение 6). Строка + контейнера, которого в окне нет (`present_s` 0), получала 0,0 мкс + на запрос: в `resources.csv` метки `rollout/resources` (код + `2d267bf`) так шесть строк — новые реплики и миграция в окне «до», + старые и миграция в окне «после». Сводка их не показывает. С + `f34cb9a` при `present_s` 0 CPU на запрос не считается (verify, S5); + метка не переснималась.