docs: address profile-resources verify findings

Report the failover ranges strictly over phases 1-5 with phase 06
apart, add per-window memory peaks to the failover table, describe
which intervals the window maximum covers, and note the per-second
rows and per-request zeros of the taken labels fixed in f34cb9a.
Record the design findings, the raw logs ignored by git as a known
issue, and the checks after the fixes.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-12 19:26:18 +03:00
co-authored by Claude Opus 5.5
parent f34cb9af5c
commit 2514ff177d
5 changed files with 196 additions and 44 deletions
+2 -2
View File
@@ -389,9 +389,9 @@ evidence/tests/ # выводы make test_isolated, make student_tes
evidence/idempotency/ # повтор, 409, гонка, таблица ключей, X-Instance-Id
evidence/replicas/ # стенд с LB: порты, лимиты и их цена для Argon2id, окружение, распределение, ответы LB (нет реплик, зависшая, без PostgreSQL), test-persistence, чистый clone на нестандартных портах
evidence/failover/ # make test-failover для каждой реплики (stop и kill), отказы stop-one.sh; замер обнаружения, keep-alive, зависшая реплика и ключ
evidence/failover/<метка>/ # результаты make bench_failover: паспорт, phases.csv, посекундная timeline.csv, summary.md, итоги k6 и журнал LB по фазам; с меткой resources — resources.csv (фаза × окно × компонент) и samples.csv (посекундно от действия)
evidence/failover/<метка>/ # результаты make bench_failover: паспорт, phases.csv, посекундная timeline.csv, summary.md, итоги k6 и журнал LB по фазам; с change profile-resources (метка resources и новые) — resources.csv (фаза × окно × компонент) и samples.csv (посекундно от действия)
evidence/rollout/ # совместимость старого образа с новой схемой, make rolling_update и жизненный цикл стенда после замены, отказы скрипта (Ctrl+C, слоты, lock_timeout миграции)
evidence/rollout/<метка>/ # результаты make bench_rollout: паспорт с контейнерами, образами и ревизией до и после, rollout.csv, replicas.csv, timeline.csv, summary.md, строки скрипта, журнал LB; с меткой resources — resources.csv (окно × компонент) и samples.csv (посекундно от начала замены)
evidence/rollout/<метка>/ # результаты make bench_rollout: паспорт с контейнерами, образами и ревизией до и после, rollout.csv, replicas.csv, timeline.csv, summary.md, строки скрипта, журнал LB; с change profile-resources (метка resources и новые) — resources.csv (окно × компонент) и samples.csv (посекундно от начала замены)
evidence/bench/<метка>/ # результаты make bench / bench_restore: паспорт, прогоны, наполнение, сводка (планы, стоимость записи, восстановление), планы explain-<размер>.txt, сырые итоги k6
evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL; db4 — «до/после» пула без переполнения: scaling-db-aa*, -before*, -nooverflow*, окончательные — с суффиксом 2): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx
evidence/plots/scaling/ # make bench_plots по сериям a и b: графики SVG и summary.md (R*, эффективность, точка насыщения, цена запроса, память)
+22
View File
@@ -100,3 +100,25 @@
- **Предложение:** `end_state.get("swapouts") is not None`. Правка
меняет код стенда `bench/`: делать её между сериями, а не посреди
«до/после».
## Журналы `raw/*.log` меток не попадают в git
- **Где:** `.gitignore`, строка `*.log`; каталоги
`evidence/failover/<метка>/raw/` (`<фаза>-lb.log`),
`evidence/rollout/<метка>/raw/` (`rollout-lb.log`, `rollout-script.log`)
и `evidence/bench/scaling-*/raw/` (`…-errors.log`).
- **Что не так:** `run.py` пишет журналы LB, строки скрипта замены и
журналы 5xx в каталог метки, но `*.log` их игнорирует: в git из `raw/`
только `.json` (`git ls-files evidence | grep 'raw/.*\.log$'` — пусто).
При этом `REPORT.md` («Эксперименты и отказы»), `AGENTS.md` (карта
кода) и `.claude/rules/bench.md` (файлы меток) говорят, что журналы
лежат рядом со сводками. В чистом clone их нет; числа из них уже
перенесены в `phases.csv`, `rollout.csv`, `replicas.csv` и сводки.
Так у меток `baseline` и `resources` обоих профилей и у серий трека 1;
было до change `profile-resources`.
- **Найдено:** verify change `profile-resources` (2026-10-12, S10).
- **Предложение:** после проверки журналов на секреты (`grep -E
"Bearer|PASSWORD|/Users/"`) добавить в `.gitignore` исключение
`!evidence/**/raw/*.log` и закоммитить журналы существующих меток;
либо оставить их локальными и сказать в `REPORT.md` и `bench.md`, что
журналы в git не идут.
+76 -37
View File
@@ -739,7 +739,7 @@ Desktop 29.8.2, ВМ 12 vCPU / 7,7 GiB; перед каждым замером
| Повторы | один прогон на фазу | один прогон | 3 повтора каждой конфигурации, свежий стенд на ячейку, A/A для шума |
| Успешные RPS, ошибки | `stop`, `kill`: ~200/с, 0 ошибок; `pause`: 99–100/с в окне, 584–602 × 504 | 200/с, 0 ошибок | R* 630–2 034 запросов/с при ошибках ≤ 1 % |
| p50 / p95 / p99 | фаза `stop` 1: 3,5 / 6,1 / 97,1 мс за прогон; p95 по секундам — до 505 мс в секунду действия | 3,3 / 5,0 / 9,7 мс за прогон | p50 / p95 / p99 на 500/с по конфигурациям — таблица R* (p50 1,7–2,1 мс у всех); на каждой ступени — `runs.csv` |
| CPU / RAM | метка `resources`, фазы 1–5 (ср. ядер): до действия реплика 0,28–0,31 (API всего 0,56–0,63), PostgreSQL 0,09–0,10, HAProxy 0,03, Valkey 0,01, k6 0,11–0,14, ВМ 1,03–1,16 из 12; в окне отказа выжившая реплика 0,37–0,43 (макс. 0,58), цель — 0; после возврата перезапущенная реплика 0,32–0,35 (макс. на старте 1,06). Пики памяти: реплика 87–127 МиБ из 512, PostgreSQL до 292 из 1 024, k6 до 420. CPU на успешный запрос до действия: API 2 810–3 136 мкс, PostgreSQL 432–478, ВМ 5 159–5 806. Фаза 06 — всплеск хоста в окне «до» (API 1,13) | метка `resources` (ср. ядер до / подготовка / замена / после): API всего 0,57 / 0,60 / 0,82 / 0,58 (макс. 1,64 в замене), миграция 0,08 за 1 с жизни, PostgreSQL 0,08–0,10, ВМ 1,02 / 2,77 / 2,34 / 1,03 (сборка образа); пик памяти API 176 → 279 МиБ при трёх репликах. CPU на запрос до / после: API 2 876 / 2 895 мкс, PostgreSQL 432 / 440 | посекундно у каждого контейнера и ВМ (`samples.csv`), CPU на запрос по компонентам |
| CPU / RAM | метка `resources`, фазы 1–5 (ср. ядер): до действия реплика 0,28–0,31 (API всего 0,56–0,63), PostgreSQL 0,09–0,10, HAProxy 0,03, Valkey 0,01, k6 0,11–0,14, ВМ 1,03–1,16 из 12; в окне отказа выжившая реплика 0,37–0,43 (макс. 0,47–0,52), цель — 0; после возврата перезапущенная реплика 0,32–0,35 (макс. на старте 0,99–1,06). Пики памяти: реплика 87–126 МиБ из 512, PostgreSQL до 268 из 1 024, k6 до 420. CPU на успешный запрос до действия: API 2 810–3 136 мкс, PostgreSQL 432–478, ВМ 5 159–5 806. Фаза 06 — отдельно: всплеск хоста в окне «до» (API 1,13), пики памяти выше (PostgreSQL до 292) | метка `resources` (ср. ядер до / подготовка / замена / после): API всего 0,57 / 0,60 / 0,82 / 0,58 (макс. 1,64 в замене), миграция 0,08 за 1 с жизни, PostgreSQL 0,08–0,10, ВМ 1,02 / 2,77 / 2,34 / 1,03 (сборка образа); пик памяти API 176 → 279 МиБ при трёх репликах. CPU на запрос до / после: API 2 876 / 2 895 мкс, PostgreSQL 432 / 440 | посекундно у каждого контейнера и ВМ (`samples.csv`), CPU на запрос по компонентам |
| Файлы | `evidence/failover/baseline/`, ресурсы — `evidence/failover/resources/` (`resources.csv`, `samples.csv`) | `evidence/rollout/baseline/`, ресурсы — `evidence/rollout/resources/` | `evidence/bench/scaling-*/`, `evidence/plots/`, `evidence/compare/` |
Ограничения каждого замера — в конце его раздела, сводно — «Ограничения
@@ -857,7 +857,13 @@ PostgreSQL делят ВМ Docker. Один прогон на фазу. Инте
момента возврата; у `pause` CPU интервалов, задевающих заморозку,
относится к её внешней части (моменты — события Docker);
- ячейка — среднее CPU за окно (CPU-секунды / длина окна) и наибольшее
посекундное, пик памяти cgroup (с кэшем файлов) по отсчётам. CPU на
посекундное, пик памяти cgroup (с кэшем файлов) по отсчётам.
Наибольшее посекундное — CPU интервала между отсчётами / его длина,
по всем интервалам, задевающим окно, включая граничный; строка
граничного интервала в `samples.csv` помечена соседним окном (окно
строки — по концу интервала), поэтому максимум строк `samples.csv`
одного окна бывает меньше «макс.» сводки (у `rollout` в подготовке ВМ
3,16 против 1,14 в строках окна). CPU на
успешный запрос — только до действия: в окне отказа CPU идёт на
ошибки, ожидание зависшей реплики и повторы LB, после возврата — на
запуск процесса, и делитель «успешные» с этим не связан;
@@ -865,27 +871,29 @@ PostgreSQL делят ВМ Docker. Один прогон на фазу. Инте
12 / 7,75; k6 без лимита — его CPU в таблице.
Commit `309a00d` (код `2d267bf`), чистое дерево; хост проверен
(питание от сети, свободно 61 %, давления нет, посторонних контейнеров
нет, `Swapouts` 129 588 в начале и в конце). Один прогон.
(питание от сети, давления нет, посторонних контейнеров нет; по
паспорту свободно 60 % памяти в начале и 48 % в конце, `Swapouts`
129 588 в начале и в конце). Один прогон.
**Результат** (`evidence/failover/resources/summary.md`,
`resources.csv`, `samples.csv`), средние ядра; «макс.» — посекундный
максимум; фазы 1–5 — диапазон, фаза 06 — отдельно:
`resources.csv`, `samples.csv`): средние ядра, «макс.» — посекундный
максимум, после «;» — пик памяти cgroup в окне, МиБ. Все диапазоны — по
фазам 1–5 (все окна), фаза 06 — отдельно, ниже:
| Компонент | До действия | Окно отказа | После возврата | Пик памяти, МиБ (лимит) |
| Компонент | До действия | Окно отказа | После возврата | Пик памяти за фазу, МиБ (лимит) |
|---|---|---|---|---|
| реплика-цель | 0,28–0,31 (макс. 0,34–0,54) | `stop`/`kill` — 0 (контейнера нет), `pause` — 0,000 | 0,32–0,35 (макс. 0,97–1,06 — запуск) | 87–127 (512) |
| вторая реплика | 0,29–0,31 | 0,37–0,43 (макс. 0,47–0,52) | 0,31–0,33 | 98–127 (512) |
| API всего | 0,56–0,63 | 0,37–0,43 | 0,64–0,68 (макс. 1,45–1,54) | 190–254 (сумма) |
| PostgreSQL | 0,09–0,10 | 0,07–0,08 | 0,09–0,12 | 199–292 (1 024) |
| HAProxy | 0,03 | 0,02 | 0,03 | 57–64 (256) |
| Valkey | 0,01 | 0,01 | 0,01 | 47–57 (128) |
| k6 (без лимита) | 0,11–0,14 | 0,08–0,09 | 0,10–0,12 | 341–420 |
| сэмплер | 0,003 | 0,003 | 0,003 | 2–3 (128) |
| реплика-цель | 0,28–0,31 (макс. 0,34–0,54); 94–122 | `stop`/`kill` — 0 (контейнера нет); `pause` — 0,000; 104 | 0,32–0,35 (макс. 0,99–1,06 — запуск); 87–126 | 87–126 (512) |
| вторая реплика | 0,29–0,31; 98–109 | 0,37–0,43 (макс. 0,47–0,52); 102–114 | 0,31–0,33; 103–115 | 98–115 (512) |
| API всего | 0,56–0,63; 200–221 | 0,37–0,43; 103–206 (у `stop`/`kill` — одна реплика) | 0,64–0,68 (макс. 1,45–1,54); 190–229 | 103–229 (сумма) |
| PostgreSQL | 0,09–0,10; 219–261 | 0,07–0,08; 199–262 | 0,09–0,12; 226–268 | 199–268 (1 024) |
| HAProxy | 0,03; 59–60 | 0,02; 57–64 | 0,03; 60–63 | 57–64 (256) |
| Valkey | 0,01; 47–48 | 0,01; 48 | 0,01; 48 | 47–48 (128) |
| k6 (без лимита) | 0,11–0,14; 341–370 | 0,08–0,09; 397–405 | 0,10–0,12; 403–420 | 341–420 |
| сэмплер | 0,003; 2 | 0,002–0,003; 3 | 0,003; 2–3 | 2–3 (128) |
| ВМ, занятые ядра из 12 | 1,03–1,16 (макс. 1,58–2,45) | 0,75–0,88 | 1,10–1,22 | — |
CPU на успешный запрос до действия (≈ 200 успешных в секунду), мкс, фазы
1–5: API всего 2 810–3 136, PostgreSQL 432–478, HAProxy 153–175, k6
1–5: API всего 2 810–3 136, PostgreSQL 432–478, HAProxy 153–174, k6
554–690, ВМ 5 159–5 806. С трека 1 эти числа напрямую не сравниваются:
другая смесь (50 % записи и 50 % чтения страницы чата из 1 000 сообщений
против 70/20/10 и чата из 10 000).
@@ -894,8 +902,12 @@ CPU на успешный запрос до действия (≈ 200 успеш
компонентов сразу (реплики по 0,8–0,97 ядра с троттлингом CFS,
PostgreSQL до 0,46, k6 до 1,3, ВМ до 4,3 ядра), p95 до действия 729 мс
при 0 ошибок. Сэмплер — 0,01 ядра, выгрузок в swap за прогон не было.
Причина не установлена, похоже на хост; средние «до» этой фазы (API
всего 1,13, CPU на запрос 5 653 мкс) в диапазоны выше не включены.
Причина не установлена, похоже на хост; ни одно окно этой фазы в
диапазоны выше не включено. До действия: API всего 1,13 (макс. 1,93),
CPU на запрос 5 653 мкс. В окне отказа и после возврата CPU — как у фаз
1–5 (вторая реплика 0,43 и 0,33, макс. 0,58; цель после возврата 0,36,
макс. 0,97), а пики памяти выше: реплики до 127 МиБ, API всего до 254,
PostgreSQL до 292, Valkey до 56.
**Доступность рядом с `baseline`** (`phases.csv` обеих меток):
@@ -913,8 +925,13 @@ PostgreSQL до 0,46, k6 до 1,3, ВМ до 4,3 ядра), p95 до дейст
10 + 0, runtime API в `haproxy.cfg`), другая сессия хоста (2026-10-10 →
2026-10-12), наблюдатель. Поведение то же: обнаружение в пределах
границы (2,5 / 6,5 с), восстановление ≤ 7 с, после возврата ошибок нет,
сверка сошлась. Одиночные 502 в фазах `kill` — гонка keep-alive
(`evidence/failover/keep-alive.md`, 0–4 на фазу в самопроверках),
сверка сошлась. В `kill` 2 метки `resources` реплику исключила
проверка (`DOWN`, Layer4 timeout, 1,02 с), а не пропажа адреса в DNS, как
в остальных фазах `stop`/`kill` обеих меток: это в границе 2,5 с и
разброс момента, когда пропадает адрес, относительно проверок
(`evidence/tests/profile-resources-checks.md`). Одиночные 502 в фазах
`kill` — гонка keep-alive (`evidence/failover/keep-alive.md`, 0–4 на
фазу в самопроверках),
восстановление `pause` 7 с против 6 — в пределах разброса одного
прогона. Влияние наблюдателя этим сравнением не отделяется: различаются
и код, и сессия хоста.
@@ -923,15 +940,17 @@ PostgreSQL до 0,46, k6 до 1,3, ВМ до 4,3 ядра), p95 до дейст
~5 100 мкс ВМ на запрос), ни соединений, ни запросов к стенду.
**Вывод.** Запас до лимитов большой: реплика при 100 + 100/с берёт
~0,3 ядра из 1 и ~0,4 после отказа второй, ~100–127 МиБ из 512;
~0,3 ядра из 1 и ~0,4 после отказа второй, ~100–126 МиБ из 512;
PostgreSQL — 0,1 ядра из 2; ВМ занята на ~1 ядро из 12. Отказ реплики
стоит выжившей +30–40 % CPU, а не вдвое: в окне отказа всего API тратит
меньше (0,37–0,43 против 0,56–0,63) — почему, этот замер не разделяет
(у `pause` к тому же половина запросов висит на замороженной).
стоит выжившей +36…+46 % CPU у `stop` и `kill` и +19 % у `pause` (фазы
1–5, среднее до действия → окно отказа), а не вдвое: в окне отказа всего
API тратит меньше (0,37–0,43 против 0,56–0,63) — почему, этот замер не
разделяет (у `pause` к тому же половина запросов висит на замороженной).
Перезапуск — около секунды на пределе 1 CPU (импорт и старт uvicorn);
новый процесс начинает с ~87 МиБ против ~100 до остановки. Замороженная
реплика CPU не тратит, её память держится (104–106 МиБ, колебание
±2 МиБ — буферы сокетов входящих соединений в cgroup); после разморозки
реплика (фазы 05 и 06) CPU не тратит, её память держится (104–106 МиБ,
колебание ±2 МиБ — буферы сокетов входящих соединений в cgroup); после
разморозки
она растёт до 126–127 МиБ — разбор накопленных за 20 с соединений.
**Ограничения:** один прогон на фазу; разрешение 1 с (CPU после
@@ -940,7 +959,13 @@ PostgreSQL — 0,1 ядра из 2; ВМ занята на ~1 ядро из 12.
события `start`); память — `memory.current` cgroup с кэшем файлов, пик по
отсчётам; пропорциональное деление граничных интервалов (в окнах ≤ 3 с
заметно, в окнах 15–20 с — нет); генератор, стенд и наблюдатель делят
один хост.
один хост. Посекундная таблица метки снята кодом `2d267bf`: у фаз 05 и
06 в `samples.csv` у цели в окне отказа есть по одной строке с CPU
(`t_s` 0,14 и 0,23, 0,24 ядра). Это интервал, задевающий `pause`: строка
получила окно по концу интервала, а его CPU — до заморозки. Агрегаты
(`resources.csv`, сводка, таблица выше) эту долю уже относят к окну до
действия, в окне отказа у цели 0 / 0. С `f34cb9a` строка такого
интервала помечается окном незамороженной части; метка не переснималась.
### Поочерёдная замена под нагрузкой (change `rolling-update`)
@@ -1038,16 +1063,18 @@ CPU на запрос — только до и после: в подготовк
из 12 / 7,75; k6 без лимита.
Commit `309a00d` (код `2d267bf`), чистое дерево; хост проверен
(питание от сети, свободно 72–75 %, давления нет, посторонних
контейнеров нет, `Swapouts` 157 300 в начале и в конце). Первый прогон
(питание от сети, давления нет, посторонних контейнеров нет; по
паспорту свободно 75 % памяти в начале и 73 % в конце, `Swapouts`
157 300 в начале и в конце). Первый прогон
отброшен: во время него хост выгрузил в swap 7 236 страниц
(`host_warnings`), замена шла 12,0 с, p95 во время замены — 337 мс;
переснят после освобождения памяти хоста
(`evidence/tests/profile-resources-checks.md`). Один прогон.
**Результат** (`evidence/rollout/resources/summary.md`,
`resources.csv`), ср. / макс. ядер; пик памяти, МиБ; в скобках —
сколько секунд окна контейнер существовал:
`resources.csv`), ср. / макс. ядер («макс.» — как у `failover`, по всем
интервалам, задевающим окно, включая граничный); пик памяти, МиБ; в
скобках — сколько секунд окна контейнер существовал:
| Компонент | До (−14,1…−1,1 с) | Подготовка (−1,1…0 с) | Замена (0…7,35 с) | После (7,35…104 с) |
|---|---|---|---|---|
@@ -1099,9 +1126,13 @@ many clients», `lock_timeout` миграции 2 с, правки путей с
не обращается.
**Вывод.** Цена замены — в ВМ, а не в репликах: на подготовке и замене
ВМ занята на 2,3–2,8 ядра вместо ~1 (сборка образа из кэша идёт в
BuildKit вне контейнеров стенда, плюс старт третьей реплики и
миграция), API всего — 0,82 ядра против 0,57 и 279 МиБ памяти на пике
ВМ занята на 2,3–2,8 ядра вместо ~1. Контейнеры стенда вместе (с
третьей репликой и миграцией) берут из них 0,84 ядра в подготовке и
1,14 в замене; остальные ~1,9 и ~1,2 ядра идут вне контейнеров стенда —
сборка образа из кэша в BuildKit, `dockerd`, `containerd` (в окнах до и
после вне контейнеров ~0,2 ядра). Как они делятся между этими
процессами, замер не разделяет: сэмплер видит только cgroup контейнеров
и ВМ целиком. API всего — 0,82 ядра против 0,57 и 279 МиБ памяти на пике
(три реплики) против 176. До лимитов далеко: новая реплика на старте
берёт до 1 ядра из своего 1 CPU около секунды, PostgreSQL на миграции —
0,13 ядра из 2. В свой лимит упирается только миграция (0,5 CPU,
@@ -1110,7 +1141,11 @@ BuildKit вне контейнеров стенда, плюс старт тре
**Ограничения:** один прогон; окна подготовки (1,1 с) и миграции (~1 с)
короче нескольких отсчётов, их средние грубые; холодная сборка не
мерилась; остальное — как у `failover`.
мерилась; остальное — как у `failover`. В `resources.csv` метки (код
`2d267bf`) у контейнеров, которых в окне нет (новые реплики и миграция
до замены, старые реплики и миграция после), CPU на запрос — 0,0 вместо
пустого поля, шесть строк; сводка и таблицы выше их не показывают. С
`f34cb9a` при `present_s` 0 CPU на запрос не считается.
### Цена масштабирования (трек 1, change `scaling-bench`)
@@ -1987,8 +2022,12 @@ CHANGE=scaling-improvement`
остановкой не виден, первый интервал после запуска контейнера завышен
(счёт cgroup — с создания, начало интервала — событие `start`); память
— `memory.current` cgroup с кэшем файлов, пик по отсчётам. Всплеск
хоста в окне «до» фазы `06-pause-r2` не объяснён. Хост между прогонами
уходил в давление на память (18 ГиБ на ВМ 7,75 GiB и приложения
хоста в окне «до» фазы `06-pause-r2` не объяснён. В `samples.csv`
метки `failover/resources` две строки интервала перед `pause` помечены
окном отказа, в `resources.csv` метки `rollout/resources` шесть строк
CPU на запрос 0,0 у отсутствующих контейнеров; агрегаты и сводки
верны, разбор исправлен в `f34cb9a`, метки не переснимались. Хост
между прогонами уходил в давление на память (18 ГиБ на ВМ 7,75 GiB и приложения
пользователя): прогон `rollout` с выгрузкой в swap отброшен и переснят.
- **Подтверждено:** цепочка таймаутов и время обнаружения (замер по
режимам), отсутствие ошибок при плановой замене; в треке 1 — граница
+68 -4
View File
@@ -69,6 +69,13 @@ $ uv run python -c "...run.level4_budget(run.PROFILES['failover'], 12, 8*2**30);
паспортах меток — `resources.budget`: 5,75 CPU / 2,5 GiB (failover) и
6,75 / 3,0 (rollout, три реплики на пике) из 12 / 7,75.
Сценарий «Бюджет ВМ» целиком не прогонялся: для этого нужна ВМ Docker с
меньшим числом CPU, а у этой 12. Ветка отказа проверена расчётом выше и
чтением `bench/run.py`, `main()`: при `sample_resources` сумма
`level4_budget(...)["cpus"]` больше CPU ВМ — строка `CPU limits at peak
(<N> replicas, sampler) <сумма> CPU exceed docker VM CPUs (<NCPU>)` и
`return 2` до создания стенда.
## Сводка без ресурсов не изменилась (3.4)
Скрипт в scratchpad: старые `failover.py` и `rollout.py` из `git show
@@ -245,10 +252,12 @@ Zoom не запущен ни разу; ВМ — 12 CPU / 7,75 GiB. После
- 6 фаз в `phases.csv`; `resources.csv` — 162 строки (6 × 3 × 9);
`samples.csv` — 2 312.
- `pause`, `api-target` в окне отказа: среднее 0,0 и 0,0, максимум 0,0;
пик памяти 104,3 / 105,9 МиБ против 102,2 / 103,9 до действия. По
секундам память замороженной реплики ходит 101,9 → 104,3 → 102,7 МиБ
при CPU 0 — сокетные буферы ядра входящих соединений LB, учтённые в
cgroup.
пик памяти 104,3 / 105,9 МиБ против 102,2 / 103,9 до действия, то есть
+2,1 / +2,0 МиБ. У `05-pause-r1` порог задачи 7.2 («как в `before`
±2 МиБ») превышен на 0,1 МиБ, у `06-pause-r2` — на границе. Метка
принята: по секундам память замороженной реплики ходит 101,9 → 104,3 →
102,7 МиБ при CPU 0 — сокетные буферы ядра входящих соединений LB,
учтённые в cgroup, а не работа процесса.
- Наблюдение: в фазе `06-pause-r2` первые ~6 с окна «до действия»
(−12…−8 с) — всплеск у всех компонентов сразу: реплики по 0,8–0,97
ядра с троттлингом CFS до 108 мс/с, PostgreSQL до 0,46, k6 до 1,3, ВМ
@@ -354,3 +363,58 @@ Zoom не запущен ни разу; ВМ — 12 CPU / 7,75 GiB. После
(сторож). Рабочий стенд после замеров снова поднят:
`make run_docker`, `make lb_stats` — `api-1` и `api-2` `UP` (`L7OK`),
`make instances` — `instances: 2`.
## Правки по verify (2026-10-12)
Отчёт verify: 0 критических, 4 предупреждения (W1–W4), 11 предложений
(S1–S11). Метки не переснимались: W1 и S5 — правка разбора на будущее и
оговорка для снятых меток, остальное — текст.
| Пункт | Что исправлено | Где |
|---|---|---|
| W1 | посекундная строка интервала, задевающего `pause`, получает окно по концу незамороженной части (`Interval.span`), как агрегаты с `thaw`; в снятой метке `failover/resources` у цели фаз 05 и 06 по строке с CPU в окне `down` (`t_s` 0,14 и 0,23) — оговорка | `bench/resources.py` (`f34cb9a`), `REPORT.md` (ограничения ресурсов отказа и сводные), design, «Найдено в apply», п. 2 |
| W2 | описано, по каким интервалам берётся максимум окна (все задевающие окно, включая граничный, чья строка в `samples.csv` помечена соседним окном); расчёт не менялся | `DEFINITIONS` в `bench/resources.py`, методика ресурсов `failover` и шапка таблицы `rollout` в `REPORT.md`, design, п. 3 |
| W3 | диапазоны строго по фазам 1–5, все окна, в том числе «API всего»; фаза 06 — отдельным абзацем со своими числами | `REPORT.md`: сводная строка «CPU / RAM», таблица ресурсов `failover`, вывод |
| W4 | пик памяти по окнам в ячейках таблицы ресурсов `failover`, как у `rollout` | `REPORT.md` |
| S1 | `kill` 2: исключение по проверке (Layer4), а не по DNS — в границе, разброс | `REPORT.md`, доступность `failover` |
| S2 | рост CPU выжившей — +36…+46 % у `stop` / `kill`, +19 % у `pause` | `REPORT.md`, вывод `failover` |
| S3 | свободная память хоста — по паспортам (60 → 48 % у `failover`, 75 → 73 % у `rollout`) | `REPORT.md` |
| S4 | CPU ВМ вне контейнеров стенда в подготовке и замене (~1,9 и ~1,2 ядра) не разделён | `REPORT.md`, вывод `rollout` |
| S5 | CPU на запрос не считается при `present_s` 0; в снятой метке `rollout/resources` шесть строк 0,0 — оговорка | `bench/resources.py` (`f34cb9a`), `REPORT.md`, design, п. 10 |
| S6 | сброс по событию запуска требует ещё пропущенного тика — записано | design, п. 9 |
| S7 | превышение порога ±2 МиБ на 0,1 МиБ названо явно | этот файл, раздел 7.2 |
| S8 | «кроме проверок здоровья» в абзаце окон сводки `rollout` | `bench/resources.py` |
| S9 | формулировки `AGENTS.md` о файлах меток и о месте change | `AGENTS.md` |
| S10 | журналы `raw/*.log` не в git из-за `*.log` в `.gitignore` — запись с предложением правки | `KNOWN_ISSUES.md` |
| S11 | сценарий «Бюджет ВМ» проверен расчётом и чтением кода, не прогоном — сказано явно | этот файл, раздел «Бюджет (3.1)» |
Проверки после правок (вывод — ниже):
```text
$ uv run python bench/resources.py --selftest → selftest ok
$ uv run python bench/scaling.py --selftest → selftest ok
$ make lint → All checks passed! (346 files left unchanged)
$ make check → PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
$ openspec validate profile-resources --strict → Change 'profile-resources' is valid
$ git diff --stat 417fdd2 HEAD -- src Dockerfile docker-compose.yml scripts infra pyproject.toml uv.lock
(пусто)
```
- Новый самотест против `analyze` из `c575296` (до правки) падает ровно
на новых проверках — значит, он ловит оба дефекта:
```text
pause samples down: got [0.25, 0.0, 0.0, 0.0], want [0.0, 0.0, 0.0]
pause samples before: got [], want [(0.5, 0.25)]
per request absent: got 0.0, want None
```
- Сводка без ресурсов не изменилась: `render_summary` без `resources`
против `417fdd2` (до change) и против `c575296` — `failover equal:
True 3711`, `rollout equal: True 4387`.
- Разделы ресурсов, отрисованные новым кодом из `resources.csv` меток
`resources`, против их `summary.md`: таблицы совпадают, отличаются
только абзац определений (W2) и у `rollout` абзац окон (S8).
- Режим `list` серий не тронут: `bench/sampler.sh`, `bench/scaling.py` и
`bench/run.py` не менялись (`git diff --stat c575296 f34cb9a` — только
`bench/resources.py`), серии `resources.py` не вызывают.
+28 -1
View File
@@ -694,9 +694,21 @@ PostgreSQL и ВМ по трём окнам, сэмплер. У `rollout` — т
(`resources.thaw`): CPU такого интервала относится к незамороженной
части (моменты — события Docker), присутствие считается по всему
интервалу. Метка переснята, первый прогон отброшен.
Поправка дошла только до агрегатов (verify, W1): посекундная строка
интервала, задевающего `pause`, по-прежнему получала окно по концу
интервала. В `samples.csv` метки `failover/resources` (код `2d267bf`)
у цели фаз 05 и 06 в окне `down` поэтому по одной строке с CPU
(`t_s` 0,14 и 0,23; 0,24 ядра) — это работа до заморозки, в
`resources.csv` у тех же окон 0 / 0. С `f34cb9a` окно строки — по
концу незамороженной части (`Interval.span`), самотест проверяет
`pause` на действии; метка не переснималась, оговорка — в `REPORT.md`.
3. **Посекундный максимум** (решение 5) — по всем интервалам, задевающим
окно, а не только с концом внутри: иначе в коротком окне среднее с
долями граничных интервалов выходило больше максимума.
долями граничных интервалов выходило больше максимума. Строка
граничного интервала в `samples.csv` помечена соседним окном, поэтому
максимум строк одного окна бывает меньше `cpu_max_cores` (verify, W2:
20 строк в метках `resources`, у `rollout` ВМ в подготовке 3,16 против
1,14). Расчёт оставлен, это сказано в определениях сводки и в отчёте.
4. **«Контейнер был» и «контейнера не было»** (решение 5, Risks).
Остановленная реплика в окне отказа — CPU 0 и пометка `absent`
(контейнер известен по другим окнам); контейнер, не попавший ни в
@@ -723,3 +735,18 @@ PostgreSQL и ВМ по трём окнам, сэмплер. У `rollout` — т
действия 729 мс без ошибок, swap 0. Причина не установлена; по
решению основной сессии метка не переснималась, в отчёте фазы 1–5 и
06 — отдельно.
9. **Сброс по событию запуска** (решение 3). Решение говорит «или между
отсчётами есть момент запуска»; код (`container_intervals`) требует
ещё пропущенный тик между отсчётами (`tick_between`). Перезапуск
через `stop` / `kill` и `start` удаляет cgroup хотя бы на один тик
(окно отказа — 20 с); если контейнер виден на каждом тике, cgroup та
же, и момент запуска между соседними отсчётами (например, событие
первого запуска рядом с первым тиком) сегмент не сбрасывает. Сброс
без пропуска по-прежнему ловит уменьшение `usage_usec` (verify, S6).
10. **CPU на запрос у отсутствующего контейнера** (решение 6). Строка
контейнера, которого в окне нет (`present_s` 0), получала 0,0 мкс
на запрос: в `resources.csv` метки `rollout/resources` (код
`2d267bf`) так шесть строк — новые реплики и миграция в окне «до»,
старые и миграция в окне «после». Сводка их не показывает. С
`f34cb9a` при `present_s` 0 CPU на запрос не считается (verify, S5);
метка не переснималась.