From 2d4e530fd0a8ecc9cad7413279a15e1bfc79e93c Mon Sep 17 00:00:00 2001 From: roman Date: Mon, 2 Nov 2026 07:16:01 +0300 Subject: [PATCH] docs: report queue overload on baseline4 and compare all labels Co-Authored-By: Claude Opus 5.5 --- .claude/rules/bench.md | 5 +- .claude/rules/student-tests.md | 2 +- .claude/rules/worker.md | 2 +- .claude/skills/run-mtusi-messenger/SKILL.md | 2 +- AGENTS.md | 4 +- QUESTIONS.md | 5 +- REPORT.md | 281 +++++++++++------- .../changes/track1-queue-overload/design.md | 6 +- .../changes/track1-queue-overload/tasks.md | 12 +- student-tests/spec_coverage.py | 2 +- 10 files changed, 194 insertions(+), 127 deletions(-) diff --git a/.claude/rules/bench.md b/.claude/rules/bench.md index 2430f9a5..911576d6 100644 --- a/.claude/rules/bench.md +++ b/.claude/rules/bench.md @@ -568,8 +568,9 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод - **Результаты:** `evidence/queue/<метка>/` — `meta.json`, `cells.csv` (новые столбцы — только в конец), `timeline.csv`, `summary.md`, четыре SVG, `raw/` — только итоги k6; журналы не копируются, `.work/` удаляется. `quick-queue-*` — в `.gitignore`. Метка - `baseline` (`7999002`) снята раньше правок verify и не перезаписывается; для отчёта — - `baseline2`, столбцы правок есть только у неё. + `baseline` (`7999002`) снята раньше правок verify и не перезаписывается, столбцы правок — + с `baseline2`. `baseline2` и `baseline3` сняты с выгрузкой хоста, остаются записью; + основная для отчёта — `baseline4` (`QUESTIONS.md`, правило выбора). - **Время:** полный профиль — 57 ячеек, ~2 ч 10 мин; `queue_quick` — `s` (2, 2), `lp` (4, 4), предел 40 и без него, `kill-worker`, `w2-p256`, ~11 мин. Рабочий стенд — `make stop`. diff --git a/.claude/rules/student-tests.md b/.claude/rules/student-tests.md index 8da2c7ab..8cbbcb90 100644 --- a/.claude/rules/student-tests.md +++ b/.claude/rules/student-tests.md @@ -431,7 +431,7 @@ paths: клиентов за барьером, принято от K до K + 20), `test_backlog_off` (обычный API без предела); - девять сценариев `queue-overload` с открытой нагрузкой и счётчиками — исключения сверки: - `make bench_queue QUEUE_LABEL=baseline2` → `evidence/queue/baseline2/summary.md`. + `make bench_queue QUEUE_LABEL=baseline4` → `evidence/queue/baseline4/summary.md`. Проверки отказов реплик (остановка, kill, зависание, rolling update) — не pytest, а `make test-failover`, профиль `failover` стенда `bench/` diff --git a/.claude/rules/worker.md b/.claude/rules/worker.md index 9fa8aa51..b9cfad4a 100644 --- a/.claude/rules/worker.md +++ b/.claude/rules/worker.md @@ -86,7 +86,7 @@ change `async-attachments` (2, 6–8) и `pipeline-reliability` (1–9, 19). З копии потерянных). Конкуренция, которая не помещается в лимит памяти контейнера, — не только повторы `render_killed`: ядро может завершить и процесс 1, контейнер перезапускается, задания возвращаются по аренде (до 70 с). Защита — конкуренция, а - не `oom_score_adj`. Числа и проверка правила — метка `evidence/queue/baseline2/`. + не `oom_score_adj`. Числа и проверка правила — метка `evidence/queue/baseline4/`. - **Варианты:** одно декодирование, `fit_size` (округление вниз, не `Image.thumbnail`). `draft` у JPEG — под самый большой нужный размер. Основа 1280 — для optimized и thumbnail; crop — из основы, если её короткая сторона ≥ 256, иначе diff --git a/.claude/skills/run-mtusi-messenger/SKILL.md b/.claude/skills/run-mtusi-messenger/SKILL.md index 7d0bc208..f6c3ade6 100644 --- a/.claude/skills/run-mtusi-messenger/SKILL.md +++ b/.claude/skills/run-mtusi-messenger/SKILL.md @@ -212,7 +212,7 @@ python3 $D --port 8080 s3-idle # клиент S3 после ска python3 $D lb-upload-timeouts # сроки LB пути загрузки на заглушке: 202 после 12 с молчания, 504 через 10/30 с, 400 в формате контракта; ~35 с python3 $D --port 8080 defense-scenario # защита лабы 5: worker стоит, 202, 201, 409, 201, сообщение в очереди, рестарт, worker, ready, оригинал и три варианта; ~1,5 мин python3 $D --port 8080 defense-faults # шаг 4 защиты: crash до фиксации и до ack, relay убит до публикации и до отметки, replay; ~4 мин -make bench_queue_quick # шаг защиты «для 5 — выбранный эксперимент»: очередь под перегрузкой, ~11 мин (рабочий стенд — make stop); разбор — evidence/queue/baseline2/summary.md +make bench_queue_quick # шаг защиты «для 5 — выбранный эксперимент»: очередь под перегрузкой, ~11 мин (рабочий стенд — make stop); разбор — evidence/queue/baseline4/summary.md python3 $D broker-check # брокер: образ, volume, порт, предел памяти, очередь, пароль только у rabbitmq, relay, worker, остановка с кодом 0; ~30 с python3 $D --port 8080 worker-process # процесс worker: PID 1, лимиты, Pillow, журнал, неверные настройки, остановка, рестарт хранилищ, остановка под нагрузкой; ~5 мин python3 $D --port 8080 relay-process # процесс relay: то же, окружение без S3 и Valkey; ~2 мин diff --git a/AGENTS.md b/AGENTS.md index 88889644..799c2bdd 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -27,7 +27,7 @@ prefetch, очистка staging. Единица работы — change `unit-o `src/core/ports/`, соединение на шаг, быстрые тесты `service-tests/`. Очередь под перегрузкой (уровень 5) — change `track1-queue-overload` (активный, новая capability `queue-overload`): предел незавершённых заданий на входе API, профиль `make bench_queue`, -гипотезы H1–H9 в `REPORT.md`; метка `baseline` — на закоммиченном коде. Код перенесён из +гипотезы H1–H9 в `REPORT.md`; основная метка `baseline4` — на закоммиченном коде. Код перенесён из лабы 4 (репозиторий `mtusi2026lab4-safronov`, ветка `solution/bvt2301-safronov`, commit `2546deb`) по разделу «Переход в следующую лабу»; отчёт и evidence лабы 4 остались в её репозитории. Дальше @@ -516,7 +516,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore | `make bench_scaling_quick` | самопроверка серий: 1 × 1 и 2 × 1 при `max_connections` 50, короткие окна (~4 мин), метка `quick-scaling-<время>`, в git не идёт | | `make bench_uploads [UPLOADS_LABEL=...]` | уровень 4, память при одновременных загрузках (~50 мин, метка `baseline` по умолчанию; change `upload-memory`): стенд `mtusi-bench` с LB, одной репликой 1 CPU / 512 МБ без swap, PostgreSQL, Valkey и S3 рабочего стенда; варианты «до» (`Profile.uploads_before` — `04f8592`, commit переноса лабы 4: места загрузки уже есть, `bench.md`; `git archive`; commit вне истории — код 2), «без лимита» (1000 мест, без очереди) и «с лимитом» (по умолчанию) × тела PNG ~1 и ~10 MiB × 1 / 10 / 20 / 40 клиентов × 3 повтора, на прогон — новые реплика и volume S3; пик `memory.peak` окна со сбросом (сэмплер `peak`), `anon`, `sock`, OOM, ответы по кодам, загрузок/с, p50/p95/p99, пики S3 и LB, H1–H4 в сводке — `evidence/uploads/<метка>/`. Перед запуском — проверка хоста (`bench.md`), рабочий стенд — `make stop`, гипотезы закоммичены раньше | | `make bench_uploads_quick` | то же короче (~4,5 мин): «без лимита» и «с лимитом», 10 MiB, 1 / 10 / 40 клиентов, один повтор, метка `quick-uploads-<время>`, в git не идёт | -| `make bench_queue [QUEUE_LABEL=...] [RESUME=1]` | уровень 5, трек 1, очередь под перегрузкой (~2 ч 10 мин, метка `baseline` по умолчанию, она занята: для отчёта — `QUEUE_LABEL=baseline2`; change `track1-queue-overload`): стенд `mtusi-bench` с S3, брокером, relay, worker и уборщиком, настройки (1, 1), (2, 2), (4, 4), (2, 256) × классы `s`, `m`, `lj`, `lp` × 3 повтора и блоки предела, приёма, второго worker, KILL worker, рестарта брокера; на ячейку — свежий стенд, открытая модель, контрольный поток, разбор очереди, обход метаданных; `evidence/queue/<метка>/` (`meta.json`, `cells.csv`, `timeline.csv`, `summary.md` с H1–H9 и рекомендацией, SVG). Рабочий стенд — `make stop`, гипотезы закоммичены раньше метки | +| `make bench_queue [QUEUE_LABEL=...] [RESUME=1]` | уровень 5, трек 1, очередь под перегрузкой (~2 ч 10 мин, метка `baseline` по умолчанию; заняты `baseline`…`baseline4`, основная — `baseline4`, новый прогон — со своей `QUEUE_LABEL`; change `track1-queue-overload`): стенд `mtusi-bench` с S3, брокером, relay, worker и уборщиком, настройки (1, 1), (2, 2), (4, 4), (2, 256) × классы `s`, `m`, `lj`, `lp` × 3 повтора и блоки предела, приёма, второго worker, KILL worker, рестарта брокера; на ячейку — свежий стенд, открытая модель, контрольный поток, разбор очереди, обход метаданных; `evidence/queue/<метка>/` (`meta.json`, `cells.csv`, `timeline.csv`, `summary.md` с H1–H9 и рекомендацией, SVG). Рабочий стенд — `make stop`, гипотезы закоммичены раньше метки | | `make bench_queue_quick` | то же короче (~11 мин): `s` (2, 2), `lp` (4, 4), предел 40 и без него, `kill-worker`, `w2-p256`, один повтор, метка `quick-queue-<время>`, в git не идёт; шаг защиты «для 5» | | `make bench_plots LABELS="..." [PLOTS=scaling]` | графики SVG и сводка серий трека 1 из меток: R* от числа реплик, p95 от интенсивности, CPU по компонентам, эффективность и точка насыщения — `evidence/plots//` | | `make bench_ab BEFORE=... AFTER=... REAPPLY= [SERIES=...]` | «до» и «после» одного изменения подряд (два прогона `bench`): `bench` для `BEFORE`, commit доказательств, `git revert` commit отката `REAPPLY`, `bench` для `AFTER`; с `SERIES` — серия трека 1 вместо матрицы (`make bench_scaling`). Нужно чистое рабочее дерево; сама делает два коммита | diff --git a/QUESTIONS.md b/QUESTIONS.md index cc1b7dc9..74063617 100644 --- a/QUESTIONS.md +++ b/QUESTIONS.md @@ -224,7 +224,7 @@ ## track1-queue-overload -Подробности и отвергнутые варианты — `openspec/changes/track1-queue-overload/design.md`; пробы — его раздел «Пробы» (проект compose `q1probe`, образ `git archive 5a97416`, файлы в scratchpad). Это пробы, а не результат: результат даст метка `evidence/queue/baseline2/` (`evidence/queue/baseline/` снята раньше правок verify). +Подробности и отвергнутые варианты — `openspec/changes/track1-queue-overload/design.md`; пробы — его раздел «Пробы» (проект compose `q1probe`, образ `git archive 5a97416`, файлы в scratchpad). Это пробы, а не результат: результат — основная метка `evidence/queue/baseline4/` (`baseline` снята раньше правок verify, `baseline2` и `baseline3` — с выгрузкой хоста). ### Решения @@ -250,6 +250,7 @@ - **Правки verify: `UP 1/2` — реплика ещё в балансировке:** она получает запросы, `lb_down` на неё не срабатывает. Опора — сценарий «реплики MUST NOT выводиться из балансировщика» (там же, п. 11). - **Метка `baseline2` не основная, снимается `baseline3`:** за съёмку хост выгрузил в swap 309 432 страницы, пять ячеек с `host_swap`, в четырёх задержка вышла за разброс соседних повторов. Указание пользователя «забить» касается косяков хоста, явно не меняющих результат, а здесь результат ячеек изменился. Без пяти ячеек вердикты H1–H9 и рекомендация те же, но правило (design, решение 11; `bench.md`) записано до метки и не смягчается после. Каталог `baseline2` остаётся в git как запись. Если выгрузка повторится, третьей пересъёмки нет: основной станет метка с меньшим числом задетых ячеек, они будут названы в отчёте (задача 10.20а). - **Решение пользователя (2026-11-02): при выгрузке результат сохраняется, после `baseline3` — ещё один прогон `baseline4`, больше пересъёмок нет.** Отступление от правила «переснять» (design, решение 11; `bench.md`) принято по этому решению. Основная — метка с меньшим числом задетых ячеек, при равенстве — с меньшим `swapouts_delta`, выбор не зависит от вердиктов (задача 10.20б). В `baseline3` — 26 046 страниц, одна задетая ячейка, и вердикт H2 «нет»: `lp`, duration (4,4)/(2,2) = 0,965; в `baseline` и `baseline2` он был «подтверждено». Эта ячейка (`lp-c2p256-r1`) в условие не входит. +- **Основная метка — `baseline4` (код `d68a016`, метка `b104690`):** `swapouts_delta` 0, задетых ячеек нет, H2 подтверждена, H4 нет, рекомендация (2, 2). Вердикты всех меток и разбор H2 — `REPORT.md`, «Очередь под перегрузкой». Предположение «в медиану `duration_ms` попадают в основном задания, пережившие перезапуски» по данным не подтверждено и не опровергнуто: журналы в метку не копируются, косвенный признак два вида значений не разделяет, с числом перезапусков связь есть, но неполная. Порог и вердикты не менялись. - **Финальные доказательства вне бенчмарка, команды драйвера.** Разовые пробы перенесены тремя командами, а не двумя: `worker-memory` (рабочий стенд, через LB), `freeze-sessions` (работает и на рабочем стенде: заморожен только прокси пробы) и `freeze-lb` (`docker pause` — запрещён на рабочем PostgreSQL). `freeze-lb` сама поднимает и убирает временный проект `mtusi-lab5-freeze`, а не ждёт его по окружению, как `reconcile-signal`: иначе проверяющему пришлось бы собирать стенд руками; данные в tmpfs, поэтому `down` без `-v` ничего не оставляет. Значения — случайные, из `.env.example`: `.env` не читается. - **`freeze-sessions` идёт в одноразовом контейнере `api`, а не из дерева кода через `uv run`:** так пробе не нужен `.env` и код образа совпадает со стендом. httpx в образе нет, вызовы ASGI — своим клиентом; остальная логика `double_cancel.py` та же. Прежний файл называл аргументы пробы неверно: `2 6 1` и `2 6 4` — пул 2 и 1 или 4 запроса, а не срок 2 и пул 1 или 4; добавлен режим с настоящим пулом 4. - **`make test_isolated` перед `cache-check` при первой съёмке — код 2.** Его набор требует файлы, которых ещё нет, а ключи временной базы он при этом оставляет: команды шли не через `&&`, причина названа в шапке `evidence/cache/hits.md`. @@ -269,4 +270,4 @@ 3. Правило рекомендации требует «без `oom` и `failed`». После правки S5 аварийный перезапуск worker не от ядра (`worker_crash`) это условие не нарушает: раньше такой перезапуск считался `oom` косвенно. Условие не менялось, потому что записано до метки. В метке таких случаев не ждём (пробы: только ядро). Появится — считать настройку некандидатом? Сейчас: пометка в сводке, решение — в отчёте. - **Решение основной сессии:** правило не менять, оно записано до метки. Если `worker_crash` появится в основной метке, отчёт называет такую настройку отдельно и не рекомендует её, не перекрашивая вердикт правила. В `baseline` и `baseline2` таких случаев нет. + **Решение основной сессии:** правило не менять, оно записано до метки. Если `worker_crash` появится в основной метке, отчёт называет такую настройку отдельно и не рекомендует её, не перекрашивая вердикт правила. В `baseline2`, `baseline3` и `baseline4` таких случаев нет (`worker_die_other` 0); у `baseline` этого столбца нет. diff --git a/REPORT.md b/REPORT.md index 21385458..40e9f484 100644 --- a/REPORT.md +++ b/REPORT.md @@ -4,7 +4,7 @@ - Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Очередь под перегрузкой» - Состояние отчёта: закрыты **уровень 3** (change `async-attachments`) и **уровень 4** (change `pipeline-reliability`); уровень 5, трек 1 — change `track1-queue-overload`, раздел «Очередь под перегрузкой». Все доказательства исключений сверки покрытия сняты на стенде этой лабы - Ветка решения: `solution/bvt2301-safronov`, в неё по очереди вливаются `feat/async-attachments`, `feat/pipeline-reliability`, `feat/unit-of-work`, `feat/track1-queue-overload` -- Commit: итоговый ``; трек 1 — код и метка в разделе «Очередь под перегрузкой»; уровни 3 и 4 — `d8fe2e8` (ветка `feat/unit-of-work`, перенос на единицу работы и правки verify); снятое на `9639aa1`, `6ba74b1`, `399da05`, `e2a6427` и `ff1a83b` названо в разделе доказательств +- Commit: трек 1 — код `d68a016`, метка `b104690` (раздел «Очередь под перегрузкой»); уровни 3 и 4 — `d8fe2e8` (ветка `feat/unit-of-work`, перенос на единицу работы и правки verify); снятое на `9639aa1`, `6ba74b1`, `399da05`, `e2a6427` и `ff1a83b` названо в разделе доказательств - PR: по шаблону `.github/pull_request_template.md`, заголовок `ЛР 5 — БВТ2301 — Сафронов — на 5`; номер — после публикации - Согласования с преподавателем: три договорённости лаб 1–4 действуют, новых в лабе 5 нет (раздел «Согласования с преподавателем»). Открытые вопросы преподавателю — 12, раздел «Открытые вопросы преподавателю»; решения без пользователя — `QUESTIONS.md` - Источники, библиотеки и помощь ИИ — последний раздел @@ -251,7 +251,7 @@ CPU на успешный запрос при постоянных 200 запр **Соединения PostgreSQL:** `API_REPLICAS × 10 + migrate 1 + cleaner 1 + worker 2 + relay 1`. При двух репликах 25; во время поочерёдной замены (третья реплика) 35; `max_connections` 100. Переполнения пула нет (`max_overflow` 0). -**Лимит worker 1 ГБ:** расчёт — раздел «Варианты и лимиты обработки», проверяет `test_max_pixels_fit_worker_memory`. На метке `baseline` при конкуренции 2 `memory.peak` до 838 МиБ на самом дорогом классе; конкуренция 4 в этот лимит на нём не помещается (раздел «Очередь под перегрузкой»). +**Лимит worker 1 ГБ:** расчёт — раздел «Варианты и лимиты обработки», проверяет `test_max_pixels_fit_worker_memory`. На метке `baseline4` при конкуренции 2 `memory.peak` до 836 МиБ на самом дорогом классе; конкуренция 4 в этот лимит на нём не помещается (раздел «Очередь под перегрузкой»). **Предел принятой работы:** `[uploads] max_unfinished_jobs` 250 незавершённых заданий на стенд, 0 — без предела. Обоснование по измеренному потолку — там же. @@ -362,7 +362,7 @@ CPU на успешный запрос при постоянных 200 запр | replay `failed` | staging подменён, `failed` `source_corrupted`, реестр без изменений, объект возвращён, `--apply` | 2 | `ready`, то же задание, `attempt_base` 1, запись аудита | | replay готового | `--apply` на `ready` | 1 | код 3, `already_ready`, ничего не изменилось | -5. **Для 5 — выбранный эксперимент, трек 1:** `make bench_queue_quick` (~11 мин, рабочий стенд — `make stop`) на глазах или заранее и разбор `evidence/queue/baseline/summary.md`: таблица настроек, плато предела, второй worker, рестарты. +5. **Для 5 — выбранный эксперимент, трек 1:** `make bench_queue_quick` (~11 мин, рабочий стенд — `make stop`) на глазах или заранее и разбор `evidence/queue/baseline4/summary.md`: таблица настроек, плато предела, второй worker, рестарты. ## Доказательства критериев @@ -439,14 +439,14 @@ CPU на успешный запрос при постоянных 200 запр ### Трек 1 уровня 5 -Change `track1-queue-overload`, код `d667fa3`, метка `7999002`. Гипотезы, таблицы и выводы — раздел «Очередь под перегрузкой». +Change `track1-queue-overload`, код `d68a016`, метка `baseline4` — `b104690`. Гипотезы, таблицы и выводы — раздел «Очередь под перегрузкой». | Критерий | Команда | Результат | Файл | |---|---|---|---| -| ≥3 настройки на разных размерах | `make bench_queue` | 4 настройки × 4 класса (12 конфигураций) × 3 повтора | `evidence/queue/baseline/summary.md` | -| Throughput, очередь, p95 до `ready`, RSS | там же | таблица «Настройки и классы» | `evidence/queue/baseline/cells.csv`, `timeline.csv` | -| Backpressure и ограничение принятой работы | там же, `make failure_checks FAULT_ARGS='-k backlog'` | плато 250 против 425; 429 от мест, затем от предела; 6 тестов отказов | `evidence/queue/baseline/summary.md` | -| Восстановление | там же | ноль незавершённых без оператора в 57 ячейках, потерянных и зависших 0; на `lp` (4, 4) 2 задания в `failed`, возврат — `make replay` | `evidence/queue/baseline/cells.csv` | +| ≥3 настройки на разных размерах | `make bench_queue QUEUE_LABEL=baseline4` | 4 настройки × 4 класса (12 конфигураций) × 3 повтора | `evidence/queue/baseline4/summary.md` | +| Throughput, очередь, queue lag, p95 до `ready`, RSS | там же | таблица «Настройки и классы» | `evidence/queue/baseline4/cells.csv`, `timeline.csv` | +| Backpressure и ограничение принятой работы | там же, `make failure_checks FAULT_ARGS='-k backlog'` | плато 250 против 423; 429 от мест, затем от предела; 7 проверок отказов | `evidence/queue/baseline4/summary.md` | +| Восстановление | там же | ноль незавершённых без оператора в 57 ячейках, потерянных и зависших 0, `failed` 0 в этой метке; в `baseline` и `baseline3` на `lp` (4, 4) — 2 и 4 задания в `failed`, возврат — `make replay` | `evidence/queue/baseline4/cells.csv` | | Компромисс latency и ресурсов | там же | раздел «Очередь под перегрузкой» | `REPORT.md` | ## Эксперименты и отказы @@ -497,9 +497,18 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку ### Очередь под перегрузкой -Трек 1 уровня 5, change `track1-queue-overload`. **Код метки — commit `d667fa3`, сама метка `baseline` — commit `7999002`** (`dirty` false, 57 ячеек из 57, 2 ч 05 мин, `swapouts_delta` 0, сна нет, питание от сети, предупреждений о хосте нет, посторонние контейнеры `domains-*` названы в паспорте). Гипотезы и правило записаны и закоммичены раньше метки. Числа порогов — из проб стадии propose (design, раздел «Пробы»); числа результатов ниже — из `evidence/queue/baseline/summary.md` и `evidence/queue/baseline/cells.csv`. +Трек 1 уровня 5, change `track1-queue-overload`. **Основная метка — `baseline4`: код commit `d68a016`, метка commit `b104690`** (`dirty` false, 57 ячеек из 57, 2 ч 00 мин, `swapouts_delta` 0, сна нет, предупреждений о хосте нет, посторонних контейнеров нет). `src/` и `bench/` те же, что на `5ee3257`. Гипотезы и правило записаны и закоммичены раньше первой метки, пороги с тех пор не менялись. Числа порогов — из проб стадии propose (design, раздел «Пробы»); числа результатов ниже — из `evidence/queue/baseline4/summary.md`, `cells.csv` и `timeline.csv`, если не названа другая метка. -**Метка переснимается как `baseline2`.** Проверка нашла ошибки инструмента, которые нельзя поправить задним числом, поэтому метка снимается целиком заново на коммите с правками. Каталог `baseline` остаётся в репозитории как снятый раньше, с кодом и порогами в прежнем виде: числа ниже — пока его. Что неверно в `baseline`: +**Четыре метки.** Снято четыре, основная выбрана правилом, записанным заранее и не зависящим от вердиктов: меньше задетых выгрузкой ячеек, при равенстве — меньше `swapouts_delta` (`QUESTIONS.md`; `openspec/changes/track1-queue-overload/tasks.md`, 10.20б). Остальные каталоги остаются в репозитории как запись. + +| Метка | Код | Commit метки | Выгрузка, страниц | Ячеек с `host_swap` | Статус | +|---|---|---|---|---|---| +| `baseline` | `d667fa3` | `7999002` | 0 | 0 | снята до правок инструмента, запись | +| `baseline2` | `5ee3257` | `9639aa1` | 309 432 | 5 | запись | +| `baseline3` | `1373e7d` | `d68a016` | 26 046 | 1 (`lp-c2p256-r1`) | запись | +| `baseline4` | `d68a016` | `b104690` | 0 | 0 | **основная** | + +Почему `baseline` переснята: проверка нашла ошибки инструмента, которые нельзя поправить задним числом. Что в ней неверно: - `lb_down` считал строку `BACKEND` репликой, и выход одной реплики не срабатывал: условие H7 «`lb_down` нет» метка не проверяла; - `cpu_worker_per_job_s` занижен на ~8–12 %: CPU до конца восстановления делился на все `ready`, включая окно `after`; @@ -509,9 +518,9 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку Пороги H1–H9 и порог правила рекомендации не менялись. -**Главное.** Подтверждены H1, H2, H3, H5, H6, H7, H8, H9, **H4 не подтверждена** (2 ячейки из 33 ниже порога, причина — разбор ниже). Рекомендация правила — (2, 2), значения по умолчанию оставлены. Конкуренция сверх двух при 1 CPU не ускоряет, а на `lp` (4, 4) ломает обработку: 16 перезапусков worker за три ячейки и 2 принятых задания в `failed`. Настоящее ускорение даёт второй worker. +**Главное.** В основной метке подтверждены H1, H2, H3, H5, H6, H7, H8, H9, **H4 не подтверждена** (1 ячейка из 33 ниже порога, разбор ниже). **H2 разошлась между метками:** в `baseline3` она «нет», разбор ниже. Рекомендация правила — (2, 2) во всех четырёх метках, значения по умолчанию оставлены. Конкуренция сверх двух при 1 CPU не ускоряет, а на `lp` (4, 4) ломает обработку: ядро завершало процессы во всех 12 ячейках четырёх меток, в основной — `oom_kill` 68 и 5 завершений процесса 1, throughput разбора 0,36 вместо 0,96. Настоящее ускорение даёт второй worker. -**Команда:** `make bench_queue` (метка `baseline`, ~2 ч 10 мин, `RESUME=1`), самопроверка — `make bench_queue_quick` (~11 мин, метка в git не идёт). +**Команда:** `make bench_queue QUEUE_LABEL=baseline4` (занятая метка — отказ, ~2 ч 10 мин, `RESUME=1`), самопроверка — `make bench_queue_quick` (~11 мин, метка в git не идёт). **Методика.** Стенд `mtusi-bench`: LB, две реплики API 1 CPU / 512 МБ, PostgreSQL 2 CPU / 1 ГБ, Valkey, S3 1 CPU / 512 МБ, брокер 1 CPU / 512 МБ, relay 0,25 CPU / 256 МБ, worker 1 CPU / 1 ГБ, уборщик 0,25 CPU / 256 МБ — лимиты рабочего стенда, без swap; у worker — `restart: unless-stopped`, как на рабочем стенде. Каждая ячейка — свежий стенд на новых volume. @@ -561,151 +570,207 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку **Уточнения условий (пороги те же).** -- **H3, доля второго worker.** Порог говорит «среди заданий, завершённых после его запуска», а код считает только до нуля незавершённых. Окно `after` к опыту не относится: оно приходит после разбора бэклога, большого prefetch уже нечем держать, и новые задания брокер делит поровну при любом `prefetch`. По оценке проверки буквальная доля при prefetch 256 была бы ~6,4–6,8 %, то есть при буквальном прочтении H3 — «нет». Порог не менялся; чтобы это было числом, а не оценкой, в `cells.csv` есть `second_share_all` (все завершённые после запуска) и `second_share_after` (доля в окне `after`); вердикт считает прежний `second_share`. -- **H2 и правило рекомендации — по подтверждённому `oom`.** В `baseline` любой перезапуск считался `oom`; в `baseline2` это только завершение, подтверждённое событиями Docker, или счётчик cgroup. Условия не менялись, смысл стал тем, что в них написано; аварийный перезапуск не от ядра — пометка `worker_crash`, условие правила он не нарушает (`QUESTIONS.md`, вопрос 3). +- **H3, доля второго worker.** Порог говорит «среди заданий, завершённых после его запуска», а код считает только до нуля незавершённых. Окно `after` к опыту не относится: оно приходит после разбора бэклога, большого prefetch уже нечем держать, и новые задания брокер делит поровну при любом `prefetch`. Измерено: при prefetch 256 буквальная доля (`second_share_all`, все завершённые после запуска) — 6,7 / 6,9 / 6,1 %, то есть при буквальном прочтении порога ≤ 5 % H3 — **«нет»**. Вердикт считает прежний `second_share` (только разбор): 0 заданий во всех повторах. В самом окне `after` (`second_share_after`) доля 0,50 / 0,50 / 0,47. Порог не менялся, уточнение названо здесь, а не спрятано. +- **H2 и правило рекомендации — по подтверждённому `oom`.** В `baseline` любой перезапуск считался `oom`; с `baseline2` это только завершение, подтверждённое событиями Docker, или счётчик cgroup. Условия не менялись, смысл стал тем, что в них написано; аварийный перезапуск не от ядра — пометка `worker_crash`, условие правила он не нарушает (`QUESTIONS.md`, вопрос 3). В `baseline2`–`baseline4` таких завершений нет (`worker_die_other` 0). **Правило рекомендации.** Кандидат — настройка без `oom` и `failed` ни на одном классе, с throughput не ниже 90 % лучшей на каждом классе; из кандидатов — наименьшая конкуренция, а `prefetch` равен конкуренции. Настройка, снятая не на всех классах, не кандидат: по плану это (1, 1) и (2, 256), сводка их называет, порог 90 % прежний. Значения по умолчанию меняются, только если рекомендация отличается от (2, 2), и выигрыш по throughput или памяти на каком-либо классе вне шума при том, что на остальных она не хуже в пределах шума; такая правка — отдельный commit после метки с повтором `make bench_queue_quick`. Компромисс latency и ресурсов — вывод из таблиц метки; проверяемая формула: `concurrency ≤ min(CPU + доля ожидания, (лимит − база) / пик процесса)`. -**Вердикты** (`evidence/queue/baseline/summary.md`, раздел «Гипотезы»). +**Вердикты основной метки** (`evidence/queue/baseline4/summary.md`, раздел «Гипотезы»). | № | Вердикт | На чём | |---|---|---| -| H1 | подтверждено | (4, 4) / (2, 2) по throughput восстановления: `s` 2,57 / 3,02, `m` 2,67 / 2,95, `lj` 2,12 / 2,32, `lp` 0,24 / 0,96; (1, 1) / (2, 2): `m` 2,54 / 2,95, `lp` 0,94 / 0,96 | -| H2 | подтверждено | `duration_ms` p50 (4, 4) / (2, 2): `s` 1503 / 634, `m` 1413 / 666, `lj` 1806 / 832, `lp` 3902 / 2060 мс; `memory.peak` (2, 2) не выше 838 МиБ; `lp` (4, 4) — 1024 МиБ во всех повторах; `lj` (4, 4) — 299 МиБ | -| H3 | подтверждено | пик очереди брокера при (2, 256) — 0, при (2, 2) на `s` — 98 из 100; второй worker взял 47–48 % заданий при `prefetch` 2 и 0 при 256 | -| H4 | **нет** | `m-c1p1-r2` 0,797, `m-c1p1-r3` 0,778 при нижней границе 0,8; разбор ниже | -| H5 | подтверждено | пик 250 с пределом против 425 без него; p95 81,4 против 134,0 с; восстановление 81,5 против 141,5 с; все 429 — от предела, `Retry-After` 5; загрузка `before` p50 16 против 15 мс | -| H6 | подтверждено | `lost`, `stuck`, `duplicate`, `sha_mismatch` — 0 во всех ячейках, 2280 проверенных SHA-256; `failed` — только 2 на `lp-c4p4-r1`, что порог допускает: при `oom` и `retry_exhausted` | -| H7 | подтверждено | вне `accept` наибольшие p95 за все окна: запись 54,5, чтение 14,6, скачивание 262,4 мс; 5xx контрольного потока и `lb_down` нет | -| H8 | подтверждено | `kill-worker`: заданий с повтором 2 во всех повторах, восстановление 58,5 с; `restart-broker`: повторов 0, 5xx нет, восстановление 44,6 с | -| H9 | подтверждено | первый `busy` на 3,1–3,3 с, первый `backlog` на 34,0–36,3 с; CPU S3 в первые 30 с 1,00; принято 306–309 за 45 с; пик 282–285; готовых/с 0,80–0,93 в окне и 2,87–2,97 после | +| H1 | подтверждено | (4, 4) / (2, 2) по throughput восстановления: `s` 2,46 / 3,08, `m` 2,75 / 2,85, `lj` 1,98 / 2,34, `lp` 0,36 / 0,96; (1, 1) / (2, 2): `m` 2,50 / 2,85, `lp` 0,93 / 0,96 | +| H2 | подтверждено | `duration_ms` p50 (4, 4) / (2, 2): `s` 1504 / 619, `m` 1400 / 660, `lj` 1822 / 814, `lp` 4105 / 2029 мс; `memory.peak` (2, 2) не выше 836 МиБ; `lp` (4, 4) — 1024 МиБ во всех повторах; `lj` (4, 4) — до 305 МиБ. На `lp` условие неустойчиво, разбор ниже | +| H3 | подтверждено | пик очереди брокера при (2, 256) — 0, при (2, 2) на `s` — 96 из 100; второй worker взял 47–49 % заданий при `prefetch` 2 и 0 при 256; буквальное прочтение — «нет», см. уточнение выше | +| H4 | **нет** | `m-c1p1-r1` 0,780 при нижней границе 0,8; разбор ниже | +| H5 | подтверждено | пик 250 с пределом против 423 без него; p95 80,2 против 130,6 с; восстановление 80,5 против 137,5 с; все 429 — от предела, `Retry-After` 5; загрузка `before` p50 16 против 16 мс | +| H6 | подтверждено | `lost`, `stuck`, `duplicate`, `sha_mismatch` — 0 во всех ячейках, 2280 проверенных SHA-256, `failed` 0, `unexpected_rows` 0 | +| H7 | подтверждено | вне `accept` наибольшие p95 за все окна: запись 38,5, чтение 16,6, скачивание 105,6 мс; 5xx контрольного потока нет; `lb_down` нет: `lb_up_min` 2 во всех 57 ячейках, в этой проверке подсчёт уже верный | +| H8 | подтверждено | `kill-worker`: заданий с повтором 2 во всех повторах, восстановление 58,5 с, завершение — команда; `restart-broker`: повторов 0, 5xx нет, восстановление 45,6 с, у relay перезапусков и завершений 0 | +| H9 | подтверждено | первый `busy` на 2,9–3,1 с, первый `backlog` на 33,9–36,3 с; CPU S3 в первые 30 с 1,00; принято 302–310 за 45 с; пик 279–286; готовых/с 0,80–0,98 в окне и 2,92–3,07 после | -**Оговорка к H6: `lp` (4, 4).** Условие «p95 `after` ≤ 1,5 × p95 `before`» здесь проходит без смысловой нагрузки: p95 `before` по повторам — 83 с (`lp-c4p4-r3`: 83,27 с; r1 и r2 — 3,59 и 3,87 с), потому что окно `before` этого повтора задето OOM. Сравнивать тут не с чем: порог не меняется, но о возврате задержки на этой конфигурации условие ничего не доказывает. Что p95 `after` сам вернулся к 1,31–1,36 с, видно напрямую. +**Вердикты всех меток.** Числа условий и причины — `evidence/queue/<метка>/summary.md`. -**Настройки и классы** (`evidence/queue/baseline/summary.md`, «Ячейки по конфигурациям»; медиана и min–max трёх повторов). «Процесс» — пик процесса обработки по его отчёту: p50 / наибольший. +| № | `baseline` | `baseline2` | `baseline3` | `baseline4` (основная) | +|---|---|---|---|---| +| H1 | подтверждено | подтверждено | подтверждено | подтверждено | +| H2 | подтверждено | подтверждено | **нет**: `lp`, duration (4, 4) / (2, 2) = 0,965 | подтверждено | +| H3 | подтверждено | подтверждено | подтверждено | подтверждено | +| H4 | **нет**: 2 ячейки `m-c1p1`, 0,797 и 0,778 | **нет**: 3 ячейки `m-c1p1`, 0,794, 0,762, 0,727 | **нет**: 2 ячейки `m-c1p1`, 0,785 и 0,781 | **нет**: 1 ячейка `m-c1p1`, 0,780 | +| H5–H9 | подтверждено | подтверждено | подтверждено | подтверждено | +| Рекомендация | (2, 2) | (2, 2) | (2, 2) | (2, 2) | -| Класс | (c, p) | Готовых/с: окно | восстановление | Пик незаверш. | Пик брокера | До `ready` over p50 / p95 / p99, с | Восст., с | `memory.peak`, МиБ | VmHWM, МиБ | Процесс, МиБ | CPU worker, S3 | Троттлинг worker | OOM | Перезапуски | -|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| -| `s` | (2, 2) | 3.00 (2.90–3.00) | 3.02 (3.01–3.05) | 100 (99–102) | 98 (97–99) | 17.1 / 31.7 / 33.1 | 33.6 (33.5–34.5) | 175 (175–176) | 114 | 49 / 49 | 1.00, 0.08 | 0.99 | 0 | 0 | -| `s` | (4, 4) | 2.60 (2.60–2.60) | 2.57 (2.35–2.57) | 107 (106–108) | 102 (102–104) | 21.4 / 41.2 / 42.3 | 42.5 (42.5–46.5) | 251 (247–251) | 116 | 49 / 49 | 0.99, 0.08 | 0.99 | 0 | 0 | -| `s` | (2, 256) | 3.00 (2.95–3.00) | 3.01 (2.96–3.05) | 101 (100–102) | 0 (0–0) | 17.1 / 31.9 / 33.4 | 33.6 (33.5–34.5) | 175 (175–175) | 114 | 49 / 49 | 0.99, 0.08 | 0.99 | 0 | 0 | -| `m` | (1, 1) | 2.10 (2.05–2.15) | 2.54 (2.51–2.56) | 78 (77–79) | 76 (74–78) | 16.8 / 29.6 / 30.8 | 31.2 (30.3–31.3) | 154 (154–154) | 136 | 58 / 58 | 0.71, 0.70 | 0.15 | 0 | 0 | -| `m` | (2, 2) | 2.70 (2.65–2.75) | 2.95 (2.90–3.03) | 66 (64–68) | 63 (62–64) | 12.1 / 21.5 / 22.3 | 23.2 (21.5–23.3) | 211 (210–211) | 161 | 58 / 58 | 0.95, 0.77 | 0.89 | 0 | 0 | -| `m` | (4, 4) | 2.70 (2.70–2.70) | 2.67 (2.57–2.71) | 67 (66–67) | 62 (62–62) | 12.7 / 23.9 / 24.6 | 25.5 (25.4–26.2) | 290 (280–293) | 199 | 58 / 58 | 0.98, 0.78 | 0.96 | 0 | 0 | -| `lj` | (2, 2) | 2.15 (2.00–2.25) | 2.32 (2.29–2.34) | 78 (75–81) | 75 (73–79) | 17.4 / 32.2 / 33.8 | 34.4 (32.3–35.2) | 206 (204–206) | 151 | 57 / 57 | 0.96, 0.62 | 0.92 | 0 | 0 | -| `lj` | (4, 4) | 2.10 (1.95–2.15) | 2.12 (2.08–2.14) | 78 (76–82) | 73 (72–78) | 18.3 / 35.8 / 37.0 | 37.4 (36.3–39.3) | 299 (293–306) | 188 | 57 / 57 | 0.99, 0.64 | 0.97 | 0 | 0 | -| `lp` | (1, 1) | 0.85 (0.85–0.85) | 0.94 (0.91–0.94) | 34 (33–34) | 33 (32–33) | 19.5 / 34.9 / 36.2 | 36.4 (36.4–37.0) | 467 (466–467) | 136 | 367 / 368 | 0.90, 0.29 | 0.23 | 0 | 0 | -| `lp` | (2, 2) | 0.85 (0.85–0.90) | 0.96 (0.96–0.99) | 33 (32–34) | 31 (30–32) | 18.5 / 33.9 / 35.1 | 35.0 (33.8–35.4) | 830 (696–838) | 160 | 367 / 368 | 0.97, 0.30 | 0.97 | 0 | 0 | -| `lp` | (2, 256) | 0.90 (0.90–0.90) | 0.96 (0.94–0.96) | 34 (32–34) | 0 (0–0) | 19.5 / 34.0 / 35.3 | 34.8 (34.0–35.7) | 832 (742–834) | 160 | 367 / 368 | 0.97, 0.30 | 0.98 | 0 | 0 | -| `lp` | (4, 4) | 0.40 (0.30–0.40) | 0.24 (0.17–0.53) | 44 (44–46) | 38 (37–42) | 70.0 / 194.2 / 204.2 | 187.1 (83.1–249.1) | 1024 (1024–1024) | 215 | 367 / 368 | 0.97, 0.34 | 0.98 | 159 | 16 | +**H2 разошлась между метками, и это видно по самой конфигурации.** `lp` (4, 4) от прогона к прогону сильно плавает. Основная метка подтверждает H2, но устойчивым подтверждением на `lp` это считать нельзя: условие не выполнилось в одной метке из четырёх, а в самой `baseline4` один повтор дал 2844 мс. На остальных классах отношение устойчиво: `s` 2,37–2,68, `m` 2,10–2,12, `lj` 2,17–2,29. -- **VmHWM у `lp` (4, 4) (215 МиБ) — только последняя жизнь контейнера:** его читают в конце ячейки, а контейнер за ячейку перезапускался до 10 раз. Это не наибольшее значение за ячейку и не сравнимо с соседними строками. -- **Столбцы OOM и «Перезапуски»** — суммы трёх повторов. Столбец OOM уже включает перезапуски: счётчик `oom_kill` прочитан у 143 завершений, 16 прибавлены как перезапуски (design, «Уточнения apply», п. 1). +| Метка | Перезапуски, сумма | `failed` | Восст., с: медиана (min–max) | Готовых/с разбора | `duration_ms` p50 (4, 4), r1 / r2 / r3 | p50 (2, 2), медиана | Отношение | +|---|---|---|---|---|---|---|---| +| `baseline` | 16 | 2 | 187,1 (83,1–249,1) | 0,24 | 1831 / 4288 / 3902 | 2060 | 1,894 | +| `baseline2` | 5 | 0 | 102,0 (86,0–108,1) | 0,43 | 4291 / 4212 / 3733 | 2089 | 2,016 | +| `baseline3` | 18 | 4 | 220,7 (163,7–332,5) | 0,20 | 4381 / 1997 / 1984 | 2070 | **0,965** | +| `baseline4` | 5 | 0 | 95,0 (65,8–186,4) | 0,36 | 4211 / 2844 / 4105 | 2029 | 2,023 | -**Блоки** (`evidence/queue/baseline/summary.md`, «Ячейки по конфигурациям» и «Блоки»; последний столбец — `evidence/queue/baseline/cells.csv`). +**Разбор H2 «нет» в `baseline3`.** Вердикт и порог не меняются. -| Блок | Принято | 429 | Готовых/с: окно | восстановление | Пик | p95 до `ready`, с | Восст., с | Второй worker | -|---|---|---|---|---|---|---|---|---| -| `gate-on`: 20/с, 25 с, предел 250 | 355 (355–357) | 177 (176–178) | 2.96 | 3.07 | 250 (250–250) | 81.4 | 81.5 (81.5–83.5) | — | -| `gate-off`: то же, без предела | 532 (531–533) | 0 | 3.00 | 3.02 | 425 (423–426) | 134.0 | 141.5 (138.5–141.5) | — | -| `accept`: `m`, 15/с, 45 с | 338 (337–339) | 369 (366–369) | 0.89 (0.80–0.93) | 2.95 (2.87–2.97) | 283 (282–285) | 92.7 | 90.2 (90.2–95.4) | — | -| `w2-p2` | 191 (190–192) | 0 | 2.95 | 5.54 (5.52–5.78) | 100 (100–101) | 17.4 | 18.4 (17.6–18.6) | 48 заданий, 0,47–0,48 | -| `w2-p256` | 193 (191–193) | 0 | 3.00 | 3.04 (2.99–3.06) | 101 (100–102) | 31.6 | 33.5 (33.4–34.4) | 0 заданий | -| `kill-worker` | 231 (231–233) | 0 | 2.80 | 2.24 (2.21–2.26) | 129 (127–132) | 40.9 | 58.5 (58.4–58.6) | — | -| `restart-broker` | 231 (231–231) | 0 | 2.52 | 3.08 (2.95–3.11) | 137 (136–137) | 42.6 | 44.6 (44.4–46.5) | — | +- **Откуда 0,965.** Отношение — медиана трёх медиан. При (2, 2) всё стабильно: 2070 / 2039 / 2092 мс. При (4, 4) один повтор — 4381 мс, как обычно, а два — 1997 и 1984 мс, и медиана попала на них. `render_ms` p50 упал вместе с ними (3992 / 1823 / 1875 мс): снижение в самой обработке, а не в S3 или PostgreSQL. +- **Значения двух видов.** Из 12 ячеек `lp` (4, 4) четырёх меток восемь лежат в 3733–4381 мс, четыре ниже: 1831, 1984, 1997, 2844 мс. То есть низкие значения бывают и в других метках (`baseline` r1, `baseline4` r2); там они не стали медианой. +- **Предположение: в медиану попадают в основном задания, пережившие перезапуски. Данные его не подтверждают, но и не опровергают.** Журналы в метку не копируются, стенд удалён, поэтому по отдельным заданиям проверить нечем. Есть только косвенное: + - **Доля готовых после первой гибели процесса 1** (косвенно: первая секунда, где `processing` больше конкуренции: строки убитого процесса ждут аренду, `timeline.csv`). Признак двух видов не разделяет: у низких 75–92 %, но у шести из восьми высоких тоже 70–92 % (`baseline3` r1: 91 % и 4381 мс). Корреляция с `duration_ms` по 12 ячейкам −0,30. + - **Число перезапусков.** Связь есть, но неполная: все 6 ячеек с 0–3 перезапусками — 3733 мс и выше; из 6 ячеек с 4–10 перезапусками четыре низкие, две высокие (`baseline` r3 — 5 и 3902 мс, `baseline3` r1 — 5 и 4381 мс). Корреляция −0,78 на 12 точках: это связь, а не доказательство причины. + - **Доля заданий с повтором:** корреляция −0,55, `baseline2` r2 — 60 % и 4212 мс. +- **Что видно из кода, а не из замера.** `duration_p50_ms` считается по всем записям «Attachment became ready» журнала worker, а не только по окну перегрузки. Туда входят 12 файлов `s` разогрева и задания окон `before` и `after`, идущие почти без конкуренции. В `lp-c4p4-r2` метки `baseline3` это 22 записи из 73 (12 + 5 + 5). Значит, расчётом, медиана уходит к низким значениям, как только ещё ~15 из 51 задания окна `over` выполняются не при полной конкуренции. Поэтому условие на `lp` чувствительно: кого именно касается это снижение, метка не показывает. +- **Выгрузка хоста здесь ни при чём по условию:** её единственная ячейка в `baseline3`, `lp-c2p256-r1`, в условие H2 не входит. + +**Выгрузка хоста.** В двух метках хост выгружал страницы в swap (таблица меток выше), третья пересъёмка прошла чисто, и пользователь принял решение не переснимать бесконечно: при выгрузке результат сохраняется, после `baseline3` — ещё один прогон, больше пересъёмок нет (`QUESTIONS.md`). Причина выгрузки не установлена. Задетые ячейки `baseline2` по времени восстановления выше ближнего соседнего повтора: + +| Ячейка | Страниц за ячейку | Восст., с | Ближний соседний повтор, с | Разница | +|---|---|---|---|---| +| `gate-on-s-c2p2-r3` | 23 380 | 85,57 | 84,40 | +1,4 % | +| `w2-p256-s-c2p256-r1` | 1 852 | 36,40 | 34,48 | +5,6 % | +| `gate-off-s-c2p2-r3` | 4 524 | 157,44 | 142,38 | +10,6 % | +| `lp-c1p1-r3` | 25 068 | 40,34 | 36,41 | +10,8 % | +| `accept-m-c2p2-r3` | 197 012 | 106,22 | 94,03 | +13,0 % | + +Эффект 1–13 % с объёмом не растёт: 23 380 страниц — +1,4 %, 4 524 — +10,6 %. Похожий разброс бывает и без пометки: восстановление к среднему двух соседних повторов выше 5 % у 21 ячейки из 198 без пометки (конфигурации без задетых ячеек, без `lp-c4p4`), например `s-c4p4-r1` чистой `baseline4` +9,6 %. Причинная связь выгрузки с задержкой не показана. Без пяти ячеек вердикты и рекомендация `baseline2` те же. + +**Оговорка к H6: `lp` (4, 4).** В основной метке условие «p95 `after` ≤ 1,5 × p95 `before`» содержательно: `before` 1,36 / 1,30 / 1,28 с, `after` 1,31 / 1,28 / 1,35 с. Но в `baseline` и `baseline3` оно проходило без смысловой нагрузки: у одного повтора p95 `before` 83,27 с и 78,44 с, потому что окно задето OOM, и о возврате задержки условие там ничего не доказывало; сам `after` был 1,31–1,63 с. Порог не менялся. + +**Настройки и классы** (`evidence/queue/baseline4/summary.md`, «Ячейки по конфигурациям»; медиана и min–max трёх повторов). «Процесс» — пик процесса обработки по его отчёту: p50 / наибольший. Queue lag — пик возраста старейшего незавершённого по окнам before / over / after; ожидание — время задания в очереди p50 / p95, по окнам прихода before; over; after. + +| Класс | (c, p) | Готовых/с: окно | восстановление | Пик незаверш. | Пик брокера | До `ready` over p50 / p95 / p99, с | Восст., с | `memory.peak`, МиБ | VmHWM, МиБ | Процесс, МиБ | CPU worker, S3 | Троттлинг worker | OOM | Перезапуски | Queue lag, с | Ожидание в очереди, мс | +|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| +| `s` | (2, 2) | 3.10 (3.05–3.10) | 3.08 (3.05–3.08) | 100 (97–100) | 96 (95–97) | 16.3 / 30.4 / 31.9 | 32.5 (32.4–32.6) | 175 (175–176) | 114 | 49 / 49 | 0.99, 0.07 | 0.99 | 0 | 0 | 0.5 / 12.1 / 0.5 | 2 / 4; 15544 / 29570; 2 / 3 | +| `s` | (4, 4) | 2.65 (2.50–2.70) | 2.46 (2.32–2.49) | 107 (106–108) | 102 (101–104) | 20.9 / 41.1 / 42.6 | 43.4 (43.4–47.6) | 250 (249–251) | 116 | 49 / 49 | 1.00, 0.08 | 0.99 | 0 | 0 | 0.4 / 12.9 / 0.4 | 2 / 3; 19022 / 39208; 2 / 4 | +| `s` | (2, 256) | 3.00 (3.00–3.10) | 3.08 (3.05–3.15) | 99 (98–100) | 0 (0–0) | 16.3 / 30.5 / 32.0 | 32.5 (32.4–32.5) | 175 (175–175) | 114 | 49 / 49 | 1.00, 0.07 | 1.00 | 0 | 0 | 0.4 / 12.0 / 0.5 | 2 / 3; 15572 / 29721; 2 / 3 | +| `m` | (1, 1) | 2.30 (2.05–2.30) | 2.50 (2.37–2.53) | 77 (76–80) | 76 (75–78) | 16.6 / 30.2 / 31.2 | 32.3 (30.2–32.4) | 154 (154–154) | 136 | 58 / 58 | 0.73, 0.71 | 0.13 | 0 | 0 | 0.7 / 12.3 / 0.4 | 2 / 413; 16136 / 29785; 2 / 59 | +| `m` | (2, 2) | 2.85 (2.70–2.90) | 2.85 (2.82–2.95) | 66 (63–67) | 62 (61–64) | 11.7 / 21.5 / 22.4 | 23.2 (22.4–23.3) | 210 (210–211) | 160 | 58 / 58 | 0.96, 0.77 | 0.88 | 0 | 0 | 0.3 / 10.5 / 0.4 | 1 / 3; 10967 / 20533; 2 / 2 | +| `m` | (4, 4) | 2.75 (2.75–2.75) | 2.75 (2.57–2.78) | 66 (66–67) | 62 (61–63) | 12.3 / 23.1 / 23.9 | 24.4 (24.2–26.3) | 300 (294–300) | 200 | 58 / 58 | 0.97, 0.79 | 0.94 | 0 | 0 | 0.4 / 10.5 / 0.6 | 1 / 2; 10681 / 21535; 1 / 2 | +| `lj` | (2, 2) | 2.25 (2.20–2.25) | 2.34 (2.34–2.37) | 76 (76–77) | 74 (73–74) | 16.5 / 30.7 / 32.0 | 32.3 (32.3–32.5) | 204 (204–206) | 152 | 57 / 57 | 0.96, 0.62 | 0.93 | 0 | 0 | 0.7 / 12.2 / 0.6 | 1 / 2; 15586 / 29734; 2 / 2 | +| `lj` | (4, 4) | 2.15 (2.10–2.15) | 1.98 (1.95–2.17) | 77 (77–78) | 74 (73–74) | 19.4 / 37.3 / 38.7 | 39.5 (36.3–40.4) | 295 (276–305) | 188 | 57 / 57 | 0.98, 0.63 | 0.97 | 0 | 0 | 0.7 / 12.6 / 0.6 | 1 / 2; 17210 / 35123; 1 / 3 | +| `lp` | (1, 1) | 0.85 (0.85–0.85) | 0.93 (0.93–0.93) | 34 (33–35) | 33 (32–34) | 19.1 / 34.9 / 36.2 | 36.5 (35.5–37.1) | 467 (466–470) | 136 | 367 / 368 | 0.88, 0.29 | 0.21 | 0 | 0 | 1.1 / 13.1 / 1.1 | 2 / 1104; 17896 / 33663; 1 / 2 | +| `lp` | (2, 2) | 0.90 (0.90–0.90) | 0.96 (0.96–0.99) | 33 (32–34) | 32 (30–32) | 18.9 / 33.0 / 34.2 | 33.9 (33.9–35.0) | 834 (825–836) | 160 | 367 / 368 | 0.97, 0.30 | 0.97 | 0 | 0 | 1.1 / 12.3 / 1.0 | 1 / 2; 16790 / 30859; 2 / 2 | +| `lp` | (2, 256) | 0.90 (0.90–0.90) | 0.96 (0.96–0.96) | 33 (32–34) | 0 (0–0) | 19.0 / 33.6 / 34.9 | 34.8 (33.5–35.1) | 831 (694–836) | 160 | 367 / 368 | 0.97, 0.30 | 0.98 | 0 | 0 | 1.1 / 12.2 / 1.1 | 2 / 2; 16922 / 31475; 2 / 2 | +| `lp` | (4, 4) | 0.85 (0.50–0.85) | 0.36 (0.21–0.51) | 34 (34–40) | 30 (29–32) | 21.4 / 98.5 / 98.8 | 95.0 (65.8–186.4) | 1024 (1024–1024) | 206 | 367 / 368 | 0.98, 0.31 | 0.97 | 68 | 5 | 1.1 / 12.4 / 0.6 | 2 / 2; 9499 / 29496; 2 / 2 | + +- **VmHWM у `lp` (4, 4) (206 МиБ) — только последняя жизнь контейнера:** его читают в конце ячейки, а контейнер за ячейку перезапускался до 4 раз. Это не наибольшее значение за ячейку и не сравнимо с соседними строками. +- **Столбцы OOM и «Перезапуски»** — суммы трёх повторов. OOM — счётчик cgroup (63) плюс завершения процесса 1, подтверждённые событиями Docker (5). Завершения worker: на всех конфигурациях, кроме `lp` (4, 4) и `kill-worker`, — ни одного; прочих (`worker_die_other`) нет. +- **Реплик в LB** наименьшее (`lb_up_min`) — 2 в каждой ячейке, `lb_down` не сработал. Лишних строк в базе (`unexpected_rows`) нет. +- **Lag и `oldest_s`.** Пик возраста в окне `over` ограничен длиной окна; ожидание заданий, пришедших в это окно, больше: в матрице p95 до 39 с. На `m` и `lp` при (1, 1) p95 ожидания окна `before` — 413 и 1104 мс при единицах у остальных; вероятно, при одном месте конкуренции следующее задание ждёт текущее, отдельно это не мерилось. + +**Блоки** (`evidence/queue/baseline4/summary.md`, «Ячейки по конфигурациям» и «Блоки»; столбец второго worker — `evidence/queue/baseline4/cells.csv`). + +| Блок | Принято | 429 | Готовых/с: окно | восстановление | Пик | p95 до `ready`, с | Восст., с | Queue lag over, с | Второй worker | +|---|---|---|---|---|---|---|---|---|---| +| `gate-on`: 20/с, 25 с, предел 250 | 356 (356–357) | 175 (174–176) | 3.04 | 3.10 | 250 (250–250) | 80.2 | 80.5 (80.5–81.4) | 20.7 | — | +| `gate-off`: то же, без предела | 532 (531–533) | 0 | 3.04 | 3.08 | 423 (422–424) | 130.6 | 137.5 (137.4–138.5) | 20.7 | — | +| `accept`: `m`, 15/с, 45 с | 339 (333–342) | 368 (365–373) | 0.91 (0.80–0.98) | 3.00 (2.92–3.07) | 284 (279–286) | 91.7 | 89.3 (84.4–94.5) | 39.2 | — | +| `w2-p2` | 192 (191–193) | 0 | 3.00 | 5.78 (5.53–5.85) | 100 (99–101) | 17.1 | 17.6 (17.4–18.4) | 12.3 | 48–49 заданий, 0,47–0,49 | +| `w2-p256` | 192 (190–192) | 0 | 3.05 | 2.99 (2.99–3.05) | 100 (99–101) | 31.1 | 33.4 (32.6–34.4) | 12.1 | 0 заданий | +| `kill-worker` | 233 (232–233) | 0 | 2.88 | 2.23 (2.21–2.26) | 128 (127–130) | 40.1 | 58.5 (58.4–58.5) | 19.8 | — | +| `restart-broker` | 233 (232–233) | 0 | 2.56 | 3.02 (3.02–3.10) | 137 (137–138) | 42.9 | 45.6 (44.5–46.4) | 16.8 | — | + +**Второй worker в обоих прочтениях** (`second_share` — порог H3, только разбор; `second_share_all` — буквально, все завершённые после запуска; `second_share_after` — само окно `after`). + +| Блок, r1 / r2 / r3 | `second_share` | Заданий при разборе | `second_share_all` | Заданий всего | `second_share_after` | +|---|---|---|---|---|---| +| `w2-p2` | 0,471 / 0,471 / 0,485 | 48 / 48 / 49 | 0,475 / 0,470 / 0,491 | 56 / 55 / 57 | 0,500 / 0,467 / 0,533 | +| `w2-p256` | 0 / 0 / 0 | 0 / 0 / 0 | 0,067 / 0,069 / 0,061 | 8 / 8 / 7 | 0,500 / 0,500 / 0,467 | **Backpressure: где работа перестаёт приниматься и ускоряться.** | Уровень | Значение | Что видит клиент | Что показала метка | |---|---|---|---| -| Места загрузки реплики | 4 + 16, ожидание 5 с | 429, `Retry-After: 1` | `accept`: 204–236 отказов с 3,1–3,3 с окна, загрузка 202 p50 ~4,8 с | -| Предел заданий | 250 | 429, `Retry-After: 5`, сразу | `gate-on`: плато ровно 250, первый отказ на ~14,7 с; `accept`: 130–165 отказов с 34,0–36,3 с, пик 282–285 | -| Шлюз S3, общий с worker | 1 CPU | загрузка дольше | `accept`: CPU S3 1,00 в первые 30 с, готовых/с 0,80–0,93 вместо 2,87–2,97 после окна | -| Outbox | копит | `queued` | держится на 1–6, relay не узкое место; при рестарте брокера — до 47 | +| Места загрузки реплики | 4 + 16, ожидание 5 с | 429, `Retry-After: 1` | `accept`: 206–234 отказа с 2,9–3,1 с окна, загрузка 202 p50 4,6–5,0 с | +| Предел заданий | 250 | 429, `Retry-After: 5`, сразу | `gate-on`: плато ровно 250, первый отказ на ~14,7 с; `accept`: 131–167 отказов с 33,9–36,3 с, пик 279–286 | +| Шлюз S3, общий с worker | 1 CPU | загрузка дольше | `accept`: CPU S3 1,00 в первые 30 с, готовых/с 0,80–0,98 вместо 2,92–3,07 после окна | +| Outbox | копит | `queued` | не выше 6, relay не узкое место; при рестарте брокера — до 32 | | `max_published_backlog` | 1000 | `queued` | не достигнут ни в одной ячейке | -| Предел памяти брокера | 400 МиБ | `queued` | не достигнут: медиана памяти брокера по конфигурациям 207–227 МиБ. Срабатывание проверяет `test_broker_memory_alarm`, отказы публикации в метке — только в `restart-broker` (2–3 прохода) | -| `prefetch` | 2 | `queued` | неподтверждённых не больше `prefetch` во всех ячейках с (2, 2); при 256 — до 100 на `s` и до 34 на `lp`, а в очереди брокера 0 | -| `concurrency` | 2 | `processing` | `processing` не больше конкуренции, кроме ячеек с гибелью worker: строки убитого ждут аренду (`kill-worker` — 4, `lp` (4, 4) — 8–30); `w2-*` — 4 на двух worker | +| Предел памяти брокера | 400 МиБ | `queued` | не достигнут: память брокера по ячейкам 138–224 МиБ. Срабатывание проверяет `test_broker_memory_alarm`, отказы публикации в метке — только в `restart-broker` (2 прохода) | +| `prefetch` | 2 | `queued` | неподтверждённых не больше `prefetch` во всех ячейках матрицы с (2, 2); при 256 — до 99 на `s` и до 34 на `lp`, а в очереди брокера 0 | +| `concurrency` | 2 | `processing` | `processing` не больше конкуренции, кроме ячеек с гибелью worker: строки убитого ждут аренду (`kill-worker` — 4, `lp` (4, 4) — 8 и 16 при перезапусках, 4 без них); `w2-*` — 4 на двух worker | | Лимит контейнера | 1 ГБ | дольше до `ready`, `failed` при исчерпании попыток | (2, 2) помещается на всех классах, `lp` (4, 4) — нет | Клиент за входом видит только дольше не меняющееся `queued`, ни одного кода ошибки. Перестаёт приниматься на первых двух уровнях. Перестаёт ускоряться на CPU worker (конкуренция сверх двух), а на файлах у границы байтов — ещё на CPU S3, и там приём отнимает ресурс у обработки. Предел заданий останавливает это только на ~35-й секунде такой нагрузки: приоритета обработки над приёмом в S3 нет, это ограничение. -**Разбор H4: почему «нет».** Вердикт остаётся «нет»: условие записано раньше метки и на двух ячейках нарушено. Отношение p95 окна `over` к «пик / throughput окна `over`» (`evidence/queue/baseline/cells.csv`). Правая колонка — та же величина с throughput окна `recovery`: это расчёт после метки, порога у него нет, и на вердикт он не влияет. +**Разбор H4: почему «нет».** Вердикт остаётся «нет»: условие записано раньше метки и нарушено; в основной метке — на одной ячейке, во всех четырёх метках — только на `m-c1p1`. Отношение p95 окна `over` к «пик / throughput окна `over`» (`evidence/queue/baseline4/cells.csv`). Правая колонка — та же величина с throughput окна `recovery`: это расчёт после метки, порога у него нет, и на вердикт он не влияет. | Конфигурация | Записанное условие, r1 / r2 / r3 | С throughput `recovery`, r1 / r2 / r3 | |---|---|---| -| `s-c2p2` | 0,912 / 0,938 / 0,962 | 0,948 / 0,953 / 0,968 | -| `s-c2p256` | 0,938 / 0,955 / 0,936 | 0,953 / 0,959 / 0,939 | -| `s-c4p4` | 1,010 / 0,984 / 1,058 | 0,998 / 0,973 / 0,955 | -| `m-c1p1` | 0,803 / **0,797** / **0,778** | 0,958 / 0,953 / 0,966 | -| `m-c2p2` | 0,879 / 0,840 / 0,881 | 0,967 / 0,936 / 0,946 | -| `m-c4p4` | 0,961 / 0,964 / 1,005 | 0,965 / 0,953 / 0,957 | -| `lj-c2p2` | 0,922 / 0,887 / 0,827 | 0,960 / 0,947 / 0,959 | -| `lj-c4p4` | 0,963 / 0,878 / 0,981 | 0,979 / 0,937 / 0,966 | -| `lp-c1p1` | 0,871 / 0,880 / 0,886 | 0,958 / 0,938 / 0,976 | -| `lp-c2p2` | 0,890 / 0,925 / 0,848 | 1,008 / 0,986 / 0,987 | -| `lp-c2p256` | 0,899 / 0,900 / 0,925 | 0,935 / 0,961 / 0,987 | +| `s-c2p2` | 0,944 / 0,953 / 0,943 | 0,939 / 0,952 / 0,937 | +| `s-c2p256` | 0,934 / 0,918 / 0,946 | 0,960 / 0,963 / 0,932 | +| `s-c4p4` | 1,057 / 1,047 / 0,998 | 0,979 / 0,955 / 0,937 | +| `m-c1p1` | **0,780** / 0,902 / 0,851 | 0,951 / 0,931 / 0,936 | +| `m-c2p2` | 0,938 / 0,946 / 0,867 | 0,929 / 0,931 / 0,946 | +| `m-c4p4` | 1,018 / 0,963 / 0,962 | 0,952 / 0,962 / 0,973 | +| `lj-c2p2` | 0,908 / 0,886 / 0,885 | 0,946 / 0,923 / 0,955 | +| `lj-c4p4` | 1,034 / 0,975 / 1,041 | 0,962 / 0,983 / 0,957 | +| `lp-c1p1` | 0,869 / 0,873 / 0,855 | 0,955 / 0,959 / 0,938 | +| `lp-c2p2` | 0,888 / 0,901 / 0,926 | 0,948 / 0,988 / 0,987 | +| `lp-c2p256` | 0,899 / 0,892 / 0,917 | 0,957 / 0,950 / 0,980 | -Всего 33 ячейки без `oom`: по записанному условию 0,778–1,058, две ниже 0,8; с throughput `recovery` 0,935–1,008. +Всего 33 ячейки без `oom`: по записанному условию 0,780–1,057, одна ниже 0,8; с throughput `recovery` 0,923–0,988. - **Проверено по метке.** - - На `m` (1, 1) throughput окна `over` 2,05–2,15, окна `recovery` 2,51–2,56. - - По `timeline.csv` это не разгон: готовых в секунду ровно ~2 все 20 с окна (`m-c1p1-r2`: первые 10 с — 2,1/с, последние — 2,1/с). - - В окне `over` CPU worker 0,70–0,74 и S3 0,69–0,70, в `recovery` — 0,79–0,82 и 0,25–0,26. + - На `m` (1, 1) throughput окна `over` 2,05–2,30, окна `recovery` 2,37–2,53. + - По `timeline.csv` это не разгон: готовых в секунду ровно ~2 все 20 с окна (`m-c1p1-r1`: первые 10 с — 2,0/с, последние — 2,1/с). + - В окне `over` CPU worker 0,69–0,74 и S3 0,71, в `recovery` — 0,75–0,80 и 0,23–0,26. - Задание, пришедшее в конце окна, разбирается уже со скоростью `recovery`, а формула считает его по скорости `over`. Поэтому отношение занижено там, где эти скорости расходятся; сильнее всего — на `m` (1, 1). -- **Предположение, метка его не меряет:** в окне `over` worker при (1, 1) медленнее, потому что ждёт S3, занятый приёмом. На это указывают CPU S3 и троттлинг worker 0,15, но времени ожидания S3 в метке нет. -- **Вывод.** Причина в определении: в формулу гипотезы взят throughput окна, а разбирается очередь в основном после него. Это объяснение, а не отмена вердикта. Гипотеза в записанном виде не подтверждена. Данные показывают, что время до `ready` следует за очередью с отклонением до ~22 % вниз, а не с заявленным запасом 20 %, и на классах с заметным S3 отношение почти всегда ниже единицы. На ячейках с `oom` формула неприменима (`lp-c4p4`: 1,766 / 0,827 / 1,271): там задержку определяют аренда и повторы. +- **Предположение, метка его не меряет:** в окне `over` worker при (1, 1) медленнее, потому что ждёт S3, занятый приёмом. На это указывают CPU S3 и троттлинг worker 0,07–0,16, но времени ожидания S3 в метке нет. +- **Вывод.** Причина в определении: в формулу гипотезы взят throughput окна, а разбирается очередь в основном после него. Это объяснение, а не отмена вердикта. Гипотеза в записанном виде не подтверждена. Данные показывают, что время до `ready` следует за очередью с отклонением до ~22 % вниз, и на классах с заметным S3 отношение почти всегда ниже единицы. На ячейках с `oom` формула неприменима (`lp-c4p4`: 2,461 / 2,291 / 1,409): там задержку определяют аренда и повторы. -**`lp` (4, 4): что произошло** (`evidence/queue/baseline/cells.csv`). +**`lp` (4, 4): что произошло** (`evidence/queue/baseline4/cells.csv`). -| Повтор | Принято | `ready` | `failed` | `oom_kill` с перезапусками | Перезапуски | Заданий с повтором | Истёкших аренд | `processing`, пик | Восст., с | p95 `over`, с | CPU на задание, с | -|---|---|---|---|---|---|---|---|---|---|---|---| -| r1 | 63 | 61 | 2 | 69 | 10 | 36 | 40 | 30 | 249,08 | 194,23 | 2,075 | -| r2 | 62 | 62 | 0 | 30 | 1 | 25 | 4 | 8 | 83,11 | 90,95 | 1,497 | -| r3 | 63 | 63 | 0 | 60 | 5 | 34 | 20 | 20 | 187,07 | 194,96 | 1,824 | +| Повтор | Принято | `ready` | `failed` | `oom_kill` | Завершения процесса 1 (ядро) | Перезапуски | Событий `oom` | Заданий с повтором | Истёкших аренд | `processing`, пик | Восст., с | p95 `over`, с | CPU на задание, с | +|---|---|---|---|---|---|---|---|---|---|---|---|---|---| +| r1 | 62 | 62 | 0 | 16 | 1 | 1 | 9 | 16 | 4 | 8 | 95,04 | 98,45 | 1,393 | +| r2 | 60 | 60 | 0 | 27 | 4 | 4 | 19 | 27 | 16 | 16 | 186,44 | 183,28 | 1,594 | +| r3 | 62 | 62 | 0 | 25 | 0 | 0 | 11 | 13 | 0 | 4 | 65,82 | 56,36 | 1,464 | -- **Что значит.** Четыре процесса по 367 МиБ не помещаются в 1 ГБ: `memory.peak` 1024 МиБ, наибольшая `anon` 951–1006 МиБ. Ядро завершает процессы обработки, задания возвращаются на новую попытку и снова занимают память. Работа делается повторно: CPU на задание 1,50–2,08 с против 0,94 при (2, 2). С первого раза не обрабатываются 40–57 % заданий. Когда завершён процесс 1, взятые задания ждут аренду 70 с (пик `processing` 30 при конкуренции 4), и worker простаивает: CPU в окне `recovery` 0,41 / 0,82 / 0,49. Итог — throughput 0,24 вместо 0,96 и p95 194 с вместо 34 с, при том же лимите. После разбора система приходит в норму: p95 окна `after` 1,31–1,36 с. -- **2 `failed` — это 2 принятых задания из 188, ушедших в реестр.** Клиент получил на них 202, а теперь видит `status: failed` и `error_code: retry_exhausted` (причина для оператора — `render_killed`). Варианта нет, новое сообщение с таким вложением получает 409. Сами они не восстановятся: возврат — `make replay ERROR_CODE=retry_exhausted APPLY=1`, оригинал лежит в staging до срока хранения (24 ч). Replay в этой метке не запускался, его проверяют `make failure_checks` и `driver.py defense-faults`. `lost` 0 означает только, что каждое принятое вложение названо состоянием, а не то, что каждое обработано. -- **Расхождение с пробами.** Пробы ждали редких завершений процесса 1: один подтверждённый и один по тем же признакам из пяти прогонов, и в design записано «случайно». Метка показала другое: перезапуски во всех трёх ячейках, 16 за три прогона, до 10 в одной. Причина расхождения разобрана только частично: на пробах стоял `restart: "no"`, первое завершение останавливало опыт, повторяться циклу было негде; метка идёт с `unless-stopped`, и цикл доходит до конца. Что перезапуск снова берёт дорогие задания и завершается по той же причине — предположение: повторные завершения в метке отдельно не прослежены. Частоту трёх повторов как оценку не использовать: она только показывает, что завершение не редкость. -- **Ограничение измерения.** Метка не проверяет причину перезапуска: прибавляет каждый к `oom_kill` по косвенному признаку (design, «Уточнения apply», п. 1), `.State.OOMKilled` после нового старта сброшен. Другой аварийный выход процесса 1 в столбце от завершения ядром не отличается. +- **Что значит.** Четыре процесса по 367 МиБ не помещаются в 1 ГБ: `memory.peak` 1024 МиБ, наибольшая `anon` 968–1008 МиБ. Ядро завершает процессы обработки, задания возвращаются на новую попытку и снова занимают память. Работа делается повторно: CPU на задание 1,39–1,59 с против 1,03 при (2, 2). С первого раза не обрабатываются 21–45 % заданий. Когда завершён процесс 1, взятые задания ждут аренду 70 с (пик `processing` 16 при конкуренции 4), и worker простаивает: CPU в окне `recovery` 0,56 / 0,35 / 0,87. Итог — throughput 0,36 вместо 0,96 и p95 98,5 с вместо 33,0 с, при том же лимите. После разбора система приходит в норму: p95 окна `after` 1,28–1,35 с. +- **`failed`.** В основной метке 0, но это не значит, что риска нет: в `baseline` 2 задания (`retry_exhausted`, причина `render_killed`), в `baseline3` 4 задания (`retry_exhausted`, причина `lease_expired`) на `lp-c4p4-r1`. Клиент получил на них 202, а теперь видит `status: failed` и `error_code: retry_exhausted`. Варианта нет, новое сообщение с таким вложением получает 409. Сами они не восстановятся: возврат — `make replay ERROR_CODE=retry_exhausted APPLY=1`, оригинал лежит в staging до срока хранения (24 ч). Replay в метках не запускался, его проверяют `make failure_checks` и `driver.py defense-faults`. `lost` 0 означает только, что каждое принятое вложение названо состоянием, а не то, что каждое обработано. +- **Расхождение с пробами.** Пробы ждали редких завершений процесса 1: один подтверждённый и один по тем же признакам из пяти прогонов, и в design записано «случайно». Метки показали другое: перезапуски в 11 ячейках из 12, суммы 16, 5, 18 и 5 за три повтора, до 10 в одной ячейке, и только `baseline4` r3 прошла без них. Причина расхождения разобрана только частично: на пробах стоял `restart: "no"`, первое завершение останавливало опыт, повторяться циклу было негде; метка идёт с `unless-stopped`, и цикл доходит до конца. Что перезапуск снова берёт дорогие задания и завершается по той же причине — предположение: повторные завершения в метке отдельно не прослежены. Частоту трёх повторов как оценку не использовать: она только показывает, что завершение не редкость. +- **Причины перезапусков теперь измерены** (`docker events`): все 5 перезапусков основной метки — завершение ядром, `worker_die_other` 0. В `kill-worker` — `worker_die_command` 3 из 3, не `oom`. В `baseline` причина не проверялась: там каждый перезапуск прибавлялся к `oom_kill` косвенно, поэтому её столбец с остальными метками не сравнивается. -**Восстановление** (`evidence/queue/baseline/cells.csv`). Без действий оператора незавершённых становится ноль во всех 57 ячейках, очередь брокера пуста, `not_recovered` нет. Эффект не дублируется: 0 вторых заданий и наборов вариантов. Скорость разбора не падает: при (2, 2) `recovery` не ниже окна `over`. Время до `ready` возвращается (H6, условие по конфигурациям). Контрольный поток — H7; в `accept` наибольшие p95 — запись 39,2, чтение 15,1, скачивание 355,4 мс (порог H9 — 1 с), p95 скачивания в окне `over` — 342,9 мс против 8,3 на `s` при CPU S3 ~1,0, ошибок нет. Связь с занятым S3 — предположение: отдельно не мерилась. +**Восстановление** (`evidence/queue/baseline4/cells.csv`). Без действий оператора незавершённых становится ноль во всех 57 ячейках, очередь брокера пуста, `not_recovered` нет. Эффект не дублируется: 0 вторых заданий и наборов вариантов; лишних строк в базе нет; копий relay 0. Скорость разбора при (2, 2) не падает: по медиане `recovery` не ниже окна `over` на `m`, `lj`, `lp`, на `s` 3,08 при 3,10 — в разбросе повторов. Время до `ready` возвращается (H6, условие по конфигурациям). Контрольный поток — H7; в `accept` наибольшие p95 — запись 23,8, чтение 14,0, скачивание 371,9 мс (порог H9 — 1 с), p95 скачивания в окне `over` — 313,8–371,9 мс против 6,8–7,3 на `s` при CPU S3 ~1,0, ошибок нет. Связь с занятым S3 — предположение: отдельно не мерилась. **Компромисс latency и ресурсов (вывод из таблиц выше).** - **Память без скорости.** По правилу шума решения 11 (разбросы не пересекаются, разница медиан больше наибольшего разброса): - - (4, 4) против (2, 2) — эффект в худшую сторону на `s`, `m`, `lj`: throughput ниже на 15, 10 и 9 %, память выше на 43, 38 и 45 %. На `lp` — потеря обработки. - - (1, 1) против (2, 2) на `lp` — в пределах шума по скорости (0,94 и 0,96), памяти 467 МиБ вместо 830: выигрыш 44 %. - - (1, 1) на `m` — эффект: на 14 % медленнее (2,54 и 2,95), памяти 154 МиБ вместо 211, потому что worker при одном задании ещё ждёт S3 (CPU 0,71). -- **CPU, а не конкуренция, поднимает потолок.** Второй worker на `s`: 5,54 готовых/с вместо 3,02, восстановление 18,4 с вместо 33,6, ценой ещё 1 CPU и 1 ГБ лимита. Формула масштабирования этим не доказана (ограничения ниже). -- **Большой prefetch ничего не даёт и прячет очередь:** та же скорость на `s` и `lp`, брокер показывает 0 готовых, второй worker простаивает, восстановление 33,5 с вместо 18,4. -- **Цена отказа клиенту.** Предел обменивает принятые файлы на срок: 177 загрузок из ~533 получают 429, зато p95 до `ready` 81,4 с вместо 134,0. Цена проверки в окне `before`: p50 16 против 15 мс при разбросе того же порядка. -- **Формула подбора** на двух точках сходится. Память: база ≈ 467 − 368 ≈ 99 МиБ на (1, 1), прогноз для (2, 2) — 99 + 2 × 368 = 835 МиБ при измеренных 830; `(1024 − 99) / 368 ≈ 2,5`, то есть 2 помещается, 4 нет; 3 в метке нет. CPU: при (1, 1) на `m` 0,71 ядра, значит, конкуренция 2 ещё даёт прирост, что и видно; при (2, 2) уже 0,95. Это согласие с данными, а не доказательство: опытов на формулу метка не ставила. + - (4, 4) против (2, 2) — эффект в худшую сторону на `s` и `lj`: throughput ниже на 20 и 15 %; на `m` 2,75 и 2,85 — в пределах шума. Память выше на 43, 45 и 43 % (`s`, `lj`, `m`). На `lp` — потеря обработки. + - (1, 1) против (2, 2) на `lp` — в пределах шума по скорости (0,93 и 0,96), памяти 467 МиБ вместо 834: выигрыш 44 %. + - (1, 1) на `m` — эффект: на 12 % медленнее (2,50 и 2,85), памяти 154 МиБ вместо 210, потому что worker при одном задании ещё ждёт S3 (CPU 0,73). +- **CPU, а не конкуренция, поднимает потолок.** Второй worker на `s`: 5,78 готовых/с вместо 3,08, восстановление 17,6 с вместо 32,5, ценой ещё 1 CPU и 1 ГБ лимита. Формула масштабирования этим не доказана (ограничения ниже). +- **Большой prefetch ничего не даёт и прячет очередь:** та же скорость на `s` и `lp`, брокер показывает 0 готовых, второй worker простаивает, восстановление 33,4 с вместо 17,6. +- **Цена отказа клиенту.** Предел обменивает принятые файлы на срок: 175 загрузок из ~532 получают 429, зато p95 до `ready` 80,2 с вместо 130,6. Цена проверки в окне `before`: p50 16 против 16 мс при разбросе 15–19 мс. +- **Формула подбора** на двух точках сходится. Память: база ≈ 467 − 368 ≈ 99 МиБ на (1, 1), прогноз для (2, 2) — 99 + 2 × 368 = 835 МиБ при измеренных 834; `(1024 − 99) / 368 ≈ 2,5`, то есть 2 помещается, 4 нет; 3 в метке нет. CPU: при (1, 1) на `m` 0,73 ядра, значит, конкуренция 2 ещё даёт прирост, что и видно; при (2, 2) уже 0,96. Это согласие с данными, а не доказательство: опытов на формулу метка не ставила. -**Рекомендация и значения по умолчанию** (`evidence/queue/baseline/summary.md`, «Рекомендация»). Правило решения 12 даёт конкуренцию 2, prefetch 2. (1, 1) не кандидат: на `m` throughput ниже 90 % лучшей. (4, 4) не кандидат: на `lp` есть `oom` и `failed`. (2, 256) по правилу сводится к (2, 2): `prefetch` равен конкуренции. **Значения оставлены:** рекомендация совпала с (2, 2), поэтому условие смены не наступило и отдельного commit нет. Условия рекомендации: 1 CPU и 1 ГБ на worker. При другом лимите пересчитать по формуле выше; для потока только больших PNG (1, 1) экономит память без потери скорости, но это другая установка, а не значение по умолчанию. +**Рекомендация и значения по умолчанию** (`evidence/queue/baseline4/summary.md`, «Рекомендация»). Правило решения 12 даёт конкуренцию 2, prefetch 2, как и в трёх других метках. (1, 1) не кандидат: на `m` throughput ниже 90 % лучшей, и снята не на всех классах (нет `lj`, `s`). (4, 4) не кандидат: сводка называет первую найденную причину — на `lj` throughput 1,98 / 2,34 ≈ 0,85 при пороге 0,90, а на `lp` есть и `oom`. **(2, 256) не кандидат: снята не на всех классах (нет `lj`, `m`).** На снятых `s` и `lp` условия она проходит, но условие «на всех классах» для неё не проверено; сверх того `prefetch` больше конкуренции ничего не добавляет (H3). `worker_crash` в метке нет, поэтому решение основной сессии о такой настройке не понадобилось. **Значения оставлены:** рекомендация совпала с (2, 2), поэтому условие смены не наступило и отдельного commit нет. Условия рекомендации: 1 CPU и 1 ГБ на worker. При другом лимите пересчитать по формуле выше; для потока только больших PNG (1, 1) экономит память без потери скорости, но это другая установка, а не значение по умолчанию. -**Предел 250 по измеренному потолку.** Обоснование решения 2 опиралось на пробу: потолок `lp` 0,92/с и ожидание ~270 с при границе 300 с (`[relay] republish_after_seconds`). Метка: потолок `lp` при (2, 2) — 0,96/с (`recovery`), 250 / 0,96 ≈ 260 с. **Совпало только для измеренных классов:** ожидание меньше 300 с, предел менять незачем. Запас меньше, чем кажется: с окном приёма (0,85/с) ~294 с, с превышением (пик до 290) ~302 с при потолке `recovery` и ~341 с при потолке окна, то есть за границей. Выход за границу на (2, 2) копий не даёт: выданное сразу взято, а пока в брокере есть готовые, relay не публикует заново. При (2, 256) задания старше порога получат копию, эффект нулевой по пробе (188 копий на 150 заданий, лишнего эффекта 0). В метке копий 0, но `lp` у предела не снимался. +**Предел 250 по измеренному потолку.** Обоснование решения 2 опиралось на пробу: потолок `lp` 0,92/с и ожидание ~270 с при границе 300 с (`[relay] republish_after_seconds`). Метка: потолок `lp` при (2, 2) — 0,96/с (`recovery`), 250 / 0,96 ≈ 260 с. **Совпало только для измеренных классов:** ожидание меньше 300 с, предел менять незачем. Запас меньше, чем кажется: с окном приёма (0,90/с) ~278 с, с превышением (граница H5 290, измерено до 286) ~302 с при потолке `recovery` и ~322 с при потолке окна, то есть за границей. Выход за границу на (2, 2) копий не даёт: выданное сразу взято, а пока в брокере есть готовые, relay не публикует заново. При (2, 256) задания старше порога получат копию, эффект нулевой по пробе (188 копий на 150 заданий, лишнего эффекта 0). В метке копий 0, но `lp` у предела не снимался. | Класс | Потолок (2, 2), готовых/с | Ожидание у предела 250, с | Как получено | |---|---|---|---| -| `s` | 3,02 | ~83 | измерено: `gate-on` p95 81,4 с, восстановление 81,5 с | -| `m` | 2,95 | ~85 | расчёт; `accept` при пике 283 измерил p95 92,7 с | -| `lj` | 2,32 | ~108 | расчёт, у предела не снималось | +| `s` | 3,08 | ~81 | измерено: `gate-on` p95 80,2 с, восстановление 80,5 с | +| `m` | 2,85 | ~88 | расчёт; `accept` при пике 284 измерил p95 91,7 с | +| `lj` | 2,34 | ~107 | расчёт, у предела не снималось | | `lp` | 0,96 | ~260 | расчёт, у предела не снималось | -Staging при заполненном пределе: 250 × 10 458 117 байт ≈ 2,4 ГиБ плюс превышение — расчёт, на `lp` у предела не снималось. Отставание очистки: наибольшее число `ready` с необнулённым staging за конфигурацию 35–194 (`timeline.csv`), очищается следующими проходами уборщика (60 с). Ограничение счёта, а не байтов названо ниже. +Staging при заполненном пределе: 250 × 10 458 117 байт ≈ 2,4 ГиБ плюс превышение — расчёт, на `lp` у предела не снималось. Отставание очистки: наибольшее число `ready` с необнулённым staging за конфигурацию 49–196 (`timeline.csv`), очищается следующими проходами уборщика (60 с). Ограничение счёта, а не байтов названо ниже. **Ограничения метода.** - Один хост и ВМ Docker Desktop (arm64, 12 CPU, 7,75 ГиБ): лимит 1 CPU — квота CFS, а не отдельное ядро; генератор и посторонние контейнеры на той же ВМ, доля их CPU видна по `vm`. - Один worker; второй — только в своём блоке и на классе, где S3 не узкое место (CPU S3 ~0,08): общая формула масштабирования не утверждается. +- Выгрузка хоста: основная метка чистая, но две другие сняты с ней, причина не установлена (раздел «Выгрузка хоста» выше). - Ячейка — один класс, один файл на все загрузки: смесь размеров и разброс содержимого не мерятся. - Окна короткие, 20–45 с перегрузки: многочасовая перегрузка, autovacuum под длинным оборотом и рост WAL не мерятся, проба — только 90 с оборота. - Открытая модель без повторов: поток клиентов, послушно повторяющих после `Retry-After`, не мерится; отказ считается отказом. - PostgreSQL, relay и брокер в этих интенсивностях не упираются: их предел трек не определяет; `max_published_backlog` и предел памяти брокера нагрузкой не достигаются. Метка это подтвердила (таблица backpressure). - Одна нода S3, staging и конечный префикс на одном диске ВМ; ячейки — на свежем volume, поэтому рост памяти S3 с накопленными объектами не мерится (проба на старом стенде — `KNOWN_ISSUES.md`). - Выборки `before` и `after` малы на `lp`: повторы сводятся, p99 у малых выборок — только справочно. -- **Поправлено по метке.** В решении 12 стояло: завершение процесса 1 ядром при (4, 4) на `lp` случайно, один подтверждённый случай и один по тем же признакам из пяти прогонов. Метка показала его в трёх ячейках из трёх, 16 раз. Частота из трёх повторов по-прежнему не следует, но «редко» неверно. «Работа не теряется» верно только с оговоркой: 2 задания из 188 ушли в `failed` и ждут `make replay`. +- **Поправлено по меткам.** В решении 12 стояло: завершение процесса 1 ядром при (4, 4) на `lp` случайно, один подтверждённый случай и один по тем же признакам из пяти прогонов. Метки показали его в 11 ячейках из 12: 16, 5, 18 и 5 раз за три повтора. Частота из трёх повторов по-прежнему не следует, но «редко» неверно. «Работа не теряется» верно только с оговоркой: в `baseline` 2 задания и в `baseline3` 4 задания ушли в `failed` и ждали бы `make replay`, в основной — ни одного. +- **Повторы `lp` (4, 4) не дают устойчивой оценки:** три повтора этой конфигурации плавают сильнее порогов, отсюда и расхождение H2 между метками. +- **Журналы контейнеров в метку не копируются:** по отдельным заданиям выводы проверить нельзя, разбор H2 опирается на медианы ячеек и посекундную шкалу. +- **`duration_p50_ms` и столбцы `queue_wait_p*_ms` на ячейку считаются вместе с разогревом** (12 файлов `s`): одинаково во всех метках и настройках, но на `lp` это другой класс в той же медиане. - Предел считает задания, а не байты: `lp` в 3 раза дороже `s` при том же счёте; предел один на стенд, справедливости между пользователями нет. ### Отказы @@ -739,17 +804,17 @@ Staging при заполненном пределе: 250 × 10 458 117 байт - **Объект, дописанный прежней попыткой.** Фиксацию fencing прежней попытке запрещает, но замороженный процесс после разморозки может записать объект теми же байтами: ключ тот же, версия декодера та же. - **Профиль ICC отбрасывается.** Учебные данные — sRGB; изображение с другим профилем изменит цвет в вариантах. - **Лимит памяти на macOS.** `setrlimit(RLIMIT_AS)` на хосте macOS отказывает, консольный worker это пишет в журнал (`render_memory_limit_applied`); на стенде Linux лимит действует. -- **Цена процесса на задание.** Метка `baseline`: CPU worker на задание при (2, 2) — 0,30 с на `s` и `m`, 0,39 на `lj`, 0,94 на `lp` (`evidence/queue/baseline/cells.csv`). Долю запуска процесса метка не выделяет, проба — ~100 мс на маленьком файле. Forkserver (9 мс) отвергнут сейчас: секреты родителя в окружении и свой жизненный цикл. Граница — один модуль. +- **Цена процесса на задание.** Метка `baseline4`: CPU worker на задание при (2, 2) — 0,32 с на `s`, 0,33 на `m`, 0,42 на `lj`, 1,03 на `lp` (`evidence/queue/baseline4/cells.csv`; в `baseline` это число занижено, см. выше). Долю запуска процесса метка не выделяет, проба — ~100 мс на маленьком файле. Forkserver (9 мс) отвергнут сейчас: секреты родителя в окружении и свой жизненный цикл. Граница — один модуль. - **Изоляция секретов процесса обработки неполная.** В его окружении секретов нет, но он идёт под тем же UID, что процесс 1 worker, и может прочитать `/proc/1/environ` с ключами S3 и паролями PostgreSQL и брокера. От случайной утечки это защищает, после эксплойта декодера — нет. Предложение — `PR_SET_DUMPABLE=0` в процессе worker, вопрос преподавателю (`QUESTIONS.md`, `## pipeline-reliability`). - **Дорогие файлы занимают worker.** Предел считает задания, а не байты и CPU. Измерен файл на границе байтов и пикселей: ~1 с CPU, поток таких файлов при 250 незавершённых ждёт ~260 с. **Худший случай не измерен:** scan bomb в пределах контракта стоит лимит процесса, 15 с CPU, расчётом 250 × 15 с ≈ 1 час разбора и копии от relay при таком ожидании. Обоснование предела «ожидание меньше 300 с» верно только для измеренных классов, для этого файла — нет. Защиты, кроме лимита на файл, нет. -- **Завершение процесса 1 worker ядром.** Конкуренция, которая не помещается в лимит памяти, стоит не только повторов: `lp` (4, 4) — 16 перезапусков за три прогона, задания ждут аренду 70 с, 2 из 188 ушли в `failed` `retry_exhausted`. Значение по умолчанию на всех классах помещается; правило подбора — раздел «Очередь под перегрузкой». -- **Приём у границы байтов отнимает S3 у worker.** Готовых/с 0,80–0,93 вместо 2,87–2,97, пока S3 занят приёмом. Приоритета обработки нет, предел останавливает это на ~35-й секунде такой нагрузки. -- **Предел мягкий и один на стенд.** Превышение — загрузки в полёте (измерено до 285 при пределе 250), справедливости между пользователями и чатами нет. +- **Завершение процесса 1 worker ядром.** Конкуренция, которая не помещается в лимит памяти, стоит не только повторов: `lp` (4, 4) — 5 перезапусков за три прогона в основной метке, 16 и 18 в других, задания ждут аренду 70 с, в `baseline` и `baseline3` 2 и 4 задания ушли в `failed` `retry_exhausted`. Значение по умолчанию на всех классах помещается; правило подбора — раздел «Очередь под перегрузкой». +- **Приём у границы байтов отнимает S3 у worker.** Готовых/с 0,80–0,98 вместо 2,92–3,07, пока S3 занят приёмом. Приоритета обработки нет, предел останавливает это на ~35-й секунде такой нагрузки. +- **Предел мягкий и один на стенд.** Превышение — загрузки в полёте (измерено до 286 при пределе 250), справедливости между пользователями и чатами нет. - **Сверка не проверяет объекты вариантов.** Наличие и размер объектов вариантов сверка не проверяет: вариант без объекта даёт 500 на скачивание и `error` в журнале (`test_missing_variant`). Объекты staging она с этого уровня видит (`orphan_staging`). - **Удаление очереди при работающем worker.** Потребитель этого не замечает: relay создаст очередь заново, worker нужно перезапустить. На стенде такого нет, кроме уборки своей очереди после остановки своего worker. - **Старые `ready` без `crop` и `optimized`.** Вложения уровня 3 остаются с одним thumbnail, скачивание этих вариантов — 404; replay `ready` запрещён намеренно. Показано в `evidence/migrations/pipeline-reliability.md`. - **Staging и конечный префикс на одном сервере S3.** Устойчивость staging — устойчивость этого сервера и bucket: отказ диска или ВМ теряет и то, и другое. -- **Отставание очистки staging.** Объект живёт до следующего прохода уборщика (60 с). Метка `baseline`: наибольший долг по конфигурациям 35–194 вложения, разбирается следующими проходами; многочасовая нагрузка не мерилась. S3 на долго живущем стенде — `KNOWN_ISSUES.md`. +- **Отставание очистки staging.** Объект живёт до следующего прохода уборщика (60 с). Метка `baseline4`: наибольший долг по конфигурациям 49–196 вложений, разбирается следующими проходами; многочасовая нагрузка не мерилась. S3 на долго живущем стенде — `KNOWN_ISSUES.md`. - **Смесь версий при замене на уровень 3 и новые статусы.** С версии лабы 4: прежняя реплика отвечает 201 `ready` и даёт 500 на чтении строки нового статуса (`evidence/migrations/async-attachments.md`). Для загрузок реплик прежней версии, переживших grace, защита пометкой уборщика не гарантирована: они пометку не проверяют. Запись — `KNOWN_ISSUES.md`. Порядок обновления с уровня 3 — раздел «Разрыв COMMIT и publish и окна отказа». - **Прерванное остановкой задание.** Задание, прерванное `docker stop` дольше `graceful_shutdown_seconds` (8 с), считается начатой попыткой и продолжается по аренде: release на пути отмены ненадёжен. Замер на двух дорогих JPEG: 8,15 с, при замороженных PostgreSQL и брокере 9,18 с (`evidence/worker/process.md`). Худший случай остановки 8 + 0,5 + 0,5 + 0,5 = 9,5 с < 10 с. - **Искажения данных скана JPEG.** Структурная проверка и libjpeg байт внутри данных скана ошибкой не считают: такое вложение становится `ready`, а варианты будут с мусором. Проверка не декодирует пиксели при приёме намеренно. @@ -775,4 +840,4 @@ Staging при заполненном пределе: 250 × 10 458 117 байт **Библиотеки:** новые — aio-pika 10.2.1, Pillow 13.0.0 (из dev-группы в основную); уровень 4 новых не добавил: WebP уже есть в Pillow (libwebp 1.6.0); единица работы — тоже: `async def` тесты запускает плагин `anyio`, он уже в зависимостях. Остальное — `uv.lock`. Пробы уровня 4 — таблица «Пробы» `openspec/changes/archive/2026-10-31-pipeline-reliability/design.md`. -**ИИ.** Код, тесты, инструменты, спеки, снятие доказательств и этот отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec: предложение, реализация, проверка, правки по проверке, архивация; каждую стадию вёл отдельный агент, основная сессия принимала результат и коммитила. Перенос на единицу работы (`unit-of-work`, по указанию пользователя) — так же, проверен наборами `student-tests/` и `make failure_checks` без их правок и временными регрессиями; очередь под перегрузкой (`track1-queue-overload`) — гипотезы и правило рекомендации записаны до метки, метки сняты командой `make bench_queue`; метку `baseline` отменили ошибки инструмента, найденные проверкой, `baseline2` — выгрузка хоста в swap (`QUESTIONS.md`). Выбор оценки, трека, брокера и единицы работы — решения автора; решения и отвергнутые варианты — `design.md`, принятые без пользователя — `QUESTIONS.md`. Каждый файл `evidence/` снят командой из его шапки на стенде этой лабы, а не сгенерирован; числа в отчёте перенесены из выводов команд на названном commit. +**ИИ.** Код, тесты, инструменты, спеки, снятие доказательств и этот отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec: предложение, реализация, проверка, правки по проверке, архивация; каждую стадию вёл отдельный агент, основная сессия принимала результат и коммитила. Перенос на единицу работы (`unit-of-work`, по указанию пользователя) — так же, проверен наборами `student-tests/` и `make failure_checks` без их правок и временными регрессиями; очередь под перегрузкой (`track1-queue-overload`) — гипотезы и правило рекомендации записаны до метки, метки сняты командой `make bench_queue`; метку `baseline` отменили ошибки инструмента, найденные проверкой, `baseline2` и `baseline3` не стали основными из-за выгрузки хоста в swap, основная — `baseline4` (`QUESTIONS.md`). Выбор оценки, трека, брокера и единицы работы — решения автора; решения и отвергнутые варианты — `design.md`, принятые без пользователя — `QUESTIONS.md`. Каждый файл `evidence/` снят командой из его шапки на стенде этой лабы, а не сгенерирован; числа в отчёте перенесены из выводов команд на названном commit. diff --git a/openspec/changes/track1-queue-overload/design.md b/openspec/changes/track1-queue-overload/design.md index a57df395..2ce6f2b3 100644 --- a/openspec/changes/track1-queue-overload/design.md +++ b/openspec/changes/track1-queue-overload/design.md @@ -374,7 +374,7 @@ CPU — снимок `docker stats`. Очередь и задержка согл ### 15. Сценарий защиты и документы -**Защита:** шаг «для 5 — выбранный эксперимент» — `make bench_queue_quick` (~11 мин, заранее или на глазах) и разбор `evidence/queue/baseline2/summary.md`: таблица настроек, плато предела, второй worker, рестарты. Новой команды драйвера нет: она повторяла бы профиль. +**Защита:** шаг «для 5 — выбранный эксперимент» — `make bench_queue_quick` (~11 мин, заранее или на глазах) и разбор `evidence/queue/baseline4/summary.md`: таблица настроек, плато предела, второй worker, рестарты. Новой команды драйвера нет: она повторяла бы профиль. **`REPORT.md`:** «Трек 1 уровня 5» в таблице критериев; раздел экспериментов с гипотезами (до метки), методикой, определениями, таблицами, выводами; «Сервисы и лимиты», «Открытые вопросы», «Ограничения»: снимаются записи «Дорогие файлы тратят CPU до лимита», «Отставание очистки staging», «Цена процесса на задание», «Ограничения принятой работы на входе API нет» — заменяются измеренным; новое ограничение — завершение процесса 1 worker ядром при конкуренции, которая не помещается в лимит. **Правила:** `bench.md` (раздел профиля), `worker.md`, `settings.md`, `api-contract.md`, `service-layer.md`, `repo-layer.md`, `logging.md`, `student-tests.md`; **`AGENTS.md`** — статус лабы, команды, карта кода; `config_example.toml`. `QUESTIONS.md` — раздел этого change, вопросы переносятся в `REPORT.md`. @@ -390,7 +390,7 @@ CPU — снимок `docker stats`. Очередь и задержка согл | «Предел при остановленных брокере и relay» | `test_backlog_without_broker`, fault | | «Превышение ограничено» | `test_backlog_overshoot_bounded`, fault | | «Предел выключен» | `test_backlog_off`, fault | -| «Работа копится там, где положено», «Приём упирается в места загрузки», «Сначала места, затем предел», «Контрольный поток под перегрузкой», «Бэклог уходит за измеренное время», «Никого не теряем», «Время до готовности вернулось», «Worker убит под перегрузкой», «Брокер перезапущен под перегрузкой» | исключения сверки (нужна открытая нагрузка, счётчики и рестарт контейнера): `make bench_queue` → `evidence/queue/baseline2/summary.md` | +| «Работа копится там, где положено», «Приём упирается в места загрузки», «Сначала места, затем предел», «Контрольный поток под перегрузкой», «Бэклог уходит за измеренное время», «Никого не теряем», «Время до готовности вернулось», «Worker убит под перегрузкой», «Брокер перезапущен под перегрузкой» | исключения сверки (нужна открытая нагрузка, счётчики и рестарт контейнера): `make bench_queue` → `evidence/queue/baseline4/summary.md` | | `attachments` «Порядок проверок загрузки» | прежние тесты; новый шаг — `test_backlog_limit` | Вне сверки: `service-configuration` — `service-tests` (настройка), запись о старте — журнал пятого API в `test_backlog_limit`-наборе и `make run_docker`; `load-benchmark` — `make bench_queue_quick`, `make bench_uploads_quick`; `health`, `job-outbox`, `message-broker` — прежние тесты, текст уточнён. @@ -428,7 +428,7 @@ CPU — снимок `docker stats`. Очередь и задержка согл 5. **`second_jobs`** — столбец решения 8; `broker_refused` — число проходов relay с неподтверждёнными сообщениями: так сработавший предел памяти виден в метке без разбора текста журнала. 6. **Журнал пятого API в тесте:** добавлено действие hook `backlog-api-log`, которого нет в задаче 4.2: сценарий «журнал реплики называет отказ» и запись о старте проверяются в `test_backlog_limit`, как обещает раздел «Покрытие сценариев». -7. **Красное в `make student_test` шире, чем ждёт задача 7.2:** `test_exclusion_evidence_exists` называет не только файл метки (теперь `evidence/queue/baseline2/summary.md`), но и `evidence/auth/passwords-and-tokens.md`, `evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md`. Их нет и на `5b5f59a`: не следствие этого change. Стадия apply в `evidence/` не пишет, снять их — до отчёта (`QUESTIONS.md`, «Для пользователя после прогона»). +7. **Красное в `make student_test` шире, чем ждёт задача 7.2:** `test_exclusion_evidence_exists` называет не только файл метки (теперь `evidence/queue/baseline4/summary.md`), но и `evidence/auth/passwords-and-tokens.md`, `evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md`. Их нет и на `5b5f59a`: не следствие этого change. Стадия apply в `evidence/` не пишет, снять их — до отчёта (`QUESTIONS.md`, «Для пользователя после прогона»). Правки verify (метка переснимается как `baseline2`, каталог `baseline` не трогается, пороги H1–H9 не меняются): diff --git a/openspec/changes/track1-queue-overload/tasks.md b/openspec/changes/track1-queue-overload/tasks.md index 5d7775c8..b15aa2d9 100644 --- a/openspec/changes/track1-queue-overload/tasks.md +++ b/openspec/changes/track1-queue-overload/tasks.md @@ -8,7 +8,7 @@ **Ожидаемо красное**, остальное разбирается по AGENTS.md: - между задачами 4.6 и 4.7 — сверка покрытия: «marker points to unknown scenario», sync раньше тестов дал бы обратное; -- `test_exclusion_evidence_exists` — по `evidence/queue/baseline2/summary.md`, пока метка не снята (группа 10); падать он должен только по этому файлу и файлам вне change, что снимаются на финальном шаге лабы. +- `test_exclusion_evidence_exists` — по `evidence/queue/baseline4/summary.md`, пока метка не снята (группа 10); падать он должен только по этому файлу и файлам вне change, что снимаются на финальном шаге лабы. Решения по ходу работы — design, новый раздел «Уточнения apply»; вопросы и решения без пользователя — `QUESTIONS.md`, `## track1-queue-overload`; дефект, найденный попутно, — `KNOWN_ISSUES.md`. Сервисы — только на портах и `self.uow` (`service-layer.md`), новый метод repo — порт, SQL, фейк и строка контракта. @@ -59,9 +59,9 @@ - [x] 4.6 Прочее: `images` и `contract.py` без изменений, если хватает; маркеры `@pytest.mark.spec("queue-overload", …)` на всех тестах; прежние тесты не правятся (решение 13). Проверка: `uv run pytest student-tests --collect-only -q -m fault` видит новые тесты; `git diff --stat student-tests/` — только новые тесты, `run_failures.py`, `conftest.py`, `fault_hook.py`, `spec_coverage.py`. -- [x] 4.7 Сверка покрытия: `queue-overload` в `CAPABILITIES`; исключения девяти сценариев (нужны открытая нагрузка, счётчики и рестарт контейнера) со ссылкой `evidence/queue/baseline2/summary.md` и командой `make bench_queue`; sync всех дельт в основные спеки (`/opsx:sync`): сверка читает только `openspec/specs/`. +- [x] 4.7 Сверка покрытия: `queue-overload` в `CAPABILITIES`; исключения девяти сценариев (нужны открытая нагрузка, счётчики и рестарт контейнера) со ссылкой `evidence/queue/baseline4/summary.md` и командой `make bench_queue`; sync всех дельт в основные спеки (`/opsx:sync`): сверка читает только `openspec/specs/`. - Проверка: `make student_test` — сверка: нет ни «no test», ни «marker points»; `test_exclusion_evidence_exists` называет только `evidence/queue/baseline2/summary.md`. + Проверка: `make student_test` — сверка: нет ни «no test», ни «marker points»; `test_exclusion_evidence_exists` называет только `evidence/queue/baseline4/summary.md`. ## 5. Стенд `bench/` @@ -135,7 +135,7 @@ Проверка: код 0; `meta.json`: `git.dirty` false, `host_state`, план 57 ячеек; `swapouts_delta` 0 или пометка разобрана: настоящая помеха — переснять под новой меткой. - [x] 9.2 Коммит метки. `make student_test` на рабочем стенде после `make run_docker`. - Проверка: `test_exclusion_evidence_exists` зелёный. **Оговорка:** по метке зелёный, файл метки он больше не называет (ссылка переведена на `evidence/queue/baseline2/summary.md`, снова красная до задачи 10.20); остаётся красным по трём файлам вне change (`evidence/auth/passwords-and-tokens.md`, `evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md`), их снимают на финальном шаге лабы на итоговом коде. + Проверка: `test_exclusion_evidence_exists` зелёный. **Оговорка:** по метке зелёный, файл метки он больше не называет (ссылка переведена на основную метку, `evidence/queue/baseline4/summary.md`); остаётся красным по трём файлам вне change (`evidence/auth/passwords-and-tokens.md`, `evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md`), их снимают на финальном шаге лабы на итоговом коде. - [x] 9.3 `REPORT.md`, раздел «Очередь под перегрузкой»: таблицы из `summary.md` — throughput, очередь, p50, p95, p99 до `ready`, RSS, `memory.peak`, CPU и троттлинг по настройкам и классам; блоки; backpressure и ограничение принятой работы (таблица решения 4 с числами метки); восстановление; вывод по каждой гипотезе; компромисс latency и ресурсов; рекомендация и решение о значениях по умолчанию; обоснование предела по измеренному потолку; S3 как общий ресурс приёма и worker; завершение процесса 1 ядром; ограничения метода, в том числе память S3 на долго живущем стенде (`KNOWN_ISSUES.md`). «Трек 1 уровня 5» в таблице критериев; разделы «Сервисы», «Ограничения», «Следующие шаги», «Ответы на вопросы защиты» — по изменениям; шаг защиты. Проверка: числа совпадают с `summary.md` метки; `make lint`, `make check`, `openspec validate track1-queue-overload --strict`. @@ -174,7 +174,7 @@ - [x] 10.14 S8: тест значения `-1` настройки предела. - [x] 10.15 S9: «17 с» до тела — с закрытием соединения 21 с в правилах; граница уборщика проверена, правка формулы вне change — `KNOWN_ISSUES.md`. - [x] 10.16 S10: счёт готовых ячеек при прерывании. -- [x] 10.17 Ссылки на метку: `spec_coverage.py`, спеки, правила, `AGENTS.md`, задачи — `evidence/queue/baseline2/summary.md`; причина пересъёмки — `REPORT.md`. +- [x] 10.17 Ссылки на метку: `spec_coverage.py`, спеки, правила, `AGENTS.md`, задачи — файл основной метки (сейчас `evidence/queue/baseline4/summary.md`, задача 10.21); причина пересъёмки — `REPORT.md`. Проверка: `test_exclusion_evidence_exists` называет новый файл, пока метка не снята: так и должно быть. - [x] 10.18 Прокрутка: `make bench_queue_quick` и блоки, которых в ней нет, на рабочем дереве. @@ -188,6 +188,6 @@ - [x] 10.20б Метка: `make bench_queue QUEUE_LABEL=baseline4` на `d68a016`, по решению пользователя. Больше пересъёмок нет: основной становится метка с меньшим числом задетых ячеек (при равенстве — с меньшим `swapouts_delta`), выбор не зависит от вердиктов; остальные остаются в git как запись, отчёт называет задетые ячейки и расхождения вердиктов между метками. Проверка: код 0; `git.dirty` false; план 57 ячеек; `swapouts_delta` 0, задетых ячеек нет: **основная метка — `baseline4`**. -- [ ] 10.21 `REPORT.md` — числа, вердикты и рекомендация по основной метке (`baseline4`), `lb_down`, lag, причины перезапуска, литеральная доля H3; `S1` пересчитан на новой метке; `baseline2` и `baseline3` названы как снятые с выгрузкой, вердикты всех меток рядом, в том числе H2 «нет» в `baseline3`. Ссылки на метку из задачи 10.17 — на основную. +- [x] 10.21 `REPORT.md` — числа, вердикты и рекомендация по основной метке (`baseline4`), `lb_down`, lag, причины перезапуска, литеральная доля H3; `S1` пересчитан на новой метке; `baseline2` и `baseline3` названы как снятые с выгрузкой, вердикты всех меток рядом, в том числе H2 «нет» в `baseline3`. Ссылки на метку из задачи 10.17 — на основную. Проверка: числа совпадают со сводкой основной метки, `make check`, `openspec validate track1-queue-overload --strict`, `test_exclusion_evidence_exists` файл метки не называет. diff --git a/student-tests/spec_coverage.py b/student-tests/spec_coverage.py index c8cf4fc9..2514c3a3 100644 --- a/student-tests/spec_coverage.py +++ b/student-tests/spec_coverage.py @@ -199,7 +199,7 @@ EXCLUDED: dict[Scenario, Exclusion] = { ), check=( f"make bench_queue: {where} — " - "evidence/queue/baseline2/summary.md" + "evidence/queue/baseline4/summary.md" ), ) for scenario, where in (