python3 $D lb-upload-timeouts # сроки LB пути загрузки на заглушке: 202 после 12 с молчания, 504 через 10/30 с, 400 в формате контракта; ~35 с
python3 $D --port 8080 defense-scenario # защита лабы 5: worker стоит, 202, 201, 409, 201, сообщение в очереди, рестарт, worker, ready, оригинал и три варианта; ~1,5 мин
python3 $D --port 8080 defense-faults # шаг 4 защиты: crash до фиксации и до ack, relay убит до публикации и до отметки, replay; ~4 мин
make bench_queue_quick # шаг защиты «для 5 — выбранный эксперимент»: очередь под перегрузкой, ~11 мин (рабочий стенд — make stop); разбор — evidence/queue/baseline2/summary.md
make bench_queue_quick # шаг защиты «для 5 — выбранный эксперимент»: очередь под перегрузкой, ~11 мин (рабочий стенд — make stop); разбор — evidence/queue/baseline4/summary.md
python3 $D broker-check # брокер: образ, volume, порт, предел памяти, очередь, пароль только у rabbitmq, relay, worker, остановка с кодом 0; ~30 с
python3 $D --port 8080 worker-process # процесс worker: PID 1, лимиты, Pillow, журнал, неверные настройки, остановка, рестарт хранилищ, остановка под нагрузкой; ~5 мин
python3 $D --port 8080 relay-process # процесс relay: то же, окружение без S3 и Valkey; ~2 мин
| `make bench_scaling_quick` | самопроверка серий: 1 × 1 и 2 × 1 при `max_connections` 50, короткие окна (~4 мин), метка `quick-scaling-<время>`, в git не идёт |
| `make bench_uploads [UPLOADS_LABEL=...]` | уровень 4, память при одновременных загрузках (~50 мин, метка `baseline` по умолчанию; change `upload-memory`): стенд `mtusi-bench` с LB, одной репликой 1 CPU / 512 МБ без swap, PostgreSQL, Valkey и S3 рабочего стенда; варианты «до» (`Profile.uploads_before` — `04f8592`, commit переноса лабы 4: места загрузки уже есть, `bench.md`; `git archive`; commit вне истории — код 2), «без лимита» (1000 мест, без очереди) и «с лимитом» (по умолчанию) × тела PNG ~1 и ~10 MiB × 1 / 10 / 20 / 40 клиентов × 3 повтора, на прогон — новые реплика и volume S3; пик `memory.peak` окна со сбросом (сэмплер `peak`), `anon`, `sock`, OOM, ответы по кодам, загрузок/с, p50/p95/p99, пики S3 и LB, H1–H4 в сводке — `evidence/uploads/<метка>/`. Перед запуском — проверка хоста (`bench.md`), рабочий стенд — `make stop`, гипотезы закоммичены раньше |
| `make bench_uploads_quick` | то же короче (~4,5 мин): «без лимита» и «с лимитом», 10 MiB, 1 / 10 / 40 клиентов, один повтор, метка `quick-uploads-<время>`, в git не идёт |
| `make bench_queue [QUEUE_LABEL=...] [RESUME=1]` | уровень 5, трек 1, очередь под перегрузкой (~2 ч 10 мин, метка `baseline` по умолчанию, она занята: для отчёта — `QUEUE_LABEL=baseline2`; change `track1-queue-overload`): стенд `mtusi-bench` с S3, брокером, relay, worker и уборщиком, настройки (1, 1), (2, 2), (4, 4), (2, 256) × классы `s`, `m`, `lj`, `lp` × 3 повтора и блоки предела, приёма, второго worker, KILL worker, рестарта брокера; на ячейку — свежий стенд, открытая модель, контрольный поток, разбор очереди, обход метаданных; `evidence/queue/<метка>/` (`meta.json`, `cells.csv`, `timeline.csv`, `summary.md` с H1–H9 и рекомендацией, SVG). Рабочий стенд — `make stop`, гипотезы закоммичены раньше метки |
| `make bench_queue [QUEUE_LABEL=...] [RESUME=1]` | уровень 5, трек 1, очередь под перегрузкой (~2 ч 10 мин, метка `baseline` по умолчанию; заняты `baseline`…`baseline4`, основная — `baseline4`, новый прогон — со своей `QUEUE_LABEL`; change `track1-queue-overload`): стенд `mtusi-bench` с S3, брокером, relay, worker и уборщиком, настройки (1, 1), (2, 2), (4, 4), (2, 256) × классы `s`, `m`, `lj`, `lp` × 3 повтора и блоки предела, приёма, второго worker, KILL worker, рестарта брокера; на ячейку — свежий стенд, открытая модель, контрольный поток, разбор очереди, обход метаданных; `evidence/queue/<метка>/` (`meta.json`, `cells.csv`, `timeline.csv`, `summary.md` с H1–H9 и рекомендацией, SVG). Рабочий стенд — `make stop`, гипотезы закоммичены раньше метки |
| `make bench_queue_quick` | то же короче (~11 мин): `s` (2, 2), `lp` (4, 4), предел 40 и без него, `kill-worker`, `w2-p256`, один повтор, метка `quick-queue-<время>`, в git не идёт; шаг защиты «для 5» |
| `make bench_plots LABELS="..." [PLOTS=scaling]` | графики SVG и сводка серий трека 1 из меток: R* от числа реплик, p95 от интенсивности, CPU по компонентам, эффективность и точка насыщения — `evidence/plots/<PLOTS>/` |
| `make bench_ab BEFORE=... AFTER=... REAPPLY=<commit> [SERIES=...]` | «до» и «после» одного изменения подряд (два прогона `bench`): `bench` для `BEFORE`, commit доказательств, `git revert` commit отката `REAPPLY`, `bench` для `AFTER`; с `SERIES` — серия трека 1 вместо матрицы (`make bench_scaling`). Нужно чистое рабочее дерево; сама делает два коммита |
Подробности и отвергнутые варианты — `openspec/changes/track1-queue-overload/design.md`; пробы — его раздел «Пробы» (проект compose `q1probe`, образ `git archive 5a97416`, файлы в scratchpad). Это пробы, а не результат: результат даст метка `evidence/queue/baseline2/` (`evidence/queue/baseline/` снята раньше правок verify).
Подробности и отвергнутые варианты — `openspec/changes/track1-queue-overload/design.md`; пробы — его раздел «Пробы» (проект compose `q1probe`, образ `git archive 5a97416`, файлы в scratchpad). Это пробы, а не результат: результат — основная метка `evidence/queue/baseline4/` (`baseline` снята раньше правок verify, `baseline2` и `baseline3` — с выгрузкой хоста).
### Решения
@@ -250,6 +250,7 @@
- **Правки verify: `UP 1/2` — реплика ещё в балансировке:** она получает запросы, `lb_down` на неё не срабатывает. Опора — сценарий «реплики MUST NOT выводиться из балансировщика» (там же, п. 11).
- **Метка `baseline2` не основная, снимается `baseline3`:** за съёмку хост выгрузил в swap 309 432 страницы, пять ячеек с `host_swap`, в четырёх задержка вышла за разброс соседних повторов. Указание пользователя «забить» касается косяков хоста, явно не меняющих результат, а здесь результат ячеек изменился. Без пяти ячеек вердикты H1–H9 и рекомендация те же, но правило (design, решение 11; `bench.md`) записано до метки и не смягчается после. Каталог `baseline2` остаётся в git как запись. Если выгрузка повторится, третьей пересъёмки нет: основной станет метка с меньшим числом задетых ячеек, они будут названы в отчёте (задача 10.20а).
- **Решение пользователя (2026-11-02): при выгрузке результат сохраняется, после `baseline3` — ещё один прогон `baseline4`, больше пересъёмок нет.** Отступление от правила «переснять» (design, решение 11; `bench.md`) принято по этому решению. Основная — метка с меньшим числом задетых ячеек, при равенстве — с меньшим `swapouts_delta`, выбор не зависит от вердиктов (задача 10.20б). В `baseline3` — 26 046 страниц, одна задетая ячейка, и вердикт H2 «нет»: `lp`, duration (4,4)/(2,2) = 0,965; в `baseline` и `baseline2` он был «подтверждено». Эта ячейка (`lp-c2p256-r1`) в условие не входит.
- **Основная метка — `baseline4` (код `d68a016`, метка `b104690`):** `swapouts_delta` 0, задетых ячеек нет, H2 подтверждена, H4 нет, рекомендация (2, 2). Вердикты всех меток и разбор H2 — `REPORT.md`, «Очередь под перегрузкой». Предположение «в медиану `duration_ms` попадают в основном задания, пережившие перезапуски» по данным не подтверждено и не опровергнуто: журналы в метку не копируются, косвенный признак два вида значений не разделяет, с числом перезапусков связь есть, но неполная. Порог и вердикты не менялись.
- **Финальные доказательства вне бенчмарка, команды драйвера.** Разовые пробы перенесены тремя командами, а не двумя: `worker-memory` (рабочий стенд, через LB), `freeze-sessions` (работает и на рабочем стенде: заморожен только прокси пробы) и `freeze-lb` (`docker pause` — запрещён на рабочем PostgreSQL). `freeze-lb` сама поднимает и убирает временный проект `mtusi-lab5-freeze`, а не ждёт его по окружению, как `reconcile-signal`: иначе проверяющему пришлось бы собирать стенд руками; данные в tmpfs, поэтому `down` без `-v` ничего не оставляет. Значения — случайные, из `.env.example`: `.env` не читается.
- **`freeze-sessions` идёт в одноразовом контейнере `api`, а не из дерева кода через `uv run`:** так пробе не нужен `.env` и код образа совпадает со стендом. httpx в образе нет, вызовы ASGI — своим клиентом; остальная логика `double_cancel.py` та же. Прежний файл называл аргументы пробы неверно: `2 6 1` и `2 6 4` — пул 2 и 1 или 4 запроса, а не срок 2 и пул 1 или 4; добавлен режим с настоящим пулом 4.
- **`make test_isolated` перед `cache-check` при первой съёмке — код 2.** Его набор требует файлы, которых ещё нет, а ключи временной базы он при этом оставляет: команды шли не через `&&`, причина названа в шапке `evidence/cache/hits.md`.
@@ -269,4 +270,4 @@
3. Правило рекомендации требует «без `oom` и `failed`». После правки S5 аварийный перезапуск worker не от ядра (`worker_crash`) это условие не нарушает: раньше такой перезапуск считался `oom` косвенно. Условие не менялось, потому что записано до метки. В метке таких случаев не ждём (пробы: только ядро). Появится — считать настройку некандидатом? Сейчас: пометка в сводке, решение — в отчёте.
**Решение основной сессии:** правило не менять, оно записано до метки. Если `worker_crash` появится в основной метке, отчёт называет такую настройку отдельно и не рекомендует её, не перекрашивая вердикт правила. В `baseline` и `baseline2` таких случаев нет.
**Решение основной сессии:** правило не менять, оно записано до метки. Если `worker_crash` появится в основной метке, отчёт называет такую настройку отдельно и не рекомендует её, не перекрашивая вердикт правила. В `baseline2`, `baseline3` и `baseline4` таких случаев нет (`worker_die_other` 0); у`baseline` этого столбца нет.
- Состояние отчёта: закрыты **уровень 3** (change `async-attachments`) и **уровень 4** (change `pipeline-reliability`); уровень 5, трек 1 — change `track1-queue-overload`, раздел «Очередь под перегрузкой». Все доказательства исключений сверки покрытия сняты на стенде этой лабы
- Ветка решения: `solution/bvt2301-safronov`, в неё по очереди вливаются `feat/async-attachments`, `feat/pipeline-reliability`, `feat/unit-of-work`, `feat/track1-queue-overload`
- Commit: итоговый `<commit после метки baseline3>`; трек 1 — код и метка в разделе «Очередь под перегрузкой»; уровни 3 и 4 — `d8fe2e8` (ветка `feat/unit-of-work`, перенос на единицу работы и правки verify); снятое на `9639aa1`, `6ba74b1`, `399da05`, `e2a6427` и `ff1a83b` названо в разделе доказательств
- Commit: трек 1 — код `d68a016`, метка `b104690` (раздел «Очередь под перегрузкой»); уровни 3 и 4 — `d8fe2e8` (ветка `feat/unit-of-work`, перенос на единицу работы и правки verify); снятое на `9639aa1`, `6ba74b1`, `399da05`, `e2a6427` и `ff1a83b` названо в разделе доказательств
- PR: по шаблону `.github/pull_request_template.md`, заголовок `ЛР 5 — БВТ2301 — Сафронов — на 5`; номер — после публикации
- Согласования с преподавателем: три договорённости лаб 1–4 действуют, новых в лабе 5 нет (раздел «Согласования с преподавателем»). Открытые вопросы преподавателю — 12, раздел «Открытые вопросы преподавателю»; решения без пользователя — `QUESTIONS.md`
- Источники, библиотеки и помощь ИИ — последний раздел
@@ -251,7 +251,7 @@ CPU на успешный запрос при постоянных 200 запр
**Соединения PostgreSQL:**`API_REPLICAS × 10 + migrate 1 + cleaner 1 + worker 2 + relay 1`. При двух репликах 25; во время поочерёдной замены (третья реплика) 35; `max_connections` 100. Переполнения пула нет (`max_overflow` 0).
**Лимит worker 1 ГБ:** расчёт — раздел «Варианты и лимиты обработки», проверяет `test_max_pixels_fit_worker_memory`. На метке `baseline` при конкуренции 2 `memory.peak` до 838 МиБ на самом дорогом классе; конкуренция 4 в этот лимит на нём не помещается (раздел «Очередь под перегрузкой»).
**Лимит worker 1 ГБ:** расчёт — раздел «Варианты и лимиты обработки», проверяет `test_max_pixels_fit_worker_memory`. На метке `baseline4` при конкуренции 2 `memory.peak` до 836 МиБ на самом дорогом классе; конкуренция 4 в этот лимит на нём не помещается (раздел «Очередь под перегрузкой»).
**Предел принятой работы:**`[uploads] max_unfinished_jobs` 250 незавершённых заданий на стенд, 0 — без предела. Обоснование по измеренному потолку — там же.
@@ -362,7 +362,7 @@ CPU на успешный запрос при постоянных 200 запр
| replay `failed` | staging подменён, `failed``source_corrupted`, реестр без изменений, объект возвращён, `--apply` | 2 | `ready`, то же задание, `attempt_base` 1, запись аудита |
| replay готового | `--apply` на `ready` | 1 | код 3, `already_ready`, ничего не изменилось |
5.**Для 5 — выбранный эксперимент, трек 1:**`make bench_queue_quick` (~11 мин, рабочий стенд — `make stop`) на глазах или заранее и разбор `evidence/queue/baseline/summary.md`: таблица настроек, плато предела, второй worker, рестарты.
5.**Для 5 — выбранный эксперимент, трек 1:**`make bench_queue_quick` (~11 мин, рабочий стенд — `make stop`) на глазах или заранее и разбор `evidence/queue/baseline4/summary.md`: таблица настроек, плато предела, второй worker, рестарты.
## Доказательства критериев
@@ -439,14 +439,14 @@ CPU на успешный запрос при постоянных 200 запр
### Трек 1 уровня 5
Change `track1-queue-overload`, код `d667fa3`, метка `7999002`. Гипотезы, таблицы и выводы — раздел «Очередь под перегрузкой».
Change `track1-queue-overload`, код `d68a016`, метка `baseline4` — `b104690`. Гипотезы, таблицы и выводы — раздел «Очередь под перегрузкой».
| Критерий | Команда | Результат | Файл |
|---|---|---|---|
| ≥3 настройки на разных размерах | `make bench_queue` | 4 настройки × 4 класса (12 конфигураций) × 3 повтора | `evidence/queue/baseline/summary.md` |
| Throughput, очередь, p95 до `ready`, RSS | там же | таблица «Настройки и классы» | `evidence/queue/baseline/cells.csv`, `timeline.csv` |
| Backpressure и ограничение принятой работы | там же, `make failure_checks FAULT_ARGS='-k backlog'` | плато 250 против 425; 429 от мест, затем от предела; 6 тестов отказов | `evidence/queue/baseline/summary.md` |
| Восстановление | там же | ноль незавершённых без оператора в 57 ячейках, потерянных и зависших 0; на `lp` (4, 4) 2 задания в `failed`, возврат — `make replay` | `evidence/queue/baseline/cells.csv` |
| ≥3 настройки на разных размерах | `make bench_queue QUEUE_LABEL=baseline4` | 4 настройки × 4 класса (12 конфигураций) × 3 повтора | `evidence/queue/baseline4/summary.md` |
| Throughput, очередь, queue lag, p95 до `ready`, RSS | там же | таблица «Настройки и классы» | `evidence/queue/baseline4/cells.csv`, `timeline.csv` |
| Backpressure и ограничение принятой работы | там же, `make failure_checks FAULT_ARGS='-k backlog'` | плато 250 против 423; 429 от мест, затем от предела; 7 проверок отказов | `evidence/queue/baseline4/summary.md` |
| Восстановление | там же | ноль незавершённых без оператора в 57 ячейках, потерянных и зависших 0, `failed` 0 в этой метке; в `baseline` и `baseline3` на `lp` (4, 4) — 2 и 4 задания в `failed`, возврат — `make replay` | `evidence/queue/baseline4/cells.csv` |
| Компромисс latency и ресурсов | там же | раздел «Очередь под перегрузкой» | `REPORT.md` |
## Эксперименты и отказы
@@ -497,9 +497,18 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
### Очередь под перегрузкой
Трек 1 уровня 5, change `track1-queue-overload`. **Код метки — commit `d667fa3`, сама метка `baseline` — commit `7999002`** (`dirty` false, 57 ячеек из 57, 2 ч 05 мин, `swapouts_delta` 0, сна нет, питание от сети, предупреждений о хосте нет, посторонние контейнеры `domains-*` названы в паспорте). Гипотезы и правило записаны и закоммичены раньше метки. Числа порогов — из проб стадии propose (design, раздел «Пробы»); числа результатов ниже — из `evidence/queue/baseline/summary.md` и `evidence/queue/baseline/cells.csv`.
Трек 1 уровня 5, change `track1-queue-overload`. **Основная метка — `baseline4`: код commit `d68a016`, метка commit `b104690`** (`dirty` false, 57 ячеек из 57, 2 ч 00 мин, `swapouts_delta` 0, сна нет, предупреждений о хосте нет, посторонних контейнеров нет). `src/` и `bench/` те же, что на `5ee3257`. Гипотезы и правило записаны и закоммичены раньше первой метки, пороги с тех пор не менялись. Числа порогов — из проб стадии propose (design, раздел «Пробы»); числа результатов ниже — из `evidence/queue/baseline4/summary.md`, `cells.csv` и `timeline.csv`, если не названа другая метка.
**Метка переснимается как `baseline2`.** Проверка нашла ошибки инструмента, которые нельзя поправить задним числом, поэтому метка снимается целиком заново на коммите с правками. Каталог `baseline` остаётся в репозитории как снятый раньше, с кодом и порогами в прежнем виде: числа ниже — пока его. Что неверно в `baseline`:
**Четыре метки.** Снято четыре, основная выбрана правилом, записанным заранее и не зависящим от вердиктов: меньше задетых выгрузкой ячеек, при равенстве — меньше `swapouts_delta` (`QUESTIONS.md`; `openspec/changes/track1-queue-overload/tasks.md`, 10.20б). Остальные каталоги остаются в репозитории как запись.
| Метка | Код | Commit метки | Выгрузка, страниц | Ячеек с `host_swap` | Статус |
|---|---|---|---|---|---|
| `baseline` | `d667fa3` | `7999002` | 0 | 0 | снята до правок инструмента, запись |
Почему `baseline` переснята: проверка нашла ошибки инструмента, которые нельзя поправить задним числом. Что в ней неверно:
-`lb_down` считал строку `BACKEND` репликой, и выход одной реплики не срабатывал: условие H7 «`lb_down` нет» метка не проверяла;
-`cpu_worker_per_job_s` занижен на ~8–12 %: CPU до конца восстановления делился на все `ready`, включая окно `after`;
@@ -509,9 +518,9 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
Пороги H1–H9 и порог правила рекомендации не менялись.
**Главное.**Подтверждены H1, H2, H3, H5, H6, H7, H8, H9, **H4 не подтверждена** (2 ячейки из 33 ниже порога, причина — разбор ниже). Рекомендация правила — (2, 2), значения по умолчанию оставлены. Конкуренция сверх двух при 1 CPU не ускоряет, а на `lp` (4, 4) ломает обработку: 16 перезапусков worker за три ячейки и 2 принятых задания в `failed`. Настоящее ускорение даёт второй worker.
**Главное.**В основной метке подтверждены H1, H2, H3, H5, H6, H7, H8, H9, **H4 не подтверждена** (1 ячейка из 33 ниже порога, разбор ниже). **H2 разошлась между метками:** в `baseline3` она «нет», разбор ниже. Рекомендация правила — (2, 2) во всех четырёх метках, значения по умолчанию оставлены. Конкуренция сверх двух при 1 CPU не ускоряет, а на `lp` (4, 4) ломает обработку: ядро завершало процессы во всех 12 ячейках четырёх меток, в основной — `oom_kill` 68 и 5 завершений процесса 1, throughput разбора 0,36 вместо 0,96. Настоящее ускорение даёт второй worker.
**Команда:**`make bench_queue` (метка `baseline`, ~2 ч 10 мин, `RESUME=1`), самопроверка — `make bench_queue_quick` (~11 мин, метка в git не идёт).
**Методика.** Стенд `mtusi-bench`: LB, две реплики API 1 CPU / 512 МБ, PostgreSQL 2 CPU / 1 ГБ, Valkey, S3 1 CPU / 512 МБ, брокер 1 CPU / 512 МБ, relay 0,25 CPU / 256 МБ, worker 1 CPU / 1 ГБ, уборщик 0,25 CPU / 256 МБ — лимиты рабочего стенда, без swap; у worker — `restart: unless-stopped`, как на рабочем стенде. Каждая ячейка — свежий стенд на новых volume.
@@ -561,151 +570,207 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
**Уточнения условий (пороги те же).**
- **H3, доля второго worker.** Порог говорит «среди заданий, завершённых после его запуска», а код считает только до нуля незавершённых. Окно `after` к опыту не относится: оно приходит после разбора бэклога, большого prefetch уже нечем держать, и новые задания брокер делит поровну при любом `prefetch`. По оценке проверки буквальная доля при prefetch 256 была бы ~6,4–6,8 %, то есть при буквальном прочтении H3 — «нет». Порог не менялся; чтобы это было числом, а не оценкой, в `cells.csv` есть `second_share_all` (все завершённые после запуска) и `second_share_after`(доля в окне `after`); вердикт считает прежний `second_share`.
- **H2 и правило рекомендации — по подтверждённому `oom`.** В`baseline` любой перезапуск считался `oom`; в`baseline2` это только завершение, подтверждённое событиями Docker, или счётчик cgroup. Условия не менялись, смысл стал тем, что в них написано; аварийный перезапуск не от ядра — пометка `worker_crash`, условие правила он не нарушает (`QUESTIONS.md`, вопрос 3).
- **H3, доля второго worker.** Порог говорит «среди заданий, завершённых после его запуска», а код считает только до нуля незавершённых. Окно `after` к опыту не относится: оно приходит после разбора бэклога, большого prefetch уже нечем держать, и новые задания брокер делит поровну при любом `prefetch`. Измерено: при prefetch 256 буквальная доля (`second_share_all`, все завершённые после запуска) — 6,7 / 6,9 / 6,1 %, то есть при буквальном прочтении порога ≤ 5 % H3 — **«нет»**. Вердикт считает прежний `second_share` (только разбор): 0 заданий во всех повторах. В самом окне `after` (`second_share_after`) доля 0,50 / 0,50 / 0,47. Порог не менялся, уточнение названо здесь, а не спрятано.
- **H2 и правило рекомендации — по подтверждённому `oom`.** В`baseline` любой перезапуск считался `oom`; с`baseline2` это только завершение, подтверждённое событиями Docker, или счётчик cgroup. Условия не менялись, смысл стал тем, что в них написано; аварийный перезапуск не от ядра — пометка `worker_crash`, условие правила он не нарушает (`QUESTIONS.md`, вопрос 3).В`baseline2`–`baseline4` таких завершений нет (`worker_die_other` 0).
**Правило рекомендации.** Кандидат — настройка без `oom` и `failed` ни на одном классе, с throughput не ниже 90 % лучшей на каждом классе; из кандидатов — наименьшая конкуренция, а `prefetch` равен конкуренции. Настройка, снятая не на всех классах, не кандидат: по плану это (1, 1) и (2, 256), сводка их называет, порог 90 % прежний. Значения по умолчанию меняются, только если рекомендация отличается от (2, 2), и выигрыш по throughput или памяти на каком-либо классе вне шума при том, что на остальных она не хуже в пределах шума; такая правка — отдельный commit после метки с повтором `make bench_queue_quick`. Компромисс latency и ресурсов — вывод из таблиц метки; проверяемая формула: `concurrency ≤ min(CPU + доля ожидания, (лимит − база) / пик процесса)`.
**Вердикты** (`evidence/queue/baseline/summary.md`, раздел «Гипотезы»).
**Вердикты основной метки** (`evidence/queue/baseline4/summary.md`, раздел «Гипотезы»).
| H3 | подтверждено | пик очереди брокера при (2, 256) — 0, при (2, 2) на `s` — 98 из 100; второй worker взял 47–48 % заданий при `prefetch` 2 и 0 при 256 |
| H4 | **нет** | `m-c1p1-r2` 0,797, `m-c1p1-r3` 0,778 при нижней границе 0,8; разбор ниже |
| H5 | подтверждено | пик 250 с пределом против 425 без него; p95 81,4 против 134,0 с; восстановление 81,5 против 141,5 с; все 429 — от предела, `Retry-After` 5; загрузка `before` p50 16 против 15 мс |
| H6 | подтверждено | `lost`, `stuck`, `duplicate`, `sha_mismatch` — 0 во всех ячейках, 2280 проверенных SHA-256;`failed`— только 2 на `lp-c4p4-r1`, что порог допускает: при `oom` и `retry_exhausted` |
| H7 | подтверждено | вне `accept` наибольшие p95 за все окна: запись 54,5, чтение 14,6, скачивание 262,4 мс; 5xx контрольного потока и`lb_down` нет |
| H8 | подтверждено | `kill-worker`: заданий с повтором 2 во всех повторах, восстановление 58,5 с; `restart-broker`: повторов 0, 5xx нет, восстановление 44,6 с |
| H9 | подтверждено | первый `busy` на 3,1–3,3с, первый `backlog` на 34,0–36,3 с; CPU S3 в первые 30 с 1,00; принято 306–309 за 45 с; пик 282–285; готовых/с 0,80–0,93 в окне и 2,87–2,97 после |
| H2 | подтверждено | `duration_ms` p50 (4, 4) / (2, 2): `s` 1504 / 619, `m` 1400 / 660, `lj` 1822 / 814, `lp`4105 / 2029 мс; `memory.peak` (2, 2) не выше 836 МиБ; `lp` (4, 4) — 1024 МиБ во всех повторах; `lj` (4, 4) — до 305 МиБ. На `lp` условие неустойчиво, разбор ниже |
| H3 | подтверждено | пик очереди брокера при (2, 256) — 0, при (2, 2) на `s` — 96 из 100; второй worker взял 47–49 % заданий при `prefetch` 2 и 0 при 256; буквальное прочтение — «нет», см. уточнение выше |
| H4 | **нет** | `m-c1p1-r1` 0,780 при нижней границе 0,8; разбор ниже |
| H5 | подтверждено | пик 250 с пределом против 423 без него; p95 80,2 против 130,6 с; восстановление 80,5 против 137,5 с; все 429 — от предела, `Retry-After` 5; загрузка `before` p50 16 против 16 мс |
| H6 | подтверждено | `lost`, `stuck`, `duplicate`, `sha_mismatch` — 0 во всех ячейках, 2280 проверенных SHA-256,`failed`0, `unexpected_rows` 0 |
| H7 | подтверждено | вне `accept` наибольшие p95 за все окна: запись 38,5, чтение 16,6, скачивание 105,6 мс; 5xx контрольного потока нет;`lb_down` нет: `lb_up_min` 2 во всех 57 ячейках, в этой проверке подсчёт уже верный |
| H8 | подтверждено | `kill-worker`: заданий с повтором 2 во всех повторах, восстановление 58,5 с, завершение — команда; `restart-broker`: повторов 0, 5xx нет, восстановление 45,6 с, у relay перезапусков и завершений 0 |
| H9 | подтверждено | первый `busy` на 2,9–3,1с, первый `backlog` на 33,9–36,3 с; CPU S3 в первые 30 с 1,00; принято 302–310 за 45 с; пик 279–286; готовых/с 0,80–0,98 в окне и 2,92–3,07 после |
**Оговорка к H6: `lp` (4, 4).** Условие «p95 `after` ≤ 1,5 × p95 `before`» здесь проходит без смысловой нагрузки: p95 `before` по повторам — 83 с (`lp-c4p4-r3`: 83,27 с; r1 и r2 — 3,59 и 3,87 с), потому что окно `before` этого повтора задето OOM. Сравнивать тут не с чем: порог не меняется, но о возврате задержки на этой конфигурации условие ничего не доказывает. Что p95 `after` сам вернулся к 1,31–1,36 с, видно напрямую.
**Вердикты всех меток.** Числа условий и причины — `evidence/queue/<метка>/summary.md`.
**Настройки и классы** (`evidence/queue/baseline/summary.md`, «Ячейки по конфигурациям»; медиана и min–max трёх повторов). «Процесс» — пик процесса обработки по его отчёту: p50 / наибольший.
**H2 разошлась между метками, и это видно по самой конфигурации.**`lp` (4, 4) от прогона к прогону сильно плавает. Основная метка подтверждает H2, но устойчивым подтверждением на `lp` это считать нельзя: условие не выполнилось в одной метке из четырёх, а в самой `baseline4` один повтор дал 2844 мс. На остальных классах отношение устойчиво: `s` 2,37–2,68, `m` 2,10–2,12, `lj` 2,17–2,29.
- **VmHWM у`lp` (4, 4) (215 МиБ) — только последняя жизнь контейнера:** его читают в конце ячейки, а контейнер за ячейку перезапускался до 10 раз. Это не наибольшее значение за ячейку и не сравнимо с соседними строками.
- **Столбцы OOM и «Перезапуски»** — суммы трёх повторов. Столбец OOM уже включает перезапуски: счётчик `oom_kill` прочитан у 143 завершений, 16 прибавлены как перезапуски (design, «Уточнения apply», п. 1).
- **Откуда 0,965.** Отношение — медиана трёх медиан. При (2, 2) всё стабильно: 2070 / 2039 / 2092 мс. При (4, 4) один повтор — 4381 мс, как обычно, а два — 1997 и 1984 мс, и медиана попала на них. `render_ms` p50 упал вместе с ними (3992 / 1823 / 1875 мс): снижение в самой обработке, а не в S3 или PostgreSQL.
- **Значения двух видов.** Из 12 ячеек `lp` (4, 4) четырёх меток восемь лежат в 3733–4381 мс, четыре ниже: 1831, 1984, 1997, 2844 мс. То есть низкие значения бывают и в других метках (`baseline` r1, `baseline4` r2); там они не стали медианой.
- **Предположение: в медиану попадают в основном задания, пережившие перезапуски. Данные его не подтверждают, но и не опровергают.** Журналы в метку не копируются, стенд удалён, поэтому по отдельным заданиям проверить нечем. Есть только косвенное:
- **Доля готовых после первой гибели процесса 1** (косвенно: первая секунда, где `processing` больше конкуренции: строки убитого процесса ждут аренду, `timeline.csv`). Признак двух видов не разделяет: у низких 75–92 %, но у шести из восьми высоких тоже 70–92 % (`baseline3` r1: 91 % и 4381 мс). Корреляция с `duration_ms` по 12 ячейкам −0,30.
- **Число перезапусков.** Связь есть, но неполная: все 6 ячеек с 0–3 перезапусками — 3733 мс и выше; из 6 ячеек с 4–10 перезапусками четыре низкие, две высокие (`baseline` r3 — 5 и 3902 мс, `baseline3` r1 — 5 и 4381 мс). Корреляция −0,78 на 12 точках: это связь, а не доказательство причины.
- **Доля заданий с повтором:** корреляция −0,55, `baseline2` r2 — 60 % и 4212 мс.
- **Что видно из кода, а не из замера.** `duration_p50_ms` считается по всем записям «Attachment became ready» журнала worker, а не только по окну перегрузки. Туда входят 12 файлов `s` разогрева и задания окон `before` и `after`, идущие почти без конкуренции. В `lp-c4p4-r2` метки `baseline3` это 22 записи из 73 (12 + 5 + 5). Значит, расчётом, медиана уходит к низким значениям, как только ещё ~15 из 51 задания окна `over` выполняются не при полной конкуренции. Поэтому условие на `lp` чувствительно: кого именно касается это снижение, метка не показывает.
- **Выгрузка хоста здесь ни при чём по условию:** её единственная ячейка в `baseline3`, `lp-c2p256-r1`, в условие H2 не входит.
**Выгрузка хоста.** В двух метках хост выгружал страницы в swap (таблица меток выше), третья пересъёмка прошла чисто, и пользователь принял решение не переснимать бесконечно: при выгрузке результат сохраняется, после `baseline3` — ещё один прогон, больше пересъёмок нет (`QUESTIONS.md`). Причина выгрузки не установлена. Задетые ячейки `baseline2` по времени восстановления выше ближнего соседнего повтора:
| Ячейка | Страниц за ячейку | Восст., с | Ближний соседний повтор, с | Разница |
Эффект 1–13 % с объёмом не растёт: 23 380 страниц — +1,4 %, 4 524 — +10,6 %. Похожий разброс бывает и без пометки: восстановление к среднему двух соседних повторов выше 5 % у 21 ячейки из 198 без пометки (конфигурации без задетых ячеек, без `lp-c4p4`), например `s-c4p4-r1` чистой `baseline4` +9,6 %. Причинная связь выгрузки с задержкой не показана. Без пяти ячеек вердикты и рекомендация `baseline2` те же.
**Оговорка к H6: `lp` (4, 4).** В основной метке условие «p95 `after` ≤ 1,5 × p95 `before`» содержательно: `before` 1,36 / 1,30 / 1,28 с, `after` 1,31 / 1,28 / 1,35 с. Но в `baseline` и `baseline3` оно проходило без смысловой нагрузки: у одного повтора p95 `before` 83,27 с и 78,44 с, потому что окно задето OOM, и о возврате задержки условие там ничего не доказывало; сам `after` был 1,31–1,63 с. Порог не менялся.
**Настройки и классы** (`evidence/queue/baseline4/summary.md`, «Ячейки по конфигурациям»; медиана и min–max трёх повторов). «Процесс» — пик процесса обработки по его отчёту: p50 / наибольший. Queue lag — пик возраста старейшего незавершённого по окнам before / over / after; ожидание — время задания в очереди p50 / p95, по окнам прихода before; over; after.
| Класс | (c, p) | Готовых/с: окно | восстановление | Пик незаверш. | Пик брокера | До `ready` over p50 / p95 / p99, с | Восст., с | `memory.peak`, МиБ | VmHWM, МиБ | Процесс, МиБ | CPU worker, S3 | Троттлинг worker | OOM | Перезапуски | Queue lag, с | Ожидание в очереди, мс |
- **VmHWM у`lp` (4, 4) (206 МиБ) — только последняя жизнь контейнера:** его читают в конце ячейки, а контейнер за ячейку перезапускался до 4 раз. Это не наибольшее значение за ячейку и не сравнимо с соседними строками.
- **Столбцы OOM и «Перезапуски»** — суммы трёх повторов. OOM — счётчик cgroup (63) плюс завершения процесса 1, подтверждённые событиями Docker (5). Завершения worker: на всех конфигурациях, кроме `lp` (4, 4) и `kill-worker`, — ни одного; прочих (`worker_die_other`) нет.
- **Реплик в LB** наименьшее (`lb_up_min`) — 2 в каждой ячейке, `lb_down` не сработал. Лишних строк в базе (`unexpected_rows`) нет.
- **Lag и `oldest_s`.** Пик возраста в окне `over` ограничен длиной окна; ожидание заданий, пришедших в это окно, больше: в матрице p95 до 39 с. На `m` и `lp` при (1, 1) p95 ожидания окна `before` — 413 и 1104 мс при единицах у остальных; вероятно, при одном месте конкуренции следующее задание ждёт текущее, отдельно это не мерилось.
**Блоки** (`evidence/queue/baseline4/summary.md`, «Ячейки по конфигурациям» и «Блоки»; столбец второго worker — `evidence/queue/baseline4/cells.csv`).
| Блок | Принято | 429 | Готовых/с: окно | восстановление | Пик | p95 до `ready`, с | Восст., с | Queue lag over, с | Второй worker |
**Второй worker в обоих прочтениях** (`second_share` — порог H3, только разбор; `second_share_all` — буквально, все завершённые после запуска; `second_share_after` — само окно `after`).
**Backpressure: где работа перестаёт приниматься и ускоряться.**
| Уровень | Значение | Что видит клиент | Что показала метка |
|---|---|---|---|
| Места загрузки реплики | 4 + 16, ожидание 5 с | 429, `Retry-After: 1` | `accept`: 204–236 отказовс3,1–3,3 с окна, загрузка 202 p50 ~4,8с |
| Предел заданий | 250 | 429, `Retry-After: 5`, сразу | `gate-on`: плато ровно 250, первый отказ на ~14,7 с; `accept`: 130–165 отказов с 34,0–36,3 с, пик 282–285 |
| Шлюз S3, общий с worker | 1 CPU | загрузка дольше | `accept`: CPU S3 1,00 в первые 30 с, готовых/с 0,80–0,93 вместо 2,87–2,97 после окна |
| Outbox | копит | `queued` | держится на 1–6, relay не узкое место; при рестарте брокера — до 47 |
| Места загрузки реплики | 4 + 16, ожидание 5 с | 429, `Retry-After: 1` | `accept`: 206–234 отказас2,9–3,1 с окна, загрузка 202 p50 4,6–5,0с |
| Предел заданий | 250 | 429, `Retry-After: 5`, сразу | `gate-on`: плато ровно 250, первый отказ на ~14,7 с; `accept`: 131–167 отказов с 33,9–36,3 с, пик 279–286 |
| Шлюз S3, общий с worker | 1 CPU | загрузка дольше | `accept`: CPU S3 1,00 в первые 30 с, готовых/с 0,80–0,98 вместо 2,92–3,07 после окна |
| Outbox | копит | `queued` | не выше 6, relay не узкое место; при рестарте брокера — до 32 |
| `max_published_backlog` | 1000 | `queued` | не достигнут ни в одной ячейке |
| Предел памяти брокера | 400 МиБ | `queued` | не достигнут: медиана памяти брокера по конфигурациям 207–227 МиБ. Срабатывание проверяет `test_broker_memory_alarm`, отказы публикации в метке — только в `restart-broker` (2–3 прохода) |
| `prefetch` | 2 | `queued` | неподтверждённых не больше `prefetch` во всех ячейках с (2, 2); при 256 — до 100 на `s` и до 34 на `lp`, а в очереди брокера 0 |
| `concurrency` | 2 | `processing` | `processing` не больше конкуренции, кроме ячеек с гибелью worker: строки убитого ждут аренду (`kill-worker` — 4, `lp` (4, 4) — 8–30); `w2-*` — 4 на двух worker |
| Предел памяти брокера | 400 МиБ | `queued` | не достигнут: память брокера по ячейкам 138–224 МиБ. Срабатывание проверяет `test_broker_memory_alarm`, отказы публикации в метке — только в `restart-broker` (2 прохода) |
| `prefetch` | 2 | `queued` | неподтверждённых не больше `prefetch` во всех ячейках матрицыс (2, 2); при 256 — до 99 на `s` и до 34 на `lp`, а в очереди брокера 0 |
| `concurrency` | 2 | `processing` | `processing` не больше конкуренции, кроме ячеек с гибелью worker: строки убитого ждут аренду (`kill-worker` — 4, `lp` (4, 4) — 8 и 16 при перезапусках, 4 без них); `w2-*` — 4 на двух worker |
| Лимит контейнера | 1 ГБ | дольше до `ready`, `failed` при исчерпании попыток | (2, 2) помещается на всех классах, `lp` (4, 4) — нет |
Клиент за входом видит только дольше не меняющееся `queued`, ни одного кода ошибки. Перестаёт приниматься на первых двух уровнях. Перестаёт ускоряться на CPU worker (конкуренция сверх двух), а на файлах у границы байтов — ещё на CPU S3, и там приём отнимает ресурс у обработки. Предел заданий останавливает это только на ~35-й секунде такой нагрузки: приоритета обработки над приёмом в S3 нет, это ограничение.
**Разбор H4: почему «нет».** Вердикт остаётся «нет»: условие записано раньше метки и на двухячейках нарушено. Отношение p95 окна `over` к «пик / throughput окна `over`» (`evidence/queue/baseline/cells.csv`). Правая колонка — та же величина с throughput окна `recovery`: это расчёт после метки, порога у него нет, и на вердикт он не влияет.
**Разбор H4: почему «нет».** Вердикт остаётся «нет»: условие записано раньше метки и нарушено; в основной метке — на одной ячейке, во всех четырёх метках — только на `m-c1p1`. Отношение p95 окна `over` к «пик / throughput окна `over`» (`evidence/queue/baseline4/cells.csv`). Правая колонка — та же величина с throughput окна `recovery`: это расчёт после метки, порога у него нет, и на вердикт он не влияет.
- По `timeline.csv` это не разгон: готовых в секунду ровно ~2 все 20 с окна (`m-c1p1-r1`: первые 10 с — 2,0/с, последние — 2,1/с).
-В окне `over` CPU worker 0,69–0,74 и S3 0,71, в `recovery` — 0,75–0,80 и 0,23–0,26.
- Задание, пришедшее в конце окна, разбирается уже со скоростью `recovery`, а формула считает его по скорости `over`. Поэтому отношение занижено там, где эти скорости расходятся; сильнее всего — на `m` (1, 1).
- **Предположение, метка его не меряет:** в окне `over` worker при (1, 1) медленнее, потому что ждёт S3, занятый приёмом. На это указывают CPU S3 и троттлинг worker 0,15, но времени ожидания S3 в метке нет.
- **Вывод.** Причина в определении: в формулу гипотезы взят throughput окна, а разбирается очередь в основном после него. Это объяснение, а не отмена вердикта. Гипотеза в записанном виде не подтверждена. Данные показывают, что время до `ready` следует за очередью с отклонением до ~22 % вниз, а не с заявленным запасом 20 %, и на классах с заметным S3 отношение почти всегда ниже единицы. На ячейках с `oom` формула неприменима (`lp-c4p4`: 1,766 / 0,827 / 1,271): там задержку определяют аренда и повторы.
- **Предположение, метка его не меряет:** в окне `over` worker при (1, 1) медленнее, потому что ждёт S3, занятый приёмом. На это указывают CPU S3 и троттлинг worker 0,07–0,16, но времени ожидания S3 в метке нет.
- **Вывод.** Причина в определении: в формулу гипотезы взят throughput окна, а разбирается очередь в основном после него. Это объяснение, а не отмена вердикта. Гипотеза в записанном виде не подтверждена. Данные показывают, что время до `ready` следует за очередью с отклонением до ~22 % вниз, и на классах с заметным S3 отношение почти всегда ниже единицы. На ячейках с `oom` формула неприменима (`lp-c4p4`: 2,461 / 2,291 / 1,409): там задержку определяют аренда и повторы.
**`lp` (4, 4): что произошло** (`evidence/queue/baseline/cells.csv`).
**`lp` (4, 4): что произошло** (`evidence/queue/baseline4/cells.csv`).
| Повтор | Принято | `ready` | `failed` | `oom_kill`с перезапусками | Перезапуски | Заданий с повтором | Истёкших аренд | `processing`, пик | Восст., с | p95 `over`, с | CPU на задание, с |
| Повтор | Принято | `ready` | `failed` | `oom_kill`| Завершения процесса 1 (ядро) | Перезапуски | Событий `oom` | Заданий с повтором | Истёкших аренд | `processing`, пик | Восст., с | p95 `over`, с | CPU на задание, с |
- **Что значит.** Четыре процесса по 367 МиБ не помещаются в 1 ГБ: `memory.peak` 1024 МиБ, наибольшая `anon` 951–1006 МиБ. Ядро завершает процессы обработки, задания возвращаются на новую попытку и снова занимают память. Работа делается повторно: CPU на задание 1,50–2,08с против 0,94 при (2, 2). С первого раза не обрабатываются 40–57 % заданий. Когда завершён процесс 1, взятые задания ждут аренду 70 с (пик `processing`30 при конкуренции 4), и worker простаивает: CPU в окне `recovery` 0,41 / 0,82 / 0,49. Итог — throughput 0,24 вместо 0,96 и p95 194с вместо 34 с, при том же лимите. После разбора система приходит в норму: p95 окна `after` 1,31–1,36с.
- **2 `failed` — это 2 принятых задания из 188, ушедших в реестр.** Клиент получил на них 202, а теперь видит `status: failed` и `error_code: retry_exhausted` (причина для оператора — `render_killed`). Варианта нет, новое сообщение с таким вложением получает 409. Сами они не восстановятся: возврат — `make replay ERROR_CODE=retry_exhausted APPLY=1`, оригинал лежит в staging до срока хранения (24 ч). Replay в этой метке не запускался, его проверяют `make failure_checks` и `driver.py defense-faults`. `lost` 0 означает только, что каждое принятое вложение названо состоянием, а не то, что каждое обработано.
- **Расхождение с пробами.** Пробы ждали редких завершений процесса 1: один подтверждённый и один по тем же признакам из пяти прогонов, и в design записано «случайно». Метка показала другое: перезапуски во всех трёх ячейках, 16 за три прогона, до 10 в одной. Причина расхождения разобрана только частично: на пробах стоял `restart: "no"`, первое завершение останавливало опыт, повторяться циклу было негде; метка идёт с `unless-stopped`, и цикл доходит до конца. Что перезапуск снова берёт дорогие задания и завершается по той же причине — предположение: повторные завершения в метке отдельно не прослежены. Частоту трёх повторов как оценку не использовать: она только показывает, что завершение не редкость.
- **Ограничение измерения.** Метка не проверяет причину перезапуска: прибавляет каждый к `oom_kill` по косвенному признаку (design, «Уточнения apply», п. 1), `.State.OOMKilled` после нового старта сброшен. Другой аварийный выход процесса 1 в столбце от завершения ядром не отличается.
- **Что значит.** Четыре процесса по 367 МиБ не помещаются в 1 ГБ: `memory.peak` 1024 МиБ, наибольшая `anon` 968–1008 МиБ. Ядро завершает процессы обработки, задания возвращаются на новую попытку и снова занимают память. Работа делается повторно: CPU на задание 1,39–1,59с против 1,03 при (2, 2). С первого раза не обрабатываются 21–45 % заданий. Когда завершён процесс 1, взятые задания ждут аренду 70 с (пик `processing`16 при конкуренции 4), и worker простаивает: CPU в окне `recovery` 0,56 / 0,35 / 0,87. Итог — throughput 0,36 вместо 0,96 и p95 98,5с вместо 33,0 с, при том же лимите. После разбора система приходит в норму: p95 окна `after` 1,28–1,35с.
- **`failed`.** В основной метке 0, но это не значит, что риска нет: в `baseline` 2 задания (`retry_exhausted`, причина `render_killed`), в `baseline3` 4 задания (`retry_exhausted`, причина `lease_expired`) на `lp-c4p4-r1`. Клиент получил на них 202, а теперь видит `status: failed` и `error_code: retry_exhausted`. Варианта нет, новое сообщение с таким вложением получает 409. Сами они не восстановятся: возврат — `make replay ERROR_CODE=retry_exhausted APPLY=1`, оригинал лежит в staging до срока хранения (24 ч). Replay в метках не запускался, его проверяют `make failure_checks` и `driver.py defense-faults`. `lost` 0 означает только, что каждое принятое вложение названо состоянием, а не то, что каждое обработано.
- **Расхождение с пробами.** Пробы ждали редких завершений процесса 1: один подтверждённый и один по тем же признакам из пяти прогонов, и в design записано «случайно». Метки показали другое: перезапуски в 11 ячейках из 12, суммы 16, 5, 18 и 5 за три повтора, до 10 в одной ячейке, и только `baseline4` r3 прошла без них. Причина расхождения разобрана только частично: на пробах стоял `restart: "no"`, первое завершение останавливало опыт, повторяться циклу было негде; метка идёт с `unless-stopped`, и цикл доходит до конца. Что перезапуск снова берёт дорогие задания и завершается по той же причине — предположение: повторные завершения в метке отдельно не прослежены. Частоту трёх повторов как оценку не использовать: она только показывает, что завершение не редкость.
- **Причины перезапусков теперь измерены** (`docker events`): все 5 перезапусков основной метки — завершение ядром, `worker_die_other` 0. В`kill-worker` — `worker_die_command` 3 из 3, не `oom`. В`baseline` причина не проверялась: там каждый перезапуск прибавлялся к `oom_kill` косвенно, поэтому её столбец с остальными метками не сравнивается.
**Восстановление** (`evidence/queue/baseline/cells.csv`). Без действий оператора незавершённых становится ноль во всех 57 ячейках, очередь брокера пуста, `not_recovered` нет. Эффект не дублируется: 0 вторых заданий и наборов вариантов. Скорость разбора не падает: при (2, 2)`recovery` не ниже окна `over`. Время до `ready` возвращается (H6, условие по конфигурациям). Контрольный поток — H7; в `accept` наибольшие p95 — запись 39,2, чтение 15,1, скачивание 355,4 мс (порог H9 — 1 с), p95 скачивания в окне `over` — 342,9 мс против 8,3 на `s` при CPU S3 ~1,0, ошибок нет. Связь с занятым S3 — предположение: отдельно не мерилась.
**Восстановление** (`evidence/queue/baseline4/cells.csv`). Без действий оператора незавершённых становится ноль во всех 57 ячейках, очередь брокера пуста, `not_recovered` нет. Эффект не дублируется: 0 вторых заданий и наборов вариантов; лишних строк в базе нет; копий relay 0. Скорость разбора при (2, 2) не падает: по медиане`recovery` не ниже окна `over` на `m`, `lj`, `lp`, на `s` 3,08 при 3,10 — в разбросе повторов. Время до `ready` возвращается (H6, условие по конфигурациям). Контрольный поток — H7; в `accept` наибольшие p95 — запись 23,8, чтение 14,0, скачивание 371,9 мс (порог H9 — 1 с), p95 скачивания в окне `over` — 313,8–371,9 мс против 6,8–7,3 на `s` при CPU S3 ~1,0, ошибок нет. Связь с занятым S3 — предположение: отдельно не мерилась.
**Компромисс latency и ресурсов (вывод из таблиц выше).**
- **Память без скорости.** По правилу шума решения 11 (разбросы не пересекаются, разница медиан больше наибольшего разброса):
- (4, 4) против (2, 2) — эффект в худшую сторону на `s`, `m`,`lj`: throughput ниже на 15, 10 и 9 %, память выше на 43, 38 и 45 %. На `lp` — потеря обработки.
- (1, 1) против (2, 2) на `lp` — в пределах шума по скорости (0,94 и 0,96), памяти 467 МиБ вместо 830: выигрыш 44 %.
- (1, 1) на `m` — эффект: на 14 % медленнее (2,54 и 2,95), памяти 154 МиБ вместо 211, потому что worker при одном задании ещё ждёт S3 (CPU 0,71).
- **CPU, а не конкуренция, поднимает потолок.** Второй worker на `s`: 5,54 готовых/с вместо 3,02, восстановление 18,4с вместо 33,6, ценой ещё 1 CPU и 1 ГБ лимита. Формула масштабирования этим не доказана (ограничения ниже).
- **Большой prefetch ничего не даёт и прячет очередь:** та же скорость на `s` и `lp`, брокер показывает 0 готовых, второй worker простаивает, восстановление 33,5с вместо 18,4.
- **Цена отказа клиенту.** Предел обменивает принятые файлы на срок: 177 загрузок из ~533 получают 429, зато p95 до `ready` 81,4с вместо 134,0. Цена проверки в окне `before`: p50 16 против 15 мс при разбросе того же порядка.
- **Формула подбора** на двух точках сходится. Память: база ≈ 467 − 368 ≈ 99 МиБ на (1, 1), прогноз для (2, 2) — 99 + 2 × 368 = 835 МиБ при измеренных 830; `(1024 − 99) / 368 ≈ 2,5`, то есть 2 помещается, 4 нет; 3 в метке нет. CPU: при (1, 1) на `m` 0,71 ядра, значит, конкуренция 2 ещё даёт прирост, что и видно; при (2, 2) уже 0,95. Это согласие с данными, а не доказательство: опытов на формулу метка не ставила.
- (4, 4) против (2, 2) — эффект в худшую сторону на `s` и`lj`: throughput ниже на 20 и 15 %; на `m` 2,75 и 2,85 — в пределах шума. Память выше на 43, 45 и 43 % (`s`, `lj`, `m`). На `lp` — потеря обработки.
- (1, 1) против (2, 2) на `lp` — в пределах шума по скорости (0,93 и 0,96), памяти 467 МиБ вместо 834: выигрыш 44 %.
- (1, 1) на `m` — эффект: на 12 % медленнее (2,50 и 2,85), памяти 154 МиБ вместо 210, потому что worker при одном задании ещё ждёт S3 (CPU 0,73).
- **CPU, а не конкуренция, поднимает потолок.** Второй worker на `s`: 5,78 готовых/с вместо 3,08, восстановление 17,6с вместо 32,5, ценой ещё 1 CPU и 1 ГБ лимита. Формула масштабирования этим не доказана (ограничения ниже).
- **Большой prefetch ничего не даёт и прячет очередь:** та же скорость на `s` и `lp`, брокер показывает 0 готовых, второй worker простаивает, восстановление 33,4с вместо 17,6.
- **Цена отказа клиенту.** Предел обменивает принятые файлы на срок: 175 загрузок из ~532 получают 429, зато p95 до `ready` 80,2с вместо 130,6. Цена проверки в окне `before`: p50 16 против 16 мс при разбросе 15–19 мс.
- **Формула подбора** на двух точках сходится. Память: база ≈ 467 − 368 ≈ 99 МиБ на (1, 1), прогноз для (2, 2) — 99 + 2 × 368 = 835 МиБ при измеренных 834; `(1024 − 99) / 368 ≈ 2,5`, то есть 2 помещается, 4 нет; 3 в метке нет. CPU: при (1, 1) на `m` 0,73 ядра, значит, конкуренция 2 ещё даёт прирост, что и видно; при (2, 2) уже 0,96. Это согласие с данными, а не доказательство: опытов на формулу метка не ставила.
**Рекомендация и значения по умолчанию** (`evidence/queue/baseline/summary.md`, «Рекомендация»). Правило решения 12 даёт конкуренцию 2, prefetch 2. (1, 1) не кандидат: на `m` throughput ниже 90 % лучшей. (4, 4) не кандидат: на `lp` есть `oom` и `failed`. (2, 256) по правилу сводится к (2, 2): `prefetch` равен конкуренции. **Значения оставлены:** рекомендация совпала с (2, 2), поэтому условие смены не наступило и отдельного commit нет. Условия рекомендации: 1 CPU и 1 ГБ на worker. При другом лимите пересчитать по формуле выше; для потока только больших PNG (1, 1) экономит память без потери скорости, но это другая установка, а не значение по умолчанию.
**Рекомендация и значения по умолчанию** (`evidence/queue/baseline4/summary.md`, «Рекомендация»). Правило решения 12 даёт конкуренцию 2, prefetch 2, как и в трёх других метках. (1, 1) не кандидат: на `m` throughput ниже 90 % лучшей, и снята не на всех классах (нет `lj`, `s`). (4, 4) не кандидат: сводка называет первую найденную причину — на `lj` throughput 1,98 / 2,34 ≈ 0,85 при пороге 0,90, а на `lp` есть и`oom`. **(2, 256) не кандидат: снята не на всех классах (нет `lj`, `m`).** На снятых `s` и `lp` условия она проходит, но условие «на всех классах» для неё не проверено; сверх того `prefetch` больше конкуренции ничего не добавляет (H3). `worker_crash` в метке нет, поэтому решение основной сессии о такой настройке не понадобилось. **Значения оставлены:** рекомендация совпала с (2, 2), поэтому условие смены не наступило и отдельного commit нет. Условия рекомендации: 1 CPU и 1 ГБ на worker. При другом лимите пересчитать по формуле выше; для потока только больших PNG (1, 1) экономит память без потери скорости, но это другая установка, а не значение по умолчанию.
**Предел 250 по измеренному потолку.** Обоснование решения 2 опиралось на пробу: потолок `lp` 0,92/с и ожидание ~270 с при границе 300 с (`[relay] republish_after_seconds`). Метка: потолок `lp` при (2, 2) — 0,96/с (`recovery`), 250 / 0,96 ≈ 260 с. **Совпало только для измеренных классов:** ожидание меньше 300 с, предел менять незачем. Запас меньше, чем кажется: с окном приёма (0,85/с) ~294с, с превышением (пик до 290) ~302 с при потолке `recovery` и ~341 с при потолке окна, то есть за границей. Выход за границу на (2, 2) копий не даёт: выданное сразу взято, а пока в брокере есть готовые, relay не публикует заново. При (2, 256) задания старше порога получат копию, эффект нулевой по пробе (188 копий на 150 заданий, лишнего эффекта 0). В метке копий 0, но `lp` у предела не снимался.
**Предел 250 по измеренному потолку.** Обоснование решения 2 опиралось на пробу: потолок `lp` 0,92/с и ожидание ~270 с при границе 300 с (`[relay] republish_after_seconds`). Метка: потолок `lp` при (2, 2) — 0,96/с (`recovery`), 250 / 0,96 ≈ 260 с. **Совпало только для измеренных классов:** ожидание меньше 300 с, предел менять незачем. Запас меньше, чем кажется: с окном приёма (0,90/с) ~278с, с превышением (граница H5 290, измерено до 286) ~302 с при потолке `recovery` и ~322 с при потолке окна, то есть за границей. Выход за границу на (2, 2) копий не даёт: выданное сразу взято, а пока в брокере есть готовые, relay не публикует заново. При (2, 256) задания старше порога получат копию, эффект нулевой по пробе (188 копий на 150 заданий, лишнего эффекта 0). В метке копий 0, но `lp` у предела не снимался.
| Класс | Потолок (2, 2), готовых/с | Ожидание у предела 250, с | Как получено |
|---|---|---|---|
| `s` | 3,02 | ~83 | измерено: `gate-on` p95 81,4 с, восстановление 81,5 с |
| `m` | 2,95 | ~85 | расчёт; `accept` при пике 283 измерил p95 92,7 с |
| `lj` | 2,32 | ~108 | расчёт, у предела не снималось |
| `s` | 3,08 | ~81 | измерено: `gate-on` p95 80,2 с, восстановление 80,5 с |
| `m` | 2,85 | ~88 | расчёт; `accept` при пике 284 измерил p95 91,7 с |
| `lj` | 2,34 | ~107 | расчёт, у предела не снималось |
| `lp` | 0,96 | ~260 | расчёт, у предела не снималось |
Staging при заполненном пределе: 250 × 10 458 117 байт ≈ 2,4 ГиБ плюс превышение — расчёт, на `lp` у предела не снималось. Отставание очистки: наибольшее число `ready` с необнулённым staging за конфигурацию 35–194 (`timeline.csv`), очищается следующими проходами уборщика (60 с). Ограничение счёта, а не байтов названо ниже.
Staging при заполненном пределе: 250 × 10 458 117 байт ≈ 2,4 ГиБ плюс превышение — расчёт, на `lp` у предела не снималось. Отставание очистки: наибольшее число `ready` с необнулённым staging за конфигурацию 49–196 (`timeline.csv`), очищается следующими проходами уборщика (60 с). Ограничение счёта, а не байтов названо ниже.
**Ограничения метода.**
- Один хост и ВМ Docker Desktop (arm64, 12 CPU, 7,75 ГиБ): лимит 1 CPU — квота CFS, а не отдельное ядро; генератор и посторонние контейнеры на той же ВМ, доля их CPU видна по `vm`.
- Один worker; второй — только в своём блоке и на классе, где S3 не узкое место (CPU S3 ~0,08): общая формула масштабирования не утверждается.
- Выгрузка хоста: основная метка чистая, но две другие сняты с ней, причина не установлена (раздел «Выгрузка хоста» выше).
- Ячейка — один класс, один файл на все загрузки: смесь размеров и разброс содержимого не мерятся.
- Окна короткие, 20–45 с перегрузки: многочасовая перегрузка, autovacuum под длинным оборотом и рост WAL не мерятся, проба — только 90 с оборота.
- Открытая модель без повторов: поток клиентов, послушно повторяющих после `Retry-After`, не мерится; отказ считается отказом.
- PostgreSQL, relay и брокер в этих интенсивностях не упираются: их предел трек не определяет; `max_published_backlog` и предел памяти брокера нагрузкой не достигаются. Метка это подтвердила (таблица backpressure).
- Одна нода S3, staging и конечный префикс на одном диске ВМ; ячейки — на свежем volume, поэтому рост памяти S3 с накопленными объектами не мерится (проба на старом стенде — `KNOWN_ISSUES.md`).
- Выборки `before` и `after` малы на `lp`: повторы сводятся, p99 у малых выборок — только справочно.
- **Поправлено по метке.** В решении 12 стояло: завершение процесса 1 ядром при (4, 4) на `lp` случайно, один подтверждённый случай и один по тем же признакам из пяти прогонов. Метка показала его в трёх ячейках из трёх, 16 раз. Частота из трёх повторов по-прежнему не следует, но «редко» неверно. «Работа не теряется» верно только с оговоркой: 2 задания из 188 ушли в `failed` и ждут`make replay`.
- **Поправлено по меткам.** В решении 12 стояло: завершение процесса 1 ядром при (4, 4) на `lp` случайно, один подтверждённый случай и один по тем же признакам из пяти прогонов. Метки показали его в 11 ячейках из 12: 16, 5, 18 и 5 раз за три повтора. Частота из трёх повторов по-прежнему не следует, но «редко» неверно. «Работа не теряется» верно только с оговоркой: в `baseline` 2 задания и в `baseline3` 4 задания ушли в `failed` и ждали бы`make replay`, в основной — ни одного.
- **Повторы `lp` (4, 4) не дают устойчивой оценки:** три повтора этой конфигурации плавают сильнее порогов, отсюда и расхождение H2 между метками.
- **Журналы контейнеров в метку не копируются:** по отдельным заданиям выводы проверить нельзя, разбор H2 опирается на медианы ячеек и посекундную шкалу.
- **`duration_p50_ms` и столбцы `queue_wait_p*_ms` на ячейку считаются вместе с разогревом** (12 файлов `s`): одинаково во всех метках и настройках, но на `lp` это другой класс в той же медиане.
- Предел считает задания, а не байты: `lp` в 3 раза дороже `s` при том же счёте; предел один на стенд, справедливости между пользователями нет.
- **Объект, дописанный прежней попыткой.** Фиксацию fencing прежней попытке запрещает, но замороженный процесс после разморозки может записать объект теми же байтами: ключ тот же, версия декодера та же.
- **Профиль ICC отбрасывается.** Учебные данные — sRGB; изображение с другим профилем изменит цвет в вариантах.
- **Лимит памяти на macOS.** `setrlimit(RLIMIT_AS)` на хосте macOS отказывает, консольный worker это пишет в журнал (`render_memory_limit_applied`); на стенде Linux лимит действует.
- **Цена процесса на задание.** Метка `baseline`: CPU worker на задание при (2, 2) — 0,30с на `s` и`m`, 0,39 на `lj`, 0,94 на `lp` (`evidence/queue/baseline/cells.csv`). Долю запуска процесса метка не выделяет, проба — ~100 мс на маленьком файле. Forkserver (9 мс) отвергнут сейчас: секреты родителя в окружении и свой жизненный цикл. Граница — один модуль.
- **Цена процесса на задание.** Метка `baseline4`: CPU worker на задание при (2, 2) — 0,32с на `s`, 0,33 на`m`, 0,42 на `lj`, 1,03 на `lp` (`evidence/queue/baseline4/cells.csv`; в `baseline` это число занижено, см. выше). Долю запуска процесса метка не выделяет, проба — ~100 мс на маленьком файле. Forkserver (9 мс) отвергнут сейчас: секреты родителя в окружении и свой жизненный цикл. Граница — один модуль.
- **Изоляция секретов процесса обработки неполная.** В его окружении секретов нет, но он идёт под тем же UID, что процесс 1 worker, и может прочитать `/proc/1/environ` с ключами S3 и паролями PostgreSQL и брокера. От случайной утечки это защищает, после эксплойта декодера — нет. Предложение — `PR_SET_DUMPABLE=0` в процессе worker, вопрос преподавателю (`QUESTIONS.md`, `## pipeline-reliability`).
- **Дорогие файлы занимают worker.** Предел считает задания, а не байты и CPU. Измерен файл на границе байтов и пикселей: ~1 с CPU, поток таких файлов при 250 незавершённых ждёт ~260 с. **Худший случай не измерен:** scan bomb в пределах контракта стоит лимит процесса, 15 с CPU, расчётом 250 × 15 с ≈ 1 час разбора и копии от relay при таком ожидании. Обоснование предела «ожидание меньше 300 с» верно только для измеренных классов, для этого файла — нет. Защиты, кроме лимита на файл, нет.
- **Завершение процесса 1 worker ядром.** Конкуренция, которая не помещается в лимит памяти, стоит не только повторов: `lp` (4, 4) — 16 перезапусков за три прогона, задания ждут аренду 70 с, 2 из 188 ушли в `failed``retry_exhausted`. Значение по умолчанию на всех классах помещается; правило подбора — раздел «Очередь под перегрузкой».
- **Приём у границы байтов отнимает S3 у worker.** Готовых/с 0,80–0,93 вместо 2,87–2,97, пока S3 занят приёмом. Приоритета обработки нет, предел останавливает это на ~35-й секунде такой нагрузки.
- **Предел мягкий и один на стенд.** Превышение — загрузки в полёте (измерено до 285 при пределе 250), справедливости между пользователями и чатами нет.
- **Завершение процесса 1 worker ядром.** Конкуренция, которая не помещается в лимит памяти, стоит не только повторов: `lp` (4, 4) — 5 перезапусков за три прогона в основной метке, 16 и 18 в других, задания ждут аренду 70 с, в `baseline` и `baseline3` 2 и 4 задания ушли в `failed``retry_exhausted`. Значение по умолчанию на всех классах помещается; правило подбора — раздел «Очередь под перегрузкой».
- **Приём у границы байтов отнимает S3 у worker.** Готовых/с 0,80–0,98 вместо 2,92–3,07, пока S3 занят приёмом. Приоритета обработки нет, предел останавливает это на ~35-й секунде такой нагрузки.
- **Предел мягкий и один на стенд.** Превышение — загрузки в полёте (измерено до 286 при пределе 250), справедливости между пользователями и чатами нет.
- **Сверка не проверяет объекты вариантов.** Наличие и размер объектов вариантов сверка не проверяет: вариант без объекта даёт 500 на скачивание и `error` в журнале (`test_missing_variant`). Объекты staging она с этого уровня видит (`orphan_staging`).
- **Удаление очереди при работающем worker.** Потребитель этого не замечает: relay создаст очередь заново, worker нужно перезапустить. На стенде такого нет, кроме уборки своей очереди после остановки своего worker.
- **Старые `ready` без `crop` и `optimized`.** Вложения уровня 3 остаются с одним thumbnail, скачивание этих вариантов — 404; replay `ready` запрещён намеренно. Показано в `evidence/migrations/pipeline-reliability.md`.
- **Staging и конечный префикс на одном сервере S3.** Устойчивость staging — устойчивость этого сервера и bucket: отказ диска или ВМ теряет и то, и другое.
- **Отставание очистки staging.** Объект живёт до следующего прохода уборщика (60 с). Метка `baseline`: наибольший долг по конфигурациям 35–194 вложения, разбирается следующими проходами; многочасовая нагрузка не мерилась. S3 на долго живущем стенде — `KNOWN_ISSUES.md`.
- **Отставание очистки staging.** Объект живёт до следующего прохода уборщика (60 с). Метка `baseline4`: наибольший долг по конфигурациям 49–196 вложений, разбирается следующими проходами; многочасовая нагрузка не мерилась. S3 на долго живущем стенде — `KNOWN_ISSUES.md`.
- **Смесь версий при замене на уровень 3 и новые статусы.** С версии лабы 4: прежняя реплика отвечает 201 `ready` и даёт 500 на чтении строки нового статуса (`evidence/migrations/async-attachments.md`). Для загрузок реплик прежней версии, переживших grace, защита пометкой уборщика не гарантирована: они пометку не проверяют. Запись — `KNOWN_ISSUES.md`. Порядок обновления с уровня 3 — раздел «Разрыв COMMIT и publish и окна отказа».
- **Прерванное остановкой задание.** Задание, прерванное `docker stop` дольше `graceful_shutdown_seconds` (8 с), считается начатой попыткой и продолжается по аренде: release на пути отмены ненадёжен. Замер на двух дорогих JPEG: 8,15 с, при замороженных PostgreSQL и брокере 9,18 с (`evidence/worker/process.md`). Худший случай остановки 8 + 0,5 + 0,5 + 0,5 = 9,5 с < 10 с.
- **Искажения данных скана JPEG.** Структурная проверка и libjpeg байт внутри данных скана ошибкой не считают: такое вложение становится `ready`, а варианты будут с мусором. Проверка не декодирует пиксели при приёме намеренно.
**Библиотеки:** новые — aio-pika 10.2.1, Pillow 13.0.0 (из dev-группы в основную); уровень 4 новых не добавил: WebP уже есть в Pillow (libwebp 1.6.0); единица работы — тоже: `async def` тесты запускает плагин `anyio`, он уже в зависимостях. Остальное — `uv.lock`. Пробы уровня 4 — таблица «Пробы» `openspec/changes/archive/2026-10-31-pipeline-reliability/design.md`.
**ИИ.** Код, тесты, инструменты, спеки, снятие доказательств и этот отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec: предложение, реализация, проверка, правки по проверке, архивация; каждую стадию вёл отдельный агент, основная сессия принимала результат и коммитила. Перенос на единицу работы (`unit-of-work`, по указанию пользователя) — так же, проверен наборами `student-tests/` и `make failure_checks` без их правок и временными регрессиями; очередь под перегрузкой (`track1-queue-overload`) — гипотезы и правило рекомендации записаны до метки, метки сняты командой `make bench_queue`; метку `baseline` отменили ошибки инструмента, найденные проверкой, `baseline2`— выгрузка хоста в swap (`QUESTIONS.md`). Выбор оценки, трека, брокера и единицы работы — решения автора; решения и отвергнутые варианты — `design.md`, принятые без пользователя — `QUESTIONS.md`. Каждый файл `evidence/` снят командой из его шапки на стенде этой лабы, а не сгенерирован; числа в отчёте перенесены из выводов команд на названном commit.
**ИИ.** Код, тесты, инструменты, спеки, снятие доказательств и этот отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec: предложение, реализация, проверка, правки по проверке, архивация; каждую стадию вёл отдельный агент, основная сессия принимала результат и коммитила. Перенос на единицу работы (`unit-of-work`, по указанию пользователя) — так же, проверен наборами `student-tests/` и `make failure_checks` без их правок и временными регрессиями; очередь под перегрузкой (`track1-queue-overload`) — гипотезы и правило рекомендации записаны до метки, метки сняты командой `make bench_queue`; метку `baseline` отменили ошибки инструмента, найденные проверкой, `baseline2`и `baseline3` не стали основными из-за выгрузки хоста в swap, основная — `baseline4` (`QUESTIONS.md`). Выбор оценки, трека, брокера и единицы работы — решения автора; решения и отвергнутые варианты — `design.md`, принятые без пользователя — `QUESTIONS.md`. Каждый файл `evidence/` снят командой из его шапки на стенде этой лабы, а не сгенерирован; числа в отчёте перенесены из выводов команд на названном commit.
@@ -374,7 +374,7 @@ CPU — снимок `docker stats`. Очередь и задержка согл
### 15. Сценарий защиты и документы
**Защита:** шаг «для 5 — выбранный эксперимент» — `make bench_queue_quick` (~11 мин, заранее или на глазах) и разбор `evidence/queue/baseline2/summary.md`: таблица настроек, плато предела, второй worker, рестарты. Новой команды драйвера нет: она повторяла бы профиль.
**Защита:** шаг «для 5 — выбранный эксперимент» — `make bench_queue_quick` (~11 мин, заранее или на глазах) и разбор `evidence/queue/baseline4/summary.md`: таблица настроек, плато предела, второй worker, рестарты. Новой команды драйвера нет: она повторяла бы профиль.
**`REPORT.md`:** «Трек 1 уровня 5» в таблице критериев; раздел экспериментов с гипотезами (до метки), методикой, определениями, таблицами, выводами; «Сервисы и лимиты», «Открытые вопросы», «Ограничения»: снимаются записи «Дорогие файлы тратят CPU до лимита», «Отставание очистки staging», «Цена процесса на задание», «Ограничения принятой работы на входе API нет» — заменяются измеренным; новое ограничение — завершение процесса 1 worker ядром при конкуренции, которая не помещается в лимит. **Правила:**`bench.md` (раздел профиля), `worker.md`, `settings.md`, `api-contract.md`, `service-layer.md`, `repo-layer.md`, `logging.md`, `student-tests.md`; **`AGENTS.md`** — статус лабы, команды, карта кода; `config_example.toml`. `QUESTIONS.md` — раздел этого change, вопросы переносятся в `REPORT.md`.
@@ -390,7 +390,7 @@ CPU — снимок `docker stats`. Очередь и задержка согл
| «Предел при остановленных брокере и relay» | `test_backlog_without_broker`, fault |
| «Работа копится там, где положено», «Приём упирается в места загрузки», «Сначала места, затем предел», «Контрольный поток под перегрузкой», «Бэклог уходит за измеренное время», «Никого не теряем», «Время до готовности вернулось», «Worker убит под перегрузкой», «Брокер перезапущен под перегрузкой» | исключения сверки (нужна открытая нагрузка, счётчики и рестарт контейнера): `make bench_queue` → `evidence/queue/baseline2/summary.md` |
| «Работа копится там, где положено», «Приём упирается в места загрузки», «Сначала места, затем предел», «Контрольный поток под перегрузкой», «Бэклог уходит за измеренное время», «Никого не теряем», «Время до готовности вернулось», «Worker убит под перегрузкой», «Брокер перезапущен под перегрузкой» | исключения сверки (нужна открытая нагрузка, счётчики и рестарт контейнера): `make bench_queue` → `evidence/queue/baseline4/summary.md` |
Вне сверки: `service-configuration` — `service-tests` (настройка), запись о старте — журнал пятого API в `test_backlog_limit`-наборе и `make run_docker`; `load-benchmark` — `make bench_queue_quick`, `make bench_uploads_quick`; `health`, `job-outbox`, `message-broker` — прежние тесты, текст уточнён.
@@ -428,7 +428,7 @@ CPU — снимок `docker stats`. Очередь и задержка согл
5.**`second_jobs`** — столбец решения 8; `broker_refused` — число проходов relay с неподтверждёнными сообщениями: так сработавший предел памяти виден в метке без разбора текста журнала.
6.**Журнал пятого API в тесте:** добавлено действие hook `backlog-api-log`, которого нет в задаче 4.2: сценарий «журнал реплики называет отказ» и запись о старте проверяются в `test_backlog_limit`, как обещает раздел «Покрытие сценариев».
7.**Красное в `make student_test` шире, чем ждёт задача 7.2:**`test_exclusion_evidence_exists` называет не только файл метки (теперь `evidence/queue/baseline2/summary.md`), но и `evidence/auth/passwords-and-tokens.md`, `evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md`. Их нет и на `5b5f59a`: не следствие этого change. Стадия apply в `evidence/` не пишет, снять их — до отчёта (`QUESTIONS.md`, «Для пользователя после прогона»).
7.**Красное в `make student_test` шире, чем ждёт задача 7.2:**`test_exclusion_evidence_exists` называет не только файл метки (теперь `evidence/queue/baseline4/summary.md`), но и `evidence/auth/passwords-and-tokens.md`, `evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md`. Их нет и на `5b5f59a`: не следствие этого change. Стадия apply в `evidence/` не пишет, снять их — до отчёта (`QUESTIONS.md`, «Для пользователя после прогона»).
Правки verify (метка переснимается как `baseline2`, каталог `baseline` не трогается, пороги H1–H9 не меняются):
**Ожидаемо красное**, остальное разбирается по AGENTS.md:
- между задачами 4.6 и 4.7 — сверка покрытия: «marker points to unknown scenario», sync раньше тестов дал бы обратное;
- `test_exclusion_evidence_exists` — по `evidence/queue/baseline2/summary.md`, пока метка не снята (группа 10); падать он должен только по этому файлу и файлам вне change, что снимаются на финальном шаге лабы.
- `test_exclusion_evidence_exists` — по `evidence/queue/baseline4/summary.md`, пока метка не снята (группа 10); падать он должен только по этому файлу и файлам вне change, что снимаются на финальном шаге лабы.
Решения по ходу работы — design, новый раздел «Уточнения apply»; вопросы и решения без пользователя — `QUESTIONS.md`, `## track1-queue-overload`; дефект, найденный попутно, — `KNOWN_ISSUES.md`. Сервисы — только на портах и `self.uow` (`service-layer.md`), новый метод repo — порт, SQL, фейк и строка контракта.
@@ -59,9 +59,9 @@
- [x] 4.6 Прочее: `images` и `contract.py` без изменений, если хватает; маркеры `@pytest.mark.spec("queue-overload", …)` на всех тестах; прежние тесты не правятся (решение 13).
Проверка: `uv run pytest student-tests --collect-only -q -m fault` видит новые тесты; `git diff --stat student-tests/` — только новые тесты, `run_failures.py`, `conftest.py`, `fault_hook.py`, `spec_coverage.py`.
- [x] 4.7 Сверка покрытия: `queue-overload` в `CAPABILITIES`; исключения девяти сценариев (нужны открытая нагрузка, счётчики и рестарт контейнера) со ссылкой `evidence/queue/baseline2/summary.md` и командой `make bench_queue`; sync всех дельт в основные спеки (`/opsx:sync`): сверка читает только `openspec/specs/`.
- [x] 4.7 Сверка покрытия: `queue-overload` в `CAPABILITIES`; исключения девяти сценариев (нужны открытая нагрузка, счётчики и рестарт контейнера) со ссылкой `evidence/queue/baseline4/summary.md` и командой `make bench_queue`; sync всех дельт в основные спеки (`/opsx:sync`): сверка читает только `openspec/specs/`.
Проверка: `make student_test` — сверка: нет ни «no test», ни «marker points»; `test_exclusion_evidence_exists` называет только `evidence/queue/baseline2/summary.md`.
Проверка: `make student_test` — сверка: нет ни «no test», ни «marker points»; `test_exclusion_evidence_exists` называет только `evidence/queue/baseline4/summary.md`.
## 5. Стенд `bench/`
@@ -135,7 +135,7 @@
Проверка: код 0; `meta.json`: `git.dirty` false, `host_state`, план 57 ячеек; `swapouts_delta` 0 или пометка разобрана: настоящая помеха — переснять под новой меткой.
- [x] 9.2 Коммит метки. `make student_test` на рабочем стенде после `make run_docker`.
Проверка: `test_exclusion_evidence_exists` зелёный. **Оговорка:** по метке зелёный, файл метки он больше не называет (ссылка переведена на `evidence/queue/baseline2/summary.md`, снова красная до задачи 10.20); остаётся красным по трём файлам вне change (`evidence/auth/passwords-and-tokens.md`, `evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md`), их снимают на финальном шаге лабы на итоговом коде.
Проверка: `test_exclusion_evidence_exists` зелёный. **Оговорка:** по метке зелёный, файл метки он больше не называет (ссылка переведена на основную метку,`evidence/queue/baseline4/summary.md`); остаётся красным по трём файлам вне change (`evidence/auth/passwords-and-tokens.md`, `evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md`), их снимают на финальном шаге лабы на итоговом коде.
- [x] 9.3 `REPORT.md`, раздел «Очередь под перегрузкой»: таблицы из `summary.md` — throughput, очередь, p50, p95, p99 до `ready`, RSS, `memory.peak`, CPU и троттлинг по настройкам и классам; блоки; backpressure и ограничение принятой работы (таблица решения 4 с числами метки); восстановление; вывод по каждой гипотезе; компромисс latency и ресурсов; рекомендация и решение о значениях по умолчанию; обоснование предела по измеренному потолку; S3 как общий ресурс приёма и worker; завершение процесса 1 ядром; ограничения метода, в том числе память S3 на долго живущем стенде (`KNOWN_ISSUES.md`). «Трек 1 уровня 5» в таблице критериев; разделы «Сервисы», «Ограничения», «Следующие шаги», «Ответы на вопросы защиты» — по изменениям; шаг защиты.
Проверка: числа совпадают с `summary.md` метки; `make lint`, `make check`, `openspec validate track1-queue-overload --strict`.
@@ -174,7 +174,7 @@
- [x] 10.14 S8: тест значения `-1` настройки предела.
- [x] 10.15 S9: «17 с» до тела — с закрытием соединения 21 с в правилах; граница уборщика проверена, правка формулы вне change — `KNOWN_ISSUES.md`.
- [x] 10.16 S10: счёт готовых ячеек при прерывании.
- [x] 10.17 Ссылки на метку: `spec_coverage.py`, спеки, правила, `AGENTS.md`, задачи — `evidence/queue/baseline2/summary.md`; причина пересъёмки — `REPORT.md`.
- [x] 10.17 Ссылки на метку: `spec_coverage.py`, спеки, правила, `AGENTS.md`, задачи — файл основной метки (сейчас`evidence/queue/baseline4/summary.md`, задача 10.21); причина пересъёмки — `REPORT.md`.
Проверка: `test_exclusion_evidence_exists` называет новый файл, пока метка не снята: так и должно быть.
- [x] 10.18 Прокрутка: `make bench_queue_quick` и блоки, которых в ней нет, на рабочем дереве.
@@ -188,6 +188,6 @@
- [x] 10.20б Метка: `make bench_queue QUEUE_LABEL=baseline4` на `d68a016`, по решению пользователя. Больше пересъёмок нет: основной становится метка с меньшим числом задетых ячеек (при равенстве — с меньшим `swapouts_delta`), выбор не зависит от вердиктов; остальные остаются в git как запись, отчёт называет задетые ячейки и расхождения вердиктов между метками.
Проверка: код 0; `git.dirty` false; план 57 ячеек; `swapouts_delta` 0, задетых ячеек нет: **основная метка — `baseline4`**.
- [] 10.21 `REPORT.md` — числа, вердикты и рекомендация по основной метке (`baseline4`), `lb_down`, lag, причины перезапуска, литеральная доля H3; `S1` пересчитан на новой метке; `baseline2` и `baseline3` названы как снятые с выгрузкой, вердикты всех меток рядом, в том числе H2 «нет» в `baseline3`. Ссылки на метку из задачи 10.17 — на основную.
- [x] 10.21 `REPORT.md` — числа, вердикты и рекомендация по основной метке (`baseline4`), `lb_down`, lag, причины перезапуска, литеральная доля H3; `S1` пересчитан на новой метке; `baseline2` и `baseline3` названы как снятые с выгрузкой, вердикты всех меток рядом, в том числе H2 «нет» в `baseline3`. Ссылки на метку из задачи 10.17 — на основную.
Проверка: числа совпадают со сводкой основной метки, `make check`, `openspec validate track1-queue-overload --strict`, `test_exclusion_evidence_exists` файл метки не называет.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.