docs: record track1-queue-overload evidence and report

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-11-01 09:47:41 +03:00
co-authored by Claude Opus 5.5
parent 7999002e09
commit a8ef6adcc8
2 changed files with 174 additions and 17 deletions
+170 -13
View File
@@ -2,8 +2,8 @@
- Автор, группа: Сафронов Роман Николаевич, БВТ2301
- Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Очередь под перегрузкой»
- Состояние отчёта: закрыты **уровень 3** (change `async-attachments`) и **уровень 4** (change `pipeline-reliability`). Раздел уровня 5 закрывает `track1-queue-overload`
- Commit/PR: измеренное состояние — `d8fe2e8` (ветка `feat/unit-of-work`, перенос на единицу работы и правки verify); снятое на прежних `6ba74b1`, `399da05`, `e2a6427` и `ff1a83b` названо в разделе доказательств; PR — TODO после публикации
- Состояние отчёта: закрыты **уровень 3** (change `async-attachments`) и **уровень 4** (change `pipeline-reliability`); уровень 5, трек 1 — change `track1-queue-overload`, метка `baseline`, раздел «Очередь под перегрузкой». Открыты три доказательства исключений сверки покрытия («Следующие шаги»)
- Commit/PR: трек 1 — код `d667fa3`, метка `7999002` (ветка `feat/track1-queue-overload`); уровни 3 и 4 — `d8fe2e8` (ветка `feat/unit-of-work`, перенос на единицу работы и правки verify); снятое на прежних `6ba74b1`, `399da05`, `e2a6427` и `ff1a83b` названо в разделе доказательств; PR — TODO после публикации
- Источники, библиотеки и помощь ИИ — последний раздел
## Запуск из чистого clone
@@ -248,7 +248,9 @@ CPU на успешный запрос при постоянных 200 запр
**Соединения PostgreSQL:** `API_REPLICAS × 10 + migrate 1 + cleaner 1 + worker 2 + relay 1`. При двух репликах 25; во время поочерёдной замены (третья реплика) 35; `max_connections` 100. Переполнения пула нет (`max_overflow` 0).
**Лимит worker 1 ГБ:** расчёт — раздел «Варианты и лимиты обработки», проверяет `test_max_pixels_fit_worker_memory`.
**Лимит worker 1 ГБ:** расчёт — раздел «Варианты и лимиты обработки», проверяет `test_max_pixels_fit_worker_memory`. На метке `baseline` при конкуренции 2 `memory.peak` до 838 МиБ на самом дорогом классе; конкуренция 4 в этот лимит на нём не помещается (раздел «Очередь под перегрузкой»).
**Предел принятой работы:** `[uploads] max_unfinished_jobs` 250 незавершённых заданий на стенд, 0 — без предела. Обоснование по измеренному потолку — там же.
### Соответствие переменных `.env.example`
@@ -321,10 +323,10 @@ CPU на успешный запрос при постоянных 200 запр
5. **Допустим ли на уровне 3 ответ 503 при недоступном брокере?** Закрыт уровнем 4: отказ брокера больше не даёт 503, на загрузке 503 только от S3 и PostgreSQL. На уровне 3 был 503: relay ещё не было.
6. **Контракт требует EXIF orientation и alpha на белый только у thumbnail. Как с `crop` и `optimized`?** Сделано: ориентация применяется у обоих (иначе EXIF, удалённый из WebP, повернул бы изображение), `crop` компонуется на белый (JPEG), `optimized` сохраняет прозрачность. Другой ответ правит одну функцию и сценарий.
7. **Контракт называет replay «явным операторским», но не говорит, как его вызывать.** Достаточно ли команды в контейнере? Сделано: `make replay`, HTTP-ручки нет: в API нет роли оператора. Другой ответ добавляет ручку поверх той же транзакции.
10. **Предел незавершённых заданий: 429 или 503?** Контракт называет 429 «ограничением частоты запросов», здесь ограничено количество принятой работы; 503 — «зависимость недоступна». Сделано: 429 `rate_limited` с `Retry-After: 5`, как у занятых мест: зависимости живы, реплика готова. Другой ответ меняет строку `DOMAIN_ERRORS` и сценарии.
11. **Как долго загрузка обязана отвечать 202 при остановленном worker?** Рубрика уровня 3 показывает «worker остановлен → upload 202», трек 1 требует ограничить принятую работу. Сделано: пока незавершённых меньше предела (250); дальше 429, а текст, история, метаданные, готовые байты и `/health/ready` работают. Другой ответ — значение настройки.
8. **Изображение, не уложившееся в лимиты времени или памяти обработки, — это `invalid_image` или отдельный код?** Сделано: `invalid_image`, точная причина — в записи для оператора. Другой ответ добавляет значение enum и требует обновить реплики раньше worker.
9. **Контракт требует retention «неуспешных и непривязанных исходников», но молчит о конечных объектах, которые успела записать неудачная попытка.** Сделано: по истечении срока удаляются и они, метаданные `failed` остаются. Другой ответ убирает один шаг очистки.
10. **Предел незавершённых заданий: 429 или 503?** Контракт называет 429 «ограничением частоты запросов», здесь ограничено количество принятой работы; 503 — «зависимость недоступна». Сделано: 429 `rate_limited` с `Retry-After: 5`, как у занятых мест: зависимости живы, реплика готова. Другой ответ меняет строку `DOMAIN_ERRORS` и сценарии.
11. **Как долго загрузка обязана отвечать 202 при остановленном worker?** Рубрика уровня 3 показывает «worker остановлен → upload 202», трек 1 требует ограничить принятую работу. Сделано: пока незавершённых меньше предела (250); дальше 429, а текст, история, метаданные, готовые байты и `/health/ready` работают. Другой ответ — значение настройки.
### Ответы на вопросы защиты
@@ -336,6 +338,8 @@ CPU на успешный запрос при постоянных 200 запр
**Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?** Только сроком: флаг `redelivered` этого не доказывает, брокер ставит его и после `nack`. Попытка жёстко ограничена: шаги прерывает `asyncio.timeout(job_timeout_seconds)`, процесс обработки убивается, поэтому аренда `job_timeout + lease_margin` (70 с) обходится без пульса. Истёкшая аренда значит «мёртв или заморожен», такую попытку возвращает relay. Пока аренда жива, дубль подтверждается без эффекта и без траты номера (`busy`, `test_duplicate_during_processing`), долгая живая попытка не теряет работу (`test_long_attempt_keeps_lease`). Новая попытка получает новый номер, и фиксация условна: `state = 'processing' AND attempt = :своя`. Размороженный прежний процесс получает `superseded` и ничего не меняет, в том числе пока новая попытка ещё идёт: тогда решает только номер (`test_hung_worker_lease_fencing`). Цена — после KILL следующая попытка ждёт аренду, до 70 с (наблюдали 70 с, `evidence/attachments/defense-faults.md`). Пульс отвергнут: запись на задание каждые несколько секунд, зависимость от event loop и ложные срабатывания под перегрузкой.
**Где работа перестаёт приниматься и ускоряться, и почему предел — 429?** Приниматься — на местах загрузки реплики и на пределе незавершённых заданий: оба уровня отвечают 429 с `Retry-After`. Ускоряться — на CPU worker: при 1 CPU конкуренция сверх двух не поднимает потолок, а на `lp` ломает обработку; у файлов на границе байтов ещё на CPU S3, общем для приёма и обработки. За входом клиент видит только дольше неизменный `queued`. 429, а не 503: зависимости живы, реплика готова и остаётся в LB, а текст, история, метаданные и готовые байты работают. Трактовка — вопрос 10 преподавателю. Числа — раздел «Очередь под перегрузкой».
### Сценарий защиты
Порядок автоматизирован: `driver.py --port 8080 defense-scenario` → `evidence/attachments/defense.md`, тот же порядок на стенде отказов — `test_defense_scenario`.
@@ -354,7 +358,7 @@ CPU на успешный запрос при постоянных 200 запр
| replay `failed` | staging подменён, `failed` `source_corrupted`, реестр без изменений, объект возвращён, `--apply` | 2 | `ready`, то же задание, `attempt_base` 1, запись аудита |
| replay готового | `--apply` на `ready` | 1 | код 3, `already_ready`, ничего не изменилось |
Выбранный эксперимент уровня 5 — `track1-queue-overload`.
5. **Для 5 — выбранный эксперимент, трек 1:** `make bench_queue_quick` (~11 мин, рабочий стенд — `make stop`) на глазах или заранее и разбор `evidence/queue/baseline/summary.md`: таблица настроек, плато предела, второй worker, рестарты.
## Доказательства критериев
@@ -431,7 +435,15 @@ CPU на успешный запрос при постоянных 200 запр
### Трек 1 уровня 5
Change `track1-queue-overload`: предел принятой работы и профиль `make bench_queue` реализованы, гипотезы — раздел «Очередь под перегрузкой»; метка `baseline` и выводы по ней — следующий шаг.
Change `track1-queue-overload`, код `d667fa3`, метка `7999002`. Гипотезы, таблицы и выводы — раздел «Очередь под перегрузкой».
| Критерий | Команда | Результат | Файл |
|---|---|---|---|
| ≥3 настройки на разных размерах | `make bench_queue` | 4 настройки × 4 класса (12 конфигураций) × 3 повтора | `evidence/queue/baseline/summary.md` |
| Throughput, очередь, p95 до `ready`, RSS | там же | таблица «Настройки и классы» | `evidence/queue/baseline/cells.csv`, `timeline.csv` |
| Backpressure и ограничение принятой работы | там же, `make failure_checks FAULT_ARGS='-k backlog'` | плато 250 против 425; 429 от мест, затем от предела; 6 тестов отказов | `evidence/queue/baseline/summary.md` |
| Восстановление | там же | ноль незавершённых без оператора в 57 ячейках, потерянных и зависших 0; на `lp` (4, 4) 2 задания в `failed`, возврат — `make replay` | `evidence/queue/baseline/cells.csv` |
| Компромисс latency и ресурсов | там же | раздел «Очередь под перегрузкой» | `REPORT.md` |
## Эксперименты и отказы
@@ -481,7 +493,9 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
### Очередь под перегрузкой
Трек 1 уровня 5, change `track1-queue-overload`. Гипотезы и правило записаны и закоммичены раньше первой метки; числа метки появятся ниже, когда она будет снята (`evidence/queue/baseline/summary.md`). Числа порогов — из проб стадии propose (design, раздел «Пробы»): это пробы, а не результат.
Трек 1 уровня 5, change `track1-queue-overload`. **Код метки — commit `d667fa3`, сама метка `baseline` — commit `7999002`** (`dirty` false, 57 ячеек из 57, 2 ч 05 мин, `swapouts_delta` 0, сна нет, питание от сети, предупреждений о хосте нет, посторонние контейнеры `domains-*` названы в паспорте). Гипотезы и правило записаны и закоммичены раньше метки. Числа порогов — из проб стадии propose (design, раздел «Пробы»); числа результатов ниже — из `evidence/queue/baseline/summary.md` и `evidence/queue/baseline/cells.csv`.
**Главное.** Подтверждены H1, H2, H3, H5, H6, H7, H8, H9, **H4 не подтверждена** (2 ячейки из 33 ниже порога, причина — разбор ниже). Рекомендация правила — (2, 2), значения по умолчанию оставлены. Конкуренция сверх двух при 1 CPU не ускоряет, а на `lp` (4, 4) ломает обработку: 16 перезапусков worker за три ячейки и 2 принятых задания в `failed`. Настоящее ускорение даёт второй worker.
**Команда:** `make bench_queue` (метка `baseline`, ~2 ч 10 мин, `RESUME=1`), самопроверка — `make bench_queue_quick` (~11 мин, метка в git не идёт).
@@ -531,6 +545,146 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
**Правило рекомендации.** Кандидат — настройка без `oom` и `failed` ни на одном классе, с throughput не ниже 90 % лучшей на каждом классе; из кандидатов — наименьшая конкуренция, а `prefetch` равен конкуренции. Значения по умолчанию меняются, только если рекомендация отличается от (2, 2), и выигрыш по throughput или памяти на каком-либо классе вне шума при том, что на остальных она не хуже в пределах шума; такая правка — отдельный commit после метки с повтором `make bench_queue_quick`. Компромисс latency и ресурсов — вывод из таблиц метки; проверяемая формула: `concurrency ≤ min(CPU + доля ожидания, (лимит − база) / пик процесса)`.
**Вердикты** (`evidence/queue/baseline/summary.md`, раздел «Гипотезы»).
| № | Вердикт | На чём |
|---|---|---|
| H1 | подтверждено | (4, 4) / (2, 2) по throughput восстановления: `s` 2,57 / 3,02, `m` 2,67 / 2,95, `lj` 2,12 / 2,32, `lp` 0,24 / 0,96; (1, 1) / (2, 2): `m` 2,54 / 2,95, `lp` 0,94 / 0,96 |
| H2 | подтверждено | `duration_ms` p50 (4, 4) / (2, 2): `s` 1503 / 634, `m` 1413 / 666, `lj` 1806 / 832, `lp` 3902 / 2060 мс; `memory.peak` (2, 2) не выше 838 МиБ; `lp` (4, 4) — 1024 МиБ во всех повторах; `lj` (4, 4) — 299 МиБ |
| H3 | подтверждено | пик очереди брокера при (2, 256) — 0, при (2, 2) на `s` — 98 из 100; второй worker взял 47–48 % заданий при `prefetch` 2 и 0 при 256 |
| H4 | **нет** | `m-c1p1-r2` 0,797, `m-c1p1-r3` 0,778 при нижней границе 0,8; разбор ниже |
| H5 | подтверждено | пик 250 с пределом против 425 без него; p95 81,4 против 134,0 с; восстановление 81,5 против 141,5 с; все 429 — от предела, `Retry-After` 5; загрузка `before` p50 16 против 15 мс |
| H6 | подтверждено | `lost`, `stuck`, `duplicate`, `sha_mismatch` — 0 во всех ячейках, 2280 проверенных SHA-256; `failed` — только 2 на `lp-c4p4-r1`, что порог допускает: при `oom` и `retry_exhausted` |
| H7 | подтверждено | вне `accept` наибольшие p95 за все окна: запись 54,5, чтение 14,6, скачивание 262,4 мс; 5xx контрольного потока и `lb_down` нет |
| H8 | подтверждено | `kill-worker`: заданий с повтором 2 во всех повторах, восстановление 58,5 с; `restart-broker`: повторов 0, 5xx нет, восстановление 44,6 с |
| H9 | подтверждено | первый `busy` на 3,1–3,3 с, первый `backlog` на 34,0–36,3 с; CPU S3 в первые 30 с 1,00; принято 306–309 за 45 с; пик 282–285; готовых/с 0,80–0,93 в окне и 2,87–2,97 после |
**Настройки и классы** (`evidence/queue/baseline/summary.md`, «Ячейки по конфигурациям»; медиана и min–max трёх повторов). «Процесс» — пик процесса обработки по его отчёту: p50 / наибольший.
| Класс | (c, p) | Готовых/с: окно | восстановление | Пик незаверш. | Пик брокера | До `ready` over p50 / p95 / p99, с | Восст., с | `memory.peak`, МиБ | VmHWM, МиБ | Процесс, МиБ | CPU worker, S3 | Троттлинг worker | OOM | Перезапуски |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| `s` | (2, 2) | 3.00 (2.90–3.00) | 3.02 (3.01–3.05) | 100 (99–102) | 98 (97–99) | 17.1 / 31.7 / 33.1 | 33.6 (33.5–34.5) | 175 (175–176) | 114 | 49 / 49 | 1.00, 0.08 | 0.99 | 0 | 0 |
| `s` | (4, 4) | 2.60 (2.60–2.60) | 2.57 (2.35–2.57) | 107 (106–108) | 102 (102–104) | 21.4 / 41.2 / 42.3 | 42.5 (42.5–46.5) | 251 (247–251) | 116 | 49 / 49 | 0.99, 0.08 | 0.99 | 0 | 0 |
| `s` | (2, 256) | 3.00 (2.95–3.00) | 3.01 (2.96–3.05) | 101 (100–102) | 0 (0–0) | 17.1 / 31.9 / 33.4 | 33.6 (33.5–34.5) | 175 (175–175) | 114 | 49 / 49 | 0.99, 0.08 | 0.99 | 0 | 0 |
| `m` | (1, 1) | 2.10 (2.05–2.15) | 2.54 (2.51–2.56) | 78 (77–79) | 76 (74–78) | 16.8 / 29.6 / 30.8 | 31.2 (30.3–31.3) | 154 (154–154) | 136 | 58 / 58 | 0.71, 0.70 | 0.15 | 0 | 0 |
| `m` | (2, 2) | 2.70 (2.65–2.75) | 2.95 (2.90–3.03) | 66 (64–68) | 63 (62–64) | 12.1 / 21.5 / 22.3 | 23.2 (21.5–23.3) | 211 (210–211) | 161 | 58 / 58 | 0.95, 0.77 | 0.89 | 0 | 0 |
| `m` | (4, 4) | 2.70 (2.70–2.70) | 2.67 (2.57–2.71) | 67 (66–67) | 62 (62–62) | 12.7 / 23.9 / 24.6 | 25.5 (25.4–26.2) | 290 (280–293) | 199 | 58 / 58 | 0.98, 0.78 | 0.96 | 0 | 0 |
| `lj` | (2, 2) | 2.15 (2.00–2.25) | 2.32 (2.29–2.34) | 78 (75–81) | 75 (73–79) | 17.4 / 32.2 / 33.8 | 34.4 (32.3–35.2) | 206 (204–206) | 151 | 57 / 57 | 0.96, 0.62 | 0.92 | 0 | 0 |
| `lj` | (4, 4) | 2.10 (1.95–2.15) | 2.12 (2.08–2.14) | 78 (76–82) | 73 (72–78) | 18.3 / 35.8 / 37.0 | 37.4 (36.3–39.3) | 299 (293–306) | 188 | 57 / 57 | 0.99, 0.64 | 0.97 | 0 | 0 |
| `lp` | (1, 1) | 0.85 (0.85–0.85) | 0.94 (0.91–0.94) | 34 (33–34) | 33 (32–33) | 19.5 / 34.9 / 36.2 | 36.4 (36.4–37.0) | 467 (466–467) | 136 | 367 / 368 | 0.90, 0.29 | 0.23 | 0 | 0 |
| `lp` | (2, 2) | 0.85 (0.85–0.90) | 0.96 (0.96–0.99) | 33 (32–34) | 31 (30–32) | 18.5 / 33.9 / 35.1 | 35.0 (33.8–35.4) | 830 (696–838) | 160 | 367 / 368 | 0.97, 0.30 | 0.97 | 0 | 0 |
| `lp` | (2, 256) | 0.90 (0.90–0.90) | 0.96 (0.94–0.96) | 34 (32–34) | 0 (0–0) | 19.5 / 34.0 / 35.3 | 34.8 (34.0–35.7) | 832 (742–834) | 160 | 367 / 368 | 0.97, 0.30 | 0.98 | 0 | 0 |
| `lp` | (4, 4) | 0.40 (0.30–0.40) | 0.24 (0.17–0.53) | 44 (44–46) | 38 (37–42) | 70.0 / 194.2 / 204.2 | 187.1 (83.1–249.1) | 1024 (1024–1024) | 215 | 367 / 368 | 0.97, 0.34 | 0.98 | 159 | 16 |
- **VmHWM у `lp` (4, 4) (215 МиБ) — только последняя жизнь контейнера:** его читают в конце ячейки, а контейнер за ячейку перезапускался до 10 раз. Это не наибольшее значение за ячейку и не сравнимо с соседними строками.
- **Столбцы OOM и «Перезапуски»** — суммы трёх повторов. Столбец OOM уже включает перезапуски: счётчик `oom_kill` прочитан у 143 завершений, 16 прибавлены как перезапуски (design, «Уточнения apply», п. 1).
**Блоки** (`evidence/queue/baseline/summary.md`, «Ячейки по конфигурациям» и «Блоки»; последний столбец — `evidence/queue/baseline/cells.csv`).
| Блок | Принято | 429 | Готовых/с: окно | восстановление | Пик | p95 до `ready`, с | Восст., с | Второй worker |
|---|---|---|---|---|---|---|---|---|
| `gate-on`: 20/с, 25 с, предел 250 | 355 (355–357) | 177 (176–178) | 2.96 | 3.07 | 250 (250–250) | 81.4 | 81.5 (81.5–83.5) | — |
| `gate-off`: то же, без предела | 532 (531–533) | 0 | 3.00 | 3.02 | 425 (423–426) | 134.0 | 141.5 (138.5–141.5) | — |
| `accept`: `m`, 15/с, 45 с | 338 (337–339) | 369 (366–369) | 0.89 (0.80–0.93) | 2.95 (2.87–2.97) | 283 (282–285) | 92.7 | 90.2 (90.2–95.4) | — |
| `w2-p2` | 191 (190–192) | 0 | 2.95 | 5.54 (5.52–5.78) | 100 (100–101) | 17.4 | 18.4 (17.6–18.6) | 48 заданий, 0,47–0,48 |
| `w2-p256` | 193 (191–193) | 0 | 3.00 | 3.04 (2.99–3.06) | 101 (100–102) | 31.6 | 33.5 (33.4–34.4) | 0 заданий |
| `kill-worker` | 231 (231–233) | 0 | 2.80 | 2.24 (2.21–2.26) | 129 (127–132) | 40.9 | 58.5 (58.4–58.6) | — |
| `restart-broker` | 231 (231–231) | 0 | 2.52 | 3.08 (2.95–3.11) | 137 (136–137) | 42.6 | 44.6 (44.4–46.5) | — |
**Backpressure: где работа перестаёт приниматься и ускоряться.**
| Уровень | Значение | Что видит клиент | Что показала метка |
|---|---|---|---|
| Места загрузки реплики | 4 + 16, ожидание 5 с | 429, `Retry-After: 1` | `accept`: 204–236 отказов с 3,1–3,3 с окна, загрузка 202 p50 ~4,8 с |
| Предел заданий | 250 | 429, `Retry-After: 5`, сразу | `gate-on`: плато ровно 250, первый отказ на ~14,7 с; `accept`: 130–165 отказов с 34,0–36,3 с, пик 282–285 |
| Шлюз S3, общий с worker | 1 CPU | загрузка дольше | `accept`: CPU S3 1,00 в первые 30 с, готовых/с 0,80–0,93 вместо 2,87–2,97 после окна |
| Outbox | копит | `queued` | держится на 1–6, relay не узкое место; при рестарте брокера — до 47 |
| `max_published_backlog` | 1000 | `queued` | не достигнут ни в одной ячейке |
| Предел памяти брокера | 400 МиБ | `queued` | не достигнут: медиана памяти брокера по конфигурациям 207–227 МиБ. Срабатывание проверяет `test_broker_memory_alarm`, отказы публикации в метке — только в `restart-broker` (2–3 прохода) |
| `prefetch` | 2 | `queued` | неподтверждённых не больше `prefetch` во всех ячейках с (2, 2); при 256 — до 100 на `s` и до 34 на `lp`, а в очереди брокера 0 |
| `concurrency` | 2 | `processing` | `processing` не больше конкуренции, кроме ячеек с гибелью worker: строки убитого ждут аренду (`kill-worker` — 4, `lp` (4, 4) — 8–30); `w2-*` — 4 на двух worker |
| Лимит контейнера | 1 ГБ | дольше до `ready`, `failed` при исчерпании попыток | (2, 2) помещается на всех классах, `lp` (4, 4) — нет |
Клиент за входом видит только дольше не меняющееся `queued`, ни одного кода ошибки. Перестаёт приниматься на первых двух уровнях. Перестаёт ускоряться на CPU worker (конкуренция сверх двух), а на файлах у границы байтов — ещё на CPU S3, и там приём отнимает ресурс у обработки. Предел заданий останавливает это только на ~35-й секунде такой нагрузки: приоритета обработки над приёмом в S3 нет, это ограничение.
**Разбор H4: почему «нет».** Вердикт остаётся «нет»: условие записано раньше метки и на двух ячейках нарушено. Отношение p95 окна `over` к «пик / throughput окна `over`» (`evidence/queue/baseline/cells.csv`). Правая колонка — та же величина с throughput окна `recovery`: это расчёт после метки, порога у него нет, и на вердикт он не влияет.
| Конфигурация | Записанное условие, r1 / r2 / r3 | С throughput `recovery`, r1 / r2 / r3 |
|---|---|---|
| `s-c2p2` | 0,912 / 0,938 / 0,962 | 0,948 / 0,953 / 0,968 |
| `s-c2p256` | 0,938 / 0,955 / 0,936 | 0,953 / 0,959 / 0,939 |
| `s-c4p4` | 1,010 / 0,984 / 1,058 | 0,998 / 0,973 / 0,955 |
| `m-c1p1` | 0,803 / **0,797** / **0,778** | 0,958 / 0,953 / 0,966 |
| `m-c2p2` | 0,879 / 0,840 / 0,881 | 0,967 / 0,936 / 0,946 |
| `m-c4p4` | 0,961 / 0,964 / 1,005 | 0,965 / 0,953 / 0,957 |
| `lj-c2p2` | 0,922 / 0,887 / 0,827 | 0,960 / 0,947 / 0,959 |
| `lj-c4p4` | 0,963 / 0,878 / 0,981 | 0,979 / 0,937 / 0,966 |
| `lp-c1p1` | 0,871 / 0,880 / 0,886 | 0,958 / 0,938 / 0,976 |
| `lp-c2p2` | 0,890 / 0,925 / 0,848 | 1,008 / 0,986 / 0,987 |
| `lp-c2p256` | 0,899 / 0,900 / 0,925 | 0,935 / 0,961 / 0,987 |
Всего 33 ячейки без `oom`: по записанному условию 0,778–1,058, две ниже 0,8; с throughput `recovery` 0,935–1,008.
- **Проверено по метке.**
- На `m` (1, 1) throughput окна `over` 2,05–2,15, окна `recovery` 2,51–2,56.
- По `timeline.csv` это не разгон: готовых в секунду ровно ~2 все 20 с окна (`m-c1p1-r2`: первые 10 с — 2,1/с, последние — 2,1/с).
- В окне `over` CPU worker 0,70–0,74 и S3 0,69–0,70, в `recovery` — 0,79–0,82 и 0,25–0,26.
- Задание, пришедшее в конце окна, разбирается уже со скоростью `recovery`, а формула считает его по скорости `over`. Поэтому отношение занижено там, где эти скорости расходятся; сильнее всего — на `m` (1, 1).
- **Предположение, метка его не меряет:** в окне `over` worker при (1, 1) медленнее, потому что ждёт S3, занятый приёмом. На это указывают CPU S3 и троттлинг worker 0,15, но времени ожидания S3 в метке нет.
- **Вывод.** Причина в определении: в формулу гипотезы взят throughput окна, а разбирается очередь в основном после него. Это объяснение, а не отмена вердикта. Гипотеза в записанном виде не подтверждена. Данные показывают, что время до `ready` следует за очередью с отклонением до ~22 % вниз, а не с заявленным запасом 20 %, и на классах с заметным S3 отношение почти всегда ниже единицы. На ячейках с `oom` формула неприменима (`lp-c4p4`: 1,766 / 0,827 / 1,271): там задержку определяют аренда и повторы.
**`lp` (4, 4): что произошло** (`evidence/queue/baseline/cells.csv`).
| Повтор | Принято | `ready` | `failed` | `oom_kill` с перезапусками | Перезапуски | Заданий с повтором | Истёкших аренд | `processing`, пик | Восст., с | p95 `over`, с | CPU на задание, с |
|---|---|---|---|---|---|---|---|---|---|---|---|
| r1 | 63 | 61 | 2 | 69 | 10 | 36 | 40 | 30 | 249,08 | 194,23 | 2,075 |
| r2 | 62 | 62 | 0 | 30 | 1 | 25 | 4 | 8 | 83,11 | 90,95 | 1,497 |
| r3 | 63 | 63 | 0 | 60 | 5 | 34 | 20 | 20 | 187,07 | 194,96 | 1,824 |
- **Что значит.** Четыре процесса по 367 МиБ не помещаются в 1 ГБ: `memory.peak` 1024 МиБ, наибольшая `anon` 951–1006 МиБ. Ядро завершает процессы обработки, задания возвращаются на новую попытку и снова занимают память. Работа делается повторно: CPU на задание 1,50–2,08 с против 0,94 при (2, 2). С первого раза не обрабатываются 40–57 % заданий. Когда завершён процесс 1, взятые задания ждут аренду 70 с (пик `processing` 30 при конкуренции 4), и worker простаивает: CPU в окне `recovery` 0,41 / 0,82 / 0,49. Итог — throughput 0,24 вместо 0,96 и p95 194 с вместо 34 с, при том же лимите. После разбора система приходит в норму: p95 окна `after` 1,31–1,36 с.
- **2 `failed` — это 2 принятых задания из 188, ушедших в реестр.** Клиент получил на них 202, а теперь видит `status: failed` и `error_code: retry_exhausted` (причина для оператора — `render_killed`). Варианта нет, новое сообщение с таким вложением получает 409. Сами они не восстановятся: возврат — `make replay ERROR_CODE=retry_exhausted APPLY=1`, оригинал лежит в staging до срока хранения (24 ч). Replay в этой метке не запускался, его проверяют `make failure_checks` и `driver.py defense-faults`. `lost` 0 означает только, что каждое принятое вложение названо состоянием, а не то, что каждое обработано.
- **Расхождение с пробами.** Пробы ждали редких завершений процесса 1: один подтверждённый и один по тем же признакам из пяти прогонов, и в design записано «случайно». Метка показала другое: перезапуски во всех трёх ячейках, 16 за три прогона, до 10 в одной. Причина расхождения разобрана только частично: на пробах стоял `restart: "no"`, первое завершение останавливало опыт, повторяться циклу было негде; метка идёт с `unless-stopped`, и цикл доходит до конца. Что перезапуск снова берёт дорогие задания и завершается по той же причине — предположение: повторные завершения в метке отдельно не прослежены. Частоту трёх повторов как оценку не использовать: она только показывает, что завершение не редкость.
- **Ограничение измерения.** Метка не проверяет причину перезапуска: прибавляет каждый к `oom_kill` по косвенному признаку (design, «Уточнения apply», п. 1), `.State.OOMKilled` после нового старта сброшен. Другой аварийный выход процесса 1 в столбце от завершения ядром не отличается.
**Восстановление** (`evidence/queue/baseline/cells.csv`). Без действий оператора незавершённых становится ноль во всех 57 ячейках, очередь брокера пуста, `not_recovered` нет. Эффект не дублируется: 0 вторых заданий и наборов вариантов. Скорость разбора не падает: при (2, 2) `recovery` не ниже окна `over`. Время до `ready` возвращается (H6, условие по конфигурациям). Контрольный поток — H7; в `accept` наибольшие p95 — запись 39,2, чтение 15,1, скачивание 355,4 мс (порог H9 — 1 с), p95 скачивания в окне `over` — 342,9 мс против 8,3 на `s` при CPU S3 ~1,0, ошибок нет. Связь с занятым S3 — предположение: отдельно не мерилась.
**Компромисс latency и ресурсов (вывод из таблиц выше).**
- **Память без скорости.** По правилу шума решения 11 (разбросы не пересекаются, разница медиан больше наибольшего разброса):
- (4, 4) против (2, 2) — эффект в худшую сторону на `s`, `m`, `lj`: throughput ниже на 15, 10 и 9 %, память выше на 43, 38 и 45 %. На `lp` — потеря обработки.
- (1, 1) против (2, 2) на `lp` — в пределах шума по скорости (0,94 и 0,96), памяти 467 МиБ вместо 830: выигрыш 44 %.
- (1, 1) на `m` — эффект: на 14 % медленнее (2,54 и 2,95), памяти 154 МиБ вместо 211, потому что worker при одном задании ещё ждёт S3 (CPU 0,71).
- **CPU, а не конкуренция, поднимает потолок.** Второй worker на `s`: 5,54 готовых/с вместо 3,02, восстановление 18,4 с вместо 33,6, ценой ещё 1 CPU и 1 ГБ лимита. Формула масштабирования этим не доказана (ограничения ниже).
- **Большой prefetch ничего не даёт и прячет очередь:** та же скорость на `s` и `lp`, брокер показывает 0 готовых, второй worker простаивает, восстановление 33,5 с вместо 18,4.
- **Цена отказа клиенту.** Предел обменивает принятые файлы на срок: 177 загрузок из ~533 получают 429, зато p95 до `ready` 81,4 с вместо 134,0. Цена проверки в окне `before`: p50 16 против 15 мс при разбросе того же порядка.
- **Формула подбора** на двух точках сходится. Память: база ≈ 467 − 368 ≈ 99 МиБ на (1, 1), прогноз для (2, 2) — 99 + 2 × 368 = 835 МиБ при измеренных 830; `(1024 − 99) / 368 ≈ 2,5`, то есть 2 помещается, 4 нет; 3 в метке нет. CPU: при (1, 1) на `m` 0,71 ядра, значит, конкуренция 2 ещё даёт прирост, что и видно; при (2, 2) уже 0,95. Это согласие с данными, а не доказательство: опытов на формулу метка не ставила.
**Рекомендация и значения по умолчанию** (`evidence/queue/baseline/summary.md`, «Рекомендация»). Правило решения 12 даёт конкуренцию 2, prefetch 2. (1, 1) не кандидат: на `m` throughput ниже 90 % лучшей. (4, 4) не кандидат: на `lp` есть `oom` и `failed`. (2, 256) по правилу сводится к (2, 2): `prefetch` равен конкуренции. **Значения оставлены:** рекомендация совпала с (2, 2), поэтому условие смены не наступило и отдельного commit нет. Условия рекомендации: 1 CPU и 1 ГБ на worker. При другом лимите пересчитать по формуле выше; для потока только больших PNG (1, 1) экономит память без потери скорости, но это другая установка, а не значение по умолчанию.
**Предел 250 по измеренному потолку.** Обоснование решения 2 опиралось на пробу: потолок `lp` 0,92/с и ожидание ~270 с при границе 300 с (`[relay] republish_after_seconds`). Метка: потолок `lp` при (2, 2) — 0,96/с (`recovery`), 250 / 0,96 ≈ 260 с. **Совпало:** ожидание меньше 300 с, предел менять незачем. Запас меньше, чем кажется: с окном приёма (0,85/с) ~294 с, с превышением (пик до 290) ~302 с, то есть на самой границе. Выход за границу на (2, 2) не должен вредить: по правилу relay копии появляются, только если в очереди ноль готовых, а дубль — без эффекта. В метке копий 0, но `lp` у предела не снимался.
| Класс | Потолок (2, 2), готовых/с | Ожидание у предела 250, с | Как получено |
|---|---|---|---|
| `s` | 3,02 | ~83 | измерено: `gate-on` p95 81,4 с, восстановление 81,5 с |
| `m` | 2,95 | ~85 | расчёт; `accept` при пике 283 измерил p95 92,7 с |
| `lj` | 2,32 | ~108 | расчёт, у предела не снималось |
| `lp` | 0,96 | ~260 | расчёт, у предела не снималось |
Staging при заполненном пределе: 250 × 10 458 117 байт ≈ 2,4 ГиБ плюс превышение — расчёт, на `lp` у предела не снималось. Отставание очистки: наибольшее число `ready` с необнулённым staging за конфигурацию 35–194 (`timeline.csv`), очищается следующими проходами уборщика (60 с). Ограничение счёта, а не байтов названо ниже.
**Ограничения метода.**
- Один хост и ВМ Docker Desktop (arm64, 12 CPU, 7,75 ГиБ): лимит 1 CPU — квота CFS, а не отдельное ядро; генератор и посторонние контейнеры на той же ВМ, доля их CPU видна по `vm`.
- Один worker; второй — только в своём блоке и на классе, где S3 не узкое место (CPU S3 ~0,08): общая формула масштабирования не утверждается.
- Ячейка — один класс, один файл на все загрузки: смесь размеров и разброс содержимого не мерятся.
- Окна короткие, 20–45 с перегрузки: многочасовая перегрузка, autovacuum под длинным оборотом и рост WAL не мерятся, проба — только 90 с оборота.
- Открытая модель без повторов: поток клиентов, послушно повторяющих после `Retry-After`, не мерится; отказ считается отказом.
- PostgreSQL, relay и брокер в этих интенсивностях не упираются: их предел трек не определяет; `max_published_backlog` и предел памяти брокера нагрузкой не достигаются. Метка это подтвердила (таблица backpressure).
- Одна нода S3, staging и конечный префикс на одном диске ВМ; ячейки — на свежем volume, поэтому рост памяти S3 с накопленными объектами не мерится (проба на старом стенде — `KNOWN_ISSUES.md`).
- Выборки `before` и `after` малы на `lp`: повторы сводятся, p99 у малых выборок — только справочно.
- **Поправлено по метке.** В решении 12 стояло: завершение процесса 1 ядром при (4, 4) на `lp` случайно, один подтверждённый случай и один по тем же признакам из пяти прогонов. Метка показала его в трёх ячейках из трёх, 16 раз. Частота из трёх повторов по-прежнему не следует, но «редко» неверно. «Работа не теряется» верно только с оговоркой: 2 задания из 188 ушли в `failed` и ждут `make replay`.
- Предел считает задания, а не байты: `lp` в 3 раза дороже `s` при том же счёте; предел один на стенд, справедливости между пользователями нет.
### Отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
@@ -562,14 +716,17 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
- **Объект, дописанный прежней попыткой.** Фиксацию fencing прежней попытке запрещает, но замороженный процесс после разморозки может записать объект теми же байтами: ключ тот же, версия декодера та же.
- **Профиль ICC отбрасывается.** Учебные данные — sRGB; изображение с другим профилем изменит цвет в вариантах.
- **Лимит памяти на macOS.** `setrlimit(RLIMIT_AS)` на хосте macOS отказывает, консольный worker это пишет в журнал (`render_memory_limit_applied`); на стенде Linux лимит действует.
- **Цена процесса на задание.** ~100 мс CPU на маленьком файле; forkserver (9 мс) отвергнут сейчас: секреты родителя в окружении и свой жизненный цикл. Граница — один модуль, цену меряет трек 1.
- **Цена процесса на задание.** Метка `baseline`: CPU worker на задание при (2, 2) — 0,30 с на `s` и `m`, 0,39 на `lj`, 0,94 на `lp` (`evidence/queue/baseline/cells.csv`). Долю запуска процесса метка не выделяет, проба — ~100 мс на маленьком файле. Forkserver (9 мс) отвергнут сейчас: секреты родителя в окружении и свой жизненный цикл. Граница — один модуль.
- **Изоляция секретов процесса обработки неполная.** В его окружении секретов нет, но он идёт под тем же UID, что процесс 1 worker, и может прочитать `/proc/1/environ` с ключами S3 и паролями PostgreSQL и брокера. От случайной утечки это защищает, после эксплойта декодера — нет. Предложение — `PR_SET_DUMPABLE=0` в процессе worker, вопрос преподавателю (`QUESTIONS.md`, `## pipeline-reliability`).
- **Дорогие файлы тратят CPU до лимита.** 15 с CPU на файл, при конкуренции 2 такой поток занимает worker; скорость подачи ограничивают только места загрузки. Ограничение принятой работы — трек 1.
- **Дорогие файлы занимают worker.** Предел считает задания, а не байты и CPU: файл на границе контракта стоит ~1 с CPU, и поток таких файлов при 250 незавершённых ждёт ~260 с. Лимит на файл прежний — 15 с CPU.
- **Завершение процесса 1 worker ядром.** Конкуренция, которая не помещается в лимит памяти, стоит не только повторов: `lp` (4, 4) — 16 перезапусков за три прогона, задания ждут аренду 70 с, 2 из 188 ушли в `failed` `retry_exhausted`. Значение по умолчанию на всех классах помещается; правило подбора — раздел «Очередь под перегрузкой».
- **Приём у границы байтов отнимает S3 у worker.** Готовых/с 0,80–0,93 вместо 2,87–2,97, пока S3 занят приёмом. Приоритета обработки нет, предел останавливает это на ~35-й секунде такой нагрузки.
- **Предел мягкий и один на стенд.** Превышение — загрузки в полёте (измерено до 285 при пределе 250), справедливости между пользователями и чатами нет.
- **Сверка не проверяет объекты вариантов.** Наличие и размер объектов вариантов сверка не проверяет: вариант без объекта даёт 500 на скачивание и `error` в журнале (`test_missing_variant`). Объекты staging она с этого уровня видит (`orphan_staging`).
- **Удаление очереди при работающем worker.** Потребитель этого не замечает: relay создаст очередь заново, worker нужно перезапустить. На стенде такого нет, кроме уборки своей очереди после остановки своего worker.
- **Старые `ready` без `crop` и `optimized`.** Вложения уровня 3 остаются с одним thumbnail, скачивание этих вариантов — 404; replay `ready` запрещён намеренно. Показано в `evidence/migrations/pipeline-reliability.md`.
- **Staging и конечный префикс на одном сервере S3.** Устойчивость staging — устойчивость этого сервера и bucket: отказ диска или ВМ теряет и то, и другое.
- **Отставание очистки staging.** Объект живёт до следующего прохода уборщика (60 с); под нагрузкой при 0,25 CPU он может отставать, отставание меряет трек 1.
- **Отставание очистки staging.** Объект живёт до следующего прохода уборщика (60 с). Метка `baseline`: наибольший долг по конфигурациям 35–194 вложения, разбирается следующими проходами; многочасовая нагрузка не мерилась. S3 на долго живущем стенде — `KNOWN_ISSUES.md`.
- **Смесь версий при замене на уровень 3 и новые статусы.** С версии лабы 4: прежняя реплика отвечает 201 `ready` и даёт 500 на чтении строки нового статуса (`evidence/migrations/async-attachments.md`). Для загрузок реплик прежней версии, переживших grace, защита пометкой уборщика не гарантирована: они пометку не проверяют. Запись — `KNOWN_ISSUES.md`. Порядок обновления с уровня 3 — раздел «Разрыв COMMIT и publish и окна отказа».
- **Прерванное остановкой задание.** Задание, прерванное `docker stop` дольше `graceful_shutdown_seconds` (8 с), считается начатой попыткой и продолжается по аренде: release на пути отмены ненадёжен. Замер на двух дорогих JPEG: 8,15 с, при замороженных PostgreSQL и брокере 9,18 с (`evidence/worker/process.md`). Худший случай остановки 8 + 0,5 + 0,5 + 0,5 = 9,5 с < 10 с.
- **Искажения данных скана JPEG.** Структурная проверка и libjpeg байт внутри данных скана ошибкой не считают: такое вложение становится `ready`, а варианты будут с мусором. Проверка не декодирует пиксели при приёме намеренно.
@@ -583,11 +740,11 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
- CHECK статуса, `ck_attachments_error_code_failed` и `ck_attachment_jobs_attempt_base` остаются `NOT VALID`: `VALIDATE` держал бы блокировку на время просмотра таблицы, а прежние строки условиям отвечают.
- Один пользователь брокера на relay и worker; разделение прав — лаба 7.
- Предел памяти брокера 400 МиБ блокирует публикацию: relay получает отказ по сроку 2 с, загрузка по-прежнему 202, намерения копятся в PostgreSQL (`test_broker_memory_alarm`). Ограничения принятой работы на входе API нет, это трек 1.
- Предел памяти брокера 400 МиБ блокирует публикацию: relay получает отказ по сроку 2 с, загрузка по-прежнему 202, намерения копятся в PostgreSQL (`test_broker_memory_alarm`), пока не достигнут предел незавершённых заданий.
- Ранний ответ при загрузке: `urllib` напрямую к реплике на большом теле теряет ранний ответ; через LB и с httpx или curl — получает.
- Keyset-пагинация: порядок задаёт `(created_at, id)`; `created_at` назначает сервер, при расхождении часов реплик порядок вставки возможен только по этому ключу.
**Следующие шаги.** `track1-queue-overload` (уровень 5): сравнение concurrency и prefetch на разных размерах, throughput, queue lag, p95 времени до `ready`, RSS, backpressure, ограничение принятой работы и восстановление. Подтверждено замером только то, что есть в разделах выше; поведение под перегрузкой очереди пока гипотеза.
**Следующие шаги.** Снять на итоговом коде оставшиеся доказательства исключений сверки покрытия: `evidence/auth/passwords-and-tokens.md`, `evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md`, пока `test_exclusion_evidence_exists` по ним красный. Вне трека и не сделано: приоритет обработки над приёмом в S3, предел по байтам и на пользователя, forkserver, рост памяти S3 с накопленными объектами. Подтверждено замером только то, что есть в разделах выше.
## Источники, библиотеки и использование ИИ
@@ -133,13 +133,13 @@
- [x] 9.1 `make bench_queue` (метка `baseline`, ~2 ч 10 мин). Прерывание — `RESUME=1`.
Проверка: код 0; `meta.json`: `git.dirty` false, `host_state`, план 57 ячеек; `swapouts_delta` 0 или пометка разобрана: настоящая помеха — переснять под новой меткой.
- [ ] 9.2 Коммит метки. `make student_test` на рабочем стенде после `make run_docker`.
- [x] 9.2 Коммит метки. `make student_test` на рабочем стенде после `make run_docker`.
Проверка: `test_exclusion_evidence_exists` зелёный.
- [ ] 9.3 `REPORT.md`, раздел «Очередь под перегрузкой»: таблицы из `summary.md` — throughput, очередь, p50, p95, p99 до `ready`, RSS, `memory.peak`, CPU и троттлинг по настройкам и классам; блоки; backpressure и ограничение принятой работы (таблица решения 4 с числами метки); восстановление; вывод по каждой гипотезе; компромисс latency и ресурсов; рекомендация и решение о значениях по умолчанию; обоснование предела по измеренному потолку; S3 как общий ресурс приёма и worker; завершение процесса 1 ядром; ограничения метода, в том числе память S3 на долго живущем стенде (`KNOWN_ISSUES.md`). «Трек 1 уровня 5» в таблице критериев; разделы «Сервисы», «Ограничения», «Следующие шаги», «Ответы на вопросы защиты» — по изменениям; шаг защиты.
Проверка: `test_exclusion_evidence_exists` зелёный. **Оговорка:** по метке зелёный, файл `evidence/queue/baseline/summary.md` он больше не называет; остаётся красным по трём файлам вне change (`evidence/auth/passwords-and-tokens.md`, `evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md`), их снимают на финальном шаге лабы на итоговом коде.
- [x] 9.3 `REPORT.md`, раздел «Очередь под перегрузкой»: таблицы из `summary.md` — throughput, очередь, p50, p95, p99 до `ready`, RSS, `memory.peak`, CPU и троттлинг по настройкам и классам; блоки; backpressure и ограничение принятой работы (таблица решения 4 с числами метки); восстановление; вывод по каждой гипотезе; компромисс latency и ресурсов; рекомендация и решение о значениях по умолчанию; обоснование предела по измеренному потолку; S3 как общий ресурс приёма и worker; завершение процесса 1 ядром; ограничения метода, в том числе память S3 на долго живущем стенде (`KNOWN_ISSUES.md`). «Трек 1 уровня 5» в таблице критериев; разделы «Сервисы», «Ограничения», «Следующие шаги», «Ответы на вопросы защиты» — по изменениям; шаг защиты.
Проверка: числа совпадают с `summary.md` метки; `make lint`, `make check`, `openspec validate track1-queue-overload --strict`.
- [ ] 9.4 Если правило решения 12 меняет значения по умолчанию — отдельный commit значения, `make bench_queue_quick`, строка в отчёте. Иначе — запись в отчёте, что значения оставлены, и почему.
- [x] 9.4 Если правило решения 12 меняет значения по умолчанию — отдельный commit значения, `make bench_queue_quick`, строка в отчёте. Иначе — запись в отчёте, что значения оставлены, и почему.
Проверка: `git log` называет шаг; `make test`.
- [ ] 9.5 Коммит отчёта основной сессией.