diff --git a/REPORT.md b/REPORT.md index 3512c6bf..4ce5e9d8 100644 --- a/REPORT.md +++ b/REPORT.md @@ -2,8 +2,8 @@ - Автор, группа: Сафронов Роман Николаевич, БВТ2301 - Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Очередь под перегрузкой» -- Состояние отчёта: закрыты **уровень 3** (change `async-attachments`) и **уровень 4** (change `pipeline-reliability`). Раздел уровня 5 закрывает `track1-queue-overload` -- Commit/PR: измеренное состояние — `d8fe2e8` (ветка `feat/unit-of-work`, перенос на единицу работы и правки verify); снятое на прежних `6ba74b1`, `399da05`, `e2a6427` и `ff1a83b` названо в разделе доказательств; PR — TODO после публикации +- Состояние отчёта: закрыты **уровень 3** (change `async-attachments`) и **уровень 4** (change `pipeline-reliability`); уровень 5, трек 1 — change `track1-queue-overload`, метка `baseline`, раздел «Очередь под перегрузкой». Открыты три доказательства исключений сверки покрытия («Следующие шаги») +- Commit/PR: трек 1 — код `d667fa3`, метка `7999002` (ветка `feat/track1-queue-overload`); уровни 3 и 4 — `d8fe2e8` (ветка `feat/unit-of-work`, перенос на единицу работы и правки verify); снятое на прежних `6ba74b1`, `399da05`, `e2a6427` и `ff1a83b` названо в разделе доказательств; PR — TODO после публикации - Источники, библиотеки и помощь ИИ — последний раздел ## Запуск из чистого clone @@ -248,7 +248,9 @@ CPU на успешный запрос при постоянных 200 запр **Соединения PostgreSQL:** `API_REPLICAS × 10 + migrate 1 + cleaner 1 + worker 2 + relay 1`. При двух репликах 25; во время поочерёдной замены (третья реплика) 35; `max_connections` 100. Переполнения пула нет (`max_overflow` 0). -**Лимит worker 1 ГБ:** расчёт — раздел «Варианты и лимиты обработки», проверяет `test_max_pixels_fit_worker_memory`. +**Лимит worker 1 ГБ:** расчёт — раздел «Варианты и лимиты обработки», проверяет `test_max_pixels_fit_worker_memory`. На метке `baseline` при конкуренции 2 `memory.peak` до 838 МиБ на самом дорогом классе; конкуренция 4 в этот лимит на нём не помещается (раздел «Очередь под перегрузкой»). + +**Предел принятой работы:** `[uploads] max_unfinished_jobs` 250 незавершённых заданий на стенд, 0 — без предела. Обоснование по измеренному потолку — там же. ### Соответствие переменных `.env.example` @@ -321,10 +323,10 @@ CPU на успешный запрос при постоянных 200 запр 5. **Допустим ли на уровне 3 ответ 503 при недоступном брокере?** Закрыт уровнем 4: отказ брокера больше не даёт 503, на загрузке 503 только от S3 и PostgreSQL. На уровне 3 был 503: relay ещё не было. 6. **Контракт требует EXIF orientation и alpha на белый только у thumbnail. Как с `crop` и `optimized`?** Сделано: ориентация применяется у обоих (иначе EXIF, удалённый из WebP, повернул бы изображение), `crop` компонуется на белый (JPEG), `optimized` сохраняет прозрачность. Другой ответ правит одну функцию и сценарий. 7. **Контракт называет replay «явным операторским», но не говорит, как его вызывать.** Достаточно ли команды в контейнере? Сделано: `make replay`, HTTP-ручки нет: в API нет роли оператора. Другой ответ добавляет ручку поверх той же транзакции. -10. **Предел незавершённых заданий: 429 или 503?** Контракт называет 429 «ограничением частоты запросов», здесь ограничено количество принятой работы; 503 — «зависимость недоступна». Сделано: 429 `rate_limited` с `Retry-After: 5`, как у занятых мест: зависимости живы, реплика готова. Другой ответ меняет строку `DOMAIN_ERRORS` и сценарии. -11. **Как долго загрузка обязана отвечать 202 при остановленном worker?** Рубрика уровня 3 показывает «worker остановлен → upload 202», трек 1 требует ограничить принятую работу. Сделано: пока незавершённых меньше предела (250); дальше 429, а текст, история, метаданные, готовые байты и `/health/ready` работают. Другой ответ — значение настройки. 8. **Изображение, не уложившееся в лимиты времени или памяти обработки, — это `invalid_image` или отдельный код?** Сделано: `invalid_image`, точная причина — в записи для оператора. Другой ответ добавляет значение enum и требует обновить реплики раньше worker. 9. **Контракт требует retention «неуспешных и непривязанных исходников», но молчит о конечных объектах, которые успела записать неудачная попытка.** Сделано: по истечении срока удаляются и они, метаданные `failed` остаются. Другой ответ убирает один шаг очистки. +10. **Предел незавершённых заданий: 429 или 503?** Контракт называет 429 «ограничением частоты запросов», здесь ограничено количество принятой работы; 503 — «зависимость недоступна». Сделано: 429 `rate_limited` с `Retry-After: 5`, как у занятых мест: зависимости живы, реплика готова. Другой ответ меняет строку `DOMAIN_ERRORS` и сценарии. +11. **Как долго загрузка обязана отвечать 202 при остановленном worker?** Рубрика уровня 3 показывает «worker остановлен → upload 202», трек 1 требует ограничить принятую работу. Сделано: пока незавершённых меньше предела (250); дальше 429, а текст, история, метаданные, готовые байты и `/health/ready` работают. Другой ответ — значение настройки. ### Ответы на вопросы защиты @@ -336,6 +338,8 @@ CPU на успешный запрос при постоянных 200 запр **Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?** Только сроком: флаг `redelivered` этого не доказывает, брокер ставит его и после `nack`. Попытка жёстко ограничена: шаги прерывает `asyncio.timeout(job_timeout_seconds)`, процесс обработки убивается, поэтому аренда `job_timeout + lease_margin` (70 с) обходится без пульса. Истёкшая аренда значит «мёртв или заморожен», такую попытку возвращает relay. Пока аренда жива, дубль подтверждается без эффекта и без траты номера (`busy`, `test_duplicate_during_processing`), долгая живая попытка не теряет работу (`test_long_attempt_keeps_lease`). Новая попытка получает новый номер, и фиксация условна: `state = 'processing' AND attempt = :своя`. Размороженный прежний процесс получает `superseded` и ничего не меняет, в том числе пока новая попытка ещё идёт: тогда решает только номер (`test_hung_worker_lease_fencing`). Цена — после KILL следующая попытка ждёт аренду, до 70 с (наблюдали 70 с, `evidence/attachments/defense-faults.md`). Пульс отвергнут: запись на задание каждые несколько секунд, зависимость от event loop и ложные срабатывания под перегрузкой. +**Где работа перестаёт приниматься и ускоряться, и почему предел — 429?** Приниматься — на местах загрузки реплики и на пределе незавершённых заданий: оба уровня отвечают 429 с `Retry-After`. Ускоряться — на CPU worker: при 1 CPU конкуренция сверх двух не поднимает потолок, а на `lp` ломает обработку; у файлов на границе байтов ещё на CPU S3, общем для приёма и обработки. За входом клиент видит только дольше неизменный `queued`. 429, а не 503: зависимости живы, реплика готова и остаётся в LB, а текст, история, метаданные и готовые байты работают. Трактовка — вопрос 10 преподавателю. Числа — раздел «Очередь под перегрузкой». + ### Сценарий защиты Порядок автоматизирован: `driver.py --port 8080 defense-scenario` → `evidence/attachments/defense.md`, тот же порядок на стенде отказов — `test_defense_scenario`. @@ -354,7 +358,7 @@ CPU на успешный запрос при постоянных 200 запр | replay `failed` | staging подменён, `failed` `source_corrupted`, реестр без изменений, объект возвращён, `--apply` | 2 | `ready`, то же задание, `attempt_base` 1, запись аудита | | replay готового | `--apply` на `ready` | 1 | код 3, `already_ready`, ничего не изменилось | -Выбранный эксперимент уровня 5 — `track1-queue-overload`. +5. **Для 5 — выбранный эксперимент, трек 1:** `make bench_queue_quick` (~11 мин, рабочий стенд — `make stop`) на глазах или заранее и разбор `evidence/queue/baseline/summary.md`: таблица настроек, плато предела, второй worker, рестарты. ## Доказательства критериев @@ -431,7 +435,15 @@ CPU на успешный запрос при постоянных 200 запр ### Трек 1 уровня 5 -Change `track1-queue-overload`: предел принятой работы и профиль `make bench_queue` реализованы, гипотезы — раздел «Очередь под перегрузкой»; метка `baseline` и выводы по ней — следующий шаг. +Change `track1-queue-overload`, код `d667fa3`, метка `7999002`. Гипотезы, таблицы и выводы — раздел «Очередь под перегрузкой». + +| Критерий | Команда | Результат | Файл | +|---|---|---|---| +| ≥3 настройки на разных размерах | `make bench_queue` | 4 настройки × 4 класса (12 конфигураций) × 3 повтора | `evidence/queue/baseline/summary.md` | +| Throughput, очередь, p95 до `ready`, RSS | там же | таблица «Настройки и классы» | `evidence/queue/baseline/cells.csv`, `timeline.csv` | +| Backpressure и ограничение принятой работы | там же, `make failure_checks FAULT_ARGS='-k backlog'` | плато 250 против 425; 429 от мест, затем от предела; 6 тестов отказов | `evidence/queue/baseline/summary.md` | +| Восстановление | там же | ноль незавершённых без оператора в 57 ячейках, потерянных и зависших 0; на `lp` (4, 4) 2 задания в `failed`, возврат — `make replay` | `evidence/queue/baseline/cells.csv` | +| Компромисс latency и ресурсов | там же | раздел «Очередь под перегрузкой» | `REPORT.md` | ## Эксперименты и отказы @@ -481,7 +493,9 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку ### Очередь под перегрузкой -Трек 1 уровня 5, change `track1-queue-overload`. Гипотезы и правило записаны и закоммичены раньше первой метки; числа метки появятся ниже, когда она будет снята (`evidence/queue/baseline/summary.md`). Числа порогов — из проб стадии propose (design, раздел «Пробы»): это пробы, а не результат. +Трек 1 уровня 5, change `track1-queue-overload`. **Код метки — commit `d667fa3`, сама метка `baseline` — commit `7999002`** (`dirty` false, 57 ячеек из 57, 2 ч 05 мин, `swapouts_delta` 0, сна нет, питание от сети, предупреждений о хосте нет, посторонние контейнеры `domains-*` названы в паспорте). Гипотезы и правило записаны и закоммичены раньше метки. Числа порогов — из проб стадии propose (design, раздел «Пробы»); числа результатов ниже — из `evidence/queue/baseline/summary.md` и `evidence/queue/baseline/cells.csv`. + +**Главное.** Подтверждены H1, H2, H3, H5, H6, H7, H8, H9, **H4 не подтверждена** (2 ячейки из 33 ниже порога, причина — разбор ниже). Рекомендация правила — (2, 2), значения по умолчанию оставлены. Конкуренция сверх двух при 1 CPU не ускоряет, а на `lp` (4, 4) ломает обработку: 16 перезапусков worker за три ячейки и 2 принятых задания в `failed`. Настоящее ускорение даёт второй worker. **Команда:** `make bench_queue` (метка `baseline`, ~2 ч 10 мин, `RESUME=1`), самопроверка — `make bench_queue_quick` (~11 мин, метка в git не идёт). @@ -531,6 +545,146 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку **Правило рекомендации.** Кандидат — настройка без `oom` и `failed` ни на одном классе, с throughput не ниже 90 % лучшей на каждом классе; из кандидатов — наименьшая конкуренция, а `prefetch` равен конкуренции. Значения по умолчанию меняются, только если рекомендация отличается от (2, 2), и выигрыш по throughput или памяти на каком-либо классе вне шума при том, что на остальных она не хуже в пределах шума; такая правка — отдельный commit после метки с повтором `make bench_queue_quick`. Компромисс latency и ресурсов — вывод из таблиц метки; проверяемая формула: `concurrency ≤ min(CPU + доля ожидания, (лимит − база) / пик процесса)`. +**Вердикты** (`evidence/queue/baseline/summary.md`, раздел «Гипотезы»). + +| № | Вердикт | На чём | +|---|---|---| +| H1 | подтверждено | (4, 4) / (2, 2) по throughput восстановления: `s` 2,57 / 3,02, `m` 2,67 / 2,95, `lj` 2,12 / 2,32, `lp` 0,24 / 0,96; (1, 1) / (2, 2): `m` 2,54 / 2,95, `lp` 0,94 / 0,96 | +| H2 | подтверждено | `duration_ms` p50 (4, 4) / (2, 2): `s` 1503 / 634, `m` 1413 / 666, `lj` 1806 / 832, `lp` 3902 / 2060 мс; `memory.peak` (2, 2) не выше 838 МиБ; `lp` (4, 4) — 1024 МиБ во всех повторах; `lj` (4, 4) — 299 МиБ | +| H3 | подтверждено | пик очереди брокера при (2, 256) — 0, при (2, 2) на `s` — 98 из 100; второй worker взял 47–48 % заданий при `prefetch` 2 и 0 при 256 | +| H4 | **нет** | `m-c1p1-r2` 0,797, `m-c1p1-r3` 0,778 при нижней границе 0,8; разбор ниже | +| H5 | подтверждено | пик 250 с пределом против 425 без него; p95 81,4 против 134,0 с; восстановление 81,5 против 141,5 с; все 429 — от предела, `Retry-After` 5; загрузка `before` p50 16 против 15 мс | +| H6 | подтверждено | `lost`, `stuck`, `duplicate`, `sha_mismatch` — 0 во всех ячейках, 2280 проверенных SHA-256; `failed` — только 2 на `lp-c4p4-r1`, что порог допускает: при `oom` и `retry_exhausted` | +| H7 | подтверждено | вне `accept` наибольшие p95 за все окна: запись 54,5, чтение 14,6, скачивание 262,4 мс; 5xx контрольного потока и `lb_down` нет | +| H8 | подтверждено | `kill-worker`: заданий с повтором 2 во всех повторах, восстановление 58,5 с; `restart-broker`: повторов 0, 5xx нет, восстановление 44,6 с | +| H9 | подтверждено | первый `busy` на 3,1–3,3 с, первый `backlog` на 34,0–36,3 с; CPU S3 в первые 30 с 1,00; принято 306–309 за 45 с; пик 282–285; готовых/с 0,80–0,93 в окне и 2,87–2,97 после | + +**Настройки и классы** (`evidence/queue/baseline/summary.md`, «Ячейки по конфигурациям»; медиана и min–max трёх повторов). «Процесс» — пик процесса обработки по его отчёту: p50 / наибольший. + +| Класс | (c, p) | Готовых/с: окно | восстановление | Пик незаверш. | Пик брокера | До `ready` over p50 / p95 / p99, с | Восст., с | `memory.peak`, МиБ | VmHWM, МиБ | Процесс, МиБ | CPU worker, S3 | Троттлинг worker | OOM | Перезапуски | +|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| +| `s` | (2, 2) | 3.00 (2.90–3.00) | 3.02 (3.01–3.05) | 100 (99–102) | 98 (97–99) | 17.1 / 31.7 / 33.1 | 33.6 (33.5–34.5) | 175 (175–176) | 114 | 49 / 49 | 1.00, 0.08 | 0.99 | 0 | 0 | +| `s` | (4, 4) | 2.60 (2.60–2.60) | 2.57 (2.35–2.57) | 107 (106–108) | 102 (102–104) | 21.4 / 41.2 / 42.3 | 42.5 (42.5–46.5) | 251 (247–251) | 116 | 49 / 49 | 0.99, 0.08 | 0.99 | 0 | 0 | +| `s` | (2, 256) | 3.00 (2.95–3.00) | 3.01 (2.96–3.05) | 101 (100–102) | 0 (0–0) | 17.1 / 31.9 / 33.4 | 33.6 (33.5–34.5) | 175 (175–175) | 114 | 49 / 49 | 0.99, 0.08 | 0.99 | 0 | 0 | +| `m` | (1, 1) | 2.10 (2.05–2.15) | 2.54 (2.51–2.56) | 78 (77–79) | 76 (74–78) | 16.8 / 29.6 / 30.8 | 31.2 (30.3–31.3) | 154 (154–154) | 136 | 58 / 58 | 0.71, 0.70 | 0.15 | 0 | 0 | +| `m` | (2, 2) | 2.70 (2.65–2.75) | 2.95 (2.90–3.03) | 66 (64–68) | 63 (62–64) | 12.1 / 21.5 / 22.3 | 23.2 (21.5–23.3) | 211 (210–211) | 161 | 58 / 58 | 0.95, 0.77 | 0.89 | 0 | 0 | +| `m` | (4, 4) | 2.70 (2.70–2.70) | 2.67 (2.57–2.71) | 67 (66–67) | 62 (62–62) | 12.7 / 23.9 / 24.6 | 25.5 (25.4–26.2) | 290 (280–293) | 199 | 58 / 58 | 0.98, 0.78 | 0.96 | 0 | 0 | +| `lj` | (2, 2) | 2.15 (2.00–2.25) | 2.32 (2.29–2.34) | 78 (75–81) | 75 (73–79) | 17.4 / 32.2 / 33.8 | 34.4 (32.3–35.2) | 206 (204–206) | 151 | 57 / 57 | 0.96, 0.62 | 0.92 | 0 | 0 | +| `lj` | (4, 4) | 2.10 (1.95–2.15) | 2.12 (2.08–2.14) | 78 (76–82) | 73 (72–78) | 18.3 / 35.8 / 37.0 | 37.4 (36.3–39.3) | 299 (293–306) | 188 | 57 / 57 | 0.99, 0.64 | 0.97 | 0 | 0 | +| `lp` | (1, 1) | 0.85 (0.85–0.85) | 0.94 (0.91–0.94) | 34 (33–34) | 33 (32–33) | 19.5 / 34.9 / 36.2 | 36.4 (36.4–37.0) | 467 (466–467) | 136 | 367 / 368 | 0.90, 0.29 | 0.23 | 0 | 0 | +| `lp` | (2, 2) | 0.85 (0.85–0.90) | 0.96 (0.96–0.99) | 33 (32–34) | 31 (30–32) | 18.5 / 33.9 / 35.1 | 35.0 (33.8–35.4) | 830 (696–838) | 160 | 367 / 368 | 0.97, 0.30 | 0.97 | 0 | 0 | +| `lp` | (2, 256) | 0.90 (0.90–0.90) | 0.96 (0.94–0.96) | 34 (32–34) | 0 (0–0) | 19.5 / 34.0 / 35.3 | 34.8 (34.0–35.7) | 832 (742–834) | 160 | 367 / 368 | 0.97, 0.30 | 0.98 | 0 | 0 | +| `lp` | (4, 4) | 0.40 (0.30–0.40) | 0.24 (0.17–0.53) | 44 (44–46) | 38 (37–42) | 70.0 / 194.2 / 204.2 | 187.1 (83.1–249.1) | 1024 (1024–1024) | 215 | 367 / 368 | 0.97, 0.34 | 0.98 | 159 | 16 | + +- **VmHWM у `lp` (4, 4) (215 МиБ) — только последняя жизнь контейнера:** его читают в конце ячейки, а контейнер за ячейку перезапускался до 10 раз. Это не наибольшее значение за ячейку и не сравнимо с соседними строками. +- **Столбцы OOM и «Перезапуски»** — суммы трёх повторов. Столбец OOM уже включает перезапуски: счётчик `oom_kill` прочитан у 143 завершений, 16 прибавлены как перезапуски (design, «Уточнения apply», п. 1). + +**Блоки** (`evidence/queue/baseline/summary.md`, «Ячейки по конфигурациям» и «Блоки»; последний столбец — `evidence/queue/baseline/cells.csv`). + +| Блок | Принято | 429 | Готовых/с: окно | восстановление | Пик | p95 до `ready`, с | Восст., с | Второй worker | +|---|---|---|---|---|---|---|---|---| +| `gate-on`: 20/с, 25 с, предел 250 | 355 (355–357) | 177 (176–178) | 2.96 | 3.07 | 250 (250–250) | 81.4 | 81.5 (81.5–83.5) | — | +| `gate-off`: то же, без предела | 532 (531–533) | 0 | 3.00 | 3.02 | 425 (423–426) | 134.0 | 141.5 (138.5–141.5) | — | +| `accept`: `m`, 15/с, 45 с | 338 (337–339) | 369 (366–369) | 0.89 (0.80–0.93) | 2.95 (2.87–2.97) | 283 (282–285) | 92.7 | 90.2 (90.2–95.4) | — | +| `w2-p2` | 191 (190–192) | 0 | 2.95 | 5.54 (5.52–5.78) | 100 (100–101) | 17.4 | 18.4 (17.6–18.6) | 48 заданий, 0,47–0,48 | +| `w2-p256` | 193 (191–193) | 0 | 3.00 | 3.04 (2.99–3.06) | 101 (100–102) | 31.6 | 33.5 (33.4–34.4) | 0 заданий | +| `kill-worker` | 231 (231–233) | 0 | 2.80 | 2.24 (2.21–2.26) | 129 (127–132) | 40.9 | 58.5 (58.4–58.6) | — | +| `restart-broker` | 231 (231–231) | 0 | 2.52 | 3.08 (2.95–3.11) | 137 (136–137) | 42.6 | 44.6 (44.4–46.5) | — | + +**Backpressure: где работа перестаёт приниматься и ускоряться.** + +| Уровень | Значение | Что видит клиент | Что показала метка | +|---|---|---|---| +| Места загрузки реплики | 4 + 16, ожидание 5 с | 429, `Retry-After: 1` | `accept`: 204–236 отказов с 3,1–3,3 с окна, загрузка 202 p50 ~4,8 с | +| Предел заданий | 250 | 429, `Retry-After: 5`, сразу | `gate-on`: плато ровно 250, первый отказ на ~14,7 с; `accept`: 130–165 отказов с 34,0–36,3 с, пик 282–285 | +| Шлюз S3, общий с worker | 1 CPU | загрузка дольше | `accept`: CPU S3 1,00 в первые 30 с, готовых/с 0,80–0,93 вместо 2,87–2,97 после окна | +| Outbox | копит | `queued` | держится на 1–6, relay не узкое место; при рестарте брокера — до 47 | +| `max_published_backlog` | 1000 | `queued` | не достигнут ни в одной ячейке | +| Предел памяти брокера | 400 МиБ | `queued` | не достигнут: медиана памяти брокера по конфигурациям 207–227 МиБ. Срабатывание проверяет `test_broker_memory_alarm`, отказы публикации в метке — только в `restart-broker` (2–3 прохода) | +| `prefetch` | 2 | `queued` | неподтверждённых не больше `prefetch` во всех ячейках с (2, 2); при 256 — до 100 на `s` и до 34 на `lp`, а в очереди брокера 0 | +| `concurrency` | 2 | `processing` | `processing` не больше конкуренции, кроме ячеек с гибелью worker: строки убитого ждут аренду (`kill-worker` — 4, `lp` (4, 4) — 8–30); `w2-*` — 4 на двух worker | +| Лимит контейнера | 1 ГБ | дольше до `ready`, `failed` при исчерпании попыток | (2, 2) помещается на всех классах, `lp` (4, 4) — нет | + +Клиент за входом видит только дольше не меняющееся `queued`, ни одного кода ошибки. Перестаёт приниматься на первых двух уровнях. Перестаёт ускоряться на CPU worker (конкуренция сверх двух), а на файлах у границы байтов — ещё на CPU S3, и там приём отнимает ресурс у обработки. Предел заданий останавливает это только на ~35-й секунде такой нагрузки: приоритета обработки над приёмом в S3 нет, это ограничение. + +**Разбор H4: почему «нет».** Вердикт остаётся «нет»: условие записано раньше метки и на двух ячейках нарушено. Отношение p95 окна `over` к «пик / throughput окна `over`» (`evidence/queue/baseline/cells.csv`). Правая колонка — та же величина с throughput окна `recovery`: это расчёт после метки, порога у него нет, и на вердикт он не влияет. + +| Конфигурация | Записанное условие, r1 / r2 / r3 | С throughput `recovery`, r1 / r2 / r3 | +|---|---|---| +| `s-c2p2` | 0,912 / 0,938 / 0,962 | 0,948 / 0,953 / 0,968 | +| `s-c2p256` | 0,938 / 0,955 / 0,936 | 0,953 / 0,959 / 0,939 | +| `s-c4p4` | 1,010 / 0,984 / 1,058 | 0,998 / 0,973 / 0,955 | +| `m-c1p1` | 0,803 / **0,797** / **0,778** | 0,958 / 0,953 / 0,966 | +| `m-c2p2` | 0,879 / 0,840 / 0,881 | 0,967 / 0,936 / 0,946 | +| `m-c4p4` | 0,961 / 0,964 / 1,005 | 0,965 / 0,953 / 0,957 | +| `lj-c2p2` | 0,922 / 0,887 / 0,827 | 0,960 / 0,947 / 0,959 | +| `lj-c4p4` | 0,963 / 0,878 / 0,981 | 0,979 / 0,937 / 0,966 | +| `lp-c1p1` | 0,871 / 0,880 / 0,886 | 0,958 / 0,938 / 0,976 | +| `lp-c2p2` | 0,890 / 0,925 / 0,848 | 1,008 / 0,986 / 0,987 | +| `lp-c2p256` | 0,899 / 0,900 / 0,925 | 0,935 / 0,961 / 0,987 | + +Всего 33 ячейки без `oom`: по записанному условию 0,778–1,058, две ниже 0,8; с throughput `recovery` 0,935–1,008. + +- **Проверено по метке.** + - На `m` (1, 1) throughput окна `over` 2,05–2,15, окна `recovery` 2,51–2,56. + - По `timeline.csv` это не разгон: готовых в секунду ровно ~2 все 20 с окна (`m-c1p1-r2`: первые 10 с — 2,1/с, последние — 2,1/с). + - В окне `over` CPU worker 0,70–0,74 и S3 0,69–0,70, в `recovery` — 0,79–0,82 и 0,25–0,26. + - Задание, пришедшее в конце окна, разбирается уже со скоростью `recovery`, а формула считает его по скорости `over`. Поэтому отношение занижено там, где эти скорости расходятся; сильнее всего — на `m` (1, 1). +- **Предположение, метка его не меряет:** в окне `over` worker при (1, 1) медленнее, потому что ждёт S3, занятый приёмом. На это указывают CPU S3 и троттлинг worker 0,15, но времени ожидания S3 в метке нет. +- **Вывод.** Причина в определении: в формулу гипотезы взят throughput окна, а разбирается очередь в основном после него. Это объяснение, а не отмена вердикта. Гипотеза в записанном виде не подтверждена. Данные показывают, что время до `ready` следует за очередью с отклонением до ~22 % вниз, а не с заявленным запасом 20 %, и на классах с заметным S3 отношение почти всегда ниже единицы. На ячейках с `oom` формула неприменима (`lp-c4p4`: 1,766 / 0,827 / 1,271): там задержку определяют аренда и повторы. + +**`lp` (4, 4): что произошло** (`evidence/queue/baseline/cells.csv`). + +| Повтор | Принято | `ready` | `failed` | `oom_kill` с перезапусками | Перезапуски | Заданий с повтором | Истёкших аренд | `processing`, пик | Восст., с | p95 `over`, с | CPU на задание, с | +|---|---|---|---|---|---|---|---|---|---|---|---| +| r1 | 63 | 61 | 2 | 69 | 10 | 36 | 40 | 30 | 249,08 | 194,23 | 2,075 | +| r2 | 62 | 62 | 0 | 30 | 1 | 25 | 4 | 8 | 83,11 | 90,95 | 1,497 | +| r3 | 63 | 63 | 0 | 60 | 5 | 34 | 20 | 20 | 187,07 | 194,96 | 1,824 | + +- **Что значит.** Четыре процесса по 367 МиБ не помещаются в 1 ГБ: `memory.peak` 1024 МиБ, наибольшая `anon` 951–1006 МиБ. Ядро завершает процессы обработки, задания возвращаются на новую попытку и снова занимают память. Работа делается повторно: CPU на задание 1,50–2,08 с против 0,94 при (2, 2). С первого раза не обрабатываются 40–57 % заданий. Когда завершён процесс 1, взятые задания ждут аренду 70 с (пик `processing` 30 при конкуренции 4), и worker простаивает: CPU в окне `recovery` 0,41 / 0,82 / 0,49. Итог — throughput 0,24 вместо 0,96 и p95 194 с вместо 34 с, при том же лимите. После разбора система приходит в норму: p95 окна `after` 1,31–1,36 с. +- **2 `failed` — это 2 принятых задания из 188, ушедших в реестр.** Клиент получил на них 202, а теперь видит `status: failed` и `error_code: retry_exhausted` (причина для оператора — `render_killed`). Варианта нет, новое сообщение с таким вложением получает 409. Сами они не восстановятся: возврат — `make replay ERROR_CODE=retry_exhausted APPLY=1`, оригинал лежит в staging до срока хранения (24 ч). Replay в этой метке не запускался, его проверяют `make failure_checks` и `driver.py defense-faults`. `lost` 0 означает только, что каждое принятое вложение названо состоянием, а не то, что каждое обработано. +- **Расхождение с пробами.** Пробы ждали редких завершений процесса 1: один подтверждённый и один по тем же признакам из пяти прогонов, и в design записано «случайно». Метка показала другое: перезапуски во всех трёх ячейках, 16 за три прогона, до 10 в одной. Причина расхождения разобрана только частично: на пробах стоял `restart: "no"`, первое завершение останавливало опыт, повторяться циклу было негде; метка идёт с `unless-stopped`, и цикл доходит до конца. Что перезапуск снова берёт дорогие задания и завершается по той же причине — предположение: повторные завершения в метке отдельно не прослежены. Частоту трёх повторов как оценку не использовать: она только показывает, что завершение не редкость. +- **Ограничение измерения.** Метка не проверяет причину перезапуска: прибавляет каждый к `oom_kill` по косвенному признаку (design, «Уточнения apply», п. 1), `.State.OOMKilled` после нового старта сброшен. Другой аварийный выход процесса 1 в столбце от завершения ядром не отличается. + +**Восстановление** (`evidence/queue/baseline/cells.csv`). Без действий оператора незавершённых становится ноль во всех 57 ячейках, очередь брокера пуста, `not_recovered` нет. Эффект не дублируется: 0 вторых заданий и наборов вариантов. Скорость разбора не падает: при (2, 2) `recovery` не ниже окна `over`. Время до `ready` возвращается (H6, условие по конфигурациям). Контрольный поток — H7; в `accept` наибольшие p95 — запись 39,2, чтение 15,1, скачивание 355,4 мс (порог H9 — 1 с), p95 скачивания в окне `over` — 342,9 мс против 8,3 на `s` при CPU S3 ~1,0, ошибок нет. Связь с занятым S3 — предположение: отдельно не мерилась. + +**Компромисс latency и ресурсов (вывод из таблиц выше).** + +- **Память без скорости.** По правилу шума решения 11 (разбросы не пересекаются, разница медиан больше наибольшего разброса): + - (4, 4) против (2, 2) — эффект в худшую сторону на `s`, `m`, `lj`: throughput ниже на 15, 10 и 9 %, память выше на 43, 38 и 45 %. На `lp` — потеря обработки. + - (1, 1) против (2, 2) на `lp` — в пределах шума по скорости (0,94 и 0,96), памяти 467 МиБ вместо 830: выигрыш 44 %. + - (1, 1) на `m` — эффект: на 14 % медленнее (2,54 и 2,95), памяти 154 МиБ вместо 211, потому что worker при одном задании ещё ждёт S3 (CPU 0,71). +- **CPU, а не конкуренция, поднимает потолок.** Второй worker на `s`: 5,54 готовых/с вместо 3,02, восстановление 18,4 с вместо 33,6, ценой ещё 1 CPU и 1 ГБ лимита. Формула масштабирования этим не доказана (ограничения ниже). +- **Большой prefetch ничего не даёт и прячет очередь:** та же скорость на `s` и `lp`, брокер показывает 0 готовых, второй worker простаивает, восстановление 33,5 с вместо 18,4. +- **Цена отказа клиенту.** Предел обменивает принятые файлы на срок: 177 загрузок из ~533 получают 429, зато p95 до `ready` 81,4 с вместо 134,0. Цена проверки в окне `before`: p50 16 против 15 мс при разбросе того же порядка. +- **Формула подбора** на двух точках сходится. Память: база ≈ 467 − 368 ≈ 99 МиБ на (1, 1), прогноз для (2, 2) — 99 + 2 × 368 = 835 МиБ при измеренных 830; `(1024 − 99) / 368 ≈ 2,5`, то есть 2 помещается, 4 нет; 3 в метке нет. CPU: при (1, 1) на `m` 0,71 ядра, значит, конкуренция 2 ещё даёт прирост, что и видно; при (2, 2) уже 0,95. Это согласие с данными, а не доказательство: опытов на формулу метка не ставила. + +**Рекомендация и значения по умолчанию** (`evidence/queue/baseline/summary.md`, «Рекомендация»). Правило решения 12 даёт конкуренцию 2, prefetch 2. (1, 1) не кандидат: на `m` throughput ниже 90 % лучшей. (4, 4) не кандидат: на `lp` есть `oom` и `failed`. (2, 256) по правилу сводится к (2, 2): `prefetch` равен конкуренции. **Значения оставлены:** рекомендация совпала с (2, 2), поэтому условие смены не наступило и отдельного commit нет. Условия рекомендации: 1 CPU и 1 ГБ на worker. При другом лимите пересчитать по формуле выше; для потока только больших PNG (1, 1) экономит память без потери скорости, но это другая установка, а не значение по умолчанию. + +**Предел 250 по измеренному потолку.** Обоснование решения 2 опиралось на пробу: потолок `lp` 0,92/с и ожидание ~270 с при границе 300 с (`[relay] republish_after_seconds`). Метка: потолок `lp` при (2, 2) — 0,96/с (`recovery`), 250 / 0,96 ≈ 260 с. **Совпало:** ожидание меньше 300 с, предел менять незачем. Запас меньше, чем кажется: с окном приёма (0,85/с) ~294 с, с превышением (пик до 290) ~302 с, то есть на самой границе. Выход за границу на (2, 2) не должен вредить: по правилу relay копии появляются, только если в очереди ноль готовых, а дубль — без эффекта. В метке копий 0, но `lp` у предела не снимался. + +| Класс | Потолок (2, 2), готовых/с | Ожидание у предела 250, с | Как получено | +|---|---|---|---| +| `s` | 3,02 | ~83 | измерено: `gate-on` p95 81,4 с, восстановление 81,5 с | +| `m` | 2,95 | ~85 | расчёт; `accept` при пике 283 измерил p95 92,7 с | +| `lj` | 2,32 | ~108 | расчёт, у предела не снималось | +| `lp` | 0,96 | ~260 | расчёт, у предела не снималось | + +Staging при заполненном пределе: 250 × 10 458 117 байт ≈ 2,4 ГиБ плюс превышение — расчёт, на `lp` у предела не снималось. Отставание очистки: наибольшее число `ready` с необнулённым staging за конфигурацию 35–194 (`timeline.csv`), очищается следующими проходами уборщика (60 с). Ограничение счёта, а не байтов названо ниже. + +**Ограничения метода.** + +- Один хост и ВМ Docker Desktop (arm64, 12 CPU, 7,75 ГиБ): лимит 1 CPU — квота CFS, а не отдельное ядро; генератор и посторонние контейнеры на той же ВМ, доля их CPU видна по `vm`. +- Один worker; второй — только в своём блоке и на классе, где S3 не узкое место (CPU S3 ~0,08): общая формула масштабирования не утверждается. +- Ячейка — один класс, один файл на все загрузки: смесь размеров и разброс содержимого не мерятся. +- Окна короткие, 20–45 с перегрузки: многочасовая перегрузка, autovacuum под длинным оборотом и рост WAL не мерятся, проба — только 90 с оборота. +- Открытая модель без повторов: поток клиентов, послушно повторяющих после `Retry-After`, не мерится; отказ считается отказом. +- PostgreSQL, relay и брокер в этих интенсивностях не упираются: их предел трек не определяет; `max_published_backlog` и предел памяти брокера нагрузкой не достигаются. Метка это подтвердила (таблица backpressure). +- Одна нода S3, staging и конечный префикс на одном диске ВМ; ячейки — на свежем volume, поэтому рост памяти S3 с накопленными объектами не мерится (проба на старом стенде — `KNOWN_ISSUES.md`). +- Выборки `before` и `after` малы на `lp`: повторы сводятся, p99 у малых выборок — только справочно. +- **Поправлено по метке.** В решении 12 стояло: завершение процесса 1 ядром при (4, 4) на `lp` случайно, один подтверждённый случай и один по тем же признакам из пяти прогонов. Метка показала его в трёх ячейках из трёх, 16 раз. Частота из трёх повторов по-прежнему не следует, но «редко» неверно. «Работа не теряется» верно только с оговоркой: 2 задания из 188 ушли в `failed` и ждут `make replay`. +- Предел считает задания, а не байты: `lp` в 3 раза дороже `s` при том же счёте; предел один на стенд, справедливости между пользователями нет. + ### Отказы | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | @@ -562,14 +716,17 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку - **Объект, дописанный прежней попыткой.** Фиксацию fencing прежней попытке запрещает, но замороженный процесс после разморозки может записать объект теми же байтами: ключ тот же, версия декодера та же. - **Профиль ICC отбрасывается.** Учебные данные — sRGB; изображение с другим профилем изменит цвет в вариантах. - **Лимит памяти на macOS.** `setrlimit(RLIMIT_AS)` на хосте macOS отказывает, консольный worker это пишет в журнал (`render_memory_limit_applied`); на стенде Linux лимит действует. -- **Цена процесса на задание.** ~100 мс CPU на маленьком файле; forkserver (9 мс) отвергнут сейчас: секреты родителя в окружении и свой жизненный цикл. Граница — один модуль, цену меряет трек 1. +- **Цена процесса на задание.** Метка `baseline`: CPU worker на задание при (2, 2) — 0,30 с на `s` и `m`, 0,39 на `lj`, 0,94 на `lp` (`evidence/queue/baseline/cells.csv`). Долю запуска процесса метка не выделяет, проба — ~100 мс на маленьком файле. Forkserver (9 мс) отвергнут сейчас: секреты родителя в окружении и свой жизненный цикл. Граница — один модуль. - **Изоляция секретов процесса обработки неполная.** В его окружении секретов нет, но он идёт под тем же UID, что процесс 1 worker, и может прочитать `/proc/1/environ` с ключами S3 и паролями PostgreSQL и брокера. От случайной утечки это защищает, после эксплойта декодера — нет. Предложение — `PR_SET_DUMPABLE=0` в процессе worker, вопрос преподавателю (`QUESTIONS.md`, `## pipeline-reliability`). -- **Дорогие файлы тратят CPU до лимита.** 15 с CPU на файл, при конкуренции 2 такой поток занимает worker; скорость подачи ограничивают только места загрузки. Ограничение принятой работы — трек 1. +- **Дорогие файлы занимают worker.** Предел считает задания, а не байты и CPU: файл на границе контракта стоит ~1 с CPU, и поток таких файлов при 250 незавершённых ждёт ~260 с. Лимит на файл прежний — 15 с CPU. +- **Завершение процесса 1 worker ядром.** Конкуренция, которая не помещается в лимит памяти, стоит не только повторов: `lp` (4, 4) — 16 перезапусков за три прогона, задания ждут аренду 70 с, 2 из 188 ушли в `failed` `retry_exhausted`. Значение по умолчанию на всех классах помещается; правило подбора — раздел «Очередь под перегрузкой». +- **Приём у границы байтов отнимает S3 у worker.** Готовых/с 0,80–0,93 вместо 2,87–2,97, пока S3 занят приёмом. Приоритета обработки нет, предел останавливает это на ~35-й секунде такой нагрузки. +- **Предел мягкий и один на стенд.** Превышение — загрузки в полёте (измерено до 285 при пределе 250), справедливости между пользователями и чатами нет. - **Сверка не проверяет объекты вариантов.** Наличие и размер объектов вариантов сверка не проверяет: вариант без объекта даёт 500 на скачивание и `error` в журнале (`test_missing_variant`). Объекты staging она с этого уровня видит (`orphan_staging`). - **Удаление очереди при работающем worker.** Потребитель этого не замечает: relay создаст очередь заново, worker нужно перезапустить. На стенде такого нет, кроме уборки своей очереди после остановки своего worker. - **Старые `ready` без `crop` и `optimized`.** Вложения уровня 3 остаются с одним thumbnail, скачивание этих вариантов — 404; replay `ready` запрещён намеренно. Показано в `evidence/migrations/pipeline-reliability.md`. - **Staging и конечный префикс на одном сервере S3.** Устойчивость staging — устойчивость этого сервера и bucket: отказ диска или ВМ теряет и то, и другое. -- **Отставание очистки staging.** Объект живёт до следующего прохода уборщика (60 с); под нагрузкой при 0,25 CPU он может отставать, отставание меряет трек 1. +- **Отставание очистки staging.** Объект живёт до следующего прохода уборщика (60 с). Метка `baseline`: наибольший долг по конфигурациям 35–194 вложения, разбирается следующими проходами; многочасовая нагрузка не мерилась. S3 на долго живущем стенде — `KNOWN_ISSUES.md`. - **Смесь версий при замене на уровень 3 и новые статусы.** С версии лабы 4: прежняя реплика отвечает 201 `ready` и даёт 500 на чтении строки нового статуса (`evidence/migrations/async-attachments.md`). Для загрузок реплик прежней версии, переживших grace, защита пометкой уборщика не гарантирована: они пометку не проверяют. Запись — `KNOWN_ISSUES.md`. Порядок обновления с уровня 3 — раздел «Разрыв COMMIT и publish и окна отказа». - **Прерванное остановкой задание.** Задание, прерванное `docker stop` дольше `graceful_shutdown_seconds` (8 с), считается начатой попыткой и продолжается по аренде: release на пути отмены ненадёжен. Замер на двух дорогих JPEG: 8,15 с, при замороженных PostgreSQL и брокере 9,18 с (`evidence/worker/process.md`). Худший случай остановки 8 + 0,5 + 0,5 + 0,5 = 9,5 с < 10 с. - **Искажения данных скана JPEG.** Структурная проверка и libjpeg байт внутри данных скана ошибкой не считают: такое вложение становится `ready`, а варианты будут с мусором. Проверка не декодирует пиксели при приёме намеренно. @@ -583,11 +740,11 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку - CHECK статуса, `ck_attachments_error_code_failed` и `ck_attachment_jobs_attempt_base` остаются `NOT VALID`: `VALIDATE` держал бы блокировку на время просмотра таблицы, а прежние строки условиям отвечают. - Один пользователь брокера на relay и worker; разделение прав — лаба 7. -- Предел памяти брокера 400 МиБ блокирует публикацию: relay получает отказ по сроку 2 с, загрузка по-прежнему 202, намерения копятся в PostgreSQL (`test_broker_memory_alarm`). Ограничения принятой работы на входе API нет, это трек 1. +- Предел памяти брокера 400 МиБ блокирует публикацию: relay получает отказ по сроку 2 с, загрузка по-прежнему 202, намерения копятся в PostgreSQL (`test_broker_memory_alarm`), пока не достигнут предел незавершённых заданий. - Ранний ответ при загрузке: `urllib` напрямую к реплике на большом теле теряет ранний ответ; через LB и с httpx или curl — получает. - Keyset-пагинация: порядок задаёт `(created_at, id)`; `created_at` назначает сервер, при расхождении часов реплик порядок вставки возможен только по этому ключу. -**Следующие шаги.** `track1-queue-overload` (уровень 5): сравнение concurrency и prefetch на разных размерах, throughput, queue lag, p95 времени до `ready`, RSS, backpressure, ограничение принятой работы и восстановление. Подтверждено замером только то, что есть в разделах выше; поведение под перегрузкой очереди пока гипотеза. +**Следующие шаги.** Снять на итоговом коде оставшиеся доказательства исключений сверки покрытия: `evidence/auth/passwords-and-tokens.md`, `evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md`, пока `test_exclusion_evidence_exists` по ним красный. Вне трека и не сделано: приоритет обработки над приёмом в S3, предел по байтам и на пользователя, forkserver, рост памяти S3 с накопленными объектами. Подтверждено замером только то, что есть в разделах выше. ## Источники, библиотеки и использование ИИ diff --git a/openspec/changes/track1-queue-overload/tasks.md b/openspec/changes/track1-queue-overload/tasks.md index 7b806bc1..31be05b3 100644 --- a/openspec/changes/track1-queue-overload/tasks.md +++ b/openspec/changes/track1-queue-overload/tasks.md @@ -133,13 +133,13 @@ - [x] 9.1 `make bench_queue` (метка `baseline`, ~2 ч 10 мин). Прерывание — `RESUME=1`. Проверка: код 0; `meta.json`: `git.dirty` false, `host_state`, план 57 ячеек; `swapouts_delta` 0 или пометка разобрана: настоящая помеха — переснять под новой меткой. -- [ ] 9.2 Коммит метки. `make student_test` на рабочем стенде после `make run_docker`. +- [x] 9.2 Коммит метки. `make student_test` на рабочем стенде после `make run_docker`. - Проверка: `test_exclusion_evidence_exists` зелёный. -- [ ] 9.3 `REPORT.md`, раздел «Очередь под перегрузкой»: таблицы из `summary.md` — throughput, очередь, p50, p95, p99 до `ready`, RSS, `memory.peak`, CPU и троттлинг по настройкам и классам; блоки; backpressure и ограничение принятой работы (таблица решения 4 с числами метки); восстановление; вывод по каждой гипотезе; компромисс latency и ресурсов; рекомендация и решение о значениях по умолчанию; обоснование предела по измеренному потолку; S3 как общий ресурс приёма и worker; завершение процесса 1 ядром; ограничения метода, в том числе память S3 на долго живущем стенде (`KNOWN_ISSUES.md`). «Трек 1 уровня 5» в таблице критериев; разделы «Сервисы», «Ограничения», «Следующие шаги», «Ответы на вопросы защиты» — по изменениям; шаг защиты. + Проверка: `test_exclusion_evidence_exists` зелёный. **Оговорка:** по метке зелёный, файл `evidence/queue/baseline/summary.md` он больше не называет; остаётся красным по трём файлам вне change (`evidence/auth/passwords-and-tokens.md`, `evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md`), их снимают на финальном шаге лабы на итоговом коде. +- [x] 9.3 `REPORT.md`, раздел «Очередь под перегрузкой»: таблицы из `summary.md` — throughput, очередь, p50, p95, p99 до `ready`, RSS, `memory.peak`, CPU и троттлинг по настройкам и классам; блоки; backpressure и ограничение принятой работы (таблица решения 4 с числами метки); восстановление; вывод по каждой гипотезе; компромисс latency и ресурсов; рекомендация и решение о значениях по умолчанию; обоснование предела по измеренному потолку; S3 как общий ресурс приёма и worker; завершение процесса 1 ядром; ограничения метода, в том числе память S3 на долго живущем стенде (`KNOWN_ISSUES.md`). «Трек 1 уровня 5» в таблице критериев; разделы «Сервисы», «Ограничения», «Следующие шаги», «Ответы на вопросы защиты» — по изменениям; шаг защиты. Проверка: числа совпадают с `summary.md` метки; `make lint`, `make check`, `openspec validate track1-queue-overload --strict`. -- [ ] 9.4 Если правило решения 12 меняет значения по умолчанию — отдельный commit значения, `make bench_queue_quick`, строка в отчёте. Иначе — запись в отчёте, что значения оставлены, и почему. +- [x] 9.4 Если правило решения 12 меняет значения по умолчанию — отдельный commit значения, `make bench_queue_quick`, строка в отчёте. Иначе — запись в отчёте, что значения оставлены, и почему. Проверка: `git log` называет шаг; `make test`. - [ ] 9.5 Коммит отчёта основной сессией.