diff --git a/.claude/rules/bench.md b/.claude/rules/bench.md index 911576d6..7e4aa404 100644 --- a/.claude/rules/bench.md +++ b/.claude/rules/bench.md @@ -570,7 +570,8 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод журналы не копируются, `.work/` удаляется. `quick-queue-*` — в `.gitignore`. Метка `baseline` (`7999002`) снята раньше правок verify и не перезаписывается, столбцы правок — с `baseline2`. `baseline2` и `baseline3` сняты с выгрузкой хоста, остаются записью; - основная для отчёта — `baseline4` (`QUESTIONS.md`, правило выбора). + основная для отчёта — `baseline4` (`QUESTIONS.md`, правило выбора). Образы S3 и брокера в + паспорте (`stand.s3`, `stand.rabbitmq`) — только у меток после `baseline4`; её образы — в `REPORT.md`. - **Время:** полный профиль — 57 ячеек, ~2 ч 10 мин; `queue_quick` — `s` (2, 2), `lp` (4, 4), предел 40 и без него, `kill-worker`, `w2-p256`, ~11 мин. Рабочий стенд — `make stop`. diff --git a/AGENTS.md b/AGENTS.md index 799c2bdd..1de785b8 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -544,13 +544,13 @@ src/ relay/main.py # relay: свои engine, SqlAlchemyUnitOfWork и издатель, цикл проходов с паузами, отказ брокера и PostgreSQL не роняет, SIGTERM — текущий шаг и выход 0; replay — разовая команда реестра, коды 0/3/1/2 cleaner/__main__.py # python -m src.cleaner [--once]: early_stop.install("cleaner") до импорта → main(); неверные настройки — запись без значений и код 2 cleaner/main.py # уборщик незавершённых загрузок: проверка grace > 2 × request_timeout + s3 timeout (иначе код 2), свой engine, SqlAlchemyUnitOfWork на сервис и клиент S3, цикл с интервалом и плановой сверкой (при старте и раз в [reconciler] interval_seconds), SIGTERM — довести текущий шаг и выйти 0, --once — коды 0/1/2; reconcile [--apply] [--max-changes N] [--strategy batch|head] [--deep] [--max-objects-per-second R] — разовая сверка, коды 0/3/1/2; плановая — batch, поверхностная, предел скорости из настроек - config/settings.py # Settings (pydantic-settings), экземпляр settings; [app] instance_id (пусто → hostname) и keep_alive_seconds, [database] pool_size 10 и max_overflow 0 (постоянный пул без переполнения), idle_in_transaction_timeout_ms, [s3] адрес, bucket (валидатор имени), ключи API, регион, сроки, пул и endpoint_url, [idempotency] ttl_seconds, [uploads] max_concurrent 4, max_waiting 16, wait_timeout_seconds 5, body_timeout_seconds 30 (места загрузок процесса API), [cleaner] interval_seconds 60, pending_grace_seconds 900, batch_size 100, [reconciler] interval_seconds 3600, page_size 1000, max_changes 100, max_objects_per_second 2000 (предел скорости сверки; 0 — без него) + config/settings.py # Settings (pydantic-settings), экземпляр settings; [app] instance_id (пусто → hostname) и keep_alive_seconds, [database] pool_size 10 и max_overflow 0 (постоянный пул без переполнения), idle_in_transaction_timeout_ms, [s3] адрес, bucket (валидатор имени), ключи API, регион, сроки, пул и endpoint_url, [idempotency] ttl_seconds, [uploads] max_concurrent 4, max_waiting 16, wait_timeout_seconds 5, body_timeout_seconds 30 (места загрузок процесса API), max_unfinished_jobs 250 (предел незавершённых заданий стенда; 0 — без него), [cleaner] interval_seconds 60, pending_grace_seconds 900, batch_size 100, [reconciler] interval_seconds 3600, page_size 1000, max_changes 100, max_objects_per_second 2000 (предел скорости сверки; 0 — без него) api/ routers/health.py # /health/live, /health/ready: вне версии, без идентификации routers/v1/.py # ручки под /api/v1, сборка в routers/v1/__init__.py; Idempotency-Key — параметр POST сообщения (message.py); attachment.py — один роутер с двумя префиксами: загрузка (тело через request.stream(), схема — openapi_extra, строгий UTF-8 filename по scope["query_string"]), метаданные, байты StreamingResponse schemas/.py # pydantic-модели запросов и ответов = схемы контракта; common.py — UuidIn: UUID от клиента (путь, тело) только в записи 8-4-4-4-12; attachment.py — DisplayFilename (отказ на / \ Cc и пробелы) и Attachment; message.py — CreateMessage с attachment_ids и валидатором пустого текста dependencies.py # get_uow (SqlAlchemyUnitOfWork на запрос), request_deadline (общий срок JSON-запроса), фабрики сервисов на UowDep (с кэшем; вложения — ещё S3 и места), разбор Basic, текущая сессия по Bearer, пагинация - errors.py # доменное исключение → статус + code (+ WWW-Authenticate), формат ошибки контракта; RETRY_AFTER — Retry-After у 429 занятых мест загрузки; у 500 — X-Request-Id и X-Instance-Id + errors.py # доменное исключение → статус + code (+ WWW-Authenticate), формат ошибки контракта; RETRY_AFTER — Retry-After у 429 занятых мест загрузки и предела заданий (UploadBacklogFull, 5 с); у 500 — X-Request-Id и X-Instance-Id middlewares/ # X-Request-Id, X-Instance-Id и access-лог core/ ports/uow.py # AbstractUnitOfWork: блок, commit, rollback, blocks_opened, правила вложенного входа и repo вне блока, UnitOfWorkError; реальные шаги — _open, _close, _commit, _rollback реализации; Repositories @@ -565,13 +565,13 @@ src/ repos/attachment_object.py # объекты в S3: staging_key <база>/staging//original, variant_key и parse_variant_key <база>/attachments//v-<имя>, оригинал <база>/attachments//original, put_original (поток BytesIO и size, без копии тела), open, delete_original; сверке — originals_prefix, is_own_key (ключ под префиксом вложений своей базы), parse_original_key, list_originals, probe_originals (bucket на месте), head_original, staging_prefix, is_own_staging_key, parse_staging_key, list_staging; variant_keys — ключи вариантов всех имён repos/message.py # MESSAGE_COLUMNS с ARRAY(подзапрос attachment_ids по position), вставка связей одной вставкой services/.py # Service(uow, …): логика, проверки доступа, id и время, логи; чаты и сообщения — с кэшем, require_member внутри чужого блока; отправка — ключ, сообщение и связи с вложениями одним блоком - services/attachment.py # AttachmentService(uow, cache, storage, slots): загрузка (проверки → место загрузки, 429 → тело со счётчиком и сроком в BytesIO, 400 по сроку → структура и SHA-256 в потоке над getvalue() → del → pending → PUT в staging тем же BytesIO → queued и задание, ответ 202; сбой до COMMIT или пропавшая строка — удаление объекта и 503; брокера в пути нет; место — до ответа), метаданные с вариантами, отдача потоком + services/attachment.py # AttachmentService(uow, cache, storage, slots): загрузка (проверки в первом блоке и там же предел заданий count_unfinished, 429 UploadBacklogFull → место загрузки, 429 → тело со счётчиком и сроком в BytesIO, 400 по сроку → структура и SHA-256 в потоке над getvalue() → del → pending → PUT в staging тем же BytesIO → queued и задание, ответ 202; сбой до COMMIT или пропавшая строка — удаление объекта и 503; брокера в пути нет; место — до ответа), метаданные с вариантами, отдача потоком services/attachment_processing.py # AttachmentProcessingService(uow, storage, renderer, stop): разбор сообщения, claim с арендой и бюджетом, GET staging и сверка, PUT оригинала, варианты через ImageRenderer, PUT вариантов, фиксация ready с fencing одной транзакцией; временные ошибки — queued со сроком (retry_delay, jitter) и ACK, постоянные — failed; JobOutcome services/attachment_relay.py # AttachmentRelayService(uow, publisher): проход — истёкшие аренды, потерянные сообщения, публикация с подтверждением и отметка пакета внутри транзакции SKIP LOCKED, предел опубликованных; RelayPassDTO services/attachment_replay.py # AttachmentReplayService(uow): реестр failed, replay одной транзакцией с аудитом и новым бюджетом, отказы not_found / already_ready / not_failed / source_gone; ReplayPassDTO services/attachment_cleanup.py # AttachmentCleanupService(uow, storage): проход уборщика — кандидаты keyset, каждая строка в два шага (remove_stale_pending): блокировка и пометка (commit) → блокировка, DELETE объекта и DELETE строки (commit); отказ S3 или БД прерывает проход, SIGTERM — после текущего шага; CleanupPassDTO; clean_staging — очистка staging ready и failed по сроку под FOR NO KEY UPDATE SKIP LOCKED, StagingCleanupPassDTO services/attachment_reconcile.py # AttachmentReconcileService(uow, storage): сверка bucket и БД — S3 → БД (страницы списка, выборка на страницу, множество ключей), БД → S3 (keyset ready; ключ строки вне префикса вложений — чужой объект без HEAD; строка с ключом /original другого вложения — HEAD её объекта, verify W2), зависшие, перепроверка в БД и HEAD (bucket — probe), сигнал — перед каждым вызовом хранилища, предел изменений, действия с apply (зависшие шагом уборщика → объекты без строки → объекты staging без строки → пометки → снятия); журнал Found / Fixed / Finished; ReconcilePassDTO. С change pipeline-reliability: шаг _list_staging, orphan_staging, listed_staging. С change track2-reconcile-cost: strategy head (выборка строки на объект, HEAD на строку, без множества), deep (GET и SHA-256 потоком, checksum_mismatch; «оригинал вернулся» — тот же SHA-256), предел скорости после каждого вызова S3 (_pace, куски 0,2 с; сигнал прекращает паузу, останавливает следующий check_stop — verify W1), ранний отказ по пределу (unchecked), счёт сеансов — uow.blocks_opened, стоимость в итоге (storage_objects, s3_requests, read_bytes, db_sessions, phase_ms) - exceptions/.py # доменные исключения, реэкспорт в __init__.py; storage.py — ObjectStorageUnavailable (503) и StoredObjectMissing; attachment.py — 404, 413, 415, 400 обрыва и срока тела (UploadTimedOut), 429 занятых мест (UploadsBusy), 500 пропавшего объекта + exceptions/.py # доменные исключения, реэкспорт в __init__.py; storage.py — ObjectStorageUnavailable (503) и StoredObjectMissing; attachment.py — 404, 413, 415, 400 обрыва и срока тела (UploadTimedOut), 429 занятых мест (UploadsBusy), 429 предела заданий (UploadBacklogFull), 500 пропавшего объекта infra/ early_stop.py # ранний обработчик SIGTERM/SIGINT (только stdlib): до старта сервера — запись «Stopped <процесс> before startup» (API, cleaner) и выход 0; disarm() — первая строка lifespan; write_record — запись мимо structlog logger.py # structlog, get_logger(), contextvar-ы request_id / user_id, instance_id в каждой записи @@ -600,7 +600,7 @@ src/ utc.py # utcnow() (aware UTC), формат RFC 3339 с Z cursor.py # непрозрачный keyset-курсор: кодирование и разбор; поля проверяются по отдельности, незнакомые игнорируются, смена формата — новая CURSOR_VERSION student-tests/ # black-box тесты по HTTP (уровень 4): make student_test - conftest.py # BASE_URL, EXPECT_REPLICAS и фикстура replicas (пропуск против одного процесса), проверка доступности, фикстуры alice/bob/eve/chat и stand/tight_api/uploads_api/s3_api, сбор маркеров spec, стоп без hook + conftest.py # BASE_URL, EXPECT_REPLICAS и фикстура replicas (пропуск против одного процесса), проверка доступности, фикстуры alice/bob/eve/chat и stand/tight_api/uploads_api/s3_api/backlog_api, сбор маркеров spec, стоп без hook api_client.py # Api поверх httpx; Actor.headers() — единственное место идентификации; post_message/send_message (с attachment_ids) — с Idempotency-Key; post_attachment/upload, attachment_meta, attachment_content, attachment_content_slowly (потоком с паузой после блока) contract.py # тела по схемам contracts/openapi.json, форматы id, attachment_ids и времени, X-Instance-Id, assert_error (с 413, 415 и 429 — Retry-After положительное целое), assert_errors (статусы всех вариантов запроса разом), assert_content (байты, тип, nosniff, без Location и x-amz-*), assert_replicas images.py # изображения для тестов: PNG на stdlib (любые IHDR, Adam7, точный размер, бомба, огромные размеры, порча байта, шум RGB ~1 MiB от зерна — png_noise), JPEG через Pillow (dev): разновидности, подмена размеров, без таблиц, изменённый заголовок скана и пустой скан (jpeg_undecodable); обрезка и хвост @@ -613,7 +613,7 @@ student-tests/ # black-box тесты по HTTP (уровень 4) test_.py # сценарии основных спеков, маркер @pytest.mark.spec test_failures.py # проверки отказов (маркер fault): только make failure_checks run_isolated.py # make test_isolated: образ на временной базе test_, уборка базы и префикса test_/ в S3 (weed shell fs.rm, затем проверка fs.ls: код 0 weed shell успеха не значит; префикс только из проверенного имени) (stdlib) - run_failures.py # make failure_checks: стенд <рабочий>-failures (Postgres, Valkey, S3 + bootstrap, уборщик с grace 20 с и интервалом 1 с без плановой сверки → FAULT_CLEANER_*, FAULT_RECONCILER_INTERVAL_S; уборщик с плановой сверкой <проект>-cleaner-scheduled убирается вместе с API), четыре API (обычный, «тесный», «узкий по загрузкам» с UPLOADS_ENV → FAULT_UPLOADS_BASE_URL / FAULT_UPLOADS_ENV, «с коротким сроком S3» с S3_ENV → FAULT_S3_BASE_URL / FAULT_S3_ENV), pytest -m fault, журнал PostgreSQL стенда (сводка, признаки аварии — ненулевой код), журналы API и уборщика при падении, уборка (stdlib) + run_failures.py # make failure_checks: стенд <рабочий>-failures (Postgres, Valkey, S3 + bootstrap, уборщик с grace 20 с и интервалом 1 с без плановой сверки → FAULT_CLEANER_*, FAULT_RECONCILER_INTERVAL_S; уборщик с плановой сверкой <проект>-cleaner-scheduled убирается вместе с API), пять API (обычный, «тесный», «узкий по загрузкам» с UPLOADS_ENV → FAULT_UPLOADS_BASE_URL / FAULT_UPLOADS_ENV, «с коротким сроком S3» с S3_ENV → FAULT_S3_BASE_URL / FAULT_S3_ENV, «узкий по заданиям» с BACKLOG_ENV → FAULT_BACKLOG_BASE_URL / FAULT_BACKLOG_ENV; у первых четырёх предел заданий выключен, NO_BACKLOG_ENV), pytest -m fault, журнал PostgreSQL стенда (сводка, признаки аварии — ненулевой код), журналы API и уборщика при падении, уборка (stdlib) fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников, сообщений и вложений (fail-attachments insert|ready|stall|commit|outlive|undeletable: сбой вставки, перевода в ready до и на COMMIT, задержка, строка «старше grace» с ожиданием уборщика, неудаляемая строка), заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions, attachment-ids, last-pending, object-ids (файлы original по fs.tree), kill-api / start-api; расхождения и сверка (change track2-reconciler): put-object (тело — stdin, botocore в контейнере API его ключами) / delete-object (weed fs.rm) только под <база>/attachments/, delete-row, set-size, age-row, set-key (object_key строки под <база>/), lost-ids, fail-attachments mark, reconcile dry-run|apply [предел] [--strategy batch|head] [--deep] [--max-objects-per-second R] (аргументы по списку, записи и exit_code=), stop|start cleaner, run-cleaner <с> (stdlib) failures.compose.yml # override стенда отказов: relay (опрос 0,2 с, restart "no"), worker и уборщик с короткими сроками change pipeline-reliability, без публикации портов (Postgres, Valkey, S3, LB), уборщик с CLEANER__* 20 / 1, RECONCILER__INTERVAL_SECONDS 0 и restart "no", stop_grace_period 2 с у S3, healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения), init: true у PostgreSQL (сирот psql из fill-connections подбирает init, а не postmaster) service-tests/ # быстрые тесты сервисов (вне образа и вне student-tests), service-tests.md diff --git a/QUESTIONS.md b/QUESTIONS.md index 74063617..8373ada3 100644 --- a/QUESTIONS.md +++ b/QUESTIONS.md @@ -255,7 +255,8 @@ - **`freeze-sessions` идёт в одноразовом контейнере `api`, а не из дерева кода через `uv run`:** так пробе не нужен `.env` и код образа совпадает со стендом. httpx в образе нет, вызовы ASGI — своим клиентом; остальная логика `double_cancel.py` та же. Прежний файл называл аргументы пробы неверно: `2 6 1` и `2 6 4` — пул 2 и 1 или 4 запроса, а не срок 2 и пул 1 или 4; добавлен режим с настоящим пулом 4. - **`make test_isolated` перед `cache-check` при первой съёмке — код 2.** Его набор требует файлы, которых ещё нет, а ключи временной базы он при этом оставляет: команды шли не через `&&`, причина названа в шапке `evidence/cache/hits.md`. - **Шаги `evidence/idempotency/replay-after-restart.md` — `driver.py req` и `docker compose`,** скрипт только соединил их: отдельной команды драйвера не заводилось, задача её не просила, а шаги повторяются руками. -- **Пересняты `evidence/tests/student-test-lb.md` и `evidence/tests/test-isolated.md`:** задача их не называла, но на `d8fe2e8` они показывали единственный красный тест, который эта задача закрыла. `evidence/tests/failure-checks.md` остаётся на `d8fe2e8`: полный прогон на ноутбуке запрещён условиями задачи. +- **Пересняты `evidence/tests/student-test-lb.md` и `evidence/tests/test-isolated.md`:** задача их не называла, но на `d8fe2e8` они показывали единственный красный тест, который эта задача закрыла. `evidence/tests/failure-checks.md` остаётся на `d8fe2e8`: полный прогон на ноутбуке запрещён условиями задачи. Позже файл переснят в `4a7d89d`: прогон с шестью проверками предела стартовал на `b104690`, отчёт ссылается на него. +- **Повторный verify: «мест на CPU» в сценарии «Бэклог уходит за измеренное время» — два на CPU worker, «без перезапусков» — и без завершений по команде:** граница H1, а столбец `worker_restarts` у `kill-worker` 0, хотя строки так же ждут аренду. Запас разброса — решение 11. Вердикты H1–H9 от этого не считаются (design, «Уточнения apply», п. 14). - **В `REPORT.md` добавлен вопрос 12 (`PR_SET_DUMPABLE`):** он был вопросом преподавателю в `QUESTIONS.md`, но в нумерованный список отчёта не попал. - **Секреты в новых файлах `evidence/` сверены по токенам и путям, не по значениям `.env`:** файл `.env` в этой работе не читается. `evidence/tests/secrets.md` остаётся на прежнем commit; поиск значений по всему `evidence/` — перед PR. diff --git a/REPORT.md b/REPORT.md index 349c0670..75040e44 100644 --- a/REPORT.md +++ b/REPORT.md @@ -366,7 +366,7 @@ CPU на успешный запрос при постоянных 200 запр ## Доказательства критериев -В шапке каждого файла — команда, дата, commit и стенд. На `9639aa1` (код `src/` и `bench/` тот же, что на `5ee3257`, изменён только драйвер скилла: новые команды `worker-memory`, `freeze-sessions`, `freeze-lb`) сняты `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md`, `evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/idempotency/replay-after-restart.md`, `evidence/worker/memory.md`, `evidence/storage/freeze-sessions.md`. На `d8fe2e8` (правки verify: сессии после заморозки, один срок на JSON-запрос, тест одновременных доставок) сняты `evidence/tests/failure-checks.md`, `evidence/tests/service-tests.md`. На `6ba74b1` (единица работы, поведение то же) сняты метки `evidence/bench/unit-of-work-after/` и `evidence/rollout/unit-of-work*/`, а ещё `evidence/replicas/test-persistence.md`, `evidence/failover/test-failover.md`, `evidence/attachments/defense-faults.md`, `evidence/s3/privacy.md`, `evidence/worker/process.md`, `evidence/relay/process.md`. На `399da05` снята таблица «Красные прогоны» в `failure-checks.md`. Остальные файлы уровня 4 сняты на `e2a6427`: из кода приложения `399da05` меняет только `src/utils/image_variants.py`, одну ветку перевода в RGBA, а `6ba74b1` поведения не меняет. `d8fe2e8` меняет только путь отказа: метки и файлы на `6ba74b1` не переснимались, потому что на пути без отказа правка убирает один таймер блока и обменов с PostgreSQL не добавляет, а `make failure_checks` на новом commit те же отказы прошёл. Остались снятыми на прежнем коде `ff1a83b` и названы так в шапках: метка `evidence/uploads/baseline/`, `evidence/rollout/async-attachments/`, `evidence/migrations/async-attachments.md`, `evidence/s3/worker-key.md`: это доказательства перехода уровня 3, их поведение уровень 4 не менял. +В шапке каждого файла — команда, дата, commit и стенд. На `9639aa1` (код `src/` и `bench/` тот же, что на `5ee3257`, изменён только драйвер скилла: новые команды `worker-memory`, `freeze-sessions`, `freeze-lb`) сняты `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md`, `evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/idempotency/replay-after-restart.md`, `evidence/worker/memory.md`, `evidence/storage/freeze-sessions.md`. На `b104690` (коммит файла `4a7d89d`, шесть проверок предела заданий) снят `evidence/tests/failure-checks.md`. На `d8fe2e8` (правки verify: сессии после заморозки, один срок на JSON-запрос, тест одновременных доставок) снят `evidence/tests/service-tests.md`. На `6ba74b1` (единица работы, поведение то же) сняты метки `evidence/bench/unit-of-work-after/` и `evidence/rollout/unit-of-work*/`, а ещё `evidence/replicas/test-persistence.md`, `evidence/failover/test-failover.md`, `evidence/attachments/defense-faults.md`, `evidence/s3/privacy.md`, `evidence/worker/process.md`, `evidence/relay/process.md`. На `399da05` снята таблица «Красные прогоны» в `failure-checks.md`. Остальные файлы уровня 4 сняты на `e2a6427`: из кода приложения `399da05` меняет только `src/utils/image_variants.py`, одну ветку перевода в RGBA, а `6ba74b1` поведения не меняет. `d8fe2e8` меняет только путь отказа: метки и файлы на `6ba74b1` не переснимались, потому что на пути без отказа правка убирает один таймер блока и обменов с PostgreSQL не добавляет, а `make failure_checks` на новом commit те же отказы прошёл. Остались снятыми на прежнем коде `ff1a83b` и названы так в шапках: метка `evidence/uploads/baseline/`, `evidence/rollout/async-attachments/`, `evidence/migrations/async-attachments.md`, `evidence/s3/worker-key.md`: это доказательства перехода уровня 3, их поведение уровень 4 не менял. ### Уровень 3 @@ -376,7 +376,7 @@ CPU на успешный запрос при постоянных 200 запр | Минимум лаб 1–4 сохранён с переходом 201 → 202 | `make student_test` через LB | 224 passed, реплики выполнены; сверка: 389 сценариев, 358 проверены, 31 исключение | `evidence/tests/student-test-lb.md` | | Тот же набор на временной базе | `make test_isolated` | smoke PASS; 218 passed, 6 skipped (реплики); уборка полная | `evidence/tests/test-isolated.md` | | Отказы | `make failure_checks` (`b104690`) | 147 passed, pytest 2214 с, `crash markers 0` | `evidence/tests/failure-checks.md` | -| Ветки сервисов и настоящая единица работы | `make service_test`, `make service_test_db` (`d8fe2e8`) | 201 passed за 1,44 с без хранилищ; 75 passed за 32,47 с на временной базе; 16 регрессий дают названный красный | `evidence/tests/service-tests.md` | +| Ветки сервисов и настоящая единица работы | `make service_test`, `make service_test_db` (`d8fe2e8`) | 201 passed за 1,44 с без хранилищ; 75 passed за 32,47 с на временной базе; 16 регрессий дают названный красный. С тестами предела заданий сейчас 215 и 78 passed (прогон перед коммитом этой правки, файл доказательства не переснимался) | `evidence/tests/service-tests.md` | | Заморозка PostgreSQL: сессий сверх пула нет, одна запись об отказе | `driver.py --port 8080 freeze-sessions` (TCP-прокси пробы, сервер не трогается), `driver.py freeze-lb` (`docker pause` на своём временном проекте, рабочий `mtusi-lab5` — код 2); то же в тестах `test_no_sessions_over_pool_after_freeze`, `test_deadline_in_second_block_single_record` | 503 за 4,00–4,03 с при сроке 2 с, записей пула нет, сессий через прокси 0 во всех раундах; через LB 503 за 8,01–8,09 с, 504 нет, сессий до и после каждой заморозки поровну | `evidence/storage/freeze-sessions.md` | | 202 только после устойчивого приёма и сохранения задания | `test_durable_state_at_202`, `test_upload_with_broker_stopped`, `test_upload_with_broker_paused` | к 202 объект в staging, строка и намерение в одной транзакции; брокер остановлен или заморожен — по-прежнему 202, намерение ждёт (на уровне 3 было 503) | `evidence/tests/failure-checks.md` | | Остановка API после ответа не теряет работу | `test_api_killed_after_202` | реплика убита после 202, вложение становится `ready` | `evidence/tests/failure-checks.md` | @@ -497,7 +497,7 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку ### Очередь под перегрузкой -Трек 1 уровня 5, change `track1-queue-overload`. **Основная метка — `baseline4`: код commit `d68a016`, метка commit `b104690`** (`dirty` false, 57 ячеек из 57, 2 ч 00 мин, `swapouts_delta` 0, сна нет, предупреждений о хосте нет, посторонних контейнеров нет). `src/` и `bench/` те же, что на `5ee3257`. Гипотезы и правило записаны и закоммичены раньше первой метки, пороги с тех пор не менялись. Числа порогов — из проб стадии propose (design, раздел «Пробы»); числа результатов ниже — из `evidence/queue/baseline4/summary.md`, `cells.csv` и `timeline.csv`, если не названа другая метка. +Трек 1 уровня 5, change `track1-queue-overload`. **Основная метка — `baseline4`: код commit `d68a016`, метка commit `b104690`** (`dirty` false, 57 ячеек из 57, 2 ч 00 мин, `swapouts_delta` 0, сна нет, предупреждений о хосте нет, посторонних контейнеров нет). `src/` и `bench/` на коммитах меток `baseline2`–`baseline4` те же, что на `5ee3257`; после них `bench/run.py` получил только поле паспорта с образами S3 и брокера. Паспорт `baseline4` его не содержит, поле появилось после метки; её образы (`git show d68a016:docker-compose.yml`): S3 `chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d`, брокер `rabbitmq:4.3.7@sha256:bd88985187aa73cd598fa0d8b31d49b2f814a6d9e58f6d5a89bae588669d946a`. Гипотезы и правило записаны и закоммичены раньше первой метки, пороги с тех пор не менялись. Числа порогов — из проб стадии propose (design, раздел «Пробы»); числа результатов ниже — из `evidence/queue/baseline4/summary.md`, `cells.csv` и `timeline.csv`, если не названа другая метка. **Четыре метки.** Снято четыре, основная выбрана правилом, записанным заранее и не зависящим от вердиктов: меньше задетых выгрузкой ячеек, при равенстве — меньше `swapouts_delta` (`QUESTIONS.md`; `openspec/changes/track1-queue-overload/tasks.md`, 10.20б). Остальные каталоги остаются в репозитории как запись. @@ -511,7 +511,7 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку Почему `baseline` переснята: проверка нашла ошибки инструмента, которые нельзя поправить задним числом. Что в ней неверно: - `lb_down` считал строку `BACKEND` репликой, и выход одной реплики не срабатывал: условие H7 «`lb_down` нет» метка не проверяла; -- `cpu_worker_per_job_s` занижен на ~8–12 %: CPU до конца восстановления делился на все `ready`, включая окно `after`; +- `cpu_worker_per_job_s` занижен на ~6–11 %: CPU до конца восстановления делился на все `ready`, включая окно `after` (медианы конфигураций матрицы `baseline` к `baseline4`, без `lp-c4p4`: 5,6–8,8 % при конкуренции до двух, 8,2–10,8 % при четырёх); - каждый перезапуск worker считался завершением ядром: причина в метке не проверялась; - queue lag есть только на ячейку, а не по окнам, в сводке его нет; CPU и троттлинг — не по всем окнам и ролям; - нет счётчика перезапусков relay, лишние строки в базе не искались. @@ -630,7 +630,7 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку | `lp-c1p1-r3` | 25 068 | 40,34 | 36,41 | +10,8 % | | `accept-m-c2p2-r3` | 197 012 | 106,22 | 94,03 | +13,0 % | -Эффект 1–13 % с объёмом не растёт: 23 380 страниц — +1,4 %, 4 524 — +10,6 %. Похожий разброс бывает и без пометки: восстановление к среднему двух соседних повторов выше 5 % у 21 ячейки из 198 без пометки (конфигурации без задетых ячеек, без `lp-c4p4`), например `s-c4p4-r1` чистой `baseline4` +9,6 %. Причинная связь выгрузки с задержкой не показана. Без пяти ячеек вердикты и рекомендация `baseline2` те же. +Эффект 1–13 % с объёмом не растёт: 23 380 страниц — +1,4 %, 4 524 — +10,6 %. Похожий разброс бывает и без пометки: восстановление к среднему двух соседних повторов выше 5 % у 22 ячеек из 198 без пометки (конфигурации без задетых ячеек, без `lp-c4p4`), например `s-c4p4-r1` чистой `baseline4` +9,6 %. Причинная связь выгрузки с задержкой не показана. Без пяти ячеек вердикты и рекомендация `baseline2` те же. **Оговорка к H6: `lp` (4, 4).** В основной метке условие «p95 `after` ≤ 1,5 × p95 `before`» содержательно: `before` 1,36 / 1,30 / 1,28 с, `after` 1,31 / 1,28 / 1,35 с. Но в `baseline` и `baseline3` оно проходило без смысловой нагрузки: у одного повтора p95 `before` 83,27 с и 78,44 с, потому что окно задето OOM, и о возврате задержки условие там ничего не доказывало; сам `after` был 1,31–1,63 с. Порог не менялся. @@ -654,7 +654,7 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку - **VmHWM у `lp` (4, 4) (206 МиБ) — только последняя жизнь контейнера:** его читают в конце ячейки, а контейнер за ячейку перезапускался до 4 раз. Это не наибольшее значение за ячейку и не сравнимо с соседними строками. - **Столбцы OOM и «Перезапуски»** — суммы трёх повторов. OOM — счётчик cgroup (63) плюс завершения процесса 1, подтверждённые событиями Docker (5). Завершения worker: на всех конфигурациях, кроме `lp` (4, 4) и `kill-worker`, — ни одного; прочих (`worker_die_other`) нет. - **Реплик в LB** наименьшее (`lb_up_min`) — 2 в каждой ячейке, `lb_down` не сработал. Лишних строк в базе (`unexpected_rows`) нет. -- **Lag и `oldest_s`.** Пик возраста в окне `over` ограничен длиной окна; ожидание заданий, пришедших в это окно, больше: в матрице p95 до 39 с. На `m` и `lp` при (1, 1) p95 ожидания окна `before` — 413 и 1104 мс при единицах у остальных; вероятно, при одном месте конкуренции следующее задание ждёт текущее, отдельно это не мерилось. +- **Lag и `oldest_s`.** Пик возраста в окне `over` ограничен длиной окна; ожидание заданий, пришедших в это окно, больше: в матрице p95 до 39,2 с по медиане строки (`s` (4, 4)) и до 43,4 с в отдельной ячейке (`s-c4p4-r1`). На `m` и `lp` при (1, 1) p95 ожидания окна `before` — 413 и 1104 мс при единицах у остальных; вероятно, при одном месте конкуренции следующее задание ждёт текущее, отдельно это не мерилось. **Блоки** (`evidence/queue/baseline4/summary.md`, «Ячейки по конфигурациям» и «Блоки»; столбец второго worker — `evidence/queue/baseline4/cells.csv`). @@ -686,7 +686,7 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку | `max_published_backlog` | 1000 | `queued` | не достигнут ни в одной ячейке | | Предел памяти брокера | 400 МиБ | `queued` | не достигнут: память брокера по ячейкам 138–224 МиБ. Срабатывание проверяет `test_broker_memory_alarm`, отказы публикации в метке — только в `restart-broker` (2 прохода) | | `prefetch` | 2 | `queued` | неподтверждённых не больше `prefetch` во всех ячейках матрицы с (2, 2); при 256 — до 99 на `s` и до 34 на `lp`, а в очереди брокера 0 | -| `concurrency` | 2 | `processing` | `processing` не больше конкуренции, кроме ячеек с гибелью worker: строки убитого ждут аренду (`kill-worker` — 4, `lp` (4, 4) — 8 и 16 при перезапусках, 4 без них); `w2-*` — 4 на двух worker | +| `concurrency` | 2 | `processing` | `processing` не больше конкуренции, кроме ячеек с гибелью worker: строки убитого ждут аренду (`kill-worker` — 4, `lp` (4, 4) — 8 и 16 при перезапусках, 4 без них); `w2-p2` — 4 на двух worker, у `w2-p256` пик 2: второй не получил заданий | | Лимит контейнера | 1 ГБ | дольше до `ready`, `failed` при исчерпании попыток | (2, 2) помещается на всех классах, `lp` (4, 4) — нет | Клиент за входом видит только дольше не меняющееся `queued`, ни одного кода ошибки. Перестаёт приниматься на первых двух уровнях. Перестаёт ускоряться на CPU worker (конкуренция сверх двух), а на файлах у границы байтов — ещё на CPU S3, и там приём отнимает ресурс у обработки. Предел заданий останавливает это только на ~35-й секунде такой нагрузки: приоритета обработки над приёмом в S3 нет, это ограничение. @@ -732,6 +732,8 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку **Восстановление** (`evidence/queue/baseline4/cells.csv`). Без действий оператора незавершённых становится ноль во всех 57 ячейках, очередь брокера пуста, `not_recovered` нет. Эффект не дублируется: 0 вторых заданий и наборов вариантов; лишних строк в базе нет; копий relay 0. Скорость разбора при (2, 2) не падает: по медиане `recovery` не ниже окна `over` на `m`, `lj`, `lp`, на `s` 3,08 при 3,10 — в разбросе повторов. Время до `ready` возвращается (H6, условие по конфигурациям). Контрольный поток — H7; в `accept` наибольшие p95 — запись 23,8, чтение 14,0, скачивание 371,9 мс (порог H9 — 1 с), p95 скачивания в окне `over` — 313,8–371,9 мс против 6,8–7,3 на `s` при CPU S3 ~1,0, ошибок нет. Связь с занятым S3 — предположение: отдельно не мерилась. +Сценарии «Работа копится там, где положено» и «Бэклог уходит за измеренное время» уточнены по факту этой метки (design, «Уточнения apply», п. 14; вердикты не менялись): `processing` — на один worker, кроме строк завершённого процесса, а условие о скорости — только для настройки, которая помещается в лимит памяти, без завершений worker и с конкуренцией до двух мест на CPU. Падение на прочих, окно восстановления при окне перегрузки: `lp` (4, 4) 0,36 при 0,85, `kill-worker` 2,23 при 2,88 (последние две строки ждут аренду), `s` (4, 4) 2,46 (2,32–2,49) при 2,65 (2,50–2,70). + **Компромисс latency и ресурсов (вывод из таблиц выше).** - **Память без скорости.** По правилу шума решения 11 (разбросы не пересекаются, разница медиан больше наибольшего разброса): diff --git a/bench/run.py b/bench/run.py index d15e2c90..8507d360 100644 --- a/bench/run.py +++ b/bench/run.py @@ -3407,10 +3407,18 @@ class Stand: } extra: dict[str, Any] = {} - if self.profile.is_uploads or self.profile.is_reconcile: - # S3 — только у профилей загрузок и сверки; образ и аргументы — - # рабочего стенда (у сверки ещё порт метрик, meta.reconcile) + if ( + self.profile.is_uploads + or self.profile.is_reconcile + or self.profile.is_queue + ): + # S3 — только у профилей загрузок, сверки и очереди; образ и + # аргументы — рабочего стенда (у сверки ещё порт метрик, + # meta.reconcile) extra["s3"] = image(S3) + if self.profile.is_queue: + # брокер запускает только профиль очереди + extra["rabbitmq"] = image(BROKER) return { **extra, # буфер приёма сокетов реплики: sysctls сервиса api (design diff --git a/openspec/changes/track1-queue-overload/design.md b/openspec/changes/track1-queue-overload/design.md index 2ce6f2b3..71d0235e 100644 --- a/openspec/changes/track1-queue-overload/design.md +++ b/openspec/changes/track1-queue-overload/design.md @@ -439,6 +439,15 @@ CPU — снимок `docker stats`. Очередь и задержка согл 12. **Queue lag по окнам:** `queue_wait_<окно>_p50_ms` и `_p95_ms` по окну прихода задания — по `attachment_id` журнала; разогрев туда не входит, в прежних столбцах на ячейку он остался. `peak_oldest_<окно>_s` — по окну тика. Литеральная доля второго worker — `second_share_all`, доля в окне `after` — `second_share_after`, столбец порога `second_share` прежний. 13. **«17 с» в спеках `load-balancing` и `service-configuration` не менялись:** дельт этих требований в change нет, а формула верхней границы всё равно меньше 30 с. Запись и предложение — `KNOWN_ISSUES.md`, там же формула уборщика. +Правки повторного verify (`4a7d89d`; меток нет, пороги и вердикты H1–H9 не менялись): + +14. **Два сценария `queue-overload` уточнены по факту основной метки `baseline4`, имена те же.** Это точность формулировки, а не смягчение ради зелёного: первая запись не называла случаи, где условие и не может выполняться, вердикты H1–H9 от этих сценариев не считаются. + - **«Работа копится там, где положено».** `processing` и неподтверждённые — на один worker, кроме строк завершённого процесса, ждущих аренду. `peak_processing` больше конкуренции: `lp-c4p4` 8 и 16 при 4 (завершения процесса 1, строки ждут аренду; r3 без них — 4), `kill-worker` 4 при 2 во всех повторах (то же), `w2-p2` 4 при 2 (два worker, неподтверждённых тоже 4). У `w2-p256` пик 2. В остальных ячейках условие выполнено, в `baseline`–`baseline3` те же три конфигурации. «Неподтверждённых» добавлено к исходной находке: у `w2-p2` без «на один worker» та же строка не выполнялась бы. + - **«Бэклог уходит за измеренное время».** Условие о скорости действует только для настройки, которая помещается в лимит памяти, без завершений и перезапусков worker и с конкуренцией не больше двух мест на CPU worker; на прочих падение записывается и называется в отчёте. Обязательны для всех: ноль незавершённых без оператора, пустая очередь, записанное время. Не выполняется, медиана (min–max), окно восстановления при окне перегрузки: `lp-c4p4` 0,36 (0,21–0,51) при 0,85 (0,50–0,85) — память, процессы обработки завершает ядро, работа повторяется, взятые ждут аренду; `kill-worker` 2,23 (2,21–2,26) при 2,88 (2,80–2,88) — последние две строки ждут аренду, ~15 с из 58,5 с окна готовых нет (`timeline.csv`, `kill-worker-s-c2p2-r1`, 79–93 с); `s-c4p4` 2,46 (2,32–2,49) при 2,65 (2,50–2,70) — конкуренция сверх мест на 1 CPU, разбросы не пересекаются. `lj-c4p4` 1,98 (1,95–2,17) при 2,15 (2,10–2,15) — падение в пределах шума. + - **Мелкие решения, без пользователя.** «Мест на CPU» — два: это граница H1 (конкуренция сверх двух при 1 CPU потолок не поднимает), и без числа сценарий не проверить. «Без перезапусков» записано как «без завершений и перезапусков worker»: столбец `worker_restarts` у `kill-worker` 0, потому что контейнер запускает опыт, а не политика перезапуска, но строки так же ждут аренду. «Запас разброса» — решение 11: разница считается падением, только если медиана окна восстановления ниже медианы окна перегрузки больше чем на наибольший разброс пары. Так условие выполнено на всех конфигурациях c ≤ 2 без завершений в `baseline`, `baseline2`, `baseline3` и `baseline4`; `s-c2p2` (3,08 при 3,10, разброс 0,05) падением не считается. `s-c4p4` по этому правилу формально в пределах шума (разница медиан 0,19 при разбросе 0,20), но min–max не пересекаются, поэтому он исключён уточнением по конкуренции и назван в отчёте как падение. +15. **Образы S3 и брокера в паспорте профиля очереди — поле `stand.s3` и новое `stand.rabbitmq` (`bench/run.py`, `Stand.passport`).** Спек `load-benchmark` требует их с начала change, а блок был только для `is_uploads` и `is_reconcile`. Метка `baseline4` снята без поля и не переснимается; её образы — из `git show d68a016:docker-compose.yml`, строка в `REPORT.md`. На коммитах меток `src/` и `bench/` те же, что на `5ee3257`; после них `bench/run.py` получил только это поле. На измерения поле не влияет: оба `docker inspect` выполняются при старте первой ячейки, до нагрузки. +16. **Выгрузка хоста и основная метка — решение пользователя (2026-11-02), отступление от решения 11.** Решение 11 и `bench.md` велят переснимать метку с задетыми ячейками. Пользователь решил иначе: при выгрузке результат сохраняется, после `baseline3` снимается ещё один прогон `baseline4`, больше пересъёмок нет (задача 10.20б, `QUESTIONS.md`). Основная — метка с меньшим числом ячеек с `host_swap`, при равенстве — с меньшим `swapouts_delta`. Вердиктов в этом правиле нет, и выбор меток от них не зависел: основной стала `baseline4` (`swapouts_delta` 0, задетых нет) по этому правилу. Вердикты всех меток, в том числе H2 «нет» в `baseline3`, названы в `REPORT.md` рядом. + ## Open Questions Вопросы преподавателю — `QUESTIONS.md`, раздел `track1-queue-overload`: ни один не меняет подход и задачи; другой ответ меняет строку таблицы ошибок и сценарий. diff --git a/openspec/changes/track1-queue-overload/specs/queue-overload/spec.md b/openspec/changes/track1-queue-overload/specs/queue-overload/spec.md index e88cd1fc..f3074751 100644 --- a/openspec/changes/track1-queue-overload/specs/queue-overload/spec.md +++ b/openspec/changes/track1-queue-overload/specs/queue-overload/spec.md @@ -90,8 +90,9 @@ SHALL приходить сразу: без ожидания освобожде #### Scenario: Работа копится там, где положено - **WHEN** загрузки идут быстрее потолка worker, и предел незавершённых заданий не достигнут -- **THEN** в каждый момент заданий `processing` не больше `concurrency`, неподтверждённых сообщений не больше `prefetch`, заданий в очереди - брокера не больше предела опубликованных, а незавершённых заданий столько же, сколько принято и не завершено +- **THEN** в каждый момент заданий `processing` не больше `concurrency` на один worker, кроме строк завершённого процесса, ждущих аренду, неподтверждённых + сообщений не больше `prefetch` на один worker, заданий в очереди брокера не больше предела опубликованных, а незавершённых заданий столько же, сколько + принято и не завершено #### Scenario: Приём упирается в места загрузки @@ -127,8 +128,9 @@ MUST NOT получать ответы 5xx из-за перегрузки оче #### Scenario: Бэклог уходит за измеренное время - **WHEN** загрузки шли быстрее потолка worker, и нагрузка снята -- **THEN** незавершённых заданий становится ноль без действий оператора, очередь брокера пуста, время восстановления записано, а скорость обработки в окне - восстановления не ниже скорости в окне перегрузки с запасом разброса +- **THEN** на любой настройке незавершённых заданий становится ноль без действий оператора, очередь брокера пуста и время восстановления записано; на настройке, + которая помещается в лимит памяти worker, без завершений и перезапусков worker и с конкуренцией не больше двух мест на CPU worker, скорость обработки в окне + восстановления не ниже скорости в окне перегрузки с запасом разброса; на прочих настройках падение скорости записывается и называется в отчёте #### Scenario: Никого не теряем diff --git a/openspec/changes/track1-queue-overload/tasks.md b/openspec/changes/track1-queue-overload/tasks.md index b15aa2d9..fc2ec62b 100644 --- a/openspec/changes/track1-queue-overload/tasks.md +++ b/openspec/changes/track1-queue-overload/tasks.md @@ -191,3 +191,22 @@ - [x] 10.21 `REPORT.md` — числа, вердикты и рекомендация по основной метке (`baseline4`), `lb_down`, lag, причины перезапуска, литеральная доля H3; `S1` пересчитан на новой метке; `baseline2` и `baseline3` названы как снятые с выгрузкой, вердикты всех меток рядом, в том числе H2 «нет» в `baseline3`. Ссылки на метку из задачи 10.17 — на основную. Проверка: числа совпадают со сводкой основной метки, `make check`, `openspec validate track1-queue-overload --strict`, `test_exclusion_evidence_exists` файл метки не называет. + +## 11. Замечания повторной проверки + +Находки повторного verify на `4a7d89d`. Меток нет, `evidence/queue/*`, `src/`, пороги и вердикты H1–H9 не меняются; из кода — только поле паспорта в `bench/run.py`. Коммиты — основная сессия. + +- [x] 11.1 W1: сценарии `queue-overload` «Работа копится там, где положено» и «Бэклог уходит за измеренное время» уточнены по факту метки (дельта и основной спек, имена те же); design, «Уточнения apply»; строка в `REPORT.md`. + + Проверка: числа сверены с `evidence/queue/baseline4/cells.csv`; `openspec validate track1-queue-overload --strict`; `make student_test` (сверка покрытия по именам сценариев). +- [x] 11.2 W2: образы S3 и брокера в паспорте профиля очереди (`Stand.passport`, `bench/run.py`); образы метки `baseline4` и оговорка в `REPORT.md`; уточнение «`src/` и `bench/` те же». + + Проверка: `make bench_queue_quick`, в `meta.json` есть оба образа. +- [x] 11.3 W3: `evidence/tests/failure-checks.md` в `REPORT.md` — на `b104690`, `service-tests.md` — на своём commit; `QUESTIONS.md` — файл переснят в `4a7d89d`. +- [x] 11.4 S1: карта кода `AGENTS.md`: `run_failures.py`, `conftest.py`, `settings.py`, `errors.py`, `exceptions/`, `services/attachment.py`. +- [x] 11.5 S2: design, «Уточнения apply»: решение пользователя о выгрузке и основной метке, отступление от решения 11, выбор меток не зависел от вердиктов. +- [x] 11.6 S3: `REPORT.md`, строка `concurrency`: 4 на двух worker только у `w2-p2`, у `w2-p256` пик 2. +- [x] 11.7 S4: `REPORT.md`, занижение `cpu_worker_per_job_s` в метке `baseline` — по `cells.csv`. +- [x] 11.8 S5: `REPORT.md`: число ячеек с разбросом восстановления выше 5 %; p95 ожидания в очереди — медиана строки и отдельная ячейка. +- [x] 11.9 S6: `REPORT.md`, строка быстрых тестов: текущие числа `make service_test` и `make service_test_db`. +- [x] 11.10 Регресс: `make lint`, `make check`, `make validate PYTHON=.venv/bin/python`, `make service_test`, `uv run python bench/overload.py --selftest`, `openspec validate track1-queue-overload --strict`, `make test`, `make student_test` на поднятом рабочем стенде. diff --git a/openspec/specs/queue-overload/spec.md b/openspec/specs/queue-overload/spec.md index 9e19608d..805a0983 100644 --- a/openspec/specs/queue-overload/spec.md +++ b/openspec/specs/queue-overload/spec.md @@ -92,8 +92,9 @@ SHALL приходить сразу: без ожидания освобожде #### Scenario: Работа копится там, где положено - **WHEN** загрузки идут быстрее потолка worker, и предел незавершённых заданий не достигнут -- **THEN** в каждый момент заданий `processing` не больше `concurrency`, неподтверждённых сообщений не больше `prefetch`, заданий в очереди - брокера не больше предела опубликованных, а незавершённых заданий столько же, сколько принято и не завершено +- **THEN** в каждый момент заданий `processing` не больше `concurrency` на один worker, кроме строк завершённого процесса, ждущих аренду, неподтверждённых + сообщений не больше `prefetch` на один worker, заданий в очереди брокера не больше предела опубликованных, а незавершённых заданий столько же, сколько + принято и не завершено #### Scenario: Приём упирается в места загрузки @@ -129,8 +130,9 @@ MUST NOT получать ответы 5xx из-за перегрузки оче #### Scenario: Бэклог уходит за измеренное время - **WHEN** загрузки шли быстрее потолка worker, и нагрузка снята -- **THEN** незавершённых заданий становится ноль без действий оператора, очередь брокера пуста, время восстановления записано, а скорость обработки в окне - восстановления не ниже скорости в окне перегрузки с запасом разброса +- **THEN** на любой настройке незавершённых заданий становится ноль без действий оператора, очередь брокера пуста и время восстановления записано; на настройке, + которая помещается в лимит памяти worker, без завершений и перезапусков worker и с конкуренцией не больше двух мест на CPU worker, скорость обработки в окне + восстановления не ниже скорости в окне перегрузки с запасом разброса; на прочих настройках падение скорости записывается и называется в отчёте #### Scenario: Никого не теряем