fix: align queue overload scenarios and passport with verify findings
Narrows two queue-overload scenarios to what the labels measure, adds the S3 and broker images to the queue profile passport, and corrects report figures. Thresholds and verdicts are unchanged. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -570,7 +570,8 @@ design change `track2-reconcile-cost`, решения 1–3, 7–13. Метод
|
||||
журналы не копируются, `.work/` удаляется. `quick-queue-*` — в `.gitignore`. Метка
|
||||
`baseline` (`7999002`) снята раньше правок verify и не перезаписывается, столбцы правок —
|
||||
с `baseline2`. `baseline2` и `baseline3` сняты с выгрузкой хоста, остаются записью;
|
||||
основная для отчёта — `baseline4` (`QUESTIONS.md`, правило выбора).
|
||||
основная для отчёта — `baseline4` (`QUESTIONS.md`, правило выбора). Образы S3 и брокера в
|
||||
паспорте (`stand.s3`, `stand.rabbitmq`) — только у меток после `baseline4`; её образы — в `REPORT.md`.
|
||||
- **Время:** полный профиль — 57 ячеек, ~2 ч 10 мин; `queue_quick` — `s` (2, 2), `lp` (4, 4),
|
||||
предел 40 и без него, `kill-worker`, `w2-p256`, ~11 мин. Рабочий стенд — `make stop`.
|
||||
|
||||
|
||||
@@ -544,13 +544,13 @@ src/
|
||||
relay/main.py # relay: свои engine, SqlAlchemyUnitOfWork и издатель, цикл проходов с паузами, отказ брокера и PostgreSQL не роняет, SIGTERM — текущий шаг и выход 0; replay — разовая команда реестра, коды 0/3/1/2
|
||||
cleaner/__main__.py # python -m src.cleaner [--once]: early_stop.install("cleaner") до импорта → main(); неверные настройки — запись без значений и код 2
|
||||
cleaner/main.py # уборщик незавершённых загрузок: проверка grace > 2 × request_timeout + s3 timeout (иначе код 2), свой engine, SqlAlchemyUnitOfWork на сервис и клиент S3, цикл с интервалом и плановой сверкой (при старте и раз в [reconciler] interval_seconds), SIGTERM — довести текущий шаг и выйти 0, --once — коды 0/1/2; reconcile [--apply] [--max-changes N] [--strategy batch|head] [--deep] [--max-objects-per-second R] — разовая сверка, коды 0/3/1/2; плановая — batch, поверхностная, предел скорости из настроек
|
||||
config/settings.py # Settings (pydantic-settings), экземпляр settings; [app] instance_id (пусто → hostname) и keep_alive_seconds, [database] pool_size 10 и max_overflow 0 (постоянный пул без переполнения), idle_in_transaction_timeout_ms, [s3] адрес, bucket (валидатор имени), ключи API, регион, сроки, пул и endpoint_url, [idempotency] ttl_seconds, [uploads] max_concurrent 4, max_waiting 16, wait_timeout_seconds 5, body_timeout_seconds 30 (места загрузок процесса API), [cleaner] interval_seconds 60, pending_grace_seconds 900, batch_size 100, [reconciler] interval_seconds 3600, page_size 1000, max_changes 100, max_objects_per_second 2000 (предел скорости сверки; 0 — без него)
|
||||
config/settings.py # Settings (pydantic-settings), экземпляр settings; [app] instance_id (пусто → hostname) и keep_alive_seconds, [database] pool_size 10 и max_overflow 0 (постоянный пул без переполнения), idle_in_transaction_timeout_ms, [s3] адрес, bucket (валидатор имени), ключи API, регион, сроки, пул и endpoint_url, [idempotency] ttl_seconds, [uploads] max_concurrent 4, max_waiting 16, wait_timeout_seconds 5, body_timeout_seconds 30 (места загрузок процесса API), max_unfinished_jobs 250 (предел незавершённых заданий стенда; 0 — без него), [cleaner] interval_seconds 60, pending_grace_seconds 900, batch_size 100, [reconciler] interval_seconds 3600, page_size 1000, max_changes 100, max_objects_per_second 2000 (предел скорости сверки; 0 — без него)
|
||||
api/
|
||||
routers/health.py # /health/live, /health/ready: вне версии, без идентификации
|
||||
routers/v1/<domain>.py # ручки под /api/v1, сборка в routers/v1/__init__.py; Idempotency-Key — параметр POST сообщения (message.py); attachment.py — один роутер с двумя префиксами: загрузка (тело через request.stream(), схема — openapi_extra, строгий UTF-8 filename по scope["query_string"]), метаданные, байты StreamingResponse
|
||||
schemas/<domain>.py # pydantic-модели запросов и ответов = схемы контракта; common.py — UuidIn: UUID от клиента (путь, тело) только в записи 8-4-4-4-12; attachment.py — DisplayFilename (отказ на / \ Cc и пробелы) и Attachment; message.py — CreateMessage с attachment_ids и валидатором пустого текста
|
||||
dependencies.py # get_uow (SqlAlchemyUnitOfWork на запрос), request_deadline (общий срок JSON-запроса), фабрики сервисов на UowDep (с кэшем; вложения — ещё S3 и места), разбор Basic, текущая сессия по Bearer, пагинация
|
||||
errors.py # доменное исключение → статус + code (+ WWW-Authenticate), формат ошибки контракта; RETRY_AFTER — Retry-After у 429 занятых мест загрузки; у 500 — X-Request-Id и X-Instance-Id
|
||||
errors.py # доменное исключение → статус + code (+ WWW-Authenticate), формат ошибки контракта; RETRY_AFTER — Retry-After у 429 занятых мест загрузки и предела заданий (UploadBacklogFull, 5 с); у 500 — X-Request-Id и X-Instance-Id
|
||||
middlewares/ # X-Request-Id, X-Instance-Id и access-лог
|
||||
core/
|
||||
ports/uow.py # AbstractUnitOfWork: блок, commit, rollback, blocks_opened, правила вложенного входа и repo вне блока, UnitOfWorkError; реальные шаги — _open, _close, _commit, _rollback реализации; Repositories
|
||||
@@ -565,13 +565,13 @@ src/
|
||||
repos/attachment_object.py # объекты в S3: staging_key <база>/staging/<id>/original, variant_key и parse_variant_key <база>/attachments/<id>/v<N>-<имя>, оригинал <база>/attachments/<id>/original, put_original (поток BytesIO и size, без копии тела), open, delete_original; сверке — originals_prefix, is_own_key (ключ под префиксом вложений своей базы), parse_original_key, list_originals, probe_originals (bucket на месте), head_original, staging_prefix, is_own_staging_key, parse_staging_key, list_staging; variant_keys — ключи вариантов всех имён
|
||||
repos/message.py # MESSAGE_COLUMNS с ARRAY(подзапрос attachment_ids по position), вставка связей одной вставкой
|
||||
services/<domain>.py # <Domain>Service(uow, …): логика, проверки доступа, id и время, логи; чаты и сообщения — с кэшем, require_member внутри чужого блока; отправка — ключ, сообщение и связи с вложениями одним блоком
|
||||
services/attachment.py # AttachmentService(uow, cache, storage, slots): загрузка (проверки → место загрузки, 429 → тело со счётчиком и сроком в BytesIO, 400 по сроку → структура и SHA-256 в потоке над getvalue() → del → pending → PUT в staging тем же BytesIO → queued и задание, ответ 202; сбой до COMMIT или пропавшая строка — удаление объекта и 503; брокера в пути нет; место — до ответа), метаданные с вариантами, отдача потоком
|
||||
services/attachment.py # AttachmentService(uow, cache, storage, slots): загрузка (проверки в первом блоке и там же предел заданий count_unfinished, 429 UploadBacklogFull → место загрузки, 429 → тело со счётчиком и сроком в BytesIO, 400 по сроку → структура и SHA-256 в потоке над getvalue() → del → pending → PUT в staging тем же BytesIO → queued и задание, ответ 202; сбой до COMMIT или пропавшая строка — удаление объекта и 503; брокера в пути нет; место — до ответа), метаданные с вариантами, отдача потоком
|
||||
services/attachment_processing.py # AttachmentProcessingService(uow, storage, renderer, stop): разбор сообщения, claim с арендой и бюджетом, GET staging и сверка, PUT оригинала, варианты через ImageRenderer, PUT вариантов, фиксация ready с fencing одной транзакцией; временные ошибки — queued со сроком (retry_delay, jitter) и ACK, постоянные — failed; JobOutcome
|
||||
services/attachment_relay.py # AttachmentRelayService(uow, publisher): проход — истёкшие аренды, потерянные сообщения, публикация с подтверждением и отметка пакета внутри транзакции SKIP LOCKED, предел опубликованных; RelayPassDTO
|
||||
services/attachment_replay.py # AttachmentReplayService(uow): реестр failed, replay одной транзакцией с аудитом и новым бюджетом, отказы not_found / already_ready / not_failed / source_gone; ReplayPassDTO
|
||||
services/attachment_cleanup.py # AttachmentCleanupService(uow, storage): проход уборщика — кандидаты keyset, каждая строка в два шага (remove_stale_pending): блокировка и пометка (commit) → блокировка, DELETE объекта и DELETE строки (commit); отказ S3 или БД прерывает проход, SIGTERM — после текущего шага; CleanupPassDTO; clean_staging — очистка staging ready и failed по сроку под FOR NO KEY UPDATE SKIP LOCKED, StagingCleanupPassDTO
|
||||
services/attachment_reconcile.py # AttachmentReconcileService(uow, storage): сверка bucket и БД — S3 → БД (страницы списка, выборка на страницу, множество ключей), БД → S3 (keyset ready; ключ строки вне префикса вложений — чужой объект без HEAD; строка с ключом <id>/original другого вложения — HEAD её объекта, verify W2), зависшие, перепроверка в БД и HEAD (bucket — probe), сигнал — перед каждым вызовом хранилища, предел изменений, действия с apply (зависшие шагом уборщика → объекты без строки → объекты staging без строки → пометки → снятия); журнал Found / Fixed / Finished; ReconcilePassDTO. С change pipeline-reliability: шаг _list_staging, orphan_staging, listed_staging. С change track2-reconcile-cost: strategy head (выборка строки на объект, HEAD на строку, без множества), deep (GET и SHA-256 потоком, checksum_mismatch; «оригинал вернулся» — тот же SHA-256), предел скорости после каждого вызова S3 (_pace, куски 0,2 с; сигнал прекращает паузу, останавливает следующий check_stop — verify W1), ранний отказ по пределу (unchecked), счёт сеансов — uow.blocks_opened, стоимость в итоге (storage_objects, s3_requests, read_bytes, db_sessions, phase_ms)
|
||||
exceptions/<domain>.py # доменные исключения, реэкспорт в __init__.py; storage.py — ObjectStorageUnavailable (503) и StoredObjectMissing; attachment.py — 404, 413, 415, 400 обрыва и срока тела (UploadTimedOut), 429 занятых мест (UploadsBusy), 500 пропавшего объекта
|
||||
exceptions/<domain>.py # доменные исключения, реэкспорт в __init__.py; storage.py — ObjectStorageUnavailable (503) и StoredObjectMissing; attachment.py — 404, 413, 415, 400 обрыва и срока тела (UploadTimedOut), 429 занятых мест (UploadsBusy), 429 предела заданий (UploadBacklogFull), 500 пропавшего объекта
|
||||
infra/
|
||||
early_stop.py # ранний обработчик SIGTERM/SIGINT (только stdlib): до старта сервера — запись «Stopped <процесс> before startup» (API, cleaner) и выход 0; disarm() — первая строка lifespan; write_record — запись мимо structlog
|
||||
logger.py # structlog, get_logger(), contextvar-ы request_id / user_id, instance_id в каждой записи
|
||||
@@ -600,7 +600,7 @@ src/
|
||||
utc.py # utcnow() (aware UTC), формат RFC 3339 с Z
|
||||
cursor.py # непрозрачный keyset-курсор: кодирование и разбор; поля проверяются по отдельности, незнакомые игнорируются, смена формата — новая CURSOR_VERSION
|
||||
student-tests/ # black-box тесты по HTTP (уровень 4): make student_test
|
||||
conftest.py # BASE_URL, EXPECT_REPLICAS и фикстура replicas (пропуск против одного процесса), проверка доступности, фикстуры alice/bob/eve/chat и stand/tight_api/uploads_api/s3_api, сбор маркеров spec, стоп без hook
|
||||
conftest.py # BASE_URL, EXPECT_REPLICAS и фикстура replicas (пропуск против одного процесса), проверка доступности, фикстуры alice/bob/eve/chat и stand/tight_api/uploads_api/s3_api/backlog_api, сбор маркеров spec, стоп без hook
|
||||
api_client.py # Api поверх httpx; Actor.headers() — единственное место идентификации; post_message/send_message (с attachment_ids) — с Idempotency-Key; post_attachment/upload, attachment_meta, attachment_content, attachment_content_slowly (потоком с паузой после блока)
|
||||
contract.py # тела по схемам contracts/openapi.json, форматы id, attachment_ids и времени, X-Instance-Id, assert_error (с 413, 415 и 429 — Retry-After положительное целое), assert_errors (статусы всех вариантов запроса разом), assert_content (байты, тип, nosniff, без Location и x-amz-*), assert_replicas
|
||||
images.py # изображения для тестов: PNG на stdlib (любые IHDR, Adam7, точный размер, бомба, огромные размеры, порча байта, шум RGB ~1 MiB от зерна — png_noise), JPEG через Pillow (dev): разновидности, подмена размеров, без таблиц, изменённый заголовок скана и пустой скан (jpeg_undecodable); обрезка и хвост
|
||||
@@ -613,7 +613,7 @@ student-tests/ # black-box тесты по HTTP (уровень 4)
|
||||
test_<capability>.py # сценарии основных спеков, маркер @pytest.mark.spec
|
||||
test_failures.py # проверки отказов (маркер fault): только make failure_checks
|
||||
run_isolated.py # make test_isolated: образ на временной базе test_<db>, уборка базы и префикса test_<db>/ в S3 (weed shell fs.rm, затем проверка fs.ls: код 0 weed shell успеха не значит; префикс только из проверенного имени) (stdlib)
|
||||
run_failures.py # make failure_checks: стенд <рабочий>-failures (Postgres, Valkey, S3 + bootstrap, уборщик с grace 20 с и интервалом 1 с без плановой сверки → FAULT_CLEANER_*, FAULT_RECONCILER_INTERVAL_S; уборщик с плановой сверкой <проект>-cleaner-scheduled убирается вместе с API), четыре API (обычный, «тесный», «узкий по загрузкам» с UPLOADS_ENV → FAULT_UPLOADS_BASE_URL / FAULT_UPLOADS_ENV, «с коротким сроком S3» с S3_ENV → FAULT_S3_BASE_URL / FAULT_S3_ENV), pytest -m fault, журнал PostgreSQL стенда (сводка, признаки аварии — ненулевой код), журналы API и уборщика при падении, уборка (stdlib)
|
||||
run_failures.py # make failure_checks: стенд <рабочий>-failures (Postgres, Valkey, S3 + bootstrap, уборщик с grace 20 с и интервалом 1 с без плановой сверки → FAULT_CLEANER_*, FAULT_RECONCILER_INTERVAL_S; уборщик с плановой сверкой <проект>-cleaner-scheduled убирается вместе с API), пять API (обычный, «тесный», «узкий по загрузкам» с UPLOADS_ENV → FAULT_UPLOADS_BASE_URL / FAULT_UPLOADS_ENV, «с коротким сроком S3» с S3_ENV → FAULT_S3_BASE_URL / FAULT_S3_ENV, «узкий по заданиям» с BACKLOG_ENV → FAULT_BACKLOG_BASE_URL / FAULT_BACKLOG_ENV; у первых четырёх предел заданий выключен, NO_BACKLOG_ENV), pytest -m fault, журнал PostgreSQL стенда (сводка, признаки аварии — ненулевой код), журналы API и уборщика при падении, уборка (stdlib)
|
||||
fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников, сообщений и вложений (fail-attachments insert|ready|stall|commit|outlive|undeletable: сбой вставки, перевода в ready до и на COMMIT, задержка, строка «старше grace» с ожиданием уборщика, неудаляемая строка), заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions, attachment-ids, last-pending, object-ids (файлы original по fs.tree), kill-api / start-api; расхождения и сверка (change track2-reconciler): put-object (тело — stdin, botocore в контейнере API его ключами) / delete-object (weed fs.rm) только под <база>/attachments/, delete-row, set-size, age-row, set-key (object_key строки под <база>/), lost-ids, fail-attachments mark, reconcile dry-run|apply [предел] [--strategy batch|head] [--deep] [--max-objects-per-second R] (аргументы по списку, записи и exit_code=), stop|start cleaner, run-cleaner <с> (stdlib)
|
||||
failures.compose.yml # override стенда отказов: relay (опрос 0,2 с, restart "no"), worker и уборщик с короткими сроками change pipeline-reliability, без публикации портов (Postgres, Valkey, S3, LB), уборщик с CLEANER__* 20 / 1, RECONCILER__INTERVAL_SECONDS 0 и restart "no", stop_grace_period 2 с у S3, healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения), init: true у PostgreSQL (сирот psql из fill-connections подбирает init, а не postmaster)
|
||||
service-tests/ # быстрые тесты сервисов (вне образа и вне student-tests), service-tests.md
|
||||
|
||||
+2
-1
@@ -255,7 +255,8 @@
|
||||
- **`freeze-sessions` идёт в одноразовом контейнере `api`, а не из дерева кода через `uv run`:** так пробе не нужен `.env` и код образа совпадает со стендом. httpx в образе нет, вызовы ASGI — своим клиентом; остальная логика `double_cancel.py` та же. Прежний файл называл аргументы пробы неверно: `2 6 1` и `2 6 4` — пул 2 и 1 или 4 запроса, а не срок 2 и пул 1 или 4; добавлен режим с настоящим пулом 4.
|
||||
- **`make test_isolated` перед `cache-check` при первой съёмке — код 2.** Его набор требует файлы, которых ещё нет, а ключи временной базы он при этом оставляет: команды шли не через `&&`, причина названа в шапке `evidence/cache/hits.md`.
|
||||
- **Шаги `evidence/idempotency/replay-after-restart.md` — `driver.py req` и `docker compose`,** скрипт только соединил их: отдельной команды драйвера не заводилось, задача её не просила, а шаги повторяются руками.
|
||||
- **Пересняты `evidence/tests/student-test-lb.md` и `evidence/tests/test-isolated.md`:** задача их не называла, но на `d8fe2e8` они показывали единственный красный тест, который эта задача закрыла. `evidence/tests/failure-checks.md` остаётся на `d8fe2e8`: полный прогон на ноутбуке запрещён условиями задачи.
|
||||
- **Пересняты `evidence/tests/student-test-lb.md` и `evidence/tests/test-isolated.md`:** задача их не называла, но на `d8fe2e8` они показывали единственный красный тест, который эта задача закрыла. `evidence/tests/failure-checks.md` остаётся на `d8fe2e8`: полный прогон на ноутбуке запрещён условиями задачи. Позже файл переснят в `4a7d89d`: прогон с шестью проверками предела стартовал на `b104690`, отчёт ссылается на него.
|
||||
- **Повторный verify: «мест на CPU» в сценарии «Бэклог уходит за измеренное время» — два на CPU worker, «без перезапусков» — и без завершений по команде:** граница H1, а столбец `worker_restarts` у `kill-worker` 0, хотя строки так же ждут аренду. Запас разброса — решение 11. Вердикты H1–H9 от этого не считаются (design, «Уточнения apply», п. 14).
|
||||
- **В `REPORT.md` добавлен вопрос 12 (`PR_SET_DUMPABLE`):** он был вопросом преподавателю в `QUESTIONS.md`, но в нумерованный список отчёта не попал.
|
||||
- **Секреты в новых файлах `evidence/` сверены по токенам и путям, не по значениям `.env`:** файл `.env` в этой работе не читается. `evidence/tests/secrets.md` остаётся на прежнем commit; поиск значений по всему `evidence/` — перед PR.
|
||||
|
||||
|
||||
@@ -366,7 +366,7 @@ CPU на успешный запрос при постоянных 200 запр
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
В шапке каждого файла — команда, дата, commit и стенд. На `9639aa1` (код `src/` и `bench/` тот же, что на `5ee3257`, изменён только драйвер скилла: новые команды `worker-memory`, `freeze-sessions`, `freeze-lb`) сняты `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md`, `evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/idempotency/replay-after-restart.md`, `evidence/worker/memory.md`, `evidence/storage/freeze-sessions.md`. На `d8fe2e8` (правки verify: сессии после заморозки, один срок на JSON-запрос, тест одновременных доставок) сняты `evidence/tests/failure-checks.md`, `evidence/tests/service-tests.md`. На `6ba74b1` (единица работы, поведение то же) сняты метки `evidence/bench/unit-of-work-after/` и `evidence/rollout/unit-of-work*/`, а ещё `evidence/replicas/test-persistence.md`, `evidence/failover/test-failover.md`, `evidence/attachments/defense-faults.md`, `evidence/s3/privacy.md`, `evidence/worker/process.md`, `evidence/relay/process.md`. На `399da05` снята таблица «Красные прогоны» в `failure-checks.md`. Остальные файлы уровня 4 сняты на `e2a6427`: из кода приложения `399da05` меняет только `src/utils/image_variants.py`, одну ветку перевода в RGBA, а `6ba74b1` поведения не меняет. `d8fe2e8` меняет только путь отказа: метки и файлы на `6ba74b1` не переснимались, потому что на пути без отказа правка убирает один таймер блока и обменов с PostgreSQL не добавляет, а `make failure_checks` на новом commit те же отказы прошёл. Остались снятыми на прежнем коде `ff1a83b` и названы так в шапках: метка `evidence/uploads/baseline/`, `evidence/rollout/async-attachments/`, `evidence/migrations/async-attachments.md`, `evidence/s3/worker-key.md`: это доказательства перехода уровня 3, их поведение уровень 4 не менял.
|
||||
В шапке каждого файла — команда, дата, commit и стенд. На `9639aa1` (код `src/` и `bench/` тот же, что на `5ee3257`, изменён только драйвер скилла: новые команды `worker-memory`, `freeze-sessions`, `freeze-lb`) сняты `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md`, `evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/idempotency/replay-after-restart.md`, `evidence/worker/memory.md`, `evidence/storage/freeze-sessions.md`. На `b104690` (коммит файла `4a7d89d`, шесть проверок предела заданий) снят `evidence/tests/failure-checks.md`. На `d8fe2e8` (правки verify: сессии после заморозки, один срок на JSON-запрос, тест одновременных доставок) снят `evidence/tests/service-tests.md`. На `6ba74b1` (единица работы, поведение то же) сняты метки `evidence/bench/unit-of-work-after/` и `evidence/rollout/unit-of-work*/`, а ещё `evidence/replicas/test-persistence.md`, `evidence/failover/test-failover.md`, `evidence/attachments/defense-faults.md`, `evidence/s3/privacy.md`, `evidence/worker/process.md`, `evidence/relay/process.md`. На `399da05` снята таблица «Красные прогоны» в `failure-checks.md`. Остальные файлы уровня 4 сняты на `e2a6427`: из кода приложения `399da05` меняет только `src/utils/image_variants.py`, одну ветку перевода в RGBA, а `6ba74b1` поведения не меняет. `d8fe2e8` меняет только путь отказа: метки и файлы на `6ba74b1` не переснимались, потому что на пути без отказа правка убирает один таймер блока и обменов с PostgreSQL не добавляет, а `make failure_checks` на новом commit те же отказы прошёл. Остались снятыми на прежнем коде `ff1a83b` и названы так в шапках: метка `evidence/uploads/baseline/`, `evidence/rollout/async-attachments/`, `evidence/migrations/async-attachments.md`, `evidence/s3/worker-key.md`: это доказательства перехода уровня 3, их поведение уровень 4 не менял.
|
||||
|
||||
### Уровень 3
|
||||
|
||||
@@ -376,7 +376,7 @@ CPU на успешный запрос при постоянных 200 запр
|
||||
| Минимум лаб 1–4 сохранён с переходом 201 → 202 | `make student_test` через LB | 224 passed, реплики выполнены; сверка: 389 сценариев, 358 проверены, 31 исключение | `evidence/tests/student-test-lb.md` |
|
||||
| Тот же набор на временной базе | `make test_isolated` | smoke PASS; 218 passed, 6 skipped (реплики); уборка полная | `evidence/tests/test-isolated.md` |
|
||||
| Отказы | `make failure_checks` (`b104690`) | 147 passed, pytest 2214 с, `crash markers 0` | `evidence/tests/failure-checks.md` |
|
||||
| Ветки сервисов и настоящая единица работы | `make service_test`, `make service_test_db` (`d8fe2e8`) | 201 passed за 1,44 с без хранилищ; 75 passed за 32,47 с на временной базе; 16 регрессий дают названный красный | `evidence/tests/service-tests.md` |
|
||||
| Ветки сервисов и настоящая единица работы | `make service_test`, `make service_test_db` (`d8fe2e8`) | 201 passed за 1,44 с без хранилищ; 75 passed за 32,47 с на временной базе; 16 регрессий дают названный красный. С тестами предела заданий сейчас 215 и 78 passed (прогон перед коммитом этой правки, файл доказательства не переснимался) | `evidence/tests/service-tests.md` |
|
||||
| Заморозка PostgreSQL: сессий сверх пула нет, одна запись об отказе | `driver.py --port 8080 freeze-sessions` (TCP-прокси пробы, сервер не трогается), `driver.py freeze-lb` (`docker pause` на своём временном проекте, рабочий `mtusi-lab5` — код 2); то же в тестах `test_no_sessions_over_pool_after_freeze`, `test_deadline_in_second_block_single_record` | 503 за 4,00–4,03 с при сроке 2 с, записей пула нет, сессий через прокси 0 во всех раундах; через LB 503 за 8,01–8,09 с, 504 нет, сессий до и после каждой заморозки поровну | `evidence/storage/freeze-sessions.md` |
|
||||
| 202 только после устойчивого приёма и сохранения задания | `test_durable_state_at_202`, `test_upload_with_broker_stopped`, `test_upload_with_broker_paused` | к 202 объект в staging, строка и намерение в одной транзакции; брокер остановлен или заморожен — по-прежнему 202, намерение ждёт (на уровне 3 было 503) | `evidence/tests/failure-checks.md` |
|
||||
| Остановка API после ответа не теряет работу | `test_api_killed_after_202` | реплика убита после 202, вложение становится `ready` | `evidence/tests/failure-checks.md` |
|
||||
@@ -497,7 +497,7 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
|
||||
|
||||
### Очередь под перегрузкой
|
||||
|
||||
Трек 1 уровня 5, change `track1-queue-overload`. **Основная метка — `baseline4`: код commit `d68a016`, метка commit `b104690`** (`dirty` false, 57 ячеек из 57, 2 ч 00 мин, `swapouts_delta` 0, сна нет, предупреждений о хосте нет, посторонних контейнеров нет). `src/` и `bench/` те же, что на `5ee3257`. Гипотезы и правило записаны и закоммичены раньше первой метки, пороги с тех пор не менялись. Числа порогов — из проб стадии propose (design, раздел «Пробы»); числа результатов ниже — из `evidence/queue/baseline4/summary.md`, `cells.csv` и `timeline.csv`, если не названа другая метка.
|
||||
Трек 1 уровня 5, change `track1-queue-overload`. **Основная метка — `baseline4`: код commit `d68a016`, метка commit `b104690`** (`dirty` false, 57 ячеек из 57, 2 ч 00 мин, `swapouts_delta` 0, сна нет, предупреждений о хосте нет, посторонних контейнеров нет). `src/` и `bench/` на коммитах меток `baseline2`–`baseline4` те же, что на `5ee3257`; после них `bench/run.py` получил только поле паспорта с образами S3 и брокера. Паспорт `baseline4` его не содержит, поле появилось после метки; её образы (`git show d68a016:docker-compose.yml`): S3 `chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d`, брокер `rabbitmq:4.3.7@sha256:bd88985187aa73cd598fa0d8b31d49b2f814a6d9e58f6d5a89bae588669d946a`. Гипотезы и правило записаны и закоммичены раньше первой метки, пороги с тех пор не менялись. Числа порогов — из проб стадии propose (design, раздел «Пробы»); числа результатов ниже — из `evidence/queue/baseline4/summary.md`, `cells.csv` и `timeline.csv`, если не названа другая метка.
|
||||
|
||||
**Четыре метки.** Снято четыре, основная выбрана правилом, записанным заранее и не зависящим от вердиктов: меньше задетых выгрузкой ячеек, при равенстве — меньше `swapouts_delta` (`QUESTIONS.md`; `openspec/changes/track1-queue-overload/tasks.md`, 10.20б). Остальные каталоги остаются в репозитории как запись.
|
||||
|
||||
@@ -511,7 +511,7 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
|
||||
Почему `baseline` переснята: проверка нашла ошибки инструмента, которые нельзя поправить задним числом. Что в ней неверно:
|
||||
|
||||
- `lb_down` считал строку `BACKEND` репликой, и выход одной реплики не срабатывал: условие H7 «`lb_down` нет» метка не проверяла;
|
||||
- `cpu_worker_per_job_s` занижен на ~8–12 %: CPU до конца восстановления делился на все `ready`, включая окно `after`;
|
||||
- `cpu_worker_per_job_s` занижен на ~6–11 %: CPU до конца восстановления делился на все `ready`, включая окно `after` (медианы конфигураций матрицы `baseline` к `baseline4`, без `lp-c4p4`: 5,6–8,8 % при конкуренции до двух, 8,2–10,8 % при четырёх);
|
||||
- каждый перезапуск worker считался завершением ядром: причина в метке не проверялась;
|
||||
- queue lag есть только на ячейку, а не по окнам, в сводке его нет; CPU и троттлинг — не по всем окнам и ролям;
|
||||
- нет счётчика перезапусков relay, лишние строки в базе не искались.
|
||||
@@ -630,7 +630,7 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
|
||||
| `lp-c1p1-r3` | 25 068 | 40,34 | 36,41 | +10,8 % |
|
||||
| `accept-m-c2p2-r3` | 197 012 | 106,22 | 94,03 | +13,0 % |
|
||||
|
||||
Эффект 1–13 % с объёмом не растёт: 23 380 страниц — +1,4 %, 4 524 — +10,6 %. Похожий разброс бывает и без пометки: восстановление к среднему двух соседних повторов выше 5 % у 21 ячейки из 198 без пометки (конфигурации без задетых ячеек, без `lp-c4p4`), например `s-c4p4-r1` чистой `baseline4` +9,6 %. Причинная связь выгрузки с задержкой не показана. Без пяти ячеек вердикты и рекомендация `baseline2` те же.
|
||||
Эффект 1–13 % с объёмом не растёт: 23 380 страниц — +1,4 %, 4 524 — +10,6 %. Похожий разброс бывает и без пометки: восстановление к среднему двух соседних повторов выше 5 % у 22 ячеек из 198 без пометки (конфигурации без задетых ячеек, без `lp-c4p4`), например `s-c4p4-r1` чистой `baseline4` +9,6 %. Причинная связь выгрузки с задержкой не показана. Без пяти ячеек вердикты и рекомендация `baseline2` те же.
|
||||
|
||||
**Оговорка к H6: `lp` (4, 4).** В основной метке условие «p95 `after` ≤ 1,5 × p95 `before`» содержательно: `before` 1,36 / 1,30 / 1,28 с, `after` 1,31 / 1,28 / 1,35 с. Но в `baseline` и `baseline3` оно проходило без смысловой нагрузки: у одного повтора p95 `before` 83,27 с и 78,44 с, потому что окно задето OOM, и о возврате задержки условие там ничего не доказывало; сам `after` был 1,31–1,63 с. Порог не менялся.
|
||||
|
||||
@@ -654,7 +654,7 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
|
||||
- **VmHWM у `lp` (4, 4) (206 МиБ) — только последняя жизнь контейнера:** его читают в конце ячейки, а контейнер за ячейку перезапускался до 4 раз. Это не наибольшее значение за ячейку и не сравнимо с соседними строками.
|
||||
- **Столбцы OOM и «Перезапуски»** — суммы трёх повторов. OOM — счётчик cgroup (63) плюс завершения процесса 1, подтверждённые событиями Docker (5). Завершения worker: на всех конфигурациях, кроме `lp` (4, 4) и `kill-worker`, — ни одного; прочих (`worker_die_other`) нет.
|
||||
- **Реплик в LB** наименьшее (`lb_up_min`) — 2 в каждой ячейке, `lb_down` не сработал. Лишних строк в базе (`unexpected_rows`) нет.
|
||||
- **Lag и `oldest_s`.** Пик возраста в окне `over` ограничен длиной окна; ожидание заданий, пришедших в это окно, больше: в матрице p95 до 39 с. На `m` и `lp` при (1, 1) p95 ожидания окна `before` — 413 и 1104 мс при единицах у остальных; вероятно, при одном месте конкуренции следующее задание ждёт текущее, отдельно это не мерилось.
|
||||
- **Lag и `oldest_s`.** Пик возраста в окне `over` ограничен длиной окна; ожидание заданий, пришедших в это окно, больше: в матрице p95 до 39,2 с по медиане строки (`s` (4, 4)) и до 43,4 с в отдельной ячейке (`s-c4p4-r1`). На `m` и `lp` при (1, 1) p95 ожидания окна `before` — 413 и 1104 мс при единицах у остальных; вероятно, при одном месте конкуренции следующее задание ждёт текущее, отдельно это не мерилось.
|
||||
|
||||
**Блоки** (`evidence/queue/baseline4/summary.md`, «Ячейки по конфигурациям» и «Блоки»; столбец второго worker — `evidence/queue/baseline4/cells.csv`).
|
||||
|
||||
@@ -686,7 +686,7 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
|
||||
| `max_published_backlog` | 1000 | `queued` | не достигнут ни в одной ячейке |
|
||||
| Предел памяти брокера | 400 МиБ | `queued` | не достигнут: память брокера по ячейкам 138–224 МиБ. Срабатывание проверяет `test_broker_memory_alarm`, отказы публикации в метке — только в `restart-broker` (2 прохода) |
|
||||
| `prefetch` | 2 | `queued` | неподтверждённых не больше `prefetch` во всех ячейках матрицы с (2, 2); при 256 — до 99 на `s` и до 34 на `lp`, а в очереди брокера 0 |
|
||||
| `concurrency` | 2 | `processing` | `processing` не больше конкуренции, кроме ячеек с гибелью worker: строки убитого ждут аренду (`kill-worker` — 4, `lp` (4, 4) — 8 и 16 при перезапусках, 4 без них); `w2-*` — 4 на двух worker |
|
||||
| `concurrency` | 2 | `processing` | `processing` не больше конкуренции, кроме ячеек с гибелью worker: строки убитого ждут аренду (`kill-worker` — 4, `lp` (4, 4) — 8 и 16 при перезапусках, 4 без них); `w2-p2` — 4 на двух worker, у `w2-p256` пик 2: второй не получил заданий |
|
||||
| Лимит контейнера | 1 ГБ | дольше до `ready`, `failed` при исчерпании попыток | (2, 2) помещается на всех классах, `lp` (4, 4) — нет |
|
||||
|
||||
Клиент за входом видит только дольше не меняющееся `queued`, ни одного кода ошибки. Перестаёт приниматься на первых двух уровнях. Перестаёт ускоряться на CPU worker (конкуренция сверх двух), а на файлах у границы байтов — ещё на CPU S3, и там приём отнимает ресурс у обработки. Предел заданий останавливает это только на ~35-й секунде такой нагрузки: приоритета обработки над приёмом в S3 нет, это ограничение.
|
||||
@@ -732,6 +732,8 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
|
||||
|
||||
**Восстановление** (`evidence/queue/baseline4/cells.csv`). Без действий оператора незавершённых становится ноль во всех 57 ячейках, очередь брокера пуста, `not_recovered` нет. Эффект не дублируется: 0 вторых заданий и наборов вариантов; лишних строк в базе нет; копий relay 0. Скорость разбора при (2, 2) не падает: по медиане `recovery` не ниже окна `over` на `m`, `lj`, `lp`, на `s` 3,08 при 3,10 — в разбросе повторов. Время до `ready` возвращается (H6, условие по конфигурациям). Контрольный поток — H7; в `accept` наибольшие p95 — запись 23,8, чтение 14,0, скачивание 371,9 мс (порог H9 — 1 с), p95 скачивания в окне `over` — 313,8–371,9 мс против 6,8–7,3 на `s` при CPU S3 ~1,0, ошибок нет. Связь с занятым S3 — предположение: отдельно не мерилась.
|
||||
|
||||
Сценарии «Работа копится там, где положено» и «Бэклог уходит за измеренное время» уточнены по факту этой метки (design, «Уточнения apply», п. 14; вердикты не менялись): `processing` — на один worker, кроме строк завершённого процесса, а условие о скорости — только для настройки, которая помещается в лимит памяти, без завершений worker и с конкуренцией до двух мест на CPU. Падение на прочих, окно восстановления при окне перегрузки: `lp` (4, 4) 0,36 при 0,85, `kill-worker` 2,23 при 2,88 (последние две строки ждут аренду), `s` (4, 4) 2,46 (2,32–2,49) при 2,65 (2,50–2,70).
|
||||
|
||||
**Компромисс latency и ресурсов (вывод из таблиц выше).**
|
||||
|
||||
- **Память без скорости.** По правилу шума решения 11 (разбросы не пересекаются, разница медиан больше наибольшего разброса):
|
||||
|
||||
+11
-3
@@ -3407,10 +3407,18 @@ class Stand:
|
||||
}
|
||||
|
||||
extra: dict[str, Any] = {}
|
||||
if self.profile.is_uploads or self.profile.is_reconcile:
|
||||
# S3 — только у профилей загрузок и сверки; образ и аргументы —
|
||||
# рабочего стенда (у сверки ещё порт метрик, meta.reconcile)
|
||||
if (
|
||||
self.profile.is_uploads
|
||||
or self.profile.is_reconcile
|
||||
or self.profile.is_queue
|
||||
):
|
||||
# S3 — только у профилей загрузок, сверки и очереди; образ и
|
||||
# аргументы — рабочего стенда (у сверки ещё порт метрик,
|
||||
# meta.reconcile)
|
||||
extra["s3"] = image(S3)
|
||||
if self.profile.is_queue:
|
||||
# брокер запускает только профиль очереди
|
||||
extra["rabbitmq"] = image(BROKER)
|
||||
return {
|
||||
**extra,
|
||||
# буфер приёма сокетов реплики: sysctls сервиса api (design
|
||||
|
||||
@@ -439,6 +439,15 @@ CPU — снимок `docker stats`. Очередь и задержка согл
|
||||
12. **Queue lag по окнам:** `queue_wait_<окно>_p50_ms` и `_p95_ms` по окну прихода задания — по `attachment_id` журнала; разогрев туда не входит, в прежних столбцах на ячейку он остался. `peak_oldest_<окно>_s` — по окну тика. Литеральная доля второго worker — `second_share_all`, доля в окне `after` — `second_share_after`, столбец порога `second_share` прежний.
|
||||
13. **«17 с» в спеках `load-balancing` и `service-configuration` не менялись:** дельт этих требований в change нет, а формула верхней границы всё равно меньше 30 с. Запись и предложение — `KNOWN_ISSUES.md`, там же формула уборщика.
|
||||
|
||||
Правки повторного verify (`4a7d89d`; меток нет, пороги и вердикты H1–H9 не менялись):
|
||||
|
||||
14. **Два сценария `queue-overload` уточнены по факту основной метки `baseline4`, имена те же.** Это точность формулировки, а не смягчение ради зелёного: первая запись не называла случаи, где условие и не может выполняться, вердикты H1–H9 от этих сценариев не считаются.
|
||||
- **«Работа копится там, где положено».** `processing` и неподтверждённые — на один worker, кроме строк завершённого процесса, ждущих аренду. `peak_processing` больше конкуренции: `lp-c4p4` 8 и 16 при 4 (завершения процесса 1, строки ждут аренду; r3 без них — 4), `kill-worker` 4 при 2 во всех повторах (то же), `w2-p2` 4 при 2 (два worker, неподтверждённых тоже 4). У `w2-p256` пик 2. В остальных ячейках условие выполнено, в `baseline`–`baseline3` те же три конфигурации. «Неподтверждённых» добавлено к исходной находке: у `w2-p2` без «на один worker» та же строка не выполнялась бы.
|
||||
- **«Бэклог уходит за измеренное время».** Условие о скорости действует только для настройки, которая помещается в лимит памяти, без завершений и перезапусков worker и с конкуренцией не больше двух мест на CPU worker; на прочих падение записывается и называется в отчёте. Обязательны для всех: ноль незавершённых без оператора, пустая очередь, записанное время. Не выполняется, медиана (min–max), окно восстановления при окне перегрузки: `lp-c4p4` 0,36 (0,21–0,51) при 0,85 (0,50–0,85) — память, процессы обработки завершает ядро, работа повторяется, взятые ждут аренду; `kill-worker` 2,23 (2,21–2,26) при 2,88 (2,80–2,88) — последние две строки ждут аренду, ~15 с из 58,5 с окна готовых нет (`timeline.csv`, `kill-worker-s-c2p2-r1`, 79–93 с); `s-c4p4` 2,46 (2,32–2,49) при 2,65 (2,50–2,70) — конкуренция сверх мест на 1 CPU, разбросы не пересекаются. `lj-c4p4` 1,98 (1,95–2,17) при 2,15 (2,10–2,15) — падение в пределах шума.
|
||||
- **Мелкие решения, без пользователя.** «Мест на CPU» — два: это граница H1 (конкуренция сверх двух при 1 CPU потолок не поднимает), и без числа сценарий не проверить. «Без перезапусков» записано как «без завершений и перезапусков worker»: столбец `worker_restarts` у `kill-worker` 0, потому что контейнер запускает опыт, а не политика перезапуска, но строки так же ждут аренду. «Запас разброса» — решение 11: разница считается падением, только если медиана окна восстановления ниже медианы окна перегрузки больше чем на наибольший разброс пары. Так условие выполнено на всех конфигурациях c ≤ 2 без завершений в `baseline`, `baseline2`, `baseline3` и `baseline4`; `s-c2p2` (3,08 при 3,10, разброс 0,05) падением не считается. `s-c4p4` по этому правилу формально в пределах шума (разница медиан 0,19 при разбросе 0,20), но min–max не пересекаются, поэтому он исключён уточнением по конкуренции и назван в отчёте как падение.
|
||||
15. **Образы S3 и брокера в паспорте профиля очереди — поле `stand.s3` и новое `stand.rabbitmq` (`bench/run.py`, `Stand.passport`).** Спек `load-benchmark` требует их с начала change, а блок был только для `is_uploads` и `is_reconcile`. Метка `baseline4` снята без поля и не переснимается; её образы — из `git show d68a016:docker-compose.yml`, строка в `REPORT.md`. На коммитах меток `src/` и `bench/` те же, что на `5ee3257`; после них `bench/run.py` получил только это поле. На измерения поле не влияет: оба `docker inspect` выполняются при старте первой ячейки, до нагрузки.
|
||||
16. **Выгрузка хоста и основная метка — решение пользователя (2026-11-02), отступление от решения 11.** Решение 11 и `bench.md` велят переснимать метку с задетыми ячейками. Пользователь решил иначе: при выгрузке результат сохраняется, после `baseline3` снимается ещё один прогон `baseline4`, больше пересъёмок нет (задача 10.20б, `QUESTIONS.md`). Основная — метка с меньшим числом ячеек с `host_swap`, при равенстве — с меньшим `swapouts_delta`. Вердиктов в этом правиле нет, и выбор меток от них не зависел: основной стала `baseline4` (`swapouts_delta` 0, задетых нет) по этому правилу. Вердикты всех меток, в том числе H2 «нет» в `baseline3`, названы в `REPORT.md` рядом.
|
||||
|
||||
## Open Questions
|
||||
|
||||
Вопросы преподавателю — `QUESTIONS.md`, раздел `track1-queue-overload`: ни один не меняет подход и задачи; другой ответ меняет строку таблицы ошибок и сценарий.
|
||||
|
||||
@@ -90,8 +90,9 @@ SHALL приходить сразу: без ожидания освобожде
|
||||
#### Scenario: Работа копится там, где положено
|
||||
|
||||
- **WHEN** загрузки идут быстрее потолка worker, и предел незавершённых заданий не достигнут
|
||||
- **THEN** в каждый момент заданий `processing` не больше `concurrency`, неподтверждённых сообщений не больше `prefetch`, заданий в очереди
|
||||
брокера не больше предела опубликованных, а незавершённых заданий столько же, сколько принято и не завершено
|
||||
- **THEN** в каждый момент заданий `processing` не больше `concurrency` на один worker, кроме строк завершённого процесса, ждущих аренду, неподтверждённых
|
||||
сообщений не больше `prefetch` на один worker, заданий в очереди брокера не больше предела опубликованных, а незавершённых заданий столько же, сколько
|
||||
принято и не завершено
|
||||
|
||||
#### Scenario: Приём упирается в места загрузки
|
||||
|
||||
@@ -127,8 +128,9 @@ MUST NOT получать ответы 5xx из-за перегрузки оче
|
||||
#### Scenario: Бэклог уходит за измеренное время
|
||||
|
||||
- **WHEN** загрузки шли быстрее потолка worker, и нагрузка снята
|
||||
- **THEN** незавершённых заданий становится ноль без действий оператора, очередь брокера пуста, время восстановления записано, а скорость обработки в окне
|
||||
восстановления не ниже скорости в окне перегрузки с запасом разброса
|
||||
- **THEN** на любой настройке незавершённых заданий становится ноль без действий оператора, очередь брокера пуста и время восстановления записано; на настройке,
|
||||
которая помещается в лимит памяти worker, без завершений и перезапусков worker и с конкуренцией не больше двух мест на CPU worker, скорость обработки в окне
|
||||
восстановления не ниже скорости в окне перегрузки с запасом разброса; на прочих настройках падение скорости записывается и называется в отчёте
|
||||
|
||||
#### Scenario: Никого не теряем
|
||||
|
||||
|
||||
@@ -191,3 +191,22 @@
|
||||
- [x] 10.21 `REPORT.md` — числа, вердикты и рекомендация по основной метке (`baseline4`), `lb_down`, lag, причины перезапуска, литеральная доля H3; `S1` пересчитан на новой метке; `baseline2` и `baseline3` названы как снятые с выгрузкой, вердикты всех меток рядом, в том числе H2 «нет» в `baseline3`. Ссылки на метку из задачи 10.17 — на основную.
|
||||
|
||||
Проверка: числа совпадают со сводкой основной метки, `make check`, `openspec validate track1-queue-overload --strict`, `test_exclusion_evidence_exists` файл метки не называет.
|
||||
|
||||
## 11. Замечания повторной проверки
|
||||
|
||||
Находки повторного verify на `4a7d89d`. Меток нет, `evidence/queue/*`, `src/`, пороги и вердикты H1–H9 не меняются; из кода — только поле паспорта в `bench/run.py`. Коммиты — основная сессия.
|
||||
|
||||
- [x] 11.1 W1: сценарии `queue-overload` «Работа копится там, где положено» и «Бэклог уходит за измеренное время» уточнены по факту метки (дельта и основной спек, имена те же); design, «Уточнения apply»; строка в `REPORT.md`.
|
||||
|
||||
Проверка: числа сверены с `evidence/queue/baseline4/cells.csv`; `openspec validate track1-queue-overload --strict`; `make student_test` (сверка покрытия по именам сценариев).
|
||||
- [x] 11.2 W2: образы S3 и брокера в паспорте профиля очереди (`Stand.passport`, `bench/run.py`); образы метки `baseline4` и оговорка в `REPORT.md`; уточнение «`src/` и `bench/` те же».
|
||||
|
||||
Проверка: `make bench_queue_quick`, в `meta.json` есть оба образа.
|
||||
- [x] 11.3 W3: `evidence/tests/failure-checks.md` в `REPORT.md` — на `b104690`, `service-tests.md` — на своём commit; `QUESTIONS.md` — файл переснят в `4a7d89d`.
|
||||
- [x] 11.4 S1: карта кода `AGENTS.md`: `run_failures.py`, `conftest.py`, `settings.py`, `errors.py`, `exceptions/`, `services/attachment.py`.
|
||||
- [x] 11.5 S2: design, «Уточнения apply»: решение пользователя о выгрузке и основной метке, отступление от решения 11, выбор меток не зависел от вердиктов.
|
||||
- [x] 11.6 S3: `REPORT.md`, строка `concurrency`: 4 на двух worker только у `w2-p2`, у `w2-p256` пик 2.
|
||||
- [x] 11.7 S4: `REPORT.md`, занижение `cpu_worker_per_job_s` в метке `baseline` — по `cells.csv`.
|
||||
- [x] 11.8 S5: `REPORT.md`: число ячеек с разбросом восстановления выше 5 %; p95 ожидания в очереди — медиана строки и отдельная ячейка.
|
||||
- [x] 11.9 S6: `REPORT.md`, строка быстрых тестов: текущие числа `make service_test` и `make service_test_db`.
|
||||
- [x] 11.10 Регресс: `make lint`, `make check`, `make validate PYTHON=.venv/bin/python`, `make service_test`, `uv run python bench/overload.py --selftest`, `openspec validate track1-queue-overload --strict`, `make test`, `make student_test` на поднятом рабочем стенде.
|
||||
|
||||
@@ -92,8 +92,9 @@ SHALL приходить сразу: без ожидания освобожде
|
||||
#### Scenario: Работа копится там, где положено
|
||||
|
||||
- **WHEN** загрузки идут быстрее потолка worker, и предел незавершённых заданий не достигнут
|
||||
- **THEN** в каждый момент заданий `processing` не больше `concurrency`, неподтверждённых сообщений не больше `prefetch`, заданий в очереди
|
||||
брокера не больше предела опубликованных, а незавершённых заданий столько же, сколько принято и не завершено
|
||||
- **THEN** в каждый момент заданий `processing` не больше `concurrency` на один worker, кроме строк завершённого процесса, ждущих аренду, неподтверждённых
|
||||
сообщений не больше `prefetch` на один worker, заданий в очереди брокера не больше предела опубликованных, а незавершённых заданий столько же, сколько
|
||||
принято и не завершено
|
||||
|
||||
#### Scenario: Приём упирается в места загрузки
|
||||
|
||||
@@ -129,8 +130,9 @@ MUST NOT получать ответы 5xx из-за перегрузки оче
|
||||
#### Scenario: Бэклог уходит за измеренное время
|
||||
|
||||
- **WHEN** загрузки шли быстрее потолка worker, и нагрузка снята
|
||||
- **THEN** незавершённых заданий становится ноль без действий оператора, очередь брокера пуста, время восстановления записано, а скорость обработки в окне
|
||||
восстановления не ниже скорости в окне перегрузки с запасом разброса
|
||||
- **THEN** на любой настройке незавершённых заданий становится ноль без действий оператора, очередь брокера пуста и время восстановления записано; на настройке,
|
||||
которая помещается в лимит памяти worker, без завершений и перезапусков worker и с конкуренцией не больше двух мест на CPU worker, скорость обработки в окне
|
||||
восстановления не ниже скорости в окне перегрузки с запасом разброса; на прочих настройках падение скорости записывается и называется в отчёте
|
||||
|
||||
#### Scenario: Никого не теряем
|
||||
|
||||
|
||||
Reference in New Issue
Block a user