diff --git a/AGENTS.md b/AGENTS.md index b5009325..2a051062 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -470,7 +470,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore | `make wipe_data` | `down -v` — удалить данные стенда (volumes Postgres и S3 называются в запросе) и кэш; только после ввода `yes` | | `make test_isolated [KEEP_TEST_DB=1]` | образ на временной базе `test_` с Valkey и S3 стенда (ключи кэша и объектов разделены именем базы): сборка, миграции, отдельный контейнер API на `TEST_APP_PORT`, `make test` + `make student_test EXPECT_REPLICAS=1` (тесты реплик пропускаются с причиной), уборка при любом исходе — база и объекты под префиксом `test_/` (`student-tests.md`) | | `make student_test [BASE_URL=...] [EXPECT_REPLICAS=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); `EXPECT_REPLICAS` (по умолчанию `API_REPLICAS`) — сколько реплик за `BASE_URL`, против одного процесса — 1; сервер недоступен — код 2 и одна строка с адресом | -| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, 140 проверок, ~39 мин) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres, Valkey и S3 (с bootstrap), уборщик (grace 20 с, интервал 1 с), четыре API — обычный, «тесный» (срок 2 с, пул 1), «узкий по загрузкам» и «с коротким сроком S3» (1 с), hook `student-tests/fault_hook.py`; после тестов — журнал PostgreSQL стенда: сводка (`crash markers`, «too many clients», «administrator command») и ненулевой код при признаках аварийного перезапуска; стенд и его volumes удаляются при любом исходе, рабочий не трогается (`student-tests.md`) | +| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, 141 проверка, ~39 мин) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres, Valkey и S3 (с bootstrap), уборщик (grace 20 с, интервал 1 с), четыре API — обычный, «тесный» (срок 2 с, пул 1), «узкий по загрузкам» и «с коротким сроком S3» (1 с), hook `student-tests/fault_hook.py`; после тестов — журнал PostgreSQL стенда: сводка (`crash markers`, «too many clients», «administrator command») и ненулевой код при признаках аварийного перезапуска; стенд и его volumes удаляются при любом исходе, рабочий не трогается (`student-tests.md`) | | `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k читаемого чата плюс 100 000 сообщений в 1 110 фоновых чатах разного размера (~35 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (HAProxy и одна реплика API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда; k6 ходит через LB); на каждый размер — свежий стенд, `VACUUM (ANALYZE)`, планы запроса истории (`auto_explain`) по уровням чатов с вариантами индекса и запроса, в конце — пробы стоимости записи по вариантам. Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) | | `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт | | `make bench_restore [RESTORE_LABEL=...]` | трек 2, восстановление (~20 мин, метка `restore` по умолчанию): тот же стенд и данные, без матрицы прогонов; на каждый размер — `pg_dump` во время записи через HTTP, активность после backup, `pg_restore -j` в новый контейнер Postgres на новом volume, сверка обеих баз построчно, переключение API, проверки через HTTP до и после `FLUSHALL`; время dump / restore / RTO и потерянные сообщения — в `summary.md` | diff --git a/REPORT.md b/REPORT.md index e7f18a16..4b686ad3 100644 --- a/REPORT.md +++ b/REPORT.md @@ -3,7 +3,7 @@ - Автор, группа: Сафронов Роман Николаевич, БВТ2301 - Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Очередь под перегрузкой» - Состояние отчёта: закрыты **уровень 3** (change `async-attachments`) и **уровень 4** (change `pipeline-reliability`). Раздел уровня 5 закрывает `track1-queue-overload` -- Commit/PR: измеренное состояние — `e2a6427` (ветка `feat/pipeline-reliability`); снятое на прежнем `ff1a83b` названо в разделе доказательств; PR — TODO после публикации +- Commit/PR: измеренное состояние — `399da05` (ветка `feat/pipeline-reliability`); снятое на прежних `e2a6427` и `ff1a83b` названо в разделе доказательств; PR — TODO после публикации - Источники, библиотеки и помощь ИИ — последний раздел ## Запуск из чистого clone @@ -115,7 +115,7 @@ make replay → relay replay: реестр failed и возврат работы Настоящий случай «дорогого» файла — прогрессивный JPEG в пределах контракта, один скан повторён 445 227 раз: `test_limit_cpu_scan_bomb`. -**Бюджет памяти контейнера worker (1 ГБ).** Пик процесса обработки на 40 Мпкс (`peak_kib`, лимит 450 МиБ) зависит от типа файла: PNG RGBA и всё, что переводится в RGBA (серый с альфой, RGB с tRNS, палитра с tRNS), — 357 МиБ, серый 16 бит — 404–405 МиБ, и это наибольшее значение. Процесс 1 worker при двух телах 10 MiB — 158 МиБ (`VmHWM`). Расчёт на самом дорогом файле: 158 + 2 × 405 = 968 МиБ < 1 ГБ. Числа и `memory.peak` контейнера, в том числе при двух серых 16 бит разом, — `evidence/worker/memory.md`. Если памяти всё же не хватит, ядро убьёт самый большой процесс обработки, а не worker (проба), это временная ошибка. +**Бюджет памяти контейнера worker (1 ГБ).** Замер двух файлов разом на `399da05` (`evidence/worker/memory.md`): пик процесса обработки на 40 Мпкс (`render_peak_kib`, лимит 450 МиБ) зависит от типа файла: PNG RGBA и всё, что переводится в RGBA (серый с альфой, RGB с tRNS, палитра с tRNS), — 357 МиБ, серый 16 бит — 404 МиБ, а на обеих границах контракта сразу, 40 Мпкс и ~10 MiB файла, — 366 и 414 МиБ. `VmHWM` процесса 1 при двух телах ~10 MiB — до 159 МиБ. Самый дорогой случай, два серых 16 бит на обеих границах: `memory.peak` контейнера 905 МиБ, `oom_kill` 0; у двух PNG 10 MiB из шума — 261 МиБ. Верхняя оценка суммой пиков: 159 + 2 × 414 = 987 МиБ < 1 ГБ. Если памяти всё же не хватит, ядро убьёт самый большой процесс обработки, а не worker (проба), это временная ошибка. ### Сервисы стенда и лимиты @@ -245,7 +245,7 @@ make replay → relay replay: реестр failed и возврат работы ## Доказательства критериев -Снято на `e2a6427`, в шапке каждого файла — команда, дата и стенд. Остались снятыми на прежнем коде `ff1a83b` и названы так в шапках: метка `evidence/uploads/baseline/`, `evidence/rollout/async-attachments/`, `evidence/migrations/async-attachments.md`, `evidence/s3/worker-key.md`: это доказательства перехода уровня 3, их поведение уровень 4 не менял. +В шапке каждого файла — команда, дата, commit и стенд. На `399da05` (правки по проверке: `_prepared`, тесты, драйвер) сняты `evidence/worker/memory.md`, `evidence/worker/process.md`, `evidence/relay/process.md`, `evidence/attachments/defense-faults.md`, `evidence/tests/failure-checks.md`. Остальные файлы уровня 4 и `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md` сняты на `e2a6427`: из кода приложения `399da05` меняет только `src/utils/image_variants.py`, одну ветку перевода в RGBA, поэтому `test_pixel_limit_png_modes` в этих прогонах набора ещё нет, его сценарий на `399da05` доказывает `evidence/worker/memory.md`. Остались снятыми на прежнем коде `ff1a83b` и названы так в шапках: метка `evidence/uploads/baseline/`, `evidence/rollout/async-attachments/`, `evidence/migrations/async-attachments.md`, `evidence/s3/worker-key.md`: это доказательства перехода уровня 3, их поведение уровень 4 не менял. ### Уровень 3 @@ -254,7 +254,7 @@ make replay → relay replay: реестр failed и возврат работы | Публичный smoke | `make test` | `PASS: lab5 public API scenario` | `evidence/tests/test-isolated.md` | | Минимум лаб 1–4 сохранён с переходом 201 → 202 | `make student_test` через LB | 218 passed, 1 failed (`test_exclusion_evidence_exists`: только файлы последнего шага прогона), реплики выполнены; сверка: 370 сценариев, 348 проверены, 22 исключения | `evidence/tests/student-test-lb.md` | | Тот же набор на временной базе | `make test_isolated` | smoke PASS; 212 passed, 6 skipped (реплики), 1 failed — то же; уборка полная | `evidence/tests/test-isolated.md` | -| Отказы | `make failure_checks` | 140 passed, pytest 2373 с, `crash markers 0` | `evidence/tests/failure-checks.md` | +| Отказы | `make failure_checks` (`399da05`) | 141 passed, pytest 2302 с, `crash markers 0` | `evidence/tests/failure-checks.md` | | 202 только после устойчивого приёма и сохранения задания | `test_durable_state_at_202`, `test_upload_with_broker_stopped`, `test_upload_with_broker_paused` | к 202 объект в staging, строка и намерение в одной транзакции; брокер остановлен или заморожен — по-прежнему 202, намерение ждёт (на уровне 3 было 503) | `evidence/tests/failure-checks.md` | | Остановка API после ответа не теряет работу | `test_api_killed_after_202` | реплика убита после 202, вложение становится `ready` | `evidence/tests/failure-checks.md` | | Отдельные broker и worker в общем compose | `driver.py broker-check`, `driver.py worker-process` | образ с тегом и digest, volume, AMQP только на loopback; PID 1 `python -m src.worker`, лимиты 1 CPU / 1 ГБ | `evidence/broker/stand.md`, `evidence/worker/process.md` | @@ -294,7 +294,7 @@ make replay → relay replay: реестр failed и возврат работы | Лимит по bytes | `test_limit_oversized_staging` | объект больше строки не читается: `processing_failed` | `evidence/tests/failure-checks.md` | | Лимит по пикселям | `test_limit_pixels` | `invalid_image`, причина `limit_pixels` | `evidence/tests/failure-checks.md` | | Лимит по времени | `test_limit_cpu_scan_bomb`, `test_limit_render_timeout` | настоящий дорогой JPEG прерван по CPU: `invalid_image`; срок процесса — временная ошибка | `evidence/tests/failure-checks.md` | -| Лимит по памяти worker | `test_limit_memory`, `test_max_pixels_fit_worker_memory`, `test_pixel_limit_png_modes`, `test_render_killed`, `driver.py worker-process` | `RLIMIT_AS` — `invalid_image`; 40 Мпкс укладывается в любом типе PNG, включая серый с альфой и RGB с tRNS; убитый процесс обработки не роняет worker; лимиты 1 CPU / 1 ГБ | `evidence/tests/failure-checks.md`, `evidence/worker/process.md` | +| Лимит по памяти worker | `test_limit_memory`, `test_max_pixels_fit_worker_memory`, `test_pixel_limit_png_modes`, `test_render_killed`, `driver.py worker-process` | `RLIMIT_AS` — `invalid_image`; 40 Мпкс укладывается в любом типе PNG, включая серый с альфой и RGB с tRNS; убитый процесс обработки не роняет worker; лимиты 1 CPU / 1 ГБ; два файла на обеих границах — `memory.peak` 905 МиБ, OOM нет | `evidence/tests/failure-checks.md`, `evidence/worker/process.md`, `evidence/worker/memory.md` | | Разрыв PostgreSQL и брокера закрыт outbox | `test_upload_with_broker_stopped`, `test_upload_with_broker_paused`, `test_relay_survives_broker_outage`, `test_relay_survives_database_outage`, `driver.py relay-process`, `broker-check` | 202 без брокера; у реплик нет настроек брокера; relay переживает отказы (тот же `StartedAt`, `RestartCount` 0) | `evidence/tests/failure-checks.md`, `evidence/relay/process.md`, `evidence/broker/stand.md` | | Crash между COMMIT и publish, задача доходит до `ready` без ручного задания | `driver.py defense-faults`, окна «после COMMIT `queued` до publish» и «после подтверждения до отметки»; `test_relay_killed_before_publish`, `test_relay_killed_after_confirm` | `published_at` пуст, 0 сообщений, после запуска relay — `ready`, `attempt` 1; при KILL после confirm — 2 сообщения, `ready`, `attempt` 1, очередь пуста | `evidence/attachments/defense-faults.md`, `evidence/tests/failure-checks.md` | | Состояние намерений видно оператору | `driver.py pipeline-state`, в том числе при замороженном брокере | задания по состояниям, due, аренды; брокер заморожен — `available: false`, код 0 | `evidence/relay/pipeline-state.md` | @@ -393,7 +393,7 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку - **Staging и конечный префикс на одном сервере S3.** Устойчивость staging — устойчивость этого сервера и bucket: отказ диска или ВМ теряет и то, и другое. - **Отставание очистки staging.** Объект живёт до следующего прохода уборщика (60 с); под нагрузкой при 0,25 CPU он может отставать, отставание меряет трек 1. - **Смесь версий при замене на уровень 3 и новые статусы.** С версии лабы 4: прежняя реплика отвечает 201 `ready` и даёт 500 на чтении строки нового статуса (`evidence/migrations/async-attachments.md`). Для загрузок реплик прежней версии, переживших grace, защита пометкой уборщика не гарантирована: они пометку не проверяют. Запись — `KNOWN_ISSUES.md`. Порядок обновления с уровня 3 — раздел «Разрыв COMMIT и publish и окна отказа». -- **Прерванное остановкой задание.** Задание, прерванное `docker stop` дольше `graceful_shutdown_seconds` (8 с), считается начатой попыткой и продолжается по аренде: release на пути отмены ненадёжен. Худший случай остановки 8 + 0,5 + 0,5 + 0,5 = 9,5 с < 10 с. +- **Прерванное остановкой задание.** Задание, прерванное `docker stop` дольше `graceful_shutdown_seconds` (8 с), считается начатой попыткой и продолжается по аренде: release на пути отмены ненадёжен. Замер на двух дорогих JPEG: 8,15 с, при замороженных PostgreSQL и брокере 9,18 с (`evidence/worker/process.md`). Худший случай остановки 8 + 0,5 + 0,5 + 0,5 = 9,5 с < 10 с. - **Искажения данных скана JPEG.** Структурная проверка и libjpeg байт внутри данных скана ошибкой не считают: такое вложение становится `ready`, а варианты будут с мусором. Проверка не декодирует пиксели при приёме намеренно. - **Цепочка LB.** Брокера в пути нет, поэтому самым долгим снова стал путь компенсации: после тела `проверка ~4 + tx1 6 + PUT 5 + tx2 6 ≈ 21 с`, с DELETE компенсации `+ 5 ≈ 26 с` < `timeout server` 30 с. Наибольшая длительность живой загрузки `U = 17 + 30 + 26 ≈ 73 с` < дренаж замены 90 с: до тела `2 × request_timeout_seconds + wait_timeout_seconds` = 17 с; тело — `[uploads] body_timeout_seconds` 30 с. diff --git a/evidence/attachments/defense-faults.md b/evidence/attachments/defense-faults.md index d29db5d9..041a471a 100644 --- a/evidence/attachments/defense-faults.md +++ b/evidence/attachments/defense-faults.md @@ -1,8 +1,8 @@ # Шаг 4 сценария защиты: окна отказа - Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-faults` -- Дата: 2026-10-31, 13:20:45–13:22:52 UTC; итог `PASS` -- Commit: `e2a6427` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (добавлены только файлы `evidence/`) +- Дата: 2026-10-31, 16:01:59–16:04:03 UTC; код выхода 0, итог `PASS` +- Commit: `399da05` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (добавлены только файлы `evidence/`) - Стенд: проект compose `mtusi-lab5`, собран `make run_docker` из `HEAD`: HAProxy, две реплики API, relay, worker, cleaner, PostgreSQL, Valkey, S3, RabbitMQ - Спек: `student-tests`, «Шаг 4 на рабочем стенде»; решения 1, 3, 5, 14, 17 design change `pipeline-reliability`. Тем же порядком на стенде отказов — `test_defense_faults` (`evidence/tests/failure-checks.md`) - Точек сбоя в коде нет: окна держат триггеры `driver_df_*` только на уникальный `filename` прогона, `docker kill` снаружи. Токенов и секретов в выводе нет, пользователи и чат синтетические @@ -11,12 +11,12 @@ ```text window: after writing objects, before COMMIT upload: 202 - attachment id 9dbedb7b-9884-4122-bbc8-3ee3b3adb278 + attachment id 2cccff8d-6ce9-448f-9d58-7506b6e39aa1 COMMIT of ready waits in the trigger: yes action: docker kill worker job state after kill: processing attempt after kill: 1 - job id 89767628-2179-40d8-9d08-5a882db756e4 + job id 181f8092-211d-482d-981b-c15e6e74e70a thumbnail sha256 before the crash b8e59b0cad429b1c49c27c4a1c79e52bfc23e2fab7c7238d18d5addd4df4b546 crop sha256 before the crash fae35500205a78065cf7d589f121cc909b017e2a4cde882177e24f5608fb4c1f optimized sha256 before the crash 1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb @@ -35,18 +35,18 @@ window: after writing objects, before COMMIT window: after COMMIT, before ack upload: 202 - attachment id 5acffd71-f175-4c78-a2ed-58f90a2c27ad + attachment id 63163c48-95f9-4e41-ae36-4746f241bad5 COMMIT waits in the deferred trigger: yes action: docker kill -s STOP worker job state while frozen: succeeded - job id 23c4e081-66af-43a8-b9df-3b42508ea890 + job id c14b31e6-2e3c-4453-8a55-76c8d4881b7c action: docker kill worker message returned to the queue (no ack): 1 action: start worker redelivered: 'Skipped job message', finished: yes new attempts: 0 queue empty: 0 - same updated_at: 2026-10-31T13:22:01.910196+00:00 + same updated_at: 2026-10-31T16:03:16.515863+00:00 attempt: 1 metadata unchanged: yes downloads: thumbnail image/jpeg (256, 160); crop image/jpeg (128, 128); optimized image/webp (320, 200) @@ -55,8 +55,8 @@ window: after COMMIT queued, before publish action: docker kill relay relay stays down: no upload: 202 - attachment id 092f2122-d3de-4034-a8d9-071c070a0f4b - job id 40467883-90e0-4e8a-905a-45ffe36cf2b6 + attachment id 2776eb1b-9c3e-429e-9acc-bd2d010eee9c + job id a50fc32c-e511-4789-8973-29073584414d job state: queued published_at: None messages in the queue: 0 @@ -68,11 +68,11 @@ window: after COMMIT queued, before publish window: after broker confirm, before the mark action: docker compose stop worker upload: 202 - attachment id ea2e1492-1e1f-4dc3-b2fb-70a87c3c0986 + attachment id ef8d3438-e3bd-4849-8375-79cccd92f29e the mark waits in the trigger: yes action: docker kill relay message in the queue: 1 - job id f81f91fa-6d41-470d-9b27-a4086dc263f2 + job id 61c712cf-5a6e-4f5c-b9b7-c042bc7e9202 published_at: None action: start relay two messages with the worker stopped: 2 @@ -85,50 +85,50 @@ window: after broker confirm, before the mark window: replay of a failed job action: docker compose stop worker upload: 202 - attachment id f3b0e3cb-fec6-4604-a43f-32a35468ea3a + attachment id 899a3ef4-f0d9-4d0c-8b75-49e0fe7ccf7d action: staging object replaced with other bytes of the same size action: start worker attachment status: failed error_code: processing_failed - job id 13665040-1e95-4ad3-b1fc-759bb69322d0 + job id 0ef49bb7-fda7-4555-a82a-9693e265820a reason: source_corrupted action: replay --error-code processing_failed (registry, dry-run) registry: exit 0 registry names the job: yes registry changes nothing: state failed, attempt 1, attempt_base 0, last_error_code source_corrupted action: original bytes returned to staging - action: replay --attachment-id f3b0e3cb-fec6-4604-a43f-32a35468ea3a --apply + action: replay --attachment-id 899a3ef4-f0d9-4d0c-8b75-49e0fe7ccf7d --apply replay exit code: 0 'Replayed job' record: yes attachment status: ready downloads: thumbnail image/jpeg (256, 160); crop image/jpeg (128, 128); optimized image/webp (320, 200) download original: 200 original sha256 = uploaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 - same job: 13665040-1e95-4ad3-b1fc-759bb69322d0 + same job: 0ef49bb7-fda7-4555-a82a-9693e265820a attempt: 2 attempt_base: 1 audit: [{'operator': 'driver-defense-faults', 'error_code': 'processing_failed', 'reason': 'source_corrupted', 'attempt': 1}] window: replay of a ready job upload: 202 - attachment id 1ac6c769-2b55-4449-ac01-96575e6c6502 + attachment id 5158f6e9-c59a-46f1-bfb9-d16cf502aa7c attachment status: ready - job id c5a99e2b-2a3e-4ee8-8b53-f557190b1980 - action: replay --attachment-id 1ac6c769-2b55-4449-ac01-96575e6c6502 --apply + job id f6eeaf22-4374-4880-99d1-c2b54ecb2bd3 + action: replay --attachment-id 5158f6e9-c59a-46f1-bfb9-d16cf502aa7c --apply replay exit code: 3 refusal: already_ready metadata unchanged: yes - job unchanged: 2026-10-31T13:22:43.535575+00:00 + job unchanged: 2026-10-31T16:03:55.015651+00:00 audit records: 0 driver triggers left: 0 window -> action -> job id -> attempts started -> result - after writing objects, before COMMIT -> kill worker, wait for the lease -> 89767628-2179-40d8-9d08-5a882db756e4 -> 2 -> ready - after COMMIT, before ack -> freeze and kill worker after COMMIT -> 23c4e081-66af-43a8-b9df-3b42508ea890 -> 1 -> ready, no-op - after COMMIT queued, before publish -> kill relay, upload, start relay -> 40467883-90e0-4e8a-905a-45ffe36cf2b6 -> 1 -> ready - after broker confirm, before the mark -> kill relay after confirm, duplicate -> f81f91fa-6d41-470d-9b27-a4086dc263f2 -> 1 -> ready - replay of a failed job -> failed, registry, replay -> 13665040-1e95-4ad3-b1fc-759bb69322d0 -> 2 -> ready - replay of a ready job -> replay ready -> c5a99e2b-2a3e-4ee8-8b53-f557190b1980 -> 1 -> refused, exit 3 + after writing objects, before COMMIT -> kill worker, wait for the lease -> 181f8092-211d-482d-981b-c15e6e74e70a -> 2 -> ready + after COMMIT, before ack -> freeze and kill worker after COMMIT -> c14b31e6-2e3c-4453-8a55-76c8d4881b7c -> 1 -> ready, no-op + after COMMIT queued, before publish -> kill relay, upload, start relay -> a50fc32c-e511-4789-8973-29073584414d -> 1 -> ready + after broker confirm, before the mark -> kill relay after confirm, duplicate -> 61c712cf-5a6e-4f5c-b9b7-c042bc7e9202 -> 1 -> ready + replay of a failed job -> failed, registry, replay -> 0ef49bb7-fda7-4555-a82a-9693e265820a -> 2 -> ready + replay of a ready job -> replay ready -> f6eeaf22-4374-4880-99d1-c2b54ecb2bd3 -> 1 -> refused, exit 3 all rows of the check table: expected = got PASS: every window finished with the same result, no duplicate effect diff --git a/evidence/relay/process.md b/evidence/relay/process.md index 85f5f8bc..ebbb7387 100644 --- a/evidence/relay/process.md +++ b/evidence/relay/process.md @@ -1,10 +1,11 @@ # Процесс relay - Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 relay-process` -- Дата: 2026-10-31, 13:24:07–13:24:58 UTC; код выхода 0 -- Commit: `e2a6427` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (добавлены только файлы `evidence/`) +- Дата: 2026-10-31, 16:01:07–16:01:59 UTC; код выхода 0 +- Commit: `399da05` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (добавлены только файлы `evidence/`) - Стенд: проект compose `mtusi-lab5`, собран `make run_docker` из `HEAD` - Спеки: `container-run`, `graceful-shutdown`, `service-configuration`, `job-outbox` +- Что нового с `e2a6427`: `docker stop relay` при замороженном брокере с намерением в работе — 1,81 с, код 0, после запуска relay вложение `ready` - Значений секретов в выводе нет, окружение проверяется только по именам ```text @@ -27,8 +28,9 @@ RELAY__MAX_PUBLISHED_BACKLOG=-1: exit 2, errors [{'loc': 'relay.max_published_ba RELAY__POLL_INTERVAL_SECONDS=abc: exit 2, errors [{'loc': 'relay.poll_interval_seconds', 'msg': 'Input should be a valid number, unable to parse string as a number'}] docker compose stop relay: 0.2 s docker stop after 0.3 s: 0.12 s, exit 0, records ['Stopped relay before startup'] -docker stop after 0.2 s: 0.06 s, exit 0, records ['Stopped relay before startup'] -docker stop after 0.4 s: 0.10 s, exit 0, records ['Stopped relay before startup'] +docker stop after 0.2 s: 0.08 s, exit 0, records ['Stopped relay before startup'] +docker stop after 0.4 s: 0.12 s, exit 0, records ['Stopped relay before startup'] +stop frozen broker: docker stop relay took 1.81 s PID 1 of the relay expected python -m src.relay got python -m src.relay healthcheck expected NONE got NONE limit NanoCpus expected 250000000 got 250000000 @@ -37,8 +39,8 @@ S3__* in the environment expected no got no S3_* in the environment expected no got no CACHE__* in the environment expected no got no VALKEY* in the environment expected no got no -_imaging in mtusi-lab5-api-10 expected no got no -_imaging in mtusi-lab5-api-9 expected no got no +_imaging in mtusi-lab5-api-15 expected no got no +_imaging in mtusi-lab5-api-16 expected no got no API replicas checked expected yes got yes _imaging in PID 1 of the relay expected no got no 'Started relay' record expected yes got yes @@ -90,6 +92,15 @@ relay StartedAt unchanged expected yes got yes relay RestartCount expected 0 got 0 new upload after restart expected 202 got 202 new upload becomes ready expected yes got yes +stop frozen broker: broker paused expected 0 got 0 +stop frozen broker: upload expected 202 got 202 +stop frozen broker: command exit code expected 0 got 0 +stop frozen broker: under 10 s expected yes got yes +stop frozen broker: container exit code expected 0 got 0 +stop frozen broker: OOM killed expected false got false +stop frozen broker: last record expected Stopped relay got Stopped relay +stop frozen broker: relay back expected 0 got 0 +stop frozen broker: upload after start expected ready got ready PASS: the relay process matches the spec worker and relay running at the end: yes ``` diff --git a/evidence/tests/failure-checks.md b/evidence/tests/failure-checks.md index dac54b6e..c20b2053 100644 --- a/evidence/tests/failure-checks.md +++ b/evidence/tests/failure-checks.md @@ -1,11 +1,11 @@ # Проверки отказов - Команда: `make failure_checks` -- Дата: 2026-10-31, 12:40:09–13:20:12 UTC; код выхода 0 -- Commit: `e2a6427` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (на момент прогона добавлена только метка `evidence/rollout/pipeline-reliability/`) +- Дата: 2026-10-31, 16:05:22–16:44:08 UTC; код выхода 0 +- Commit: `399da05` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (на момент прогона добавлены только файлы `evidence/`) - Стенд: проект `mtusi-lab5-failures` со своими PostgreSQL, Valkey, S3, RabbitMQ, уборщиком, relay, worker и четырьмя API; рабочий стенд `mtusi-lab5` на время прогона остановлен (хост свободен); стенд отказов и его volumes удалены в конце -- Итог: **140 passed, 219 deselected, pytest 2372,74 с (39:32); вся команда 40:03**; журнал PostgreSQL стенда без признаков аварии (`crash markers 0`). «too many clients» 45 и «administrator command» 192 — следы самих проверок (заполнение слотов, остановки PostgreSQL) -- Тесты с прошлого полного прогона (139 из 140) не правились в этом прогоне; `test_staging_cleanup_survives_outage` с прежней правкой прошёл в полном наборе. Временных красных нет +- Итог: **141 passed, 224 deselected, pytest 2302,16 с (38:22); вся команда 38:45**; журнал PostgreSQL стенда без признаков аварии (`crash markers 0`). «too many clients» 40 и «administrator command» 192 — следы самих проверок (заполнение слотов, остановки PostgreSQL) +- С прогона на `e2a6427` (140 проверок) усилен `test_hung_worker_lease_fencing`, прежний его поток стал `test_hung_worker_thawed_after_ready`. Тесты в этом прогоне не правились, временных красных нет - Параметры: уборщик — grace 20 с, интервал 1 с, плановая сверка выключена; worker — 4 попытки, пауза 4–16 с, срок 10 с, запас аренды 2 с, рендер 8 с / 3 с CPU, graceful 2 с; relay — опрос 0,2 с, повторная публикация через 5 с - Вывод сокращён: убраны лог сборки и шаги compose, адреса API временные, строки `PASSED` свёрнуты в список имён @@ -15,11 +15,10 @@ [failure_checks] start worker: attempts 4, retry 4–16 s, job timeout 10 s, lease margin 2 s, render 8 s / 3 s CPU, graceful 2 s [failure_checks] start relay: poll 0.2 s, republish after 5 s [failure_checks] pytest -m fault -collecting ... collected 359 items / 219 deselected / 140 selected -=============== 140 passed, 219 deselected in 2372.74s (0:39:32) =============== -[failure_checks] postgres log: 587 lines, crash markers 0; "too many clients" 45, "administrator command" 192 +=============== 141 passed, 224 deselected in 2302.16s (0:38:22) =============== +[failure_checks] postgres log: 578 lines, crash markers 0; "too many clients" 40, "administrator command" 192 [failure_checks] results: {'fault': 0, 'postgres': 0} -make failure_checks 211,06s user 85,99s system 12% cpu 40:03,44 total +make failure_checks 219,83s user 85,52s system 13% cpu 38:45,66 total ``` ## Прошедшие проверки по порядку @@ -53,7 +52,7 @@ test_relay_killed_before_publish test_relay_killed_after_confirm test_relay_surv test_relay_respects_next_attempt test_lost_message_republished test_no_copies_while_queue_has_messages test_published_backlog_limit test_broker_memory_alarm test_crash_after_objects_before_commit test_crash_after_commit_before_ack test_retry_backoff_with_jitter test_retry_waits_outside_worker test_limit_pixels test_limit_oversized_staging test_limit_cpu_scan_bomb test_limit_memory test_limit_render_timeout test_render_killed -test_hung_worker_lease_fencing test_long_attempt_keeps_lease test_last_attempt_lost +test_hung_worker_lease_fencing test_hung_worker_thawed_after_ready test_long_attempt_keeps_lease test_last_attempt_lost test_replay_registry_dry_run test_replay_returns_work test_replay_ready_refused test_replay_in_progress_refused test_replay_without_source_refused test_replay_new_budget test_replay_by_code test_prefetch_bounded test_missing_variant test_cancelled_upload_of_previous_version test_staging_removed_after_ready test_staging_retention test_staging_keeps_current_work test_staging_cleanup_survives_outage test_staging_foreign_key_kept @@ -62,7 +61,7 @@ test_reconcile_orphan_staging test_defense_faults ## Красные прогоны задачи 10.9: тесты ловят нарушение -Сняты до commit на рабочем дереве (design change `pipeline-reliability`, «Уточнения apply», п. 14): каждая регрессия применена, откачена, хэши `src` совпали со снимком до них, в commit не вошла. +Сняты до commit на рабочем дереве (design change `pipeline-reliability`, «Уточнения apply», п. 14): каждая регрессия применена, откачена, хэши `src` совпали со снимком до них, в commit не вошла. Строка «фиксация без номера попытки» снята перед `399da05` (замечание W2), остальные — перед `e2a6427`. | Регрессия | Какой тест красный | Причина в выводе | |---|---|---| diff --git a/evidence/worker/memory.md b/evidence/worker/memory.md new file mode 100644 index 00000000..af8d353a --- /dev/null +++ b/evidence/worker/memory.md @@ -0,0 +1,26 @@ +# Память контейнера worker + +- Команда: разовая проба на рабочем стенде через LB (`student-tests/images.py`, `api_client.py`): для каждого случая `docker stop` worker, две одинаковые загрузки, `docker start` (новая cgroup: `memory.peak` с нуля), ожидание `ready` обоих, затем `/proc/1/status`, `memory.peak`, `memory.events` контейнера, `docker inspect`, журнал worker +- Дата: 2026-10-31, 15:57:24–15:57:52 UTC; проба дошла до конца без исключения (код выхода не записан), разовый скрипт в репозиторий не входит. Перед этим прогоном были ещё два: первый — без файлов на обеих границах, те же числа в пределах 2 МиБ у `render_peak` и `VmHWM`, `memory.peak` до 857 МиБ; второй остановился на 413: файл пробы вышел больше 10 MiB, ошибка самой пробы +- Commit: `399da05` (ветка `feat/pipeline-reliability`), рабочее дерево чистое +- Стенд: проект compose `mtusi-lab5`, собран `make run_docker` из `HEAD`; worker 1 CPU / 1 ГБ без swap, конкуренция 2, `render_memory_limit_mib` 450 +- Спеки: `attachment-processing` «Изображение в лимите пикселей», design change `pipeline-reliability`, решение 7, «Уточнения apply», п. 13 и 19 +- Столбцы: `render_peak_kib` записи «Attachment became ready» по двум заданиям; «пересеклись» — оба задания начаты раньше, чем первое стало `ready`; `VmHWM` и `VmRSS` — процесс 1 worker; `memory.peak` — вся cgroup контейнера с процессами обработки. Файлы «40 Мпкс и ~10 MiB»: начало строк — шум, остальное — нули, поэтому обе границы контракта достигнуты разом + +| Два файла разом | Файл, МиБ | `render_peak`, МиБ | `render_ms` | Пересеклись | `VmHWM`, МиБ | `VmRSS`, МиБ | `memory.peak`, МиБ | `oom` / `oom_kill` | `OOMKilled` | Рестарты | +|---|---|---|---|---|---|---|---|---|---|---| +| PNG из шума 10 MiB, 1868 × 1868 | 9,99 | 84 / 84 | 840 / 856 | да | 159 | 110 | 261 | 0 / 0 | false | 0 | +| PNG RGBA 8 бит, 40 Мпкс | 0,15 | 357 / 357 | 872 / 885 | да | 111 | 110 | 794 | 0 / 0 | false | 0 | +| PNG серый с альфой 8 бит, 40 Мпкс | 0,07 | 357 / 357 | 723 / 775 | да | 110 | 110 | 795 | 0 / 0 | false | 0 | +| PNG RGB 8 бит с tRNS, 40 Мпкс | 0,11 | 357 / 357 | 908 / 929 | да | 110 | 110 | 791 | 0 / 0 | false | 0 | +| PNG RGB 16 бит с tRNS, 40 Мпкс | 0,22 | 357 / 357 | 1036 / 1037 | да | 111 | 110 | 795 | 0 / 0 | false | 0 | +| PNG палитра с tRNS, 40 Мпкс | 0,04 | 357 / 357 | 740 / 750 | да | 110 | 110 | 794 | 0 / 0 | false | 0 | +| PNG серый 16 бит, 40 Мпкс | 0,07 | 404 / 404 | 706 / 712 | да | 110 | 110 | 888 | 0 / 0 | false | 0 | +| PNG RGBA 8 бит, 40 Мпкс и ~10 MiB | 9,85 | 366 / 367 | 1226 / 1288 | да | 157 | 111 | 832 | 0 / 0 | false | 0 | +| PNG серый 16 бит, 40 Мпкс и ~10 MiB | 9,79 | 414 / 414 | 723 / 730 | да | 154 | 115 | 905 | 0 / 0 | false | 0 | + +Итог: + +- все задания `ready`; ни одного `oom` и `oom_kill`, `OOMKilled` false, рестартов нет; +- самый дорогой файл в пределах контракта — серый 16 бит на обеих границах: `render_peak` 414 МиБ при лимите 450, `memory.peak` контейнера 905 МиБ при лимите 1024; +- верхняя оценка суммой пиков, которые на деле не совпадают по времени: 159 + 2 × 414 = 987 МиБ < 1 ГБ. diff --git a/evidence/worker/process.md b/evidence/worker/process.md index 5d5dc085..5f51fcd5 100644 --- a/evidence/worker/process.md +++ b/evidence/worker/process.md @@ -1,12 +1,12 @@ # Процесс worker - Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 worker-process` -- Дата: 2026-10-31, 13:25:24–13:26:05 UTC; код выхода 0 -- Commit: `e2a6427` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (добавлены только файлы `evidence/`) +- Дата: 2026-10-31, 15:58:11–16:01:07 UTC; код выхода 0 +- Commit: `399da05` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (добавлены только файлы `evidence/`) - Стенд: проект compose `mtusi-lab5`, собран `make run_docker` из `HEAD` - Спеки: `container-run`, `container-image`, `graceful-shutdown`, `service-configuration` -- Что показано: PID 1, нет healthcheck, лимиты 1 CPU / 1 ГБ; `_imaging` нет ни в репликах API, ни в процессе 1 worker: декодер только в процессе обработки; неверные `WORKER__*` — код 2, запись называет поле без значения; значения по умолчанию и подмена окружением; остановка простаивающего и на старте; «Worker переживает рестарт хранилищ» -- Вывод сокращён: однотипные строки таблицы «record names …», «names the field», «hides the value» и «early stop» свёрнуты, все совпали с ожидаемым +- Что показано: PID 1, нет healthcheck, лимиты 1 CPU / 1 ГБ; `_imaging` нет ни в репликах API, ни в процессе 1 worker: декодер только в процессе обработки; неверные `WORKER__*` — код 2, запись называет поле без значения; значения по умолчанию и подмена окружением; остановка простаивающего и на старте; «Worker переживает рестарт хранилищ»; остановка на двух дорогих JPEG: 8,15 с, при замороженных PostgreSQL и брокере 9,18 с, граница 9,5 с (design, решение 19), код 0, задания после этого дошли по аренде до `failed`, `limit_cpu` +- Вывод сокращён: однотипные строки таблицы «record names …», «default …», «names the field», «hides the value» и «early stop» свёрнуты, все совпали с ожидаемым ```text Started worker: @@ -39,34 +39,69 @@ WORKER__GRACEFUL_SHUTDOWN_SECONDS=9: exit 2, errors [{'loc': 'worker.graceful_sh WORKER__RENDER_MEMORY_LIMIT_MIB=0: exit 2, errors [{'loc': 'worker.render_memory_limit_mib', 'msg': 'Input should be greater than or equal to 1'}] WORKER__RENDER_TIMEOUT_SECONDS=120: exit 2, errors [{'loc': 'worker.render_timeout_seconds', 'msg': 'Value error, must be less than job_timeout_seconds'}] docker compose stop worker: 0.2 s -docker stop after 0.3 s: 0.07 s, exit 0, records ['Stopped worker before startup'] -docker stop after 0.2 s: 0.06 s, exit 0, records ['Stopped worker before startup'] +docker stop after 0.3 s: 0.06 s, exit 0, records ['Stopped worker before startup'] +docker stop after 0.2 s: 0.05 s, exit 0, records ['Stopped worker before startup'] docker stop after 0.4 s: 0.07 s, exit 0, records ['Stopped worker before startup'] -PID 1 of the worker expected python -m src.worker got python -m src.worker -healthcheck expected NONE got NONE -limit NanoCpus expected 1000000000 got 1000000000 -limit Memory expected 1073741824 got 1073741824 -_imaging in mtusi-lab5-api-10 expected no got no -_imaging in mtusi-lab5-api-9 expected no got no -_imaging in PID 1 of the worker expected no got no -Pillow in the image = uv.lock expected 13.0.0 got 13.0.0 +stop under load: docker stop worker took 8.15 s +stop frozen storage: docker stop worker took 9.18 s +PID 1 of the worker expected python -m src.worker got python -m src.worker +healthcheck expected NONE got NONE +limit NanoCpus expected 1000000000 got 1000000000 +limit Memory expected 1073741824 got 1073741824 +_imaging in mtusi-lab5-api-15 expected no got no +_imaging in mtusi-lab5-api-16 expected no got no +API replicas checked expected yes got yes +_imaging in PID 1 of the worker expected no got no +Pillow in the image = uv.lock expected 13.0.0 got 13.0.0 'Started worker' record, every field named, defaults as above: expected = got six invalid WORKER__* : exit code 2, names the field, hides the value: expected = got -env override concurrency expected 3 got 3 -env override reconnect_seconds expected 1.0 got 1.0 -stop idle: command exit code expected 0 got 0 -stop idle: container exit code expected 0 got 0 -stop idle: under 10 s expected yes got yes -stop idle: last record expected Stopped worker got Stopped worker -stop idle: record exit_code expected 0 got 0 +env override container started expected 0 got 0 +env override concurrency expected 3 got 3 +env override reconnect_seconds expected 1.0 got 1.0 +stop idle: command exit code expected 0 got 0 +stop idle: container exit code expected 0 got 0 +stop idle: under 10 s expected yes got yes +stop idle: last record expected Stopped worker got Stopped worker +stop idle: record exit_code expected 0 got 0 +docker compose start worker expected 0 got 0 early stop 0.2, 0.3, 0.4 s: docker stop 0, exit code 0, within 1 s: expected = got -'Stopped worker before startup' seen expected yes got yes -scripts/restart.sh expected 0 got 0 -LB ready after restart expected yes got yes -worker StartedAt unchanged expected yes got yes -worker RestartCount expected 0 got 0 -new upload after restart expected 202 got 202 -new upload becomes ready expected yes got yes +'Stopped worker before startup' seen expected yes got yes +worker running before restart expected yes got yes +scripts/restart.sh expected 0 got 0 +LB ready after restart expected yes got yes +worker StartedAt unchanged expected yes got yes +worker RestartCount expected 0 got 0 +new upload after restart expected 202 got 202 +new upload becomes ready expected yes got yes +expensive JPEG generated expected yes got yes +stop under load: worker stopped before uploads expected 0 got 0 +stop under load: upload 0 expected 202 got 202 +stop under load: upload 1 expected 202 got 202 +stop under load: worker started expected 0 got 0 +stop under load: both files in processing expected processing got processing +stop under load: command exit code expected 0 got 0 +stop under load: under 9.5 s expected yes got yes +stop under load: container exit code expected 0 got 0 +stop under load: OOM killed expected false got false +stop under load: last record expected Stopped worker got Stopped worker +stop under load: worker back expected 0 got 0 +stop frozen storage: worker stopped before uploads expected 0 got 0 +stop frozen storage: upload 0 expected 202 got 202 +stop frozen storage: upload 1 expected 202 got 202 +stop frozen storage: worker started expected 0 got 0 +stop frozen storage: both files in processing expected processing got processing +stop frozen storage: storage paused expected 0 got 0 +stop frozen storage: command exit code expected 0 got 0 +stop frozen storage: under 9.5 s expected yes got yes +stop frozen storage: container exit code expected 0 got 0 +stop frozen storage: OOM killed expected false got false +stop frozen storage: last record expected Stopped worker got Stopped worker +stop frozen storage: worker back expected 0 got 0 +LB ready after unpause expected yes got yes +stopped work finished: 4f53824c-a065-4875-8ddf-d7a507e505a0 expected failed limit_cpu got failed limit_cpu +stopped work finished: 6845c972-0f91-4401-91dc-d84dc2229b10 expected failed limit_cpu got failed limit_cpu +stopped work finished: fc9cc3a5-dbeb-4e3c-9b63-d2ce6180b584 expected failed limit_cpu got failed limit_cpu +stopped work finished: 7811470c-95fd-492d-95f1-ff4d4dde4a23 expected failed limit_cpu got failed limit_cpu PASS: the worker process matches the spec worker and relay running at the end: yes ``` diff --git a/openspec/changes/pipeline-reliability/design.md b/openspec/changes/pipeline-reliability/design.md index d275cd0c..b35b2a0e 100644 --- a/openspec/changes/pipeline-reliability/design.md +++ b/openspec/changes/pipeline-reliability/design.md @@ -556,7 +556,7 @@ Replay `invalid_image` разрешён: оператор мог поправи 10. **Окно старта интерпретатора при 0,25 CPU длиннее:** `docker compose start relay`, сразу `stop` — SIGTERM приходит до первых строк `__main__`, PID 1 без обработчика его отбрасывает, SIGKILL через 10 с, код 137. Через 0,6 с после старта — «Stopped relay before startup», код 0. Работы в этот момент у процесса нет, поэтому не правится; то же окно названо в `docker.md` («десятки миллисекунд» — при 1 CPU). 11. **Откат реплик требует override (отклонение от Migration Plan в propose):** `make rolling_update COMMIT=7f38948 MIGRATE=0` на новом compose давал загрузку 503: у `api` больше нет адреса и пароля брокера, а прежний код публикует сам. Добавлен `infra/rollback/broker.compose.yml`, команда отката в плане и `balancer.md` обновлена. Постоянно давать репликам пароль нельзя (решение 1). 12. **Задача 14.1:** откат с override, прежние worker и уборщик, relay остановлен: `make test` — PASS; строка нового кода на прежней реплике — 200, 3 варианта, байты всех вариантов — 200, сообщение со ссылкой — 201, история — 200; загрузка на прежнем образе — `ready`, один thumbnail. Вперёд по плану: `lb_stats` без ручных состояний, новая загрузка — 3 варианта, вложение прежнего образа — `ready`, один thumbnail, `original` и `thumbnail` — 200, `crop` и `optimized` — 404; `make reconcile` — код 0, `found` пусто. -13. **Память worker (задача 9.6, расчёт решения 7):** два PNG 10 MiB одновременно: `VmHWM` процесса 1 — 158 МиБ (`VmRSS` до 109, после 111), `render_peak_kib` ~84 МиБ на файл, `render_ms` 928, контейнер `memory.peak` 261 МиБ; снято на рабочем дереве, файл на commit — `evidence/worker/memory.md`, задача 16.8. На самом дорогом файле, сером 16 бит 40 Мпкс, пик процесса 405 МиБ (у RGBA — 357, таблица проб): 158 + 2 × 405 = 968 МиБ < 1 ГБ. Оценка решения 7 (130 МиБ) была занижена на 28 МиБ, бюджет сходится. Лимит не менялся. +13. **Память worker (задача 9.6, расчёт решения 7):** два PNG 10 MiB одновременно: `VmHWM` процесса 1 — 158 МиБ (`VmRSS` до 109, после 111), `render_peak_kib` ~84 МиБ на файл, `render_ms` 928, контейнер `memory.peak` 261 МиБ; снято на рабочем дереве. На `399da05` (`evidence/worker/memory.md`, задача 16.8): те же файлы — `VmHWM` 159, `memory.peak` 261; самый дорогой — серый 16 бит на 40 Мпкс и ~10 MiB файла: пик процесса 414 МиБ, `memory.peak` 905 МиБ, OOM нет (у RGBA на обеих границах 366, без тела 357); оценка суммой 159 + 2 × 414 = 987 МиБ < 1 ГБ. Оценка решения 7 (130 МиБ) была занижена, бюджет сходится. Лимит не менялся. 14. **Регрессии задачи 10.9** (каждая применена в рабочем дереве, откачена, хэши `src` совпали со снимком до них; образ собирался из дерева): - отметка до подтверждения: `test_relay_killed_after_confirm` — красный, `published_at` есть после KILL до подтверждения; `test_upload_with_broker_paused` — зелёный; - claim при живой аренде: `test_duplicate_during_processing` — красный, нет записи `busy`; @@ -579,4 +579,4 @@ Replay `invalid_image` разрешён: оператор мог поправи 18. **Группа 15 на `e2a6427`:** полный `make failure_checks` при остановленном рабочем стенде — 140 из 140, pytest 2373 с, правок тестов нет, правка п. 15 прошла в полном наборе. Метка `pipeline-reliability` снята первой, на чистом дереве: `git.dirty` false, `swapouts_delta` 0, файлы `evidence/` из дерева выносить не пришлось. Образ контейнера на стенде сравнивается по метке `com.docker.compose.image`: `.Image` у контейнеров с одной меткой может расходиться и не годится для сравнения (`docker.md`); у реплик, relay, worker и уборщика метка одна. 19. **Замечание W1 проверки: `_prepared` держал исходник на время перевода и масштаба.** У серого с альфой и RGB с tRNS на 40 Мпкс и исходник, и RGBA, и промежуточный буфер `resize` — по 160 МиБ: сумма с базой больше 450 МиБ, `MemoryError`, код 4, `failed` `invalid_image` `limit_memory`: ошибка постоянная, replay не поможет, а контракт такие файлы разрешает. Проба задачи 4.2 этих типов не содержала. Теперь после `convert("RGBA")` исходник закрывается: контекст `with Image.open` это переносит (пробы: выход из него без ошибки во всех типах, код 0), дальше `image` не читается, а ветка RGBA без перевода исходник не закрывает. Остальные ветки не тронуты, они укладываются: палитра без tRNS 242 МиБ, 1 бит 113, серый 16 бит 404–405. Проверены и чересстрочные (RGBA, серый с альфой — 357, серый 16 бит — 404) и вытянутые (40000 × 1000, 1000 × 40000, 4000000 × 10 — 328–329, серый 16 бит 405). Красный до правки: `test_pixel_limit_png_modes` — 3 упали (`gray-alpha-8`, `rgb-8-trns`, `rgb-16-trns`: `failed`, `invalid_image`), 2 прошли. 20. **Замечание W2 проверки: fencing без живой второй попытки не проверялся.** `test_hung_worker_lease_fencing` теперь размораживает первую попытку, пока вторая в `processing`: обе на worker со сроками больше времени теста (`run-worker`, новый `run-worker-second`), S3 заморожен, пока вторая не взята и сама не заморожена: она ждёт S3 и не успевает к фиксации, транзакции у неё нет (`attachment-free`). Первая завершается `superseded`, задание и вложение не меняются, после разморозки второй итог даёт только она. Прежний поток — сценарий «Зависший worker» — `test_hung_worker_thawed_after_ready`. Дефекта приложения тест не показал: условие в `_own_attempt` работает. -21. **Правки по проверке на рабочем дереве:** полный `make failure_checks` при остановленном рабочем стенде — 141 из 141, pytest 2266 с, PostgreSQL без признаков аварии; полный прогон на commit — задача 16.10. `driver.py worker-process` на рабочем дереве: `docker stop` на двух дорогих JPEG — 8,15 с, при замороженных PostgreSQL и брокере — 9,19 с, код 0, все четыре задания дошли до `failed`, `limit_cpu`. `relay-process`: при замороженном брокере — 1,71 с, код 0. \ No newline at end of file +21. **Правки по проверке на рабочем дереве:** полный `make failure_checks` при остановленном рабочем стенде — 141 из 141, pytest 2266 с, PostgreSQL без признаков аварии; на `399da05` — 141 из 141, pytest 2302 с (задача 16.10). `driver.py worker-process` на `399da05`: `docker stop` на двух дорогих JPEG — 8,15 с, при замороженных PostgreSQL и брокере — 9,18 с, код 0, все четыре задания дошли до `failed`, `limit_cpu`. `relay-process`: при замороженном брокере — 1,81 с, код 0. \ No newline at end of file diff --git a/openspec/changes/pipeline-reliability/tasks.md b/openspec/changes/pipeline-reliability/tasks.md index a84d4ae1..5b7bdf04 100644 --- a/openspec/changes/pipeline-reliability/tasks.md +++ b/openspec/changes/pipeline-reliability/tasks.md @@ -338,6 +338,6 @@ HEAD до правок — `6bd6053`, код снят на `e2a6427`. Этап 1 ### Этап 2 (после commit правок) -- [ ] 16.8 `evidence/worker/memory.md`: `VmHWM`, `render_peak`, `memory.peak` — PNG 10 MiB и граничные 40 Мпкс, в том числе два серых 16 бит разом; OOM. -- [ ] 16.9 `evidence/worker/process.md`, `evidence/relay/process.md`, `evidence/attachments/defense-faults.md` с кодом выхода в шапке. -- [ ] 16.10 `evidence/tests/failure-checks.md` — полный прогон на этом commit; `REPORT.md` — commit измеренного состояния и бюджет. +- [x] 16.8 `evidence/worker/memory.md`: `VmHWM`, `render_peak`, `memory.peak` — PNG 10 MiB и граничные 40 Мпкс, в том числе два серых 16 бит разом; OOM. +- [x] 16.9 `evidence/worker/process.md`, `evidence/relay/process.md`, `evidence/attachments/defense-faults.md` с кодом выхода в шапке. +- [x] 16.10 `evidence/tests/failure-checks.md` — полный прогон на этом commit; `REPORT.md` — commit измеренного состояния и бюджет.