docs: record pipeline-reliability verify evidence on 399da05
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -470,7 +470,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
|
||||
| `make wipe_data` | `down -v` — удалить данные стенда (volumes Postgres и S3 называются в запросе) и кэш; только после ввода `yes` |
|
||||
| `make test_isolated [KEEP_TEST_DB=1]` | образ на временной базе `test_<db>` с Valkey и S3 стенда (ключи кэша и объектов разделены именем базы): сборка, миграции, отдельный контейнер API на `TEST_APP_PORT`, `make test` + `make student_test EXPECT_REPLICAS=1` (тесты реплик пропускаются с причиной), уборка при любом исходе — база и объекты под префиксом `test_<db>/` (`student-tests.md`) |
|
||||
| `make student_test [BASE_URL=...] [EXPECT_REPLICAS=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); `EXPECT_REPLICAS` (по умолчанию `API_REPLICAS`) — сколько реплик за `BASE_URL`, против одного процесса — 1; сервер недоступен — код 2 и одна строка с адресом |
|
||||
| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, 140 проверок, ~39 мин) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres, Valkey и S3 (с bootstrap), уборщик (grace 20 с, интервал 1 с), четыре API — обычный, «тесный» (срок 2 с, пул 1), «узкий по загрузкам» и «с коротким сроком S3» (1 с), hook `student-tests/fault_hook.py`; после тестов — журнал PostgreSQL стенда: сводка (`crash markers`, «too many clients», «administrator command») и ненулевой код при признаках аварийного перезапуска; стенд и его volumes удаляются при любом исходе, рабочий не трогается (`student-tests.md`) |
|
||||
| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, 141 проверка, ~39 мин) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres, Valkey и S3 (с bootstrap), уборщик (grace 20 с, интервал 1 с), четыре API — обычный, «тесный» (срок 2 с, пул 1), «узкий по загрузкам» и «с коротким сроком S3» (1 с), hook `student-tests/fault_hook.py`; после тестов — журнал PostgreSQL стенда: сводка (`crash markers`, «too many clients», «administrator command») и ненулевой код при признаках аварийного перезапуска; стенд и его volumes удаляются при любом исходе, рабочий не трогается (`student-tests.md`) |
|
||||
| `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k читаемого чата плюс 100 000 сообщений в 1 110 фоновых чатах разного размера (~35 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (HAProxy и одна реплика API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда; k6 ходит через LB); на каждый размер — свежий стенд, `VACUUM (ANALYZE)`, планы запроса истории (`auto_explain`) по уровням чатов с вариантами индекса и запроса, в конце — пробы стоимости записи по вариантам. Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) |
|
||||
| `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт |
|
||||
| `make bench_restore [RESTORE_LABEL=...]` | трек 2, восстановление (~20 мин, метка `restore` по умолчанию): тот же стенд и данные, без матрицы прогонов; на каждый размер — `pg_dump` во время записи через HTTP, активность после backup, `pg_restore -j` в новый контейнер Postgres на новом volume, сверка обеих баз построчно, переключение API, проверки через HTTP до и после `FLUSHALL`; время dump / restore / RTO и потерянные сообщения — в `summary.md` |
|
||||
|
||||
@@ -3,7 +3,7 @@
|
||||
- Автор, группа: Сафронов Роман Николаевич, БВТ2301
|
||||
- Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Очередь под перегрузкой»
|
||||
- Состояние отчёта: закрыты **уровень 3** (change `async-attachments`) и **уровень 4** (change `pipeline-reliability`). Раздел уровня 5 закрывает `track1-queue-overload`
|
||||
- Commit/PR: измеренное состояние — `e2a6427` (ветка `feat/pipeline-reliability`); снятое на прежнем `ff1a83b` названо в разделе доказательств; PR — TODO после публикации
|
||||
- Commit/PR: измеренное состояние — `399da05` (ветка `feat/pipeline-reliability`); снятое на прежних `e2a6427` и `ff1a83b` названо в разделе доказательств; PR — TODO после публикации
|
||||
- Источники, библиотеки и помощь ИИ — последний раздел
|
||||
|
||||
## Запуск из чистого clone
|
||||
@@ -115,7 +115,7 @@ make replay → relay replay: реестр failed и возврат работы
|
||||
|
||||
Настоящий случай «дорогого» файла — прогрессивный JPEG в пределах контракта, один скан повторён 445 227 раз: `test_limit_cpu_scan_bomb`.
|
||||
|
||||
**Бюджет памяти контейнера worker (1 ГБ).** Пик процесса обработки на 40 Мпкс (`peak_kib`, лимит 450 МиБ) зависит от типа файла: PNG RGBA и всё, что переводится в RGBA (серый с альфой, RGB с tRNS, палитра с tRNS), — 357 МиБ, серый 16 бит — 404–405 МиБ, и это наибольшее значение. Процесс 1 worker при двух телах 10 MiB — 158 МиБ (`VmHWM`). Расчёт на самом дорогом файле: 158 + 2 × 405 = 968 МиБ < 1 ГБ. Числа и `memory.peak` контейнера, в том числе при двух серых 16 бит разом, — `evidence/worker/memory.md`. Если памяти всё же не хватит, ядро убьёт самый большой процесс обработки, а не worker (проба), это временная ошибка.
|
||||
**Бюджет памяти контейнера worker (1 ГБ).** Замер двух файлов разом на `399da05` (`evidence/worker/memory.md`): пик процесса обработки на 40 Мпкс (`render_peak_kib`, лимит 450 МиБ) зависит от типа файла: PNG RGBA и всё, что переводится в RGBA (серый с альфой, RGB с tRNS, палитра с tRNS), — 357 МиБ, серый 16 бит — 404 МиБ, а на обеих границах контракта сразу, 40 Мпкс и ~10 MiB файла, — 366 и 414 МиБ. `VmHWM` процесса 1 при двух телах ~10 MiB — до 159 МиБ. Самый дорогой случай, два серых 16 бит на обеих границах: `memory.peak` контейнера 905 МиБ, `oom_kill` 0; у двух PNG 10 MiB из шума — 261 МиБ. Верхняя оценка суммой пиков: 159 + 2 × 414 = 987 МиБ < 1 ГБ. Если памяти всё же не хватит, ядро убьёт самый большой процесс обработки, а не worker (проба), это временная ошибка.
|
||||
|
||||
### Сервисы стенда и лимиты
|
||||
|
||||
@@ -245,7 +245,7 @@ make replay → relay replay: реестр failed и возврат работы
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
Снято на `e2a6427`, в шапке каждого файла — команда, дата и стенд. Остались снятыми на прежнем коде `ff1a83b` и названы так в шапках: метка `evidence/uploads/baseline/`, `evidence/rollout/async-attachments/`, `evidence/migrations/async-attachments.md`, `evidence/s3/worker-key.md`: это доказательства перехода уровня 3, их поведение уровень 4 не менял.
|
||||
В шапке каждого файла — команда, дата, commit и стенд. На `399da05` (правки по проверке: `_prepared`, тесты, драйвер) сняты `evidence/worker/memory.md`, `evidence/worker/process.md`, `evidence/relay/process.md`, `evidence/attachments/defense-faults.md`, `evidence/tests/failure-checks.md`. Остальные файлы уровня 4 и `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md` сняты на `e2a6427`: из кода приложения `399da05` меняет только `src/utils/image_variants.py`, одну ветку перевода в RGBA, поэтому `test_pixel_limit_png_modes` в этих прогонах набора ещё нет, его сценарий на `399da05` доказывает `evidence/worker/memory.md`. Остались снятыми на прежнем коде `ff1a83b` и названы так в шапках: метка `evidence/uploads/baseline/`, `evidence/rollout/async-attachments/`, `evidence/migrations/async-attachments.md`, `evidence/s3/worker-key.md`: это доказательства перехода уровня 3, их поведение уровень 4 не менял.
|
||||
|
||||
### Уровень 3
|
||||
|
||||
@@ -254,7 +254,7 @@ make replay → relay replay: реестр failed и возврат работы
|
||||
| Публичный smoke | `make test` | `PASS: lab5 public API scenario` | `evidence/tests/test-isolated.md` |
|
||||
| Минимум лаб 1–4 сохранён с переходом 201 → 202 | `make student_test` через LB | 218 passed, 1 failed (`test_exclusion_evidence_exists`: только файлы последнего шага прогона), реплики выполнены; сверка: 370 сценариев, 348 проверены, 22 исключения | `evidence/tests/student-test-lb.md` |
|
||||
| Тот же набор на временной базе | `make test_isolated` | smoke PASS; 212 passed, 6 skipped (реплики), 1 failed — то же; уборка полная | `evidence/tests/test-isolated.md` |
|
||||
| Отказы | `make failure_checks` | 140 passed, pytest 2373 с, `crash markers 0` | `evidence/tests/failure-checks.md` |
|
||||
| Отказы | `make failure_checks` (`399da05`) | 141 passed, pytest 2302 с, `crash markers 0` | `evidence/tests/failure-checks.md` |
|
||||
| 202 только после устойчивого приёма и сохранения задания | `test_durable_state_at_202`, `test_upload_with_broker_stopped`, `test_upload_with_broker_paused` | к 202 объект в staging, строка и намерение в одной транзакции; брокер остановлен или заморожен — по-прежнему 202, намерение ждёт (на уровне 3 было 503) | `evidence/tests/failure-checks.md` |
|
||||
| Остановка API после ответа не теряет работу | `test_api_killed_after_202` | реплика убита после 202, вложение становится `ready` | `evidence/tests/failure-checks.md` |
|
||||
| Отдельные broker и worker в общем compose | `driver.py broker-check`, `driver.py worker-process` | образ с тегом и digest, volume, AMQP только на loopback; PID 1 `python -m src.worker`, лимиты 1 CPU / 1 ГБ | `evidence/broker/stand.md`, `evidence/worker/process.md` |
|
||||
@@ -294,7 +294,7 @@ make replay → relay replay: реестр failed и возврат работы
|
||||
| Лимит по bytes | `test_limit_oversized_staging` | объект больше строки не читается: `processing_failed` | `evidence/tests/failure-checks.md` |
|
||||
| Лимит по пикселям | `test_limit_pixels` | `invalid_image`, причина `limit_pixels` | `evidence/tests/failure-checks.md` |
|
||||
| Лимит по времени | `test_limit_cpu_scan_bomb`, `test_limit_render_timeout` | настоящий дорогой JPEG прерван по CPU: `invalid_image`; срок процесса — временная ошибка | `evidence/tests/failure-checks.md` |
|
||||
| Лимит по памяти worker | `test_limit_memory`, `test_max_pixels_fit_worker_memory`, `test_pixel_limit_png_modes`, `test_render_killed`, `driver.py worker-process` | `RLIMIT_AS` — `invalid_image`; 40 Мпкс укладывается в любом типе PNG, включая серый с альфой и RGB с tRNS; убитый процесс обработки не роняет worker; лимиты 1 CPU / 1 ГБ | `evidence/tests/failure-checks.md`, `evidence/worker/process.md` |
|
||||
| Лимит по памяти worker | `test_limit_memory`, `test_max_pixels_fit_worker_memory`, `test_pixel_limit_png_modes`, `test_render_killed`, `driver.py worker-process` | `RLIMIT_AS` — `invalid_image`; 40 Мпкс укладывается в любом типе PNG, включая серый с альфой и RGB с tRNS; убитый процесс обработки не роняет worker; лимиты 1 CPU / 1 ГБ; два файла на обеих границах — `memory.peak` 905 МиБ, OOM нет | `evidence/tests/failure-checks.md`, `evidence/worker/process.md`, `evidence/worker/memory.md` |
|
||||
| Разрыв PostgreSQL и брокера закрыт outbox | `test_upload_with_broker_stopped`, `test_upload_with_broker_paused`, `test_relay_survives_broker_outage`, `test_relay_survives_database_outage`, `driver.py relay-process`, `broker-check` | 202 без брокера; у реплик нет настроек брокера; relay переживает отказы (тот же `StartedAt`, `RestartCount` 0) | `evidence/tests/failure-checks.md`, `evidence/relay/process.md`, `evidence/broker/stand.md` |
|
||||
| Crash между COMMIT и publish, задача доходит до `ready` без ручного задания | `driver.py defense-faults`, окна «после COMMIT `queued` до publish» и «после подтверждения до отметки»; `test_relay_killed_before_publish`, `test_relay_killed_after_confirm` | `published_at` пуст, 0 сообщений, после запуска relay — `ready`, `attempt` 1; при KILL после confirm — 2 сообщения, `ready`, `attempt` 1, очередь пуста | `evidence/attachments/defense-faults.md`, `evidence/tests/failure-checks.md` |
|
||||
| Состояние намерений видно оператору | `driver.py pipeline-state`, в том числе при замороженном брокере | задания по состояниям, due, аренды; брокер заморожен — `available: false`, код 0 | `evidence/relay/pipeline-state.md` |
|
||||
@@ -393,7 +393,7 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
|
||||
- **Staging и конечный префикс на одном сервере S3.** Устойчивость staging — устойчивость этого сервера и bucket: отказ диска или ВМ теряет и то, и другое.
|
||||
- **Отставание очистки staging.** Объект живёт до следующего прохода уборщика (60 с); под нагрузкой при 0,25 CPU он может отставать, отставание меряет трек 1.
|
||||
- **Смесь версий при замене на уровень 3 и новые статусы.** С версии лабы 4: прежняя реплика отвечает 201 `ready` и даёт 500 на чтении строки нового статуса (`evidence/migrations/async-attachments.md`). Для загрузок реплик прежней версии, переживших grace, защита пометкой уборщика не гарантирована: они пометку не проверяют. Запись — `KNOWN_ISSUES.md`. Порядок обновления с уровня 3 — раздел «Разрыв COMMIT и publish и окна отказа».
|
||||
- **Прерванное остановкой задание.** Задание, прерванное `docker stop` дольше `graceful_shutdown_seconds` (8 с), считается начатой попыткой и продолжается по аренде: release на пути отмены ненадёжен. Худший случай остановки 8 + 0,5 + 0,5 + 0,5 = 9,5 с < 10 с.
|
||||
- **Прерванное остановкой задание.** Задание, прерванное `docker stop` дольше `graceful_shutdown_seconds` (8 с), считается начатой попыткой и продолжается по аренде: release на пути отмены ненадёжен. Замер на двух дорогих JPEG: 8,15 с, при замороженных PostgreSQL и брокере 9,18 с (`evidence/worker/process.md`). Худший случай остановки 8 + 0,5 + 0,5 + 0,5 = 9,5 с < 10 с.
|
||||
- **Искажения данных скана JPEG.** Структурная проверка и libjpeg байт внутри данных скана ошибкой не считают: такое вложение становится `ready`, а варианты будут с мусором. Проверка не декодирует пиксели при приёме намеренно.
|
||||
- **Цепочка LB.** Брокера в пути нет, поэтому самым долгим снова стал путь компенсации: после тела `проверка ~4 + tx1 6 + PUT 5 + tx2 6 ≈ 21 с`, с DELETE компенсации `+ 5 ≈ 26 с` < `timeout server` 30 с. Наибольшая длительность живой загрузки `U = 17 + 30 + 26 ≈ 73 с` < дренаж замены 90 с: до тела `2 × request_timeout_seconds + wait_timeout_seconds` = 17 с; тело — `[uploads] body_timeout_seconds` 30 с.
|
||||
|
||||
|
||||
@@ -1,8 +1,8 @@
|
||||
# Шаг 4 сценария защиты: окна отказа
|
||||
|
||||
- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-faults`
|
||||
- Дата: 2026-10-31, 13:20:45–13:22:52 UTC; итог `PASS`
|
||||
- Commit: `e2a6427` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (добавлены только файлы `evidence/`)
|
||||
- Дата: 2026-10-31, 16:01:59–16:04:03 UTC; код выхода 0, итог `PASS`
|
||||
- Commit: `399da05` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (добавлены только файлы `evidence/`)
|
||||
- Стенд: проект compose `mtusi-lab5`, собран `make run_docker` из `HEAD`: HAProxy, две реплики API, relay, worker, cleaner, PostgreSQL, Valkey, S3, RabbitMQ
|
||||
- Спек: `student-tests`, «Шаг 4 на рабочем стенде»; решения 1, 3, 5, 14, 17 design change `pipeline-reliability`. Тем же порядком на стенде отказов — `test_defense_faults` (`evidence/tests/failure-checks.md`)
|
||||
- Точек сбоя в коде нет: окна держат триггеры `driver_df_*` только на уникальный `filename` прогона, `docker kill` снаружи. Токенов и секретов в выводе нет, пользователи и чат синтетические
|
||||
@@ -11,12 +11,12 @@
|
||||
```text
|
||||
window: after writing objects, before COMMIT
|
||||
upload: 202
|
||||
attachment id 9dbedb7b-9884-4122-bbc8-3ee3b3adb278
|
||||
attachment id 2cccff8d-6ce9-448f-9d58-7506b6e39aa1
|
||||
COMMIT of ready waits in the trigger: yes
|
||||
action: docker kill worker
|
||||
job state after kill: processing
|
||||
attempt after kill: 1
|
||||
job id 89767628-2179-40d8-9d08-5a882db756e4
|
||||
job id 181f8092-211d-482d-981b-c15e6e74e70a
|
||||
thumbnail sha256 before the crash b8e59b0cad429b1c49c27c4a1c79e52bfc23e2fab7c7238d18d5addd4df4b546
|
||||
crop sha256 before the crash fae35500205a78065cf7d589f121cc909b017e2a4cde882177e24f5608fb4c1f
|
||||
optimized sha256 before the crash 1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb
|
||||
@@ -35,18 +35,18 @@ window: after writing objects, before COMMIT
|
||||
|
||||
window: after COMMIT, before ack
|
||||
upload: 202
|
||||
attachment id 5acffd71-f175-4c78-a2ed-58f90a2c27ad
|
||||
attachment id 63163c48-95f9-4e41-ae36-4746f241bad5
|
||||
COMMIT waits in the deferred trigger: yes
|
||||
action: docker kill -s STOP worker
|
||||
job state while frozen: succeeded
|
||||
job id 23c4e081-66af-43a8-b9df-3b42508ea890
|
||||
job id c14b31e6-2e3c-4453-8a55-76c8d4881b7c
|
||||
action: docker kill worker
|
||||
message returned to the queue (no ack): 1
|
||||
action: start worker
|
||||
redelivered: 'Skipped job message', finished: yes
|
||||
new attempts: 0
|
||||
queue empty: 0
|
||||
same updated_at: 2026-10-31T13:22:01.910196+00:00
|
||||
same updated_at: 2026-10-31T16:03:16.515863+00:00
|
||||
attempt: 1
|
||||
metadata unchanged: yes
|
||||
downloads: thumbnail image/jpeg (256, 160); crop image/jpeg (128, 128); optimized image/webp (320, 200)
|
||||
@@ -55,8 +55,8 @@ window: after COMMIT queued, before publish
|
||||
action: docker kill relay
|
||||
relay stays down: no
|
||||
upload: 202
|
||||
attachment id 092f2122-d3de-4034-a8d9-071c070a0f4b
|
||||
job id 40467883-90e0-4e8a-905a-45ffe36cf2b6
|
||||
attachment id 2776eb1b-9c3e-429e-9acc-bd2d010eee9c
|
||||
job id a50fc32c-e511-4789-8973-29073584414d
|
||||
job state: queued
|
||||
published_at: None
|
||||
messages in the queue: 0
|
||||
@@ -68,11 +68,11 @@ window: after COMMIT queued, before publish
|
||||
window: after broker confirm, before the mark
|
||||
action: docker compose stop worker
|
||||
upload: 202
|
||||
attachment id ea2e1492-1e1f-4dc3-b2fb-70a87c3c0986
|
||||
attachment id ef8d3438-e3bd-4849-8375-79cccd92f29e
|
||||
the mark waits in the trigger: yes
|
||||
action: docker kill relay
|
||||
message in the queue: 1
|
||||
job id f81f91fa-6d41-470d-9b27-a4086dc263f2
|
||||
job id 61c712cf-5a6e-4f5c-b9b7-c042bc7e9202
|
||||
published_at: None
|
||||
action: start relay
|
||||
two messages with the worker stopped: 2
|
||||
@@ -85,50 +85,50 @@ window: after broker confirm, before the mark
|
||||
window: replay of a failed job
|
||||
action: docker compose stop worker
|
||||
upload: 202
|
||||
attachment id f3b0e3cb-fec6-4604-a43f-32a35468ea3a
|
||||
attachment id 899a3ef4-f0d9-4d0c-8b75-49e0fe7ccf7d
|
||||
action: staging object replaced with other bytes of the same size
|
||||
action: start worker
|
||||
attachment status: failed
|
||||
error_code: processing_failed
|
||||
job id 13665040-1e95-4ad3-b1fc-759bb69322d0
|
||||
job id 0ef49bb7-fda7-4555-a82a-9693e265820a
|
||||
reason: source_corrupted
|
||||
action: replay --error-code processing_failed (registry, dry-run)
|
||||
registry: exit 0
|
||||
registry names the job: yes
|
||||
registry changes nothing: state failed, attempt 1, attempt_base 0, last_error_code source_corrupted
|
||||
action: original bytes returned to staging
|
||||
action: replay --attachment-id f3b0e3cb-fec6-4604-a43f-32a35468ea3a --apply
|
||||
action: replay --attachment-id 899a3ef4-f0d9-4d0c-8b75-49e0fe7ccf7d --apply
|
||||
replay exit code: 0
|
||||
'Replayed job' record: yes
|
||||
attachment status: ready
|
||||
downloads: thumbnail image/jpeg (256, 160); crop image/jpeg (128, 128); optimized image/webp (320, 200)
|
||||
download original: 200
|
||||
original sha256 = uploaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
|
||||
same job: 13665040-1e95-4ad3-b1fc-759bb69322d0
|
||||
same job: 0ef49bb7-fda7-4555-a82a-9693e265820a
|
||||
attempt: 2
|
||||
attempt_base: 1
|
||||
audit: [{'operator': 'driver-defense-faults', 'error_code': 'processing_failed', 'reason': 'source_corrupted', 'attempt': 1}]
|
||||
|
||||
window: replay of a ready job
|
||||
upload: 202
|
||||
attachment id 1ac6c769-2b55-4449-ac01-96575e6c6502
|
||||
attachment id 5158f6e9-c59a-46f1-bfb9-d16cf502aa7c
|
||||
attachment status: ready
|
||||
job id c5a99e2b-2a3e-4ee8-8b53-f557190b1980
|
||||
action: replay --attachment-id 1ac6c769-2b55-4449-ac01-96575e6c6502 --apply
|
||||
job id f6eeaf22-4374-4880-99d1-c2b54ecb2bd3
|
||||
action: replay --attachment-id 5158f6e9-c59a-46f1-bfb9-d16cf502aa7c --apply
|
||||
replay exit code: 3
|
||||
refusal: already_ready
|
||||
metadata unchanged: yes
|
||||
job unchanged: 2026-10-31T13:22:43.535575+00:00
|
||||
job unchanged: 2026-10-31T16:03:55.015651+00:00
|
||||
audit records: 0
|
||||
driver triggers left: 0
|
||||
|
||||
window -> action -> job id -> attempts started -> result
|
||||
after writing objects, before COMMIT -> kill worker, wait for the lease -> 89767628-2179-40d8-9d08-5a882db756e4 -> 2 -> ready
|
||||
after COMMIT, before ack -> freeze and kill worker after COMMIT -> 23c4e081-66af-43a8-b9df-3b42508ea890 -> 1 -> ready, no-op
|
||||
after COMMIT queued, before publish -> kill relay, upload, start relay -> 40467883-90e0-4e8a-905a-45ffe36cf2b6 -> 1 -> ready
|
||||
after broker confirm, before the mark -> kill relay after confirm, duplicate -> f81f91fa-6d41-470d-9b27-a4086dc263f2 -> 1 -> ready
|
||||
replay of a failed job -> failed, registry, replay -> 13665040-1e95-4ad3-b1fc-759bb69322d0 -> 2 -> ready
|
||||
replay of a ready job -> replay ready -> c5a99e2b-2a3e-4ee8-8b53-f557190b1980 -> 1 -> refused, exit 3
|
||||
after writing objects, before COMMIT -> kill worker, wait for the lease -> 181f8092-211d-482d-981b-c15e6e74e70a -> 2 -> ready
|
||||
after COMMIT, before ack -> freeze and kill worker after COMMIT -> c14b31e6-2e3c-4453-8a55-76c8d4881b7c -> 1 -> ready, no-op
|
||||
after COMMIT queued, before publish -> kill relay, upload, start relay -> a50fc32c-e511-4789-8973-29073584414d -> 1 -> ready
|
||||
after broker confirm, before the mark -> kill relay after confirm, duplicate -> 61c712cf-5a6e-4f5c-b9b7-c042bc7e9202 -> 1 -> ready
|
||||
replay of a failed job -> failed, registry, replay -> 0ef49bb7-fda7-4555-a82a-9693e265820a -> 2 -> ready
|
||||
replay of a ready job -> replay ready -> f6eeaf22-4374-4880-99d1-c2b54ecb2bd3 -> 1 -> refused, exit 3
|
||||
|
||||
all rows of the check table: expected = got
|
||||
PASS: every window finished with the same result, no duplicate effect
|
||||
|
||||
@@ -1,10 +1,11 @@
|
||||
# Процесс relay
|
||||
|
||||
- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 relay-process`
|
||||
- Дата: 2026-10-31, 13:24:07–13:24:58 UTC; код выхода 0
|
||||
- Commit: `e2a6427` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (добавлены только файлы `evidence/`)
|
||||
- Дата: 2026-10-31, 16:01:07–16:01:59 UTC; код выхода 0
|
||||
- Commit: `399da05` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (добавлены только файлы `evidence/`)
|
||||
- Стенд: проект compose `mtusi-lab5`, собран `make run_docker` из `HEAD`
|
||||
- Спеки: `container-run`, `graceful-shutdown`, `service-configuration`, `job-outbox`
|
||||
- Что нового с `e2a6427`: `docker stop relay` при замороженном брокере с намерением в работе — 1,81 с, код 0, после запуска relay вложение `ready`
|
||||
- Значений секретов в выводе нет, окружение проверяется только по именам
|
||||
|
||||
```text
|
||||
@@ -27,8 +28,9 @@ RELAY__MAX_PUBLISHED_BACKLOG=-1: exit 2, errors [{'loc': 'relay.max_published_ba
|
||||
RELAY__POLL_INTERVAL_SECONDS=abc: exit 2, errors [{'loc': 'relay.poll_interval_seconds', 'msg': 'Input should be a valid number, unable to parse string as a number'}]
|
||||
docker compose stop relay: 0.2 s
|
||||
docker stop after 0.3 s: 0.12 s, exit 0, records ['Stopped relay before startup']
|
||||
docker stop after 0.2 s: 0.06 s, exit 0, records ['Stopped relay before startup']
|
||||
docker stop after 0.4 s: 0.10 s, exit 0, records ['Stopped relay before startup']
|
||||
docker stop after 0.2 s: 0.08 s, exit 0, records ['Stopped relay before startup']
|
||||
docker stop after 0.4 s: 0.12 s, exit 0, records ['Stopped relay before startup']
|
||||
stop frozen broker: docker stop relay took 1.81 s
|
||||
PID 1 of the relay expected python -m src.relay got python -m src.relay
|
||||
healthcheck expected NONE got NONE
|
||||
limit NanoCpus expected 250000000 got 250000000
|
||||
@@ -37,8 +39,8 @@ S3__* in the environment expected no got no
|
||||
S3_* in the environment expected no got no
|
||||
CACHE__* in the environment expected no got no
|
||||
VALKEY* in the environment expected no got no
|
||||
_imaging in mtusi-lab5-api-10 expected no got no
|
||||
_imaging in mtusi-lab5-api-9 expected no got no
|
||||
_imaging in mtusi-lab5-api-15 expected no got no
|
||||
_imaging in mtusi-lab5-api-16 expected no got no
|
||||
API replicas checked expected yes got yes
|
||||
_imaging in PID 1 of the relay expected no got no
|
||||
'Started relay' record expected yes got yes
|
||||
@@ -90,6 +92,15 @@ relay StartedAt unchanged expected yes got yes
|
||||
relay RestartCount expected 0 got 0
|
||||
new upload after restart expected 202 got 202
|
||||
new upload becomes ready expected yes got yes
|
||||
stop frozen broker: broker paused expected 0 got 0
|
||||
stop frozen broker: upload expected 202 got 202
|
||||
stop frozen broker: command exit code expected 0 got 0
|
||||
stop frozen broker: under 10 s expected yes got yes
|
||||
stop frozen broker: container exit code expected 0 got 0
|
||||
stop frozen broker: OOM killed expected false got false
|
||||
stop frozen broker: last record expected Stopped relay got Stopped relay
|
||||
stop frozen broker: relay back expected 0 got 0
|
||||
stop frozen broker: upload after start expected ready got ready
|
||||
PASS: the relay process matches the spec
|
||||
worker and relay running at the end: yes
|
||||
```
|
||||
|
||||
@@ -1,11 +1,11 @@
|
||||
# Проверки отказов
|
||||
|
||||
- Команда: `make failure_checks`
|
||||
- Дата: 2026-10-31, 12:40:09–13:20:12 UTC; код выхода 0
|
||||
- Commit: `e2a6427` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (на момент прогона добавлена только метка `evidence/rollout/pipeline-reliability/`)
|
||||
- Дата: 2026-10-31, 16:05:22–16:44:08 UTC; код выхода 0
|
||||
- Commit: `399da05` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (на момент прогона добавлены только файлы `evidence/`)
|
||||
- Стенд: проект `mtusi-lab5-failures` со своими PostgreSQL, Valkey, S3, RabbitMQ, уборщиком, relay, worker и четырьмя API; рабочий стенд `mtusi-lab5` на время прогона остановлен (хост свободен); стенд отказов и его volumes удалены в конце
|
||||
- Итог: **140 passed, 219 deselected, pytest 2372,74 с (39:32); вся команда 40:03**; журнал PostgreSQL стенда без признаков аварии (`crash markers 0`). «too many clients» 45 и «administrator command» 192 — следы самих проверок (заполнение слотов, остановки PostgreSQL)
|
||||
- Тесты с прошлого полного прогона (139 из 140) не правились в этом прогоне; `test_staging_cleanup_survives_outage` с прежней правкой прошёл в полном наборе. Временных красных нет
|
||||
- Итог: **141 passed, 224 deselected, pytest 2302,16 с (38:22); вся команда 38:45**; журнал PostgreSQL стенда без признаков аварии (`crash markers 0`). «too many clients» 40 и «administrator command» 192 — следы самих проверок (заполнение слотов, остановки PostgreSQL)
|
||||
- С прогона на `e2a6427` (140 проверок) усилен `test_hung_worker_lease_fencing`, прежний его поток стал `test_hung_worker_thawed_after_ready`. Тесты в этом прогоне не правились, временных красных нет
|
||||
- Параметры: уборщик — grace 20 с, интервал 1 с, плановая сверка выключена; worker — 4 попытки, пауза 4–16 с, срок 10 с, запас аренды 2 с, рендер 8 с / 3 с CPU, graceful 2 с; relay — опрос 0,2 с, повторная публикация через 5 с
|
||||
- Вывод сокращён: убраны лог сборки и шаги compose, адреса API временные, строки `PASSED` свёрнуты в список имён
|
||||
|
||||
@@ -15,11 +15,10 @@
|
||||
[failure_checks] start worker: attempts 4, retry 4–16 s, job timeout 10 s, lease margin 2 s, render 8 s / 3 s CPU, graceful 2 s
|
||||
[failure_checks] start relay: poll 0.2 s, republish after 5 s
|
||||
[failure_checks] pytest -m fault
|
||||
collecting ... collected 359 items / 219 deselected / 140 selected
|
||||
=============== 140 passed, 219 deselected in 2372.74s (0:39:32) ===============
|
||||
[failure_checks] postgres log: 587 lines, crash markers 0; "too many clients" 45, "administrator command" 192
|
||||
=============== 141 passed, 224 deselected in 2302.16s (0:38:22) ===============
|
||||
[failure_checks] postgres log: 578 lines, crash markers 0; "too many clients" 40, "administrator command" 192
|
||||
[failure_checks] results: {'fault': 0, 'postgres': 0}
|
||||
make failure_checks 211,06s user 85,99s system 12% cpu 40:03,44 total
|
||||
make failure_checks 219,83s user 85,52s system 13% cpu 38:45,66 total
|
||||
```
|
||||
|
||||
## Прошедшие проверки по порядку
|
||||
@@ -53,7 +52,7 @@ test_relay_killed_before_publish test_relay_killed_after_confirm test_relay_surv
|
||||
test_relay_respects_next_attempt test_lost_message_republished test_no_copies_while_queue_has_messages test_published_backlog_limit test_broker_memory_alarm
|
||||
test_crash_after_objects_before_commit test_crash_after_commit_before_ack test_retry_backoff_with_jitter test_retry_waits_outside_worker
|
||||
test_limit_pixels test_limit_oversized_staging test_limit_cpu_scan_bomb test_limit_memory test_limit_render_timeout test_render_killed
|
||||
test_hung_worker_lease_fencing test_long_attempt_keeps_lease test_last_attempt_lost
|
||||
test_hung_worker_lease_fencing test_hung_worker_thawed_after_ready test_long_attempt_keeps_lease test_last_attempt_lost
|
||||
test_replay_registry_dry_run test_replay_returns_work test_replay_ready_refused test_replay_in_progress_refused test_replay_without_source_refused test_replay_new_budget test_replay_by_code
|
||||
test_prefetch_bounded test_missing_variant test_cancelled_upload_of_previous_version
|
||||
test_staging_removed_after_ready test_staging_retention test_staging_keeps_current_work test_staging_cleanup_survives_outage test_staging_foreign_key_kept
|
||||
@@ -62,7 +61,7 @@ test_reconcile_orphan_staging test_defense_faults
|
||||
|
||||
## Красные прогоны задачи 10.9: тесты ловят нарушение
|
||||
|
||||
Сняты до commit на рабочем дереве (design change `pipeline-reliability`, «Уточнения apply», п. 14): каждая регрессия применена, откачена, хэши `src` совпали со снимком до них, в commit не вошла.
|
||||
Сняты до commit на рабочем дереве (design change `pipeline-reliability`, «Уточнения apply», п. 14): каждая регрессия применена, откачена, хэши `src` совпали со снимком до них, в commit не вошла. Строка «фиксация без номера попытки» снята перед `399da05` (замечание W2), остальные — перед `e2a6427`.
|
||||
|
||||
| Регрессия | Какой тест красный | Причина в выводе |
|
||||
|---|---|---|
|
||||
|
||||
@@ -0,0 +1,26 @@
|
||||
# Память контейнера worker
|
||||
|
||||
- Команда: разовая проба на рабочем стенде через LB (`student-tests/images.py`, `api_client.py`): для каждого случая `docker stop` worker, две одинаковые загрузки, `docker start` (новая cgroup: `memory.peak` с нуля), ожидание `ready` обоих, затем `/proc/1/status`, `memory.peak`, `memory.events` контейнера, `docker inspect`, журнал worker
|
||||
- Дата: 2026-10-31, 15:57:24–15:57:52 UTC; проба дошла до конца без исключения (код выхода не записан), разовый скрипт в репозиторий не входит. Перед этим прогоном были ещё два: первый — без файлов на обеих границах, те же числа в пределах 2 МиБ у `render_peak` и `VmHWM`, `memory.peak` до 857 МиБ; второй остановился на 413: файл пробы вышел больше 10 MiB, ошибка самой пробы
|
||||
- Commit: `399da05` (ветка `feat/pipeline-reliability`), рабочее дерево чистое
|
||||
- Стенд: проект compose `mtusi-lab5`, собран `make run_docker` из `HEAD`; worker 1 CPU / 1 ГБ без swap, конкуренция 2, `render_memory_limit_mib` 450
|
||||
- Спеки: `attachment-processing` «Изображение в лимите пикселей», design change `pipeline-reliability`, решение 7, «Уточнения apply», п. 13 и 19
|
||||
- Столбцы: `render_peak_kib` записи «Attachment became ready» по двум заданиям; «пересеклись» — оба задания начаты раньше, чем первое стало `ready`; `VmHWM` и `VmRSS` — процесс 1 worker; `memory.peak` — вся cgroup контейнера с процессами обработки. Файлы «40 Мпкс и ~10 MiB»: начало строк — шум, остальное — нули, поэтому обе границы контракта достигнуты разом
|
||||
|
||||
| Два файла разом | Файл, МиБ | `render_peak`, МиБ | `render_ms` | Пересеклись | `VmHWM`, МиБ | `VmRSS`, МиБ | `memory.peak`, МиБ | `oom` / `oom_kill` | `OOMKilled` | Рестарты |
|
||||
|---|---|---|---|---|---|---|---|---|---|---|
|
||||
| PNG из шума 10 MiB, 1868 × 1868 | 9,99 | 84 / 84 | 840 / 856 | да | 159 | 110 | 261 | 0 / 0 | false | 0 |
|
||||
| PNG RGBA 8 бит, 40 Мпкс | 0,15 | 357 / 357 | 872 / 885 | да | 111 | 110 | 794 | 0 / 0 | false | 0 |
|
||||
| PNG серый с альфой 8 бит, 40 Мпкс | 0,07 | 357 / 357 | 723 / 775 | да | 110 | 110 | 795 | 0 / 0 | false | 0 |
|
||||
| PNG RGB 8 бит с tRNS, 40 Мпкс | 0,11 | 357 / 357 | 908 / 929 | да | 110 | 110 | 791 | 0 / 0 | false | 0 |
|
||||
| PNG RGB 16 бит с tRNS, 40 Мпкс | 0,22 | 357 / 357 | 1036 / 1037 | да | 111 | 110 | 795 | 0 / 0 | false | 0 |
|
||||
| PNG палитра с tRNS, 40 Мпкс | 0,04 | 357 / 357 | 740 / 750 | да | 110 | 110 | 794 | 0 / 0 | false | 0 |
|
||||
| PNG серый 16 бит, 40 Мпкс | 0,07 | 404 / 404 | 706 / 712 | да | 110 | 110 | 888 | 0 / 0 | false | 0 |
|
||||
| PNG RGBA 8 бит, 40 Мпкс и ~10 MiB | 9,85 | 366 / 367 | 1226 / 1288 | да | 157 | 111 | 832 | 0 / 0 | false | 0 |
|
||||
| PNG серый 16 бит, 40 Мпкс и ~10 MiB | 9,79 | 414 / 414 | 723 / 730 | да | 154 | 115 | 905 | 0 / 0 | false | 0 |
|
||||
|
||||
Итог:
|
||||
|
||||
- все задания `ready`; ни одного `oom` и `oom_kill`, `OOMKilled` false, рестартов нет;
|
||||
- самый дорогой файл в пределах контракта — серый 16 бит на обеих границах: `render_peak` 414 МиБ при лимите 450, `memory.peak` контейнера 905 МиБ при лимите 1024;
|
||||
- верхняя оценка суммой пиков, которые на деле не совпадают по времени: 159 + 2 × 414 = 987 МиБ < 1 ГБ.
|
||||
+63
-28
@@ -1,12 +1,12 @@
|
||||
# Процесс worker
|
||||
|
||||
- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 worker-process`
|
||||
- Дата: 2026-10-31, 13:25:24–13:26:05 UTC; код выхода 0
|
||||
- Commit: `e2a6427` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (добавлены только файлы `evidence/`)
|
||||
- Дата: 2026-10-31, 15:58:11–16:01:07 UTC; код выхода 0
|
||||
- Commit: `399da05` (ветка `feat/pipeline-reliability`), рабочее дерево без правок кода (добавлены только файлы `evidence/`)
|
||||
- Стенд: проект compose `mtusi-lab5`, собран `make run_docker` из `HEAD`
|
||||
- Спеки: `container-run`, `container-image`, `graceful-shutdown`, `service-configuration`
|
||||
- Что показано: PID 1, нет healthcheck, лимиты 1 CPU / 1 ГБ; `_imaging` нет ни в репликах API, ни в процессе 1 worker: декодер только в процессе обработки; неверные `WORKER__*` — код 2, запись называет поле без значения; значения по умолчанию и подмена окружением; остановка простаивающего и на старте; «Worker переживает рестарт хранилищ»
|
||||
- Вывод сокращён: однотипные строки таблицы «record names …», «names the field», «hides the value» и «early stop» свёрнуты, все совпали с ожидаемым
|
||||
- Что показано: PID 1, нет healthcheck, лимиты 1 CPU / 1 ГБ; `_imaging` нет ни в репликах API, ни в процессе 1 worker: декодер только в процессе обработки; неверные `WORKER__*` — код 2, запись называет поле без значения; значения по умолчанию и подмена окружением; остановка простаивающего и на старте; «Worker переживает рестарт хранилищ»; остановка на двух дорогих JPEG: 8,15 с, при замороженных PostgreSQL и брокере 9,18 с, граница 9,5 с (design, решение 19), код 0, задания после этого дошли по аренде до `failed`, `limit_cpu`
|
||||
- Вывод сокращён: однотипные строки таблицы «record names …», «default …», «names the field», «hides the value» и «early stop» свёрнуты, все совпали с ожидаемым
|
||||
|
||||
```text
|
||||
Started worker:
|
||||
@@ -39,34 +39,69 @@ WORKER__GRACEFUL_SHUTDOWN_SECONDS=9: exit 2, errors [{'loc': 'worker.graceful_sh
|
||||
WORKER__RENDER_MEMORY_LIMIT_MIB=0: exit 2, errors [{'loc': 'worker.render_memory_limit_mib', 'msg': 'Input should be greater than or equal to 1'}]
|
||||
WORKER__RENDER_TIMEOUT_SECONDS=120: exit 2, errors [{'loc': 'worker.render_timeout_seconds', 'msg': 'Value error, must be less than job_timeout_seconds'}]
|
||||
docker compose stop worker: 0.2 s
|
||||
docker stop after 0.3 s: 0.07 s, exit 0, records ['Stopped worker before startup']
|
||||
docker stop after 0.2 s: 0.06 s, exit 0, records ['Stopped worker before startup']
|
||||
docker stop after 0.3 s: 0.06 s, exit 0, records ['Stopped worker before startup']
|
||||
docker stop after 0.2 s: 0.05 s, exit 0, records ['Stopped worker before startup']
|
||||
docker stop after 0.4 s: 0.07 s, exit 0, records ['Stopped worker before startup']
|
||||
PID 1 of the worker expected python -m src.worker got python -m src.worker
|
||||
healthcheck expected NONE got NONE
|
||||
limit NanoCpus expected 1000000000 got 1000000000
|
||||
limit Memory expected 1073741824 got 1073741824
|
||||
_imaging in mtusi-lab5-api-10 expected no got no
|
||||
_imaging in mtusi-lab5-api-9 expected no got no
|
||||
_imaging in PID 1 of the worker expected no got no
|
||||
Pillow in the image = uv.lock expected 13.0.0 got 13.0.0
|
||||
stop under load: docker stop worker took 8.15 s
|
||||
stop frozen storage: docker stop worker took 9.18 s
|
||||
PID 1 of the worker expected python -m src.worker got python -m src.worker
|
||||
healthcheck expected NONE got NONE
|
||||
limit NanoCpus expected 1000000000 got 1000000000
|
||||
limit Memory expected 1073741824 got 1073741824
|
||||
_imaging in mtusi-lab5-api-15 expected no got no
|
||||
_imaging in mtusi-lab5-api-16 expected no got no
|
||||
API replicas checked expected yes got yes
|
||||
_imaging in PID 1 of the worker expected no got no
|
||||
Pillow in the image = uv.lock expected 13.0.0 got 13.0.0
|
||||
'Started worker' record, every field named, defaults as above: expected = got
|
||||
six invalid WORKER__* : exit code 2, names the field, hides the value: expected = got
|
||||
env override concurrency expected 3 got 3
|
||||
env override reconnect_seconds expected 1.0 got 1.0
|
||||
stop idle: command exit code expected 0 got 0
|
||||
stop idle: container exit code expected 0 got 0
|
||||
stop idle: under 10 s expected yes got yes
|
||||
stop idle: last record expected Stopped worker got Stopped worker
|
||||
stop idle: record exit_code expected 0 got 0
|
||||
env override container started expected 0 got 0
|
||||
env override concurrency expected 3 got 3
|
||||
env override reconnect_seconds expected 1.0 got 1.0
|
||||
stop idle: command exit code expected 0 got 0
|
||||
stop idle: container exit code expected 0 got 0
|
||||
stop idle: under 10 s expected yes got yes
|
||||
stop idle: last record expected Stopped worker got Stopped worker
|
||||
stop idle: record exit_code expected 0 got 0
|
||||
docker compose start worker expected 0 got 0
|
||||
early stop 0.2, 0.3, 0.4 s: docker stop 0, exit code 0, within 1 s: expected = got
|
||||
'Stopped worker before startup' seen expected yes got yes
|
||||
scripts/restart.sh expected 0 got 0
|
||||
LB ready after restart expected yes got yes
|
||||
worker StartedAt unchanged expected yes got yes
|
||||
worker RestartCount expected 0 got 0
|
||||
new upload after restart expected 202 got 202
|
||||
new upload becomes ready expected yes got yes
|
||||
'Stopped worker before startup' seen expected yes got yes
|
||||
worker running before restart expected yes got yes
|
||||
scripts/restart.sh expected 0 got 0
|
||||
LB ready after restart expected yes got yes
|
||||
worker StartedAt unchanged expected yes got yes
|
||||
worker RestartCount expected 0 got 0
|
||||
new upload after restart expected 202 got 202
|
||||
new upload becomes ready expected yes got yes
|
||||
expensive JPEG generated expected yes got yes
|
||||
stop under load: worker stopped before uploads expected 0 got 0
|
||||
stop under load: upload 0 expected 202 got 202
|
||||
stop under load: upload 1 expected 202 got 202
|
||||
stop under load: worker started expected 0 got 0
|
||||
stop under load: both files in processing expected processing got processing
|
||||
stop under load: command exit code expected 0 got 0
|
||||
stop under load: under 9.5 s expected yes got yes
|
||||
stop under load: container exit code expected 0 got 0
|
||||
stop under load: OOM killed expected false got false
|
||||
stop under load: last record expected Stopped worker got Stopped worker
|
||||
stop under load: worker back expected 0 got 0
|
||||
stop frozen storage: worker stopped before uploads expected 0 got 0
|
||||
stop frozen storage: upload 0 expected 202 got 202
|
||||
stop frozen storage: upload 1 expected 202 got 202
|
||||
stop frozen storage: worker started expected 0 got 0
|
||||
stop frozen storage: both files in processing expected processing got processing
|
||||
stop frozen storage: storage paused expected 0 got 0
|
||||
stop frozen storage: command exit code expected 0 got 0
|
||||
stop frozen storage: under 9.5 s expected yes got yes
|
||||
stop frozen storage: container exit code expected 0 got 0
|
||||
stop frozen storage: OOM killed expected false got false
|
||||
stop frozen storage: last record expected Stopped worker got Stopped worker
|
||||
stop frozen storage: worker back expected 0 got 0
|
||||
LB ready after unpause expected yes got yes
|
||||
stopped work finished: 4f53824c-a065-4875-8ddf-d7a507e505a0 expected failed limit_cpu got failed limit_cpu
|
||||
stopped work finished: 6845c972-0f91-4401-91dc-d84dc2229b10 expected failed limit_cpu got failed limit_cpu
|
||||
stopped work finished: fc9cc3a5-dbeb-4e3c-9b63-d2ce6180b584 expected failed limit_cpu got failed limit_cpu
|
||||
stopped work finished: 7811470c-95fd-492d-95f1-ff4d4dde4a23 expected failed limit_cpu got failed limit_cpu
|
||||
PASS: the worker process matches the spec
|
||||
worker and relay running at the end: yes
|
||||
```
|
||||
|
||||
@@ -556,7 +556,7 @@ Replay `invalid_image` разрешён: оператор мог поправи
|
||||
10. **Окно старта интерпретатора при 0,25 CPU длиннее:** `docker compose start relay`, сразу `stop` — SIGTERM приходит до первых строк `__main__`, PID 1 без обработчика его отбрасывает, SIGKILL через 10 с, код 137. Через 0,6 с после старта — «Stopped relay before startup», код 0. Работы в этот момент у процесса нет, поэтому не правится; то же окно названо в `docker.md` («десятки миллисекунд» — при 1 CPU).
|
||||
11. **Откат реплик требует override (отклонение от Migration Plan в propose):** `make rolling_update COMMIT=7f38948 MIGRATE=0` на новом compose давал загрузку 503: у `api` больше нет адреса и пароля брокера, а прежний код публикует сам. Добавлен `infra/rollback/broker.compose.yml`, команда отката в плане и `balancer.md` обновлена. Постоянно давать репликам пароль нельзя (решение 1).
|
||||
12. **Задача 14.1:** откат с override, прежние worker и уборщик, relay остановлен: `make test` — PASS; строка нового кода на прежней реплике — 200, 3 варианта, байты всех вариантов — 200, сообщение со ссылкой — 201, история — 200; загрузка на прежнем образе — `ready`, один thumbnail. Вперёд по плану: `lb_stats` без ручных состояний, новая загрузка — 3 варианта, вложение прежнего образа — `ready`, один thumbnail, `original` и `thumbnail` — 200, `crop` и `optimized` — 404; `make reconcile` — код 0, `found` пусто.
|
||||
13. **Память worker (задача 9.6, расчёт решения 7):** два PNG 10 MiB одновременно: `VmHWM` процесса 1 — 158 МиБ (`VmRSS` до 109, после 111), `render_peak_kib` ~84 МиБ на файл, `render_ms` 928, контейнер `memory.peak` 261 МиБ; снято на рабочем дереве, файл на commit — `evidence/worker/memory.md`, задача 16.8. На самом дорогом файле, сером 16 бит 40 Мпкс, пик процесса 405 МиБ (у RGBA — 357, таблица проб): 158 + 2 × 405 = 968 МиБ < 1 ГБ. Оценка решения 7 (130 МиБ) была занижена на 28 МиБ, бюджет сходится. Лимит не менялся.
|
||||
13. **Память worker (задача 9.6, расчёт решения 7):** два PNG 10 MiB одновременно: `VmHWM` процесса 1 — 158 МиБ (`VmRSS` до 109, после 111), `render_peak_kib` ~84 МиБ на файл, `render_ms` 928, контейнер `memory.peak` 261 МиБ; снято на рабочем дереве. На `399da05` (`evidence/worker/memory.md`, задача 16.8): те же файлы — `VmHWM` 159, `memory.peak` 261; самый дорогой — серый 16 бит на 40 Мпкс и ~10 MiB файла: пик процесса 414 МиБ, `memory.peak` 905 МиБ, OOM нет (у RGBA на обеих границах 366, без тела 357); оценка суммой 159 + 2 × 414 = 987 МиБ < 1 ГБ. Оценка решения 7 (130 МиБ) была занижена, бюджет сходится. Лимит не менялся.
|
||||
14. **Регрессии задачи 10.9** (каждая применена в рабочем дереве, откачена, хэши `src` совпали со снимком до них; образ собирался из дерева):
|
||||
- отметка до подтверждения: `test_relay_killed_after_confirm` — красный, `published_at` есть после KILL до подтверждения; `test_upload_with_broker_paused` — зелёный;
|
||||
- claim при живой аренде: `test_duplicate_during_processing` — красный, нет записи `busy`;
|
||||
@@ -579,4 +579,4 @@ Replay `invalid_image` разрешён: оператор мог поправи
|
||||
18. **Группа 15 на `e2a6427`:** полный `make failure_checks` при остановленном рабочем стенде — 140 из 140, pytest 2373 с, правок тестов нет, правка п. 15 прошла в полном наборе. Метка `pipeline-reliability` снята первой, на чистом дереве: `git.dirty` false, `swapouts_delta` 0, файлы `evidence/` из дерева выносить не пришлось. Образ контейнера на стенде сравнивается по метке `com.docker.compose.image`: `.Image` у контейнеров с одной меткой может расходиться и не годится для сравнения (`docker.md`); у реплик, relay, worker и уборщика метка одна.
|
||||
19. **Замечание W1 проверки: `_prepared` держал исходник на время перевода и масштаба.** У серого с альфой и RGB с tRNS на 40 Мпкс и исходник, и RGBA, и промежуточный буфер `resize` — по 160 МиБ: сумма с базой больше 450 МиБ, `MemoryError`, код 4, `failed` `invalid_image` `limit_memory`: ошибка постоянная, replay не поможет, а контракт такие файлы разрешает. Проба задачи 4.2 этих типов не содержала. Теперь после `convert("RGBA")` исходник закрывается: контекст `with Image.open` это переносит (пробы: выход из него без ошибки во всех типах, код 0), дальше `image` не читается, а ветка RGBA без перевода исходник не закрывает. Остальные ветки не тронуты, они укладываются: палитра без tRNS 242 МиБ, 1 бит 113, серый 16 бит 404–405. Проверены и чересстрочные (RGBA, серый с альфой — 357, серый 16 бит — 404) и вытянутые (40000 × 1000, 1000 × 40000, 4000000 × 10 — 328–329, серый 16 бит 405). Красный до правки: `test_pixel_limit_png_modes` — 3 упали (`gray-alpha-8`, `rgb-8-trns`, `rgb-16-trns`: `failed`, `invalid_image`), 2 прошли.
|
||||
20. **Замечание W2 проверки: fencing без живой второй попытки не проверялся.** `test_hung_worker_lease_fencing` теперь размораживает первую попытку, пока вторая в `processing`: обе на worker со сроками больше времени теста (`run-worker`, новый `run-worker-second`), S3 заморожен, пока вторая не взята и сама не заморожена: она ждёт S3 и не успевает к фиксации, транзакции у неё нет (`attachment-free`). Первая завершается `superseded`, задание и вложение не меняются, после разморозки второй итог даёт только она. Прежний поток — сценарий «Зависший worker» — `test_hung_worker_thawed_after_ready`. Дефекта приложения тест не показал: условие в `_own_attempt` работает.
|
||||
21. **Правки по проверке на рабочем дереве:** полный `make failure_checks` при остановленном рабочем стенде — 141 из 141, pytest 2266 с, PostgreSQL без признаков аварии; полный прогон на commit — задача 16.10. `driver.py worker-process` на рабочем дереве: `docker stop` на двух дорогих JPEG — 8,15 с, при замороженных PostgreSQL и брокере — 9,19 с, код 0, все четыре задания дошли до `failed`, `limit_cpu`. `relay-process`: при замороженном брокере — 1,71 с, код 0.
|
||||
21. **Правки по проверке на рабочем дереве:** полный `make failure_checks` при остановленном рабочем стенде — 141 из 141, pytest 2266 с, PostgreSQL без признаков аварии; на `399da05` — 141 из 141, pytest 2302 с (задача 16.10). `driver.py worker-process` на `399da05`: `docker stop` на двух дорогих JPEG — 8,15 с, при замороженных PostgreSQL и брокере — 9,18 с, код 0, все четыре задания дошли до `failed`, `limit_cpu`. `relay-process`: при замороженном брокере — 1,81 с, код 0.
|
||||
@@ -338,6 +338,6 @@ HEAD до правок — `6bd6053`, код снят на `e2a6427`. Этап 1
|
||||
|
||||
### Этап 2 (после commit правок)
|
||||
|
||||
- [ ] 16.8 `evidence/worker/memory.md`: `VmHWM`, `render_peak`, `memory.peak` — PNG 10 MiB и граничные 40 Мпкс, в том числе два серых 16 бит разом; OOM.
|
||||
- [ ] 16.9 `evidence/worker/process.md`, `evidence/relay/process.md`, `evidence/attachments/defense-faults.md` с кодом выхода в шапке.
|
||||
- [ ] 16.10 `evidence/tests/failure-checks.md` — полный прогон на этом commit; `REPORT.md` — commit измеренного состояния и бюджет.
|
||||
- [x] 16.8 `evidence/worker/memory.md`: `VmHWM`, `render_peak`, `memory.peak` — PNG 10 MiB и граничные 40 Мпкс, в том числе два серых 16 бит разом; OOM.
|
||||
- [x] 16.9 `evidence/worker/process.md`, `evidence/relay/process.md`, `evidence/attachments/defense-faults.md` с кодом выхода в шапке.
|
||||
- [x] 16.10 `evidence/tests/failure-checks.md` — полный прогон на этом commit; `REPORT.md` — commit измеренного состояния и бюджет.
|
||||
|
||||
Reference in New Issue
Block a user