Files
mtusi2026lab5/openspec/changes/pipeline-reliability/tasks.md
T

344 lines
42 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Tasks
Как строить — `design.md` (дальше «решение N»), что должно получиться — дельты в
`specs/`. Перед первым файлом слоя прочитать его правило: `service-layer.md`,
`repo-layer.md`, `dto.md`, `infra.md`, `worker.md`, `api-layer.md`, `api-contract.md`,
`migrations.md`, `logging.md`, `settings.md`, `run-modes.md`, `docker.md`,
`balancer.md`, `student-tests.md`, `bench.md`.
**Граница коммита.** Группы 1–14 — код, тесты, инструменты и правила: проверяются на
рабочем дереве, агент apply не коммитит и в `evidence/` не пишет. Группа 15 — снятие
evidence и `REPORT.md`: её запускает основная сессия после коммита групп 1–14, на
закоммиченном коде (`bench.md`, «Измеренное состояние — commit»).
**Шага оператора нет.** Новых секретов нет, `config.toml` читается как есть. Руками `.env`
не читать и не править.
**Ожидаемо красное**, остальное разбирается по AGENTS.md:
- `make test` и сценарии вложений — до конца группы 9: API уже не публикует, а relay ещё нет;
- между задачами 10.4 и 10.8 — сверка покрытия: «marker points to unknown scenario»; sync
раньше тестов дал бы обратное, «no test and no exclusion»;
- `test_exclusion_evidence_exists` — по файлам старых исключений `evidence/cache/hits.md`,
`evidence/auth/passwords-and-tokens.md`, `evidence/idempotency/replay-after-restart.md`: они
снимаются на последнем шаге всего прогона. В группах 1–14 это не регрессия, но падать он должен
только по `missing_evidence`.
Решения по ходу работы — design, «Уточнения apply»; вопросы и решения без пользователя —
`QUESTIONS.md`, `## pipeline-reliability`; дефект, найденный попутно, — `KNOWN_ISSUES.md`.
## 1. Настройки и общие типы
- [x] 1.1 Настройки по решению 12 и дельте `service-configuration`:
- `Worker`: новые поля, `graceful_shutdown_seconds` не больше 8, `render_timeout_seconds` меньше
`job_timeout_seconds`, `retry_max_delay_seconds` не меньше `retry_base_delay_seconds` (на полях, через
`info.data`), `retry_delay_seconds` убран;
- новый класс `Relay` и поле `relay` в `Settings`; `Cleaner.staging_retention_seconds`;
- `allow_inf_nan=False` у всех новых `float`; строки с единицами в `config_example.toml`;
- шапка `.env.example`: `STAGING_RETENTION_SECONDS` → `[cleaner] staging_retention_seconds`.
Проверка: `uv run python -c "from src.config import settings; print(settings.worker, settings.relay)"` — значения
по умолчанию из решения 12; `WORKER__PREFETCH=0`, `WORKER__GRACEFUL_SHUTDOWN_SECONDS=9`,
`WORKER__RENDER_TIMEOUT_SECONDS=120`, `WORKER__RETRY_MAX_DELAY_SECONDS=1`, `RELAY__BATCH_SIZE=0`,
`RELAY__POLL_INTERVAL_SECONDS=inf`, `CLEANER__STAGING_RETENTION_SECONDS=0` — ошибка называет поле; существующий
`config.toml` с `retry_delay_seconds` загружается.
- [x] 1.2 Общие типы по решениям 4 и 7:
- `AttachmentJobReason`: `limit_pixels`, `limit_memory`, `limit_cpu`, `render_killed`, `render_crashed`,
`lease_expired`; `ReconcileFinding.ORPHAN_STAGING`; докстринг `AttachmentVariantName`;
- `src/utils/constants.py`: `CROP_SIDE`, `CROP_JPEG_QUALITY`, `OPTIMIZED_MAX_SIDE`, `OPTIMIZED_WEBP_QUALITY`,
`OPTIMIZED_WEBP_METHOD`, префикс и суффикс ключей, если их ещё нет;
- `src/core/exceptions`: постоянный отказ изображения и прерванная обработка — с причиной
`AttachmentJobReason`, вне таблицы `DOMAIN_ERRORS`: наружу они не выходят.
Проверка: `make lint`; `uv run python -c "import src.api.errors"`.
## 2. Схема
- [x] 2.1 Модели по решению 10: `AttachmentJob.attempt_base` и CHECK, `AttachmentJobReplay`, четыре индекса с
`postgresql_where`, экспорт в `models/__init__.py`.
Проверка: `make lint`; совпадение со схемой — задача 2.3.
- [x] 2.2 Ревизия `added_job_replays_and_attempt_base` поверх `a1d4c7e90b23` руками: первой строкой `SET LOCAL lock_timeout =
'2s'`, колонка с `server_default`, CHECK `NOT VALID`, таблица, `downgrade`.
- [x] 2.3 Ревизия `added_job_outbox_indexes`: `autocommit_block`, `SET lock_timeout`, `CONCURRENTLY`, `if_not_exists`, `RESET`; `downgrade`
так же.
Проверка 2.2–2.3 на временной базе (`createdb` в контейнере `postgres`, `DATABASE__NAME` в окружении, после — `DROP DATABASE`):
- `upgrade` с нуля, `uv run alembic check` пуст, повтор ничего не меняет, `downgrade -2`, `upgrade`;
- на базе со строками прежних состояний: вставка задания без `attempt_base` проходит, `pg_constraint.convalidated` нового CHECK — false,
`indisvalid` всех четырёх — true;
- `EXPLAIN` выборок relay и уборки на наполненной базе — индексы решения 10, как в таблице проб;
- запись аудита с неизвестным заданием и `attempt_base` больше `attempt` — нарушение ограничения; задание с записью аудита удалить нельзя;
- транзакция держит `attachment_jobs` дольше 2 с: первая ревизия падает без изменений, повтор проходит.
## 3. DTO и repo
- [x] 3.1 DTO по `dto.md`: `AttachmentJobDTO.attempt_base`, `AttachmentInListDTO` с тем, что нужно очистке; `RelayPassDTO`, `StagingCleanupPassDTO`,
`ReplayResultDTO`, `listed_staging` в `ReconcilePassDTO`; `__init__.py`.
Проверка: `make lint`.
- [x] 3.2 `src/core/repos/attachment_job.py` по решениям 2–5, одно выражение на функцию, состояние в выборках — константой (`literal_execute`):
выборка due-строк `FOR UPDATE SKIP LOCKED`, `count_published`, отметка пакета, возврат истёкших аренд (`RETURNING`), есть ли старше порога, сброс
потерянных; `start_attempt` с `lease_expires_at`, `return_to_queued` с `next_attempt_at`, блокировка и перевод для replay. Убрать `delete_unstarted`.
Проверка: `make lint`; план — задача 2.3, поведение — группы 7 и 10.
- [x] 3.3 `src/core/repos/attachment.py`: блокировка строки для replay и очистки — `FOR NO KEY UPDATE` (`with_for_update(key_share=True, …)`, решение 9), `failed → queued`, выборка очистки staging keyset, `clear_staging_key`,
вложения группы `processing → queued`. Убрать `return_to_pending`. `src/core/repos/attachment_job_replay.py` — вставка и чтение по заданию.
Проверка: `make lint`; поведение — группы 5, 7, 8, 10.
- [x] 3.4 `src/core/repos/attachment_object.py` по решению 9: `staging_prefix`, `is_own_staging_key`, `parse_staging_key`, `list_staging`, ключи вариантов всех
имён для уборки.
Проверка: разовый вызов: свой `id` — `id`; верхний регистр, чужой префикс, другой суффикс — `None`; `make lint`.
## 4. Варианты и процесс обработки
- [x] 4.1 `src/utils/image_variants.py` вместо `thumbnail.py` по решению 6: `fit_size`, `render_variants`; константы из 1.2. Импорт Pillow — только здесь.
Проверка — разовый скрипт в scratchpad с генераторами `student-tests/images.py`:
- thumbnail: все случаи задачи 5.1 архива `async-attachments` (320 × 200, 1000 × 601, 5000 × 10, EXIF 1–8, альфа, палитра) без изменений;
- crop: 400 × 200 полосами — синий; 50 × 20 — 128 × 128; EXIF 6; альфа на белый; 5000 × 10 — квадрат из декодированного;
- optimized: 2000 × 1000 → 1280 × 640, 5000 × 3001 → 1280 × 768, 5000 × 10 → 1280 × 2, 100 × 50 без увеличения; JPEG с EXIF и ICC — без чанков `EXIF`,
`XMP `, `ICCP`, размеры повёрнуты; RGBA — альфа 0;
- все `png_variants()` и `jpeg_variants()` проходят; точность SOF 12 — ошибка декодирования; два запуска — одинаковые SHA-256;
- `grep -rn "PIL" src` — только этот модуль.
- [x] 4.2 Процесс обработки по решению 7: `src/worker/render.py` (лимиты первыми строками, `RLIMIT_AS`, `RLIMIT_CPU`, `RLIMIT_CORE`, коды 0/3/4/5, строка JSON и байты, `VmHWM`,
отметка неприменённого лимита) и `src/infra/render/client.py` (`ImageRenderer`: окружение решения 7, срок, `kill` и ожидание в `finally`, разбор вывода, перевод кодов в
исключения 1.2).
Проверка — разовый скрипт в scratchpad, контейнер образа 1 CPU / 1 ГБ и хост macOS:
- PNG RGBA 40 Мпкс: успех, `VmHWM` не больше ~410 МиБ, в контейнере лимит применён, на macOS — отмечен неприменённым;
- JPEG с повторёнными сканами из таблицы проб: лимит CPU 2 с — `limit_cpu` за ~2 с; срок 1 с — `timeout`, процесса нет;
- лимит памяти 200 МиБ — `limit_memory`; SIGKILL извне — `render_killed`; испорченный вывод — `render_crashed`;
- отмена задачи посреди рендера — процесса нет (`pgrep`); в окружении процесса нет `DATABASE__*`, `S3__*`, `BROKER__*`.
## 5. Worker
- [x] 5.1 `AttachmentProcessingService` по решениям 3, 4, 6, 7: таблица claim без `redelivered`, бюджет с `attempt_base`, срок аренды, три варианта через `ImageRenderer`, запись трёх
объектов, fencing в `_commit_ready`, `retry_delay` с jitter и `return_to_queued` со сроком и ACK, постоянные ошибки по таблице решения 4; без `publisher`, `limiter` и паузы повтора;
журнал по решению 18.
Проверка: `make lint`; разовый запуск `retry_delay` — границы формулы на 1000 значениях; поведение — группа 10.
- [x] 5.2 Процесс `src/worker/main.py` по решениям 8 и 19: `prefetch` и `asyncio.Semaphore(concurrency)`, `ImageRenderer`, закрытие клиентов одним `gather` под сроком, «Started worker» со всеми значениями, без издателя.
Проверка без стенда: `WORKER__PREFETCH=0 uv run python -m src.worker` — код 2, запись называет поле без значений; `make lint`. На стенде — задача 9.6, там же RSS worker с двумя телами 10 MiB для расчёта решения 7 (итог — «Уточнения apply»).
## 6. API
- [x] 6.1 Приём без брокера по решению 1: `_store` отвечает после `_mark_queued`; убрать `_publish_job`, `_cancel_job`, параметр `publisher`, `src/infra/broker/instance.py`, строки в `src/api/dependencies.py` и `src/main.py`, поля брокера в «Started API»; `content_type` в «Uploaded attachment» — `.value`; докстринги про разрыв.
Проверка: `make lint`; один PNG против консольного API при остановленном брокере — 202, строка `queued`, задание без `published_at`, объект только в staging; `grep -rn "aio_pika\|broker" src/api src/main.py src/core/services/attachment.py` пуст; в журнале `content_type` — `image/png`.
## 7. Relay и replay
- [x] 7.1 `JobPublisher` по решению 2: `publish_many` и `ready_messages`; прежний `publish` убрать, если больше не нужен; докстринг модуля без API.
Проверка — разовый скрипт в scratchpad против брокера стенда: пакет 100 подтверждён; удалённая очередь — ошибка, затем новое соединение с объявлением; `docker compose stop rabbitmq` и `docker pause` — ошибка не позже срока, подмножество подтверждённых верно; `ready_messages` — только готовые; пароля в выводе нет.
- [x] 7.2 `AttachmentRelayService` по решению 2: три шага прохода, предел опубликованных, запись на смену состояния, журнал по решению 18.
Проверка: `make lint`; поведение — группа 10.
- [x] 7.3 Процесс `src/relay/` по решению 2 и 18: `__main__.py`, `main.py`: сигналы, свой engine и издатель, цикл с паузами, отказ брокера и PostgreSQL не роняет, «Started relay», «Stopped relay», `os._exit`.
Проверка без стенда: `RELAY__BATCH_SIZE=0 uv run python -m src.relay` — код 2, запись называет поле; при остановленном брокере процесс живёт и пишет `warning`, по SIGTERM — код 0; `make lint`.
- [x] 7.4 Replay по решению 5: `AttachmentReplayService`, подкоманда `replay` в `src/relay/main.py`, коды 0/3/1/2, аудит одной транзакцией, отказы, с `--apply` выбор обязателен (иначе код 2).
Проверка: `make lint`; разовый запуск на временной базе: `failed` — показ без изменений, replay, повторный replay — отказ `not_failed`; поведение — группа 10.
## 8. Уборщик и сверка
- [x] 8.1 Очистка staging по решению 9: `AttachmentCleanupService.clean_staging`, вызов в цикле `_serve` и в `--once`, порог срока хранения, удаление вариантов и оригинала у `failed`, проверка ключа, «Started cleaner» со сроком, журнал по решению 18.
Проверка: `make lint`; поведение — группа 10; разовый `python -m src.cleaner --once` на стенде после 9.6 — код 0.
- [x] 8.2 Сверка по решению 9: шаг списка staging с той же обёрткой сигнала и скорости, класс `orphan_staging` в `LIMITED_KINDS` и `ACTION_ORDER`, перепроверка и действие, `listed_staging`, обе стратегии; `unknown_object` для другого ключа под staging.
Проверка: `make lint`; на стенде обе стратегии без `--apply` — объекты живых строк не названы; поведение — группа 10.
## 9. Стенд
- [x] 9.1 `docker-compose.yml` по решениям 1 и 13: сервис `relay`, у `api` без `*broker-env` и `rabbitmq`, комментарии.
Проверка: `docker compose --env-file .env config --quiet`; `docker compose config` — пароль брокера только у `rabbitmq`, `relay`, `worker`; у `relay` нет секретов S3 и пароля Valkey; лимиты у `relay`.
- [x] 9.2 `infra/s3/bootstrap.sh` по решению 9: условие списка на два префикса, staging — из проверенного имени базы; `apply` и `check` — строки «cleaner key list staging prefix»; `driver.py s3-check` их показывает.
Проверка на временном проекте compose (`-p` своё имя, `--env-file` — файл в scratchpad, порты свободные; без `down -v`: созданные volumes перечислить в отчёте и оставить основной сессии): первый запуск и повтор — код 0; список staging ключом уборщика — 200, чужой префикс и общий префикс базы — 403.
- [x] 9.3 `Makefile`: `run_relay`, `replay [ATTACHMENT=…] [ERROR_CODE=…] [REASON=…] [LIMIT=…] [APPLY=1] [OPERATOR=…]`, комментарии; `run_dev` по-прежнему с `start_broker`.
Проверка: `make replay` на стенде — код 0, значения секретов не печатаются; с `APPLY=1` без выбора — код 2.
- [x] 9.4 Комментарии: `scripts/restart.sh` (relay), `scripts/rolling-update.sh` и `infra/haproxy/haproxy.cfg` — 26 с и 73 с.
Проверка: `scripts/restart.sh` на стенде — код 0 не дольше 90 с, у relay и worker прежний `StartedAt`, `RestartCount` 0; `haproxy -c` закреплённым образом.
- [x] 9.5 CI по решению 13: `relay` в `.github/ci/compose.yml`; шаги workflow не меняются.
Проверка: `COMPOSE_FILE=docker-compose.yml:.github/ci/compose.yml`, `CI_IMAGE_TAG` и `. .github/ci/stand-env.sh`, `docker compose config --quiet`; у `relay` образ прогона, нет bind mount и портов.
- [x] 9.6 Рабочий стенд на рабочем дереве: `make run_docker`.
Проверка:
- `docker compose ps` — две реплики, уборщик, relay, worker, брокер и S3 в рабочем состоянии, bootstrap с кодом 0;
- `make test` — `PASS: lab5`;
- журнал relay: «Started relay» со всеми значениями, запись прохода; журнал worker: три варианта, `render_ms`, `render_peak_kib`; `filename` smoke в журналах нет;
- staging исчез не позже следующего прохода уборщика;
- `docker compose stop relay worker` — быстрее 10 с, код 0; `up -d --no-deps` и сразу `stop` — записи «before startup»;
- `/proc/1/cmdline` контейнера relay — `python -m src.relay`; в `/proc/1/maps` реплики API и процесса 1 worker нет `_imaging`;
- RSS процесса 1 worker при двух одновременных PNG 10 MiB — число в «Уточнениях apply» и расчёт решения 7;
- `make s3_check` — код 0, строки staging на месте.
## 10. Тесты
- [x] 10.1 Клиент и генераторы по решению 15: `contract.py` (содержимое WebP), `assert_variants` вместо `assert_one_thumbnail`, `images.py` (`jpeg_scan_bomb`, полосы, `jpeg_with_metadata`).
Проверка: `make lint`; `jpeg_scan_bomb()` проходит загрузку по HTTP (202) на стенде.
- [x] 10.2 Hook `student-tests/fault_hook.py` по решению 14: все новые действия и режимы, `peek-job` и `publish-job` — через одноразовый контейнер relay, `delete-row` с аудитом, `job` — ещё `attempt_base`, `updated_at`; docstring; ключи и пароль hook не получает и не печатает.
Проверка: hook отказывается работать с проектом рабочего стенда; поведение — тесты 10.5 и 10.6.
- [x] 10.3 Стенд отказов по решению 15: `failures.compose.yml`, `run_failures.py`: relay в запуске, `FAULT_RELAY_*`, новые `FAULT_WORKER_*`, журнал relay при падении, уборка дополнительных контейнеров; docstring.
Проверка: `make failure_checks FAULT_ARGS='-k health'` — код 0, строка relay в выводе, стенд и volumes удалены; `-k no_such_test` — ненулевой код, журналы напечатаны, стенд удалён.
- [x] 10.4 Новые тесты обычного набора по таблице «Покрытие сценариев»: `test_crop_*`, `test_optimized_*`, `test_download_crop_optimized`; `test_attachment_becomes_ready`, `test_thumbnail_format_variants`; маркеры `spec` дословно по сценариям дельт.
Проверка: `uv run pytest student-tests/test_attachment_processing.py` с `BASE_URL` стенда; настоящие размеры, байты, SHA-256 и `size_bytes` сверены с метаданными.
- [x] 10.5 Прежние проверки отказов по решению 15 и дельтам: перечисленные там тесты меняют ожидания (202 без брокера, аренда вместо немедленного взятия, три варианта, ожидание сообщения опросом); проверки не ослабляются и не пропускаются.
Проверка: `make failure_checks FAULT_ARGS='-k "attachment or broker or worker or cleaner or reconcile or upload or defense"'` — код 0.
- [x] 10.6 Новые проверки отказов по таблице «Покрытие сценариев», `test_worker_stop_during_render` (спек `graceful-shutdown` в докстринге) и `test_defense_faults` — шаг 4 защиты тем же порядком, что `driver.py defense-faults` (спек `student-tests` в докстринге). Отказы — в `with outage(...)`, worker и relay запускаются в `finally`, триггеры снимаются в `finally`.
Проверка: полный `make failure_checks` — код 0, сводка журнала PostgreSQL без признаков аварии, стенд удалён, у контейнеров рабочего стенда прежний `StartedAt`; число проверок и время — «Уточнения apply».
- [x] 10.7 `make test_isolated` по решению 13: `run_isolated.py` — контейнер `<проект>-test-relay` с той же подменой базы, журналы, уборка.
Проверка: `make test_isolated` при работающем стенде — код 0; после него нет контейнеров, базы, объектов и очереди временной базы, у рабочего стенда прежний `StartedAt`; прерывание Ctrl+C — уборка выполнена.
- [x] 10.8 Сверка покрытия: `job-outbox` в `CAPABILITIES`, расширение исключения `data-storage`; sync всех дельт в основные спеки (`/opsx:sync`): сверка читает только `openspec/specs/`.
Проверка: `openspec validate --specs`; `make student_test` — сверка без «no test and no exclusion» и «unknown scenario», красное только `missing_evidence`; итог называет число сценариев проверок отказов.
- [x] 10.9 Тесты ловят нарушение: временные регрессии, каждая откатывается и не попадает в рабочее дерево:
- отметка `published_at` до подтверждения → `test_relay_killed_after_confirm` или `test_upload_with_broker_paused` красный;
- claim берёт задание при живой аренде → `test_duplicate_during_processing` красный;
- фиксация без проверки номера попытки → `test_hung_worker_lease_fencing` красный;
- ack до фиксации → `test_crash_after_objects_before_commit` красный;
- claim без проверки завершённого → `test_crash_after_commit_before_ack` красный;
- replay без проверки состояния → `test_replay_ready_refused` красный;
- очистка без условия статуса → `test_staging_keeps_current_work` красный;
- `FOR UPDATE` вместо `FOR NO KEY UPDATE` в очистке → `test_staging_cleanup_survives_outage` красный: сообщение ждёт DELETE в S3;
- рендер в процессе worker без лимита CPU → `test_limit_cpu_scan_bomb` красный;
- фиксированная пауза вместо jitter → `test_retry_backoff_with_jitter` красный.
Проверка: итог по каждой регрессии — в design, «Уточнения apply»; хэши `src` после откатов совпадают со снимком до них.
## 11. `bench/`
- [x] 11.1 Стенд по решению 16: `bench.compose.yml` (`relay`, лимиты, реплики без окружения брокера), `bench.env`, `compose_env`, поля `Profile`; паспорт: метка `com.docker.compose.image`, при её отсутствии — `.Image`, в `app_containers` и `image()`; сравнение реплик профиля замены по ней.
Проверка: `uv run python bench/uploads.py --selftest`; `make bench_quick` — код 0, брокер, relay и worker не запущены, `stand.app_env` без секретов и без `BROKER__*`.
- [x] 11.2 Профиль загрузок по решению 16: без брокера, `uploads.py` и сводка.
Проверка: `make bench_uploads_quick` — код 0, успешные загрузки — 202, брокера нет в паспорте, пик памяти реплики и 429 — в тех же границах, что у прежних сценариев спека.
- [x] 11.3 `Profile.rollout_from` → `7f38948`, профиль сверки по решению 16; `make bench_rollout_quick`, `make bench_reconcile_quick`.
Проверка: обе — код 0; у замены ревизия до и после — новые две ревизии; реплики на одном образе по метке; у сверки сверка моделей сошлась. Метки `quick-*` в git не идут.
## 12. Драйвер скилла `run-mtusi-messenger`
- [x] 12.1 Прежние команды по решению 17: `start` поднимает ещё relay, `defense-scenario`, `broker-check`, `worker-process`, `attachment-storage` (пустой `staging_key`, проба аудита), `s3-check`, `upload-consistency`, `reconcile-*` — по изменениям.
Проверка: каждая из этих команд на рабочем стенде — код 0; `driver.py lb-upload-timeouts` — код 0; `ruff format --check` драйвера.
- [x] 12.2 Новые команды по решению 17: `defense-faults`, `relay-process`, `pipeline-state`; раздел в `SKILL.md`: шаги, что проверяется, коды выхода, gotchas.
Проверка:
- `defense-faults` на рабочем стенде — код 0, вывод по каждому окну, токенов и секретов нет, триггеров после прогона нет;
- прерывание сигналом посреди сценария — worker и relay запущены, триггеров нет, код ненулевой;
- `relay-process`, `pipeline-state` — код 0, JSON разбирается.
## 13. Правила и карта кода
- [x] 13.1 Правила по решениям:
- `.claude/rules/worker.md`: `paths` — ещё `src/relay/**`, `src/worker/render.py`, `src/infra/render/**`, сервисы relay и replay, `image_variants.py`; claim, аренда, fencing, бюджет, лимиты, варианты, relay, replay; строка в `AGENTS.md`;
- `service-layer.md`, `repo-layer.md`, `dto.md`, `infra.md` (`broker/` без `instance.py`, `render/`), `migrations.md` (две ревизии), `logging.md`, `settings.md`, `run-modes.md` (relay), `docker.md` (relay, секреты, порядок), `balancer.md` (26 с и 73 с, порядок обновления), `student-tests.md` (hook, окна, время прогона), `bench.md` (профиль загрузок, `rollout_from`, паспорт), `api-contract.md` (503, варианты).
Проверка: `grep -rn "retry_delay_seconds\|_publish_job\|delete_unstarted\|thumbnail.py" .claude AGENTS.md src student-tests bench` — только верные упоминания; `make lint`.
- [x] 13.2 `AGENTS.md`: текущий статус, правила лабы 5, таблица важных файлов и команд, карта кода (`src/relay/`, `src/infra/render/`, `src/worker/render.py`, новые сервисы и repo). `KNOWN_ISSUES.md`: удалить «Разрыв COMMIT и publish» и «`content_type`». `QUESTIONS.md`: решения, принятые в apply. Замечания S5, S6, W2 и пункты «Предложения на потом» отметить закрытыми. Граф кода: `graphify update .`.
Проверка: каждый новый файл `git status` назван в карте кода или таблице; `make lint`, `make check`.
## 14. Регресс на рабочем дереве
- [x] 14.1 Смесь версий и откат по Migration Plan на рабочем стенде: `make rolling_update COMMIT=7f38948 MIGRATE=0`, затем вперёд по порядку плана.
Проверка: на прежнем образе сообщения, история и загрузка работают, строки нового кода читаются; после возврата `lb_stats` без ручных состояний, новые вложения — три варианта, вложение прежнего образа — `ready` с одним thumbnail, `variant=crop` — 404; сверка без расхождений по нему.
- [x] 14.2 Рабочий стенд:
- `make test` — `PASS: lab5`, `make validate`, `make check`;
- `make student_test` через LB — красное только `missing_evidence`;
- `make run_dev` с `make run_relay`, `make run_worker` и `EXPECT_REPLICAS=1 make student_test` — те же итоги, кроме тестов реплик;
- `make test_isolated`, полный `make failure_checks`;
- `make test-persistence ACTION_SCRIPT=scripts/restart.sh`;
- `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` дважды (`stop`, `STOP_MODE=kill`) с `make replicas` между ними;
- `make s3_check`, `make reconcile` — код 0;
- `driver.py --port <LB> defense-scenario`, `defense-faults`;
- `make wipe_data` не выполнять.
- [x] 14.3 Регресс `bench/`: `make bench_quick`, `make bench_failover_quick`, `make bench_rollout_quick`, `make bench_restore_quick`, `make bench_uploads_quick`, `make bench_reconcile_quick` — код 0.
- [x] 14.4 Сборка из чистого дерева: команда `git ls-files -z -co --exclude-standard | tar …` из `docker.md`; в образе импорт Pillow с WebP, версии как в `uv.lock`, `uv` и компиляторов нет. `make lint`, `openspec validate pipeline-reliability --strict`, `openspec validate --specs`.
- [x] 14.5 Отчёт apply для основной сессии: `git status`, `git diff --stat`, предложенное сообщение коммита, созданные пробами volumes, что осталось красным и почему. Агент останавливается здесь: коммит и группу 15 выполняет основная сессия.
## 15. Evidence и отчёт (после коммита, основная сессия)
Снимать на закоммиченном коде: рабочий стенд собран из `HEAD` (`make run_docker`), рабочее дерево чистое, в шапке каждого файла команда, дата, commit и стенд. Без токенов, паролей, ключей и секретов. Новые файлы `evidence/` на время замеров `bench/` выносить из дерева, чтобы паспорта не получили ложный `dirty: true` (design архива `async-attachments`, «Уточнения apply», п. 17).
- [x] 15.1 Коммит кода групп 1–14 на ветке `feat/pipeline-reliability`, стенд на этом commit: `make run_docker`, `make replicas`.
Проверка: `git status` чист; `docker compose ps` — как в задаче 9.6; `make test` — `PASS: lab5`.
- [x] 15.2 Защита и стенд:
- `evidence/attachments/defense-faults.md` — `driver.py --port <LB> defense-faults`;
- `evidence/attachments/defense.md` — `driver.py --port <LB> defense-scenario`;
- `evidence/relay/process.md` — `driver.py --port <LB> relay-process`;
- `evidence/worker/process.md` — `driver.py --port <LB> worker-process`;
- `evidence/broker/stand.md`, `evidence/broker/isolated.md` — как на уровне 3;
- `evidence/attachments/storage.md`, `evidence/attachments/failover.md`, `evidence/attachments/consistency.md`, `evidence/replicas/test-persistence.md` — команды уровня 3 заново.
Проверка: `test_exclusion_evidence_exists` называет только файлы старых исключений последнего шага прогона.
- [x] 15.3 Журнал, ключи, схема:
- `evidence/worker/logs.md`, `evidence/relay/logs.md` — журнал готового и `failed` вложения одного `request_id`, проход relay, replay с отказом; `filename` и секретов нет;
- `evidence/s3/cleaner-staging.md` — `make s3_check` и строки списка staging;
- `evidence/migrations/pipeline-reliability.md` — проба задач 2.2–2.3 и откат с возвратом задачи 14.1;
- `evidence/uploads/lb-timeouts.md` — `driver.py lb-upload-timeouts`.
Проверка: `grep` значений секретов из `.env` по `evidence/` пуст (значения не печатаются).
- [x] 15.4 Прогоны наборов на этом commit: `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md`, `evidence/tests/failure-checks.md` (полный `make failure_checks`, число проверок и время, красные прогоны задачи 10.9), `evidence/failover/test-failover.md`; метка `make bench_rollout ROLLOUT_LABEL=pipeline-reliability`.
Проверка: числа в файлах совпадают с выводом команд; красное только `missing_evidence` по файлам последнего шага прогона.
- [x] 15.5 `REPORT.md`, разделы уровня 4 (отчёт уровня 3 остаётся верным, то, что было ограничением и закрыто, обновлено):
- состояние отчёта и commit: строки таблицы уровня 3, снятые заново, называют новый commit, а метка `evidence/uploads/baseline` остаётся со своим `ff1a83b`; архитектура стенда с relay, таблица ролей и сумма лимитов, расчёт соединений PostgreSQL; запуск с `make run_relay`; `STAGING_RETENTION_SECONDS` и новые настройки;
- таблица критериев уровня 4 с командой, наблюдением и файлом — по каждому пункту рубрики;
- параметры вариантов (`quality`, `method`, отсутствие EXIF и ICC); лимиты обработки и бюджет памяти контейнера worker с числами из задачи 9.6;
- окна отказа после изменения (решение 1), отказ брокера: 202, а не 503; зависимости `/health/ready` с relay;
- ответы на вопросы защиты: confirm и ack, что сохранено к 202, повторная доставка и ключ идемпотентности, зависший и долго работающий worker: аренда и fencing; шаг 4 сценария защиты и ссылка на `evidence/attachments/defense-faults.md`;
- ограничения: отказ S3 дольше бюджета и replay, восстановление после KILL по аренде, дубли сообщений, объект, дописанный прежней попыткой теми же байтами, профиль ICC, лимит памяти на macOS, цена процесса на задание, сверка не проверяет объекты вариантов, удаление очереди при работающем worker, старые `ready` без `crop` и `optimized`, цепочка LB 73 с с формулой;
- смесь версий и порядок обновления (Migration Plan);
- вопросы преподавателю: из `QUESTIONS.md`, `## pipeline-reliability`, а №4 и №5 раздела — с отметкой, как закрыты этим уровнем; раздел «Что остаётся открытым на уровне 3» и «Следующие шаги» обновить.
Проверка: у каждой новой строки таблицы доказательств есть команда, наблюдение и файл; `make lint`, `make check`, `openspec validate pipeline-reliability --strict`.
- [x] 15.6 Коммит evidence и `REPORT.md` основной сессией. Проверка: `git status` чист; `git log -2` — commit кода назван в шапках файлов evidence.
## 16. Замечания проверки
HEAD до правок — `6bd6053`, код снят на `e2a6427`. Этап 1 — код, тесты, спеки и документы на рабочем дереве, агент не коммитит. Этап 2 — evidence на commit правок, его хэш передаёт основная сессия.
### Этап 1
- [x] 16.1 W1: допустимые PNG на границе контракта становятся `failed`. `_prepared` закрывает исходник после `convert("RGBA")`. Воспроизвести; black-box тест на серый с альфой и RGB с tRNS, падение до правки; сценарий «Изображение в лимите пикселей» в дельте и основном спеке; `REPORT.md`, таблица проб в design.
Проверка: пробы процесса обработки по всем режимам до и после; `with Image.open` и другие режимы не сломаны; тест красный до правки, зелёный после.
- [x] 16.2 W2: `test_hung_worker_lease_fencing` не ловит удаление номера попытки. Первая попытка размораживается, пока вторая жива и не держит блокировку строки; сценарий «Прежняя попытка при живой новой» в требовании «Аренда попытки» (дельта и основной спек); докстринг, строка `evidence/tests/failure-checks.md`, design, «Уточнения apply», п. 14.
Проверка: без `locked.attempt == job.attempt` тест красный, с условием зелёный; регрессия откачена, хэши `src` совпали.
- [x] 16.3 W3: бюджет памяти в `REPORT.md` и design, п. 13 — формулировка по фактам после W1.
Проверка: числа совпадают с пробами; файл замера — этап 2.
- [x] 16.4 S2: `driver.py worker-process` — остановка под нагрузкой на двух дорогих JPEG (граница 9,5 с), при замороженных PostgreSQL и брокере; `relay-process` — `docker stop relay` при замороженном брокере.
Проверка: `ruff format --check` драйвера; разовый запуск на стенде; файлы evidence — этап 2.
- [x] 16.5 S3: `balancer.md` — новая реплика без override после отката получит 503 на загрузке.
- [x] 16.6 S1: ограничение `/proc/1/environ` — `REPORT.md`, `worker.md`, вопрос в `QUESTIONS.md` с предложением `PR_SET_DUMPABLE=0`. Кодом не исправляется.
- [x] 16.7 Регресс на рабочем дереве: `make lint`, `make check`, `openspec validate pipeline-reliability --strict`, пересборка стенда, `make test`, `make student_test`, полный `make failure_checks`.
### Этап 2 (после commit правок)
- [x] 16.8 `evidence/worker/memory.md`: `VmHWM`, `render_peak`, `memory.peak` — PNG 10 MiB и граничные 40 Мпкс, в том числе два серых 16 бит разом; OOM.
- [x] 16.9 `evidence/worker/process.md`, `evidence/relay/process.md`, `evidence/attachments/defense-faults.md` с кодом выхода в шапке.
- [x] 16.10 `evidence/tests/failure-checks.md` — полный прогон на этом commit; `REPORT.md` — commit измеренного состояния и бюджет.