Files
mtusi2026lab5/openspec/changes/pipeline-reliability/tasks.md
T

42 KiB
Raw Blame History

Tasks

Как строить — design.md (дальше «решение N»), что должно получиться — дельты в specs/. Перед первым файлом слоя прочитать его правило: service-layer.md, repo-layer.md, dto.md, infra.md, worker.md, api-layer.md, api-contract.md, migrations.md, logging.md, settings.md, run-modes.md, docker.md, balancer.md, student-tests.md, bench.md.

Граница коммита. Группы 1–14 — код, тесты, инструменты и правила: проверяются на рабочем дереве, агент apply не коммитит и в evidence/ не пишет. Группа 15 — снятие evidence и REPORT.md: её запускает основная сессия после коммита групп 1–14, на закоммиченном коде (bench.md, «Измеренное состояние — commit»).

Шага оператора нет. Новых секретов нет, config.toml читается как есть. Руками .env не читать и не править.

Ожидаемо красное, остальное разбирается по AGENTS.md:

  • make test и сценарии вложений — до конца группы 9: API уже не публикует, а relay ещё нет;
  • между задачами 10.4 и 10.8 — сверка покрытия: «marker points to unknown scenario»; sync раньше тестов дал бы обратное, «no test and no exclusion»;
  • test_exclusion_evidence_exists — по файлам старых исключений evidence/cache/hits.md, evidence/auth/passwords-and-tokens.md, evidence/idempotency/replay-after-restart.md: они снимаются на последнем шаге всего прогона. В группах 1–14 это не регрессия, но падать он должен только по missing_evidence.

Решения по ходу работы — design, «Уточнения apply»; вопросы и решения без пользователя — QUESTIONS.md, ## pipeline-reliability; дефект, найденный попутно, — KNOWN_ISSUES.md.

1. Настройки и общие типы

  • 1.1 Настройки по решению 12 и дельте service-configuration:

    • Worker: новые поля, graceful_shutdown_seconds не больше 8, render_timeout_seconds меньше job_timeout_seconds, retry_max_delay_seconds не меньше retry_base_delay_seconds (на полях, через info.data), retry_delay_seconds убран;
    • новый класс Relay и поле relay в Settings; Cleaner.staging_retention_seconds;
    • allow_inf_nan=False у всех новых float; строки с единицами в config_example.toml;
    • шапка .env.example: STAGING_RETENTION_SECONDS → [cleaner] staging_retention_seconds.

    Проверка: uv run python -c "from src.config import settings; print(settings.worker, settings.relay)" — значения по умолчанию из решения 12; WORKER__PREFETCH=0, WORKER__GRACEFUL_SHUTDOWN_SECONDS=9, WORKER__RENDER_TIMEOUT_SECONDS=120, WORKER__RETRY_MAX_DELAY_SECONDS=1, RELAY__BATCH_SIZE=0, RELAY__POLL_INTERVAL_SECONDS=inf, CLEANER__STAGING_RETENTION_SECONDS=0 — ошибка называет поле; существующий config.toml с retry_delay_seconds загружается.

  • 1.2 Общие типы по решениям 4 и 7:

    • AttachmentJobReason: limit_pixels, limit_memory, limit_cpu, render_killed, render_crashed, lease_expired; ReconcileFinding.ORPHAN_STAGING; докстринг AttachmentVariantName;
    • src/utils/constants.py: CROP_SIDE, CROP_JPEG_QUALITY, OPTIMIZED_MAX_SIDE, OPTIMIZED_WEBP_QUALITY, OPTIMIZED_WEBP_METHOD, префикс и суффикс ключей, если их ещё нет;
    • src/core/exceptions: постоянный отказ изображения и прерванная обработка — с причиной AttachmentJobReason, вне таблицы DOMAIN_ERRORS: наружу они не выходят.

    Проверка: make lint; uv run python -c "import src.api.errors".

2. Схема

  • 2.1 Модели по решению 10: AttachmentJob.attempt_base и CHECK, AttachmentJobReplay, четыре индекса с postgresql_where, экспорт в models/__init__.py.

    Проверка: make lint; совпадение со схемой — задача 2.3.

  • 2.2 Ревизия added_job_replays_and_attempt_base поверх a1d4c7e90b23 руками: первой строкой SET LOCAL lock_timeout = '2s', колонка с server_default, CHECK NOT VALID, таблица, downgrade.

  • 2.3 Ревизия added_job_outbox_indexes: autocommit_block, SET lock_timeout, CONCURRENTLY, if_not_exists, RESET; downgrade так же.

    Проверка 2.2–2.3 на временной базе (createdb в контейнере postgres, DATABASE__NAME в окружении, после — DROP DATABASE):

    • upgrade с нуля, uv run alembic check пуст, повтор ничего не меняет, downgrade -2, upgrade;
    • на базе со строками прежних состояний: вставка задания без attempt_base проходит, pg_constraint.convalidated нового CHECK — false, indisvalid всех четырёх — true;
    • EXPLAIN выборок relay и уборки на наполненной базе — индексы решения 10, как в таблице проб;
    • запись аудита с неизвестным заданием и attempt_base больше attempt — нарушение ограничения; задание с записью аудита удалить нельзя;
    • транзакция держит attachment_jobs дольше 2 с: первая ревизия падает без изменений, повтор проходит.

3. DTO и repo

  • 3.1 DTO по dto.md: AttachmentJobDTO.attempt_base, AttachmentInListDTO с тем, что нужно очистке; RelayPassDTO, StagingCleanupPassDTO, ReplayResultDTO, listed_staging в ReconcilePassDTO; __init__.py.

    Проверка: make lint.

  • 3.2 src/core/repos/attachment_job.py по решениям 2–5, одно выражение на функцию, состояние в выборках — константой (literal_execute): выборка due-строк FOR UPDATE SKIP LOCKED, count_published, отметка пакета, возврат истёкших аренд (RETURNING), есть ли старше порога, сброс потерянных; start_attempt с lease_expires_at, return_to_queued с next_attempt_at, блокировка и перевод для replay. Убрать delete_unstarted.

    Проверка: make lint; план — задача 2.3, поведение — группы 7 и 10.

  • 3.3 src/core/repos/attachment.py: блокировка строки для replay и очистки — FOR NO KEY UPDATE (with_for_update(key_share=True, …), решение 9), failed → queued, выборка очистки staging keyset, clear_staging_key, вложения группы processing → queued. Убрать return_to_pending. src/core/repos/attachment_job_replay.py — вставка и чтение по заданию.

    Проверка: make lint; поведение — группы 5, 7, 8, 10.

  • 3.4 src/core/repos/attachment_object.py по решению 9: staging_prefix, is_own_staging_key, parse_staging_key, list_staging, ключи вариантов всех имён для уборки.

    Проверка: разовый вызов: свой id — id; верхний регистр, чужой префикс, другой суффикс — None; make lint.

4. Варианты и процесс обработки

  • 4.1 src/utils/image_variants.py вместо thumbnail.py по решению 6: fit_size, render_variants; константы из 1.2. Импорт Pillow — только здесь.

    Проверка — разовый скрипт в scratchpad с генераторами student-tests/images.py:

    • thumbnail: все случаи задачи 5.1 архива async-attachments (320 × 200, 1000 × 601, 5000 × 10, EXIF 1–8, альфа, палитра) без изменений;
    • crop: 400 × 200 полосами — синий; 50 × 20 — 128 × 128; EXIF 6; альфа на белый; 5000 × 10 — квадрат из декодированного;
    • optimized: 2000 × 1000 → 1280 × 640, 5000 × 3001 → 1280 × 768, 5000 × 10 → 1280 × 2, 100 × 50 без увеличения; JPEG с EXIF и ICC — без чанков EXIF, XMP , ICCP, размеры повёрнуты; RGBA — альфа 0;
    • все png_variants() и jpeg_variants() проходят; точность SOF 12 — ошибка декодирования; два запуска — одинаковые SHA-256;
    • grep -rn "PIL" src — только этот модуль.
  • 4.2 Процесс обработки по решению 7: src/worker/render.py (лимиты первыми строками, RLIMIT_AS, RLIMIT_CPU, RLIMIT_CORE, коды 0/3/4/5, строка JSON и байты, VmHWM, отметка неприменённого лимита) и src/infra/render/client.py (ImageRenderer: окружение решения 7, срок, kill и ожидание в finally, разбор вывода, перевод кодов в исключения 1.2).

    Проверка — разовый скрипт в scratchpad, контейнер образа 1 CPU / 1 ГБ и хост macOS:

    • PNG RGBA 40 Мпкс: успех, VmHWM не больше ~410 МиБ, в контейнере лимит применён, на macOS — отмечен неприменённым;
    • JPEG с повторёнными сканами из таблицы проб: лимит CPU 2 с — limit_cpu за ~2 с; срок 1 с — timeout, процесса нет;
    • лимит памяти 200 МиБ — limit_memory; SIGKILL извне — render_killed; испорченный вывод — render_crashed;
    • отмена задачи посреди рендера — процесса нет (pgrep); в окружении процесса нет DATABASE__*, S3__*, BROKER__*.

5. Worker

  • 5.1 AttachmentProcessingService по решениям 3, 4, 6, 7: таблица claim без redelivered, бюджет с attempt_base, срок аренды, три варианта через ImageRenderer, запись трёх объектов, fencing в _commit_ready, retry_delay с jitter и return_to_queued со сроком и ACK, постоянные ошибки по таблице решения 4; без publisher, limiter и паузы повтора; журнал по решению 18.

    Проверка: make lint; разовый запуск retry_delay — границы формулы на 1000 значениях; поведение — группа 10.

  • 5.2 Процесс src/worker/main.py по решениям 8 и 19: prefetch и asyncio.Semaphore(concurrency), ImageRenderer, закрытие клиентов одним gather под сроком, «Started worker» со всеми значениями, без издателя.

    Проверка без стенда: WORKER__PREFETCH=0 uv run python -m src.worker — код 2, запись называет поле без значений; make lint. На стенде — задача 9.6, там же RSS worker с двумя телами 10 MiB для расчёта решения 7 (итог — «Уточнения apply»).

6. API

  • 6.1 Приём без брокера по решению 1: _store отвечает после _mark_queued; убрать _publish_job, _cancel_job, параметр publisher, src/infra/broker/instance.py, строки в src/api/dependencies.py и src/main.py, поля брокера в «Started API»; content_type в «Uploaded attachment» — .value; докстринги про разрыв.

    Проверка: make lint; один PNG против консольного API при остановленном брокере — 202, строка queued, задание без published_at, объект только в staging; grep -rn "aio_pika\|broker" src/api src/main.py src/core/services/attachment.py пуст; в журнале content_type — image/png.

7. Relay и replay

  • 7.1 JobPublisher по решению 2: publish_many и ready_messages; прежний publish убрать, если больше не нужен; докстринг модуля без API.

    Проверка — разовый скрипт в scratchpad против брокера стенда: пакет 100 подтверждён; удалённая очередь — ошибка, затем новое соединение с объявлением; docker compose stop rabbitmq и docker pause — ошибка не позже срока, подмножество подтверждённых верно; ready_messages — только готовые; пароля в выводе нет.

  • 7.2 AttachmentRelayService по решению 2: три шага прохода, предел опубликованных, запись на смену состояния, журнал по решению 18.

    Проверка: make lint; поведение — группа 10.

  • 7.3 Процесс src/relay/ по решению 2 и 18: __main__.py, main.py: сигналы, свой engine и издатель, цикл с паузами, отказ брокера и PostgreSQL не роняет, «Started relay», «Stopped relay», os._exit.

    Проверка без стенда: RELAY__BATCH_SIZE=0 uv run python -m src.relay — код 2, запись называет поле; при остановленном брокере процесс живёт и пишет warning, по SIGTERM — код 0; make lint.

  • 7.4 Replay по решению 5: AttachmentReplayService, подкоманда replay в src/relay/main.py, коды 0/3/1/2, аудит одной транзакцией, отказы, с --apply выбор обязателен (иначе код 2).

    Проверка: make lint; разовый запуск на временной базе: failed — показ без изменений, replay, повторный replay — отказ not_failed; поведение — группа 10.

8. Уборщик и сверка

  • 8.1 Очистка staging по решению 9: AttachmentCleanupService.clean_staging, вызов в цикле _serve и в --once, порог срока хранения, удаление вариантов и оригинала у failed, проверка ключа, «Started cleaner» со сроком, журнал по решению 18.

    Проверка: make lint; поведение — группа 10; разовый python -m src.cleaner --once на стенде после 9.6 — код 0.

  • 8.2 Сверка по решению 9: шаг списка staging с той же обёрткой сигнала и скорости, класс orphan_staging в LIMITED_KINDS и ACTION_ORDER, перепроверка и действие, listed_staging, обе стратегии; unknown_object для другого ключа под staging.

    Проверка: make lint; на стенде обе стратегии без --apply — объекты живых строк не названы; поведение — группа 10.

9. Стенд

  • 9.1 docker-compose.yml по решениям 1 и 13: сервис relay, у api без *broker-env и rabbitmq, комментарии.

    Проверка: docker compose --env-file .env config --quiet; docker compose config — пароль брокера только у rabbitmq, relay, worker; у relay нет секретов S3 и пароля Valkey; лимиты у relay.

  • 9.2 infra/s3/bootstrap.sh по решению 9: условие списка на два префикса, staging — из проверенного имени базы; apply и check — строки «cleaner key list staging prefix»; driver.py s3-check их показывает.

    Проверка на временном проекте compose (-p своё имя, --env-file — файл в scratchpad, порты свободные; без down -v: созданные volumes перечислить в отчёте и оставить основной сессии): первый запуск и повтор — код 0; список staging ключом уборщика — 200, чужой префикс и общий префикс базы — 403.

  • 9.3 Makefile: run_relay, replay [ATTACHMENT=…] [ERROR_CODE=…] [REASON=…] [LIMIT=…] [APPLY=1] [OPERATOR=…], комментарии; run_dev по-прежнему с start_broker.

    Проверка: make replay на стенде — код 0, значения секретов не печатаются; с APPLY=1 без выбора — код 2.

  • 9.4 Комментарии: scripts/restart.sh (relay), scripts/rolling-update.sh и infra/haproxy/haproxy.cfg — 26 с и 73 с.

    Проверка: scripts/restart.sh на стенде — код 0 не дольше 90 с, у relay и worker прежний StartedAt, RestartCount 0; haproxy -c закреплённым образом.

  • 9.5 CI по решению 13: relay в .github/ci/compose.yml; шаги workflow не меняются.

    Проверка: COMPOSE_FILE=docker-compose.yml:.github/ci/compose.yml, CI_IMAGE_TAG и . .github/ci/stand-env.sh, docker compose config --quiet; у relay образ прогона, нет bind mount и портов.

  • 9.6 Рабочий стенд на рабочем дереве: make run_docker.

    Проверка:

    • docker compose ps — две реплики, уборщик, relay, worker, брокер и S3 в рабочем состоянии, bootstrap с кодом 0;
    • make test — PASS: lab5;
    • журнал relay: «Started relay» со всеми значениями, запись прохода; журнал worker: три варианта, render_ms, render_peak_kib; filename smoke в журналах нет;
    • staging исчез не позже следующего прохода уборщика;
    • docker compose stop relay worker — быстрее 10 с, код 0; up -d --no-deps и сразу stop — записи «before startup»;
    • /proc/1/cmdline контейнера relay — python -m src.relay; в /proc/1/maps реплики API и процесса 1 worker нет _imaging;
    • RSS процесса 1 worker при двух одновременных PNG 10 MiB — число в «Уточнениях apply» и расчёт решения 7;
    • make s3_check — код 0, строки staging на месте.

10. Тесты

  • 10.1 Клиент и генераторы по решению 15: contract.py (содержимое WebP), assert_variants вместо assert_one_thumbnail, images.py (jpeg_scan_bomb, полосы, jpeg_with_metadata).

    Проверка: make lint; jpeg_scan_bomb() проходит загрузку по HTTP (202) на стенде.

  • 10.2 Hook student-tests/fault_hook.py по решению 14: все новые действия и режимы, peek-job и publish-job — через одноразовый контейнер relay, delete-row с аудитом, job — ещё attempt_base, updated_at; docstring; ключи и пароль hook не получает и не печатает.

    Проверка: hook отказывается работать с проектом рабочего стенда; поведение — тесты 10.5 и 10.6.

  • 10.3 Стенд отказов по решению 15: failures.compose.yml, run_failures.py: relay в запуске, FAULT_RELAY_*, новые FAULT_WORKER_*, журнал relay при падении, уборка дополнительных контейнеров; docstring.

    Проверка: make failure_checks FAULT_ARGS='-k health' — код 0, строка relay в выводе, стенд и volumes удалены; -k no_such_test — ненулевой код, журналы напечатаны, стенд удалён.

  • 10.4 Новые тесты обычного набора по таблице «Покрытие сценариев»: test_crop_*, test_optimized_*, test_download_crop_optimized; test_attachment_becomes_ready, test_thumbnail_format_variants; маркеры spec дословно по сценариям дельт.

    Проверка: uv run pytest student-tests/test_attachment_processing.py с BASE_URL стенда; настоящие размеры, байты, SHA-256 и size_bytes сверены с метаданными.

  • 10.5 Прежние проверки отказов по решению 15 и дельтам: перечисленные там тесты меняют ожидания (202 без брокера, аренда вместо немедленного взятия, три варианта, ожидание сообщения опросом); проверки не ослабляются и не пропускаются.

    Проверка: make failure_checks FAULT_ARGS='-k "attachment or broker or worker or cleaner or reconcile or upload or defense"' — код 0.

  • 10.6 Новые проверки отказов по таблице «Покрытие сценариев», test_worker_stop_during_render (спек graceful-shutdown в докстринге) и test_defense_faults — шаг 4 защиты тем же порядком, что driver.py defense-faults (спек student-tests в докстринге). Отказы — в with outage(...), worker и relay запускаются в finally, триггеры снимаются в finally.

    Проверка: полный make failure_checks — код 0, сводка журнала PostgreSQL без признаков аварии, стенд удалён, у контейнеров рабочего стенда прежний StartedAt; число проверок и время — «Уточнения apply».

  • 10.7 make test_isolated по решению 13: run_isolated.py — контейнер <проект>-test-relay с той же подменой базы, журналы, уборка.

    Проверка: make test_isolated при работающем стенде — код 0; после него нет контейнеров, базы, объектов и очереди временной базы, у рабочего стенда прежний StartedAt; прерывание Ctrl+C — уборка выполнена.

  • 10.8 Сверка покрытия: job-outbox в CAPABILITIES, расширение исключения data-storage; sync всех дельт в основные спеки (/opsx:sync): сверка читает только openspec/specs/.

    Проверка: openspec validate --specs; make student_test — сверка без «no test and no exclusion» и «unknown scenario», красное только missing_evidence; итог называет число сценариев проверок отказов.

  • 10.9 Тесты ловят нарушение: временные регрессии, каждая откатывается и не попадает в рабочее дерево:

    • отметка published_at до подтверждения → test_relay_killed_after_confirm или test_upload_with_broker_paused красный;
    • claim берёт задание при живой аренде → test_duplicate_during_processing красный;
    • фиксация без проверки номера попытки → test_hung_worker_lease_fencing красный;
    • ack до фиксации → test_crash_after_objects_before_commit красный;
    • claim без проверки завершённого → test_crash_after_commit_before_ack красный;
    • replay без проверки состояния → test_replay_ready_refused красный;
    • очистка без условия статуса → test_staging_keeps_current_work красный;
    • FOR UPDATE вместо FOR NO KEY UPDATE в очистке → test_staging_cleanup_survives_outage красный: сообщение ждёт DELETE в S3;
    • рендер в процессе worker без лимита CPU → test_limit_cpu_scan_bomb красный;
    • фиксированная пауза вместо jitter → test_retry_backoff_with_jitter красный.

    Проверка: итог по каждой регрессии — в design, «Уточнения apply»; хэши src после откатов совпадают со снимком до них.

11. bench/

  • 11.1 Стенд по решению 16: bench.compose.yml (relay, лимиты, реплики без окружения брокера), bench.env, compose_env, поля Profile; паспорт: метка com.docker.compose.image, при её отсутствии — .Image, в app_containers и image(); сравнение реплик профиля замены по ней.

    Проверка: uv run python bench/uploads.py --selftest; make bench_quick — код 0, брокер, relay и worker не запущены, stand.app_env без секретов и без BROKER__*.

  • 11.2 Профиль загрузок по решению 16: без брокера, uploads.py и сводка.

    Проверка: make bench_uploads_quick — код 0, успешные загрузки — 202, брокера нет в паспорте, пик памяти реплики и 429 — в тех же границах, что у прежних сценариев спека.

  • 11.3 Profile.rollout_from → 7f38948, профиль сверки по решению 16; make bench_rollout_quick, make bench_reconcile_quick.

    Проверка: обе — код 0; у замены ревизия до и после — новые две ревизии; реплики на одном образе по метке; у сверки сверка моделей сошлась. Метки quick-* в git не идут.

12. Драйвер скилла run-mtusi-messenger

  • 12.1 Прежние команды по решению 17: start поднимает ещё relay, defense-scenario, broker-check, worker-process, attachment-storage (пустой staging_key, проба аудита), s3-check, upload-consistency, reconcile-* — по изменениям.

    Проверка: каждая из этих команд на рабочем стенде — код 0; driver.py lb-upload-timeouts — код 0; ruff format --check драйвера.

  • 12.2 Новые команды по решению 17: defense-faults, relay-process, pipeline-state; раздел в SKILL.md: шаги, что проверяется, коды выхода, gotchas.

    Проверка:

    • defense-faults на рабочем стенде — код 0, вывод по каждому окну, токенов и секретов нет, триггеров после прогона нет;
    • прерывание сигналом посреди сценария — worker и relay запущены, триггеров нет, код ненулевой;
    • relay-process, pipeline-state — код 0, JSON разбирается.

13. Правила и карта кода

  • 13.1 Правила по решениям:

    • .claude/rules/worker.md: paths — ещё src/relay/**, src/worker/render.py, src/infra/render/**, сервисы relay и replay, image_variants.py; claim, аренда, fencing, бюджет, лимиты, варианты, relay, replay; строка в AGENTS.md;
    • service-layer.md, repo-layer.md, dto.md, infra.md (broker/ без instance.py, render/), migrations.md (две ревизии), logging.md, settings.md, run-modes.md (relay), docker.md (relay, секреты, порядок), balancer.md (26 с и 73 с, порядок обновления), student-tests.md (hook, окна, время прогона), bench.md (профиль загрузок, rollout_from, паспорт), api-contract.md (503, варианты).

    Проверка: grep -rn "retry_delay_seconds\|_publish_job\|delete_unstarted\|thumbnail.py" .claude AGENTS.md src student-tests bench — только верные упоминания; make lint.

  • 13.2 AGENTS.md: текущий статус, правила лабы 5, таблица важных файлов и команд, карта кода (src/relay/, src/infra/render/, src/worker/render.py, новые сервисы и repo). KNOWN_ISSUES.md: удалить «Разрыв COMMIT и publish» и «content_type». QUESTIONS.md: решения, принятые в apply. Замечания S5, S6, W2 и пункты «Предложения на потом» отметить закрытыми. Граф кода: graphify update ..

    Проверка: каждый новый файл git status назван в карте кода или таблице; make lint, make check.

14. Регресс на рабочем дереве

  • 14.1 Смесь версий и откат по Migration Plan на рабочем стенде: make rolling_update COMMIT=7f38948 MIGRATE=0, затем вперёд по порядку плана.

    Проверка: на прежнем образе сообщения, история и загрузка работают, строки нового кода читаются; после возврата lb_stats без ручных состояний, новые вложения — три варианта, вложение прежнего образа — ready с одним thumbnail, variant=crop — 404; сверка без расхождений по нему.

  • 14.2 Рабочий стенд:

    • make test — PASS: lab5, make validate, make check;
    • make student_test через LB — красное только missing_evidence;
    • make run_dev с make run_relay, make run_worker и EXPECT_REPLICAS=1 make student_test — те же итоги, кроме тестов реплик;
    • make test_isolated, полный make failure_checks;
    • make test-persistence ACTION_SCRIPT=scripts/restart.sh;
    • make test-failover ACTION_SCRIPT=scripts/stop-one.sh дважды (stop, STOP_MODE=kill) с make replicas между ними;
    • make s3_check, make reconcile — код 0;
    • driver.py --port <LB> defense-scenario, defense-faults;
    • make wipe_data не выполнять.
  • 14.3 Регресс bench/: make bench_quick, make bench_failover_quick, make bench_rollout_quick, make bench_restore_quick, make bench_uploads_quick, make bench_reconcile_quick — код 0.

  • 14.4 Сборка из чистого дерева: команда git ls-files -z -co --exclude-standard | tar … из docker.md; в образе импорт Pillow с WebP, версии как в uv.lock, uv и компиляторов нет. make lint, openspec validate pipeline-reliability --strict, openspec validate --specs.

  • 14.5 Отчёт apply для основной сессии: git status, git diff --stat, предложенное сообщение коммита, созданные пробами volumes, что осталось красным и почему. Агент останавливается здесь: коммит и группу 15 выполняет основная сессия.

15. Evidence и отчёт (после коммита, основная сессия)

Снимать на закоммиченном коде: рабочий стенд собран из HEAD (make run_docker), рабочее дерево чистое, в шапке каждого файла команда, дата, commit и стенд. Без токенов, паролей, ключей и секретов. Новые файлы evidence/ на время замеров bench/ выносить из дерева, чтобы паспорта не получили ложный dirty: true (design архива async-attachments, «Уточнения apply», п. 17).

  • 15.1 Коммит кода групп 1–14 на ветке feat/pipeline-reliability, стенд на этом commit: make run_docker, make replicas.

    Проверка: git status чист; docker compose ps — как в задаче 9.6; make test — PASS: lab5.

  • 15.2 Защита и стенд:

    • evidence/attachments/defense-faults.md — driver.py --port <LB> defense-faults;
    • evidence/attachments/defense.md — driver.py --port <LB> defense-scenario;
    • evidence/relay/process.md — driver.py --port <LB> relay-process;
    • evidence/worker/process.md — driver.py --port <LB> worker-process;
    • evidence/broker/stand.md, evidence/broker/isolated.md — как на уровне 3;
    • evidence/attachments/storage.md, evidence/attachments/failover.md, evidence/attachments/consistency.md, evidence/replicas/test-persistence.md — команды уровня 3 заново.

    Проверка: test_exclusion_evidence_exists называет только файлы старых исключений последнего шага прогона.

  • 15.3 Журнал, ключи, схема:

    • evidence/worker/logs.md, evidence/relay/logs.md — журнал готового и failed вложения одного request_id, проход relay, replay с отказом; filename и секретов нет;
    • evidence/s3/cleaner-staging.md — make s3_check и строки списка staging;
    • evidence/migrations/pipeline-reliability.md — проба задач 2.2–2.3 и откат с возвратом задачи 14.1;
    • evidence/uploads/lb-timeouts.md — driver.py lb-upload-timeouts.

    Проверка: grep значений секретов из .env по evidence/ пуст (значения не печатаются).

  • 15.4 Прогоны наборов на этом commit: evidence/tests/student-test-lb.md, evidence/tests/test-isolated.md, evidence/tests/failure-checks.md (полный make failure_checks, число проверок и время, красные прогоны задачи 10.9), evidence/failover/test-failover.md; метка make bench_rollout ROLLOUT_LABEL=pipeline-reliability.

    Проверка: числа в файлах совпадают с выводом команд; красное только missing_evidence по файлам последнего шага прогона.

  • 15.5 REPORT.md, разделы уровня 4 (отчёт уровня 3 остаётся верным, то, что было ограничением и закрыто, обновлено):

    • состояние отчёта и commit: строки таблицы уровня 3, снятые заново, называют новый commit, а метка evidence/uploads/baseline остаётся со своим ff1a83b; архитектура стенда с relay, таблица ролей и сумма лимитов, расчёт соединений PostgreSQL; запуск с make run_relay; STAGING_RETENTION_SECONDS и новые настройки;
    • таблица критериев уровня 4 с командой, наблюдением и файлом — по каждому пункту рубрики;
    • параметры вариантов (quality, method, отсутствие EXIF и ICC); лимиты обработки и бюджет памяти контейнера worker с числами из задачи 9.6;
    • окна отказа после изменения (решение 1), отказ брокера: 202, а не 503; зависимости /health/ready с relay;
    • ответы на вопросы защиты: confirm и ack, что сохранено к 202, повторная доставка и ключ идемпотентности, зависший и долго работающий worker: аренда и fencing; шаг 4 сценария защиты и ссылка на evidence/attachments/defense-faults.md;
    • ограничения: отказ S3 дольше бюджета и replay, восстановление после KILL по аренде, дубли сообщений, объект, дописанный прежней попыткой теми же байтами, профиль ICC, лимит памяти на macOS, цена процесса на задание, сверка не проверяет объекты вариантов, удаление очереди при работающем worker, старые ready без crop и optimized, цепочка LB 73 с с формулой;
    • смесь версий и порядок обновления (Migration Plan);
    • вопросы преподавателю: из QUESTIONS.md, ## pipeline-reliability, а №4 и №5 раздела — с отметкой, как закрыты этим уровнем; раздел «Что остаётся открытым на уровне 3» и «Следующие шаги» обновить.

    Проверка: у каждой новой строки таблицы доказательств есть команда, наблюдение и файл; make lint, make check, openspec validate pipeline-reliability --strict.

  • 15.6 Коммит evidence и REPORT.md основной сессией. Проверка: git status чист; git log -2 — commit кода назван в шапках файлов evidence.

16. Замечания проверки

HEAD до правок — 6bd6053, код снят на e2a6427. Этап 1 — код, тесты, спеки и документы на рабочем дереве, агент не коммитит. Этап 2 — evidence на commit правок, его хэш передаёт основная сессия.

Этап 1

  • 16.1 W1: допустимые PNG на границе контракта становятся failed. _prepared закрывает исходник после convert("RGBA"). Воспроизвести; black-box тест на серый с альфой и RGB с tRNS, падение до правки; сценарий «Изображение в лимите пикселей» в дельте и основном спеке; REPORT.md, таблица проб в design.

    Проверка: пробы процесса обработки по всем режимам до и после; with Image.open и другие режимы не сломаны; тест красный до правки, зелёный после.

  • 16.2 W2: test_hung_worker_lease_fencing не ловит удаление номера попытки. Первая попытка размораживается, пока вторая жива и не держит блокировку строки; сценарий «Прежняя попытка при живой новой» в требовании «Аренда попытки» (дельта и основной спек); докстринг, строка evidence/tests/failure-checks.md, design, «Уточнения apply», п. 14.

    Проверка: без locked.attempt == job.attempt тест красный, с условием зелёный; регрессия откачена, хэши src совпали.

  • 16.3 W3: бюджет памяти в REPORT.md и design, п. 13 — формулировка по фактам после W1.

    Проверка: числа совпадают с пробами; файл замера — этап 2.

  • 16.4 S2: driver.py worker-process — остановка под нагрузкой на двух дорогих JPEG (граница 9,5 с), при замороженных PostgreSQL и брокере; relay-process — docker stop relay при замороженном брокере.

    Проверка: ruff format --check драйвера; разовый запуск на стенде; файлы evidence — этап 2.

  • 16.5 S3: balancer.md — новая реплика без override после отката получит 503 на загрузке.

  • 16.6 S1: ограничение /proc/1/environ — REPORT.md, worker.md, вопрос в QUESTIONS.md с предложением PR_SET_DUMPABLE=0. Кодом не исправляется.

  • 16.7 Регресс на рабочем дереве: make lint, make check, openspec validate pipeline-reliability --strict, пересборка стенда, make test, make student_test, полный make failure_checks.

Этап 2 (после commit правок)

  • 16.8 evidence/worker/memory.md: VmHWM, render_peak, memory.peak — PNG 10 MiB и граничные 40 Мпкс, в том числе два серых 16 бит разом; OOM.
  • 16.9 evidence/worker/process.md, evidence/relay/process.md, evidence/attachments/defense-faults.md с кодом выхода в шапке.
  • 16.10 evidence/tests/failure-checks.md — полный прогон на этом commit; REPORT.md — commit измеренного состояния и бюджет.