From 660466020cb861fe0407a095c4ae809a26657c8f Mon Sep 17 00:00:00 2001 From: roman Date: Sat, 31 Oct 2026 09:13:33 +0300 Subject: [PATCH] fix: address async-attachments verify findings Co-Authored-By: Claude Opus 5.5 --- .claude/rules/docker.md | 22 ++++++----- AGENTS.md | 24 ++++++------ QUESTIONS.md | 10 +++++ REPORT.md | 2 +- bench/reconcile.py | 38 +++++++++++++++++-- bench/uploads.py | 21 +++++++--- openspec/changes/async-attachments/design.md | 8 ++-- .../specs/attachments/spec.md | 5 ++- .../specs/load-benchmark/spec.md | 3 +- openspec/changes/async-attachments/tasks.md | 23 +++++++++++ openspec/specs/attachments/spec.md | 5 ++- openspec/specs/load-benchmark/spec.md | 3 +- student-tests/spec_coverage.py | 10 ++--- student-tests/test_failures.py | 10 ++++- 14 files changed, 138 insertions(+), 46 deletions(-) diff --git a/.claude/rules/docker.md b/.claude/rules/docker.md index 2d294165..d382ac8d 100644 --- a/.claude/rules/docker.md +++ b/.claude/rules/docker.md @@ -380,16 +380,20 @@ Design change `async-attachments`, решения 4, 6, 12, 14. манифестом тега. Пересборка без изменений кода реплики не трогает, хотя digest тега новый: индекс образа содержит отметки времени сборки (`evidence/rollout/compatibility.md`). -- Хранилище образов Docker Desktop — containerd. У образа три digest: - - индекс — `docker image inspect <тег>`; - - манифест платформы — метка контейнера и `docker image inspect - --platform`; - - конфигурация — поле `.Image` контейнера. +- Хранилище образов Docker Desktop — containerd. Что чем называется: + - индекс — ID тега, `docker image inspect <тег>`; у каждой пересборки + свой; + - манифест платформы — метка контейнера `com.docker.compose.image` и + `docker image inspect --platform`; + - поле `.Image` контейнера — не digest конфигурации: на пробе оно + совпадало с ID тега на момент создания контейнера, а при том же + манифесте отличалось. - `docker ps` показывает у реплик digest конфигурации, а не имя тега. - Это не признак «старого образа»: прежний пункт `KNOWN_ISSUES.md` о - том, что `run_docker` не пересоздаёт реплики, на этом и ошибся. Образы - сравниваются между контейнерами, по `.Image`. + `docker ps` показывает у реплик ID, а не имя тега, когда тег уже указывает + на другой индекс. Это не признак «старого образа»: прежний пункт + `KNOWN_ISSUES.md` о том, что `run_docker` не пересоздаёт реплики, на этом + и ошибся. Образы сравниваются по метке, а не по `.Image`: `docker inspect + -f '{{index .Config.Labels "com.docker.compose.image"}}' <контейнер>`. - Без простоя новый код доходит до реплик через `make rolling_update` (`balancer.md`): по одной, с выводом из LB и одной миграцией. diff --git a/AGENTS.md b/AGENTS.md index 6736c994..051071fc 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -141,8 +141,8 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore на `POST /auth/sessions`, остальное — Bearer; `X-User-Id` доступа не даёт; пароли — только через password KDF (`auth.md`). Valkey — на «4», кэш карточки чата: источник истины — PostgreSQL, отказ Valkey — - обход кэша, а не ошибка (`infra.md`). Всё это сохраняется в лабах 3 - и 4. + обход кэша, а не ошибка (`infra.md`). Всё это сохраняется в лабах 3, + 4 и 5. - Лаба 3: ≥2 взаимозаменяемые реплики `api` за HAProxy — единственной публичной точкой входа; порты реплик наружу не публикуются, sticky session нет. В памяти процесса нет ничего, от чего зависит @@ -156,7 +156,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore (`migrations.md`). Новый код доходит до реплик без простоя через `make rolling_update`. Стенд и отказы — `balancer.md`. В каждом процессе uvicorn по-прежнему один worker: масштабирование — числом реплик. - Всё это сохраняется в лабе 4. + Всё это сохраняется в лабах 4 и 5. - Лаба 4, S3 (change `s3-storage`): SeaweedFS в стенде, образ закреплён тегом и digest, volume `s3_data`. Bucket приватен с первой секунды: административная пара — только у сервера, служебные @@ -421,7 +421,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore | `driver.py --port reconcile-cycle` | сверка на рабочем стенде (~2 мин): исходный dry-run без расхождений (иначе код 2), расхождения с обеих сторон, dry-run без изменений, 500 → `--apply` → 404 и 200, повтор, удаление чужого объекта, свежий объект после grace, возврат оригинала; `evidence/reconcile/cycle.md` | | `driver.py --port reconcile-stress [--seconds S] [--clients N]` | `--apply` раз в ~3 с под загрузками и отправками N клиентов S секунд (4 × 40 с): внесённое исправлено, каждое 201 скачивается с тем же SHA-256, повтор — 0; `evidence/reconcile/stress.md` | | `driver.py reconcile-signal [--pace [--apply]]` | только не рабочий проект compose (`COMPOSE_PROJECT_NAME` и др., `mtusi-lab5` — код 2): `pause s3`, разовый `reconcile --apply` отдельным контейнером, `docker stop` через секунду после «Started cleaner» — код 1, `interrupted_by: stop`, «Stopped cleaner» с `exit_code` 1, быстрее 10 с; `unpause` в `finally`. `--pace` (change `track2-reconcile-cost`) — вместо `pause s3` объекты пробы мимо API и `reconcile --max-objects-per-second 1`, `docker stop` через 2 с во время паузы предела скорости — остановка ≤ 1 с, `listed_objects` — ключи страницы; `--pace --apply` (verify W1) — объекты пробы без строки, grace 18 с, `reconcile --apply`, `docker stop` посреди удалений: записей «Fixed» и `fixed` столько же, сколько удалено; объекты удаляются в `finally`; `evidence/reconcile/service.md` | -| `make bench_reconcile [RECONCILE_LABEL=...]` | трек 2, стоимость сверки (~50 мин, метка `baseline`; change `track2-reconcile-cost`): стенд `mtusi-bench` с LB, двумя репликами, PostgreSQL, Valkey и S3 с лимитами рабочего стенда, порт метрик шлюза S3 на loopback; наполнение мимо API (`\copy` метаданных, PUT объектов загрузчиком `bench/fill_objects.py`), 1 000 × 1 MiB и 10k → 30k → 100k × 4 KiB с 0,25 % расхождений каждого класса; разовые проходы уборщика (0,25 CPU / 256 МБ, управляемый опыт — 1 CPU): `batch`, `head`, глубокая, фоновая нагрузка с пределом скорости и без, отказ по пределу на образе `Profile.reconcile_before` (`7f4e626`) и checkout; 3 повтора, найденное сверяется с моделью (иначе отказ), счёт сверки — с метриками шлюза; `evidence/reconcile/<метка>/` (`passes.csv`, `windows.csv`, `summary.md` с H1–H4 и S4, SVG). Перед запуском — проверка хоста (`bench.md`), рабочий стенд — `make stop` | +| `make bench_reconcile [RECONCILE_LABEL=...]` | трек 2, стоимость сверки (~50 мин, метка `baseline`; change `track2-reconcile-cost`): стенд `mtusi-bench` с LB, двумя репликами, PostgreSQL, Valkey и S3 с лимитами рабочего стенда, порт метрик шлюза S3 на loopback; наполнение мимо API (`\copy` метаданных, PUT объектов загрузчиком `bench/fill_objects.py`), 1 000 × 1 MiB и 10k → 30k → 100k × 4 KiB с 0,25 % расхождений каждого класса; разовые проходы уборщика (0,25 CPU / 256 МБ, управляемый опыт — 1 CPU): `batch`, `head`, глубокая, фоновая нагрузка с пределом скорости и без, отказ по пределу на образе `Profile.reconcile_before` (`04f8592`, commit переноса лабы 4: ранний отказ уже есть, `bench.md`) и checkout; 3 повтора, найденное сверяется с моделью (иначе отказ), счёт сверки — с метриками шлюза; `evidence/reconcile/<метка>/` (`passes.csv`, `windows.csv`, `summary.md` с H1–H4 и S4, SVG). Перед запуском — проверка хоста (`bench.md`), рабочий стенд — `make stop` | | `make bench_reconcile_quick` | то же на 2 000 × 4 KiB, по одному проходу каждого вида, окна 5 с, S4 с 300 кандидатами (~4 мин: 3,7 мин на шумном хосте), метка `quick-reconcile-<время>`, в git не идёт | | `docker compose run --rm --no-deps cleaner --once` | разовый проход уборщика незавершённых загрузок (grace — `[cleaner]` или `-e CLEANER__PENDING_GRACE_SECONDS=…`, не меньше 18 с): 0 — проход дошёл до конца, 1 — прерван отказом, 2 — неверная конфигурация; журнал сервиса — `docker compose logs --no-log-prefix cleaner` | | `make lb_stats` | слоты HAProxy: адрес, состояние проверки (`DRAIN`, `MAINT` при замене), запросы, повторы, перенаправления (CSV статистики изнутри контейнера LB) | @@ -447,11 +447,11 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore | `make bench_restore_quick` | то же на 1k / 5k / 10k (~1,5 мин), метка `quick-restore-<время>`, в git не идёт; сценарий защиты трека 2 | | `make bench_failover [FAILOVER_LABEL=...]` | уровень 4, отказ реплик под нагрузкой (~6 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` с HAProxy и двумя репликами с лимитами рабочего стенда, k6 — 100 записей с ключом и 100 чтений в секунду; каждая реплика в режимах `stop`, `kill`, `pause` с возвратом. Посекундная шкала, время исключения из LB и восстановления, сверка записей после повтора с тем же ключом, CPU и память каждого компонента по окнам фазы (сэмплер `scan`, `resources.csv`, `samples.csv`; CPU на запрос — только до действия) — `evidence/failover/<метка>/`. Перед запуском — проверка хоста (`bench.md`): питание, давление памяти, `Swapouts` без роста; сумма лимитов на пике больше CPU ВМ — код 2 | | `make bench_failover_quick` | то же короче, режимы `stop` и `kill` (~2 мин), с ресурсами, метка `quick-failover-<время>`, в git не идёт | -| `make bench_rollout [ROLLOUT_LABEL=...]` | уровень 4, поочерёдная замена под нагрузкой (~3 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` как у `bench_failover`, реплики на образе прежнего commit (`Profile.rollout_from`, `git archive`; сейчас `e1161f7` — последний до change `attachments`, правило выбора — `bench.md`; commit вне истории — код 2 до стенда, отладка `--from`), та же нагрузка; посреди неё `scripts/rolling-update.sh` меняет их на образ текущего checkout. Посекундная шкала с ответами старых и новых реплик, шаги по репликам, контейнеры, образы и ревизия до и после, сверка записей, CPU и память каждой старой и новой реплики, миграции и остальных компонентов по окнам до / подготовка / замена / после (CPU на запрос — до и после) — `evidence/rollout/<метка>/`. Перед запуском — проверка хоста (`bench.md`) | +| `make bench_rollout [ROLLOUT_LABEL=...]` | уровень 4, поочерёдная замена под нагрузкой (~3 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` как у `bench_failover`, реплики на образе прежнего commit (`Profile.rollout_from`, `git archive`; сейчас `04f8592` — commit переноса лабы 4, правило выбора — `bench.md`; commit вне истории — код 2 до стенда, отладка `--from`), та же нагрузка; посреди неё `scripts/rolling-update.sh` меняет их на образ текущего checkout. Посекундная шкала с ответами старых и новых реплик, шаги по репликам, контейнеры, образы и ревизия до и после, сверка записей, CPU и память каждой старой и новой реплики, миграции и остальных компонентов по окнам до / подготовка / замена / после (CPU на запрос — до и после) — `evidence/rollout/<метка>/`. Перед запуском — проверка хоста (`bench.md`) | | `make bench_rollout_quick` | то же с короткими окнами (~2 мин), с ресурсами, метка `quick-rollout-<время>`, в git не идёт | | `make bench_scaling SERIES=a\|b\|pool\|ab\|db\|db4 [SCALING_LABEL=...] [RESUME=1]` | уровень 5, трек 1: серия на стенде `mtusi-bench` (метка `scaling-<серия>` по умолчанию). `a` — бюджет 4 CPU: 1 × 4, 2 × 2, 4 × 1 (~50 мин); `b` — 1…6 реплик по 1 CPU (~100 мин); `pool` — 4 реплики при `max_connections` 100 и 50 (~35 мин); `ab` — 1 × 1 и 6 × 1 для «до/после» и A/A (~35 мин); `db` — 1, 2, 4 реплики при PostgreSQL 0,5 CPU и контроль 4 × 1 при 2 CPU (~50 мин); `db4` — только 4 × 1 при 0,5 и 2 CPU (~25 мин, «до/после» `scaling-improvement`); `db_quick` — самопроверка серии `db` (~4 мин, метка `quick-*`). Ячейка — конфигурация × повтор (3), свежий стенд; открытая модель 70/20/10, фиксированные 250 и 500/с и поиск R* по SLO; сэмплер контейнеров, ВМ, LB и PostgreSQL. `RESUME=1` — продолжить прерванную метку на том же commit. Перед запуском — проверка хоста, рабочий стенд — `make stop`; метку коммитить до следующей серии (`bench.md`) | | `make bench_scaling_quick` | самопроверка серий: 1 × 1 и 2 × 1 при `max_connections` 50, короткие окна (~4 мин), метка `quick-scaling-<время>`, в git не идёт | -| `make bench_uploads [UPLOADS_LABEL=...]` | уровень 4, память при одновременных загрузках (~50 мин, метка `baseline` по умолчанию; change `upload-memory`): стенд `mtusi-bench` с LB, одной репликой 1 CPU / 512 МБ без swap, PostgreSQL, Valkey и S3 рабочего стенда; варианты «до» (`Profile.uploads_before` — `f894040`, `git archive`; commit вне истории — код 2), «без лимита» (1000 мест, без очереди) и «с лимитом» (по умолчанию) × тела PNG ~1 и ~10 MiB × 1 / 10 / 20 / 40 клиентов × 3 повтора, на прогон — новые реплика и volume S3; пик `memory.peak` окна со сбросом (сэмплер `peak`), `anon`, `sock`, OOM, ответы по кодам, загрузок/с, p50/p95/p99, пики S3 и LB, H1–H4 в сводке — `evidence/uploads/<метка>/`. Перед запуском — проверка хоста (`bench.md`), рабочий стенд — `make stop`, гипотезы закоммичены раньше | +| `make bench_uploads [UPLOADS_LABEL=...]` | уровень 4, память при одновременных загрузках (~50 мин, метка `baseline` по умолчанию; change `upload-memory`): стенд `mtusi-bench` с LB, одной репликой 1 CPU / 512 МБ без swap, PostgreSQL, Valkey и S3 рабочего стенда; варианты «до» (`Profile.uploads_before` — `04f8592`, commit переноса лабы 4: места загрузки уже есть, `bench.md`; `git archive`; commit вне истории — код 2), «без лимита» (1000 мест, без очереди) и «с лимитом» (по умолчанию) × тела PNG ~1 и ~10 MiB × 1 / 10 / 20 / 40 клиентов × 3 повтора, на прогон — новые реплика и volume S3; пик `memory.peak` окна со сбросом (сэмплер `peak`), `anon`, `sock`, OOM, ответы по кодам, загрузок/с, p50/p95/p99, пики S3 и LB, H1–H4 в сводке — `evidence/uploads/<метка>/`. Перед запуском — проверка хоста (`bench.md`), рабочий стенд — `make stop`, гипотезы закоммичены раньше | | `make bench_uploads_quick` | то же короче (~4,5 мин): «без лимита» и «с лимитом», 10 MiB, 1 / 10 / 40 клиентов, один повтор, метка `quick-uploads-<время>`, в git не идёт | | `make bench_plots LABELS="..." [PLOTS=scaling]` | графики SVG и сводка серий трека 1 из меток: R* от числа реплик, p95 от интенсивности, CPU по компонентам, эффективность и точка насыщения — `evidence/plots//` | | `make bench_ab BEFORE=... AFTER=... REAPPLY= [SERIES=...]` | «до» и «после» одного изменения подряд (два прогона `bench`): `bench` для `BEFORE`, commit доказательств, `git revert` commit отката `REAPPLY`, `bench` для `AFTER`; с `SERIES` — серия трека 1 вместо матрицы (`make bench_scaling`). Нужно чистое рабочее дерево; сама делает два коммита | @@ -581,7 +581,7 @@ evidence/storage/ # отказы БД, пул, statement_timeout, р evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после) evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия) evidence/cache/ # hits.md — make test_isolated + driver.py cache-check на стенде текущей лабы: одно чтение chats на 50 через LB, TTL, ключи двух баз (исключения сверки покрытия) -evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; лаба 4: failure-checks.md (стенд отказов со своим S3 и уборщиком, 56 проверок с `ca0c4b2`, красные прогоны новых тестов каждого change лабы 4 и правок по verify), student-test-lb.md, test-isolated-s3-cleanup.md (уборка префикса test_/) — до attachments с ожидаемо красными тестами схемы Message; лаба 3 (в этом репозитории пока нет): profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline; fix-known-issues-checks.md — сверка событий поток/буфер, красный и зелёный failure_checks, консоль, сверка ссылок исключений, регрессия; strict-id-validation-checks.md — красный и зелёный прогоны курсора и UUID на входе, пересмотр проверки курсора, замена реплик, клон во временном проекте +evidence/tests/ # выводы make test_isolated (test-isolated.md), make student_test через LB (student-test-lb.md) и make failure_checks (failure-checks.md) для REPORT.md, secrets.md; файлы этих проверок лаб 3 и 4 — в их репозиториях evidence/idempotency/ # повтор, 409, гонка, таблица ключей, X-Instance-Id evidence/replicas/ # стенд с LB: порты, лимиты и их цена для Argon2id, окружение, распределение, ответы LB (нет реплик, зависшая, без PostgreSQL), test-persistence, чистый clone на нестандартных портах evidence/failover/ # make test-failover для каждой реплики (stop и kill), отказы stop-one.sh; замер обнаружения, keep-alive, зависшая реплика и ключ; stop-at-start.md — docker stop стартующей реплики «до/после» раннего обработчика и ветка сбоя rolling-update.sh @@ -600,10 +600,12 @@ evidence/compare/ # таблицы make bench_compare: <до>__<по KNOWN_ISSUES.md # найденные попутно дефекты, не исправленные без просьбы ``` -`evidence/` перенесён без содержимого лабы 3 (оно осталось в -репозитории `mtusi2026lab3-safronov`). Каталоги выше появляются заново -по мере changes; четыре файла исключений сверки покрытия снимаются -заново на стенде лабы 4 (раздел «Переход в следующую лабу»). +`evidence/` в лабу 5 не переносился: здесь только снятое на её стенде, а +файлы и метки лаб 3 и 4 остались в репозиториях `mtusi2026lab3-safronov` +и `mtusi2026lab4-safronov`. Записи карты о changes лаб 3 и 4 говорят, что +такой каталог содержит, когда он снят: каталоги появляются заново по мере +changes, а файлы исключений сверки покрытия снимаются заново на стенде +текущей лабы (раздел «Переход в следующую лабу»). ## Архитектура в двух словах diff --git a/QUESTIONS.md b/QUESTIONS.md index 0429dceb..b5b57d09 100644 --- a/QUESTIONS.md +++ b/QUESTIONS.md @@ -98,6 +98,16 @@ - **Группа 15:** снят ещё `make bench_uploads` (метка `baseline`): на неё ссылаются два исключения сверки, а в плане снятия её не было. Новые файлы `evidence/` на время замеров вынесены из дерева, чтобы паспорта не получили ложный `dirty: true`. Design, «Уточнения apply», п. 16–17. - **Найдено при снятии, не исправлено** (код в группе 15 не меняется, запись в `KNOWN_ISSUES.md` — за основной сессией): в записи «Uploaded attachment» поле `content_type` пишется как ``, а не `image/png` (`src/core/services/attachment.py`, `_store`; `evidence/worker/logs.md`). Секретов там нет, запись читается хуже. +### Предложения на потом + +Найдено проверкой `async-attachments`, код `src/` здесь не менялся: evidence снят на `ff1a83b`. Берёт `pipeline-reliability`. + +- **S5, срок закрытия worker:** комментарий `_CLOSE_TIMEOUT_SECONDS` (`src/worker/main.py:41-43`) обещает сумму меньше срока остановки контейнера 10 с, а худший случай — 8 + 5 × 0,5 = 10,5 с, при `graceful_shutdown_seconds` 9 — 11,5 с. Либо уменьшить составляющие, либо поправить комментарий и верхнюю границу настройки. +- **S6, пауза повтора и сигнал:** сигнал прерывает паузу и даёт `REQUEUE`, а claim не смотрит `next_attempt_at`: перезапущенный worker начнёт попытку раньше паузы (`attachment_processing.py`). +- **W2, дубль после `busy`:** `redelivered` стоит и после `nack(requeue=True)`, поэтому при попытке дольше паузы дубль возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке даст `retry_exhausted`, пока первая ещё идёт (`attachment_processing.py:230`; design, решение 7). Эффект не дублируется. Закрывается lease: живую попытку отличать по `lease_expires_at`, а не по флагу. +- **Спек `load-benchmark`, «Профиль сверки»:** там всё ещё «на образе до change», а `reconcile_before` = `04f8592`: та же неточность, что исправлена у профиля загрузок. Требования нет в дельте этого change, поэтому оно здесь не менялось. +- **`bench/run.py:1744, 2941`:** в паспорт пишется `.Image` как `id` образа, а сравнивать образы надо по метке `com.docker.compose.image` (`.claude/rules/docker.md`). + ### Вопросы Вопросы преподавателю, переносятся в `REPORT.md` (`tasks.md`, задача 15.5). Прогон не останавливают: взята самая diff --git a/REPORT.md b/REPORT.md index 6dc79fd4..05cd2738 100644 --- a/REPORT.md +++ b/REPORT.md @@ -170,7 +170,7 @@ cleaner → PostgreSQL + S3 (незавершённые загрузки pending **Почему повторная доставка нормальна и где ключ идемпотентности job?** Подтверждение ack и результат работы нельзя зафиксировать атомарно: процесс может умереть между COMMIT и ack, и брокер обязан доставить сообщение снова. Это at least once, а не exactly once. Эффект идемпотентен: ключ — `(attachment_id, pipeline_version, variant)`, первичный ключ `attachment_variants`, вставка `ON CONFLICT DO NOTHING`; ключи объектов одни и те же при каждом повторе, логическая работа — `UNIQUE (attachment_id, pipeline_version)`. Доставка готовой работы проверяется и подтверждается без записи (`test_redelivery_of_ready_is_noop`), `ready` не откатывается. -**Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?** Сейчас — claim под блокировкой строки задания: `attempt`, `lease_expires_at` и таблица решений. `processing` без `redelivered` при неистёкшем сроке — живая попытка, дубль возвращается в очередь без записи (`test_duplicate_during_processing`). Брокер шлёт `redelivered`, только когда соединение прежнего потребителя потеряно. Если дубль всё же случится, он даст тот же эффект: ключи те же, фиксация условна, `ready` не перезаписывается. **Чего нет на уровне 3:** зависший worker с живым соединением освобождает задание только по сроку подтверждения брокера (30 мин), а поток декодирования сроком не прерывается. Активный проход по истёкшему `lease_expires_at` — `pipeline-reliability`; колонка уже есть. +**Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?** Сейчас — claim под блокировкой строки задания: `attempt`, `lease_expires_at` и таблица решений. `processing` без `redelivered` при неистёкшем сроке — живая попытка, дубль возвращается в очередь без записи (`test_duplicate_during_processing`). `redelivered` значит только «сообщение уже доставлялось»: брокер ставит его и при потере соединения прежнего потребителя, и после `nack(requeue=True)`, поэтому потерянного потребителя этот флаг не доказывает. Отсюда ограничение до lease: дубль, вернувшийся после `busy`, при попытке дольше паузы повтора возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке даст `retry_exhausted`, пока первая ещё идёт, и её результат уже не зафиксируется. Эффект при этом не дублируется: ключи те же, фиксация условна, `ready` не перезаписывается. **Чего нет на уровне 3:** зависший worker с живым соединением освобождает задание только по сроку подтверждения брокера (30 мин), а поток декодирования сроком не прерывается. Активный проход по истёкшему `lease_expires_at` — `pipeline-reliability`; колонка уже есть. ### Сценарий защиты diff --git a/bench/reconcile.py b/bench/reconcile.py index 2662654b..3a00249f 100644 --- a/bench/reconcile.py +++ b/bench/reconcile.py @@ -1393,11 +1393,15 @@ def verdict_s4(meta: dict[str, Any], passes: list[dict[str, Any]]) -> Verdict: base = cell_median(passes, base_stage, "batch", "duration_ms") details = [] checks = [] + # «до» уже отказывает рано (commit переноса, `bench.md`): сравнивать не с + # чем, подтвердить выигрыш нельзя + same_before = False for count in info.get("s4_candidates", []): stage = f"S4-{count}" before = cell_median(passes, stage, "before", "duration_ms") after = cell_median(passes, stage, "after", "duration_ms") heads = cell_median(passes, stage, "after", "s3_head") + heads_before = cell_median(passes, stage, "before", "s3_head") both = [ row for cell in ("before", "after") @@ -1423,10 +1427,17 @@ def verdict_s4(meta: dict[str, Any], passes: list[dict[str, Any]]) -> Verdict: checks.append(heads is not None and heads <= limit + 1) checks.append(codes == {3}) checks.append(unchanged) + early_before = heads_before is not None and heads_before <= limit + 1 + same_before = same_before or early_before + before_note = ( + f"HEAD до {fmt(heads_before, 0)}: «до» уже с ранним отказом" + if early_before + else f"ожидалось ~{count * S4_MS_PER_CANDIDATE / 1000:.0f} с" + ) details.append( f"{count} кандидатов: до {fmt(before / 1000, 1)} с (+" f"{fmt(None if extra_before is None else extra_before / 1000, 1)} " - f"с, ожидалось ~{count * S4_MS_PER_CANDIDATE / 1000:.0f} с), " + f"с, {before_note}), " f"после {fmt(after / 1000, 1)} с (+" f"{fmt(None if extra_after is None else extra_after / 1000, 2)} " f"с), HEAD после {fmt(heads, 0)}, коды {sorted(codes)}, данные " @@ -1434,14 +1445,19 @@ def verdict_s4(meta: dict[str, Any], passes: list[dict[str, Any]]) -> Verdict: ) if not checks: return Verdict("S4", "цена отказа", "нет ячеек", UNTESTED) + if not all(checks): + verdict = REFUTED + else: + verdict = UNTESTED if same_before else CONFIRMED return Verdict( "S4", f"после — не дольше базы на {S4_AFTER_EXTRA_MS / 1000:.0f} с (база " f"— поверхностный dry-run `batch` этапа {base_stage} того же N: " "перепроверка его кандидатов и выборка зависших, без отказа по " - "пределу), HEAD ≤ предела + 1, код 3 у обоих, ни одного исправления", + "пределу), HEAD ≤ предела + 1, код 3 у обоих, ни одного исправления; " + "у «до» HEAD больше предела + 1, иначе сравнивать не с чем", "; ".join(details), - CONFIRMED if all(checks) else REFUTED, + verdict, details, ) @@ -2165,6 +2181,7 @@ def selftest() -> int: 0, duration_ms=4500, exit_code=3, + s3_head=300, ), synthetic("S4-300", "after", 10_000, 0, duration_ms=3200, s3_head=101), ] @@ -2197,6 +2214,21 @@ def selftest() -> int: refuted("H3", 3, s3_get=9950) refuted("S4", 7, fixed_total=1) refuted("S4", 6, fixed_records=None) + # «до» с тем же ранним отказом: S4 не подтверждена и не ждёт полной цены + early = [dict(row) for row in passes] + early[6]["s3_head"] = 101 + early_s4 = verdict_s4(meta, early) + expect("verdict S4 same before", early_s4.verdict, UNTESTED) + expect( + "S4 same before: no expected", + "ожидалось" in early_s4.measured, + False, + ) + expect( + "S4 old before: expected", + "ожидалось" in verdict_s4(meta, passes).measured, + True, + ) # H4: без 5xx окон контраст подтверждает, пометка фона — нет clean, _ = windows_of([r for r in parsed if r.status < 500], bounds) expect( diff --git a/bench/uploads.py b/bench/uploads.py index f3662dd5..9a546339 100644 --- a/bench/uploads.py +++ b/bench/uploads.py @@ -26,7 +26,7 @@ MIB = 2**20 # ширина PNG из шума: строка 1024 × 3 байта RGB и байт фильтра PNG_WIDTH = 1024 PNG_SIGNATURE = b"\x89PNG\r\n\x1a\n" -# варианты кода (решение 10): образ commit до change, checkout без лимита, +# варианты кода (решение 10): образ commit методики, checkout без лимита, # checkout с параметрами по умолчанию VARIANTS = ("before", "unlimited", "limited") VARIANT_NAMES = { @@ -503,7 +503,7 @@ def hypotheses( ) -> list[dict[str, str]]: """Проверка гипотез H1–H4 числами ячеек (design change `upload-memory`, решение 10). Итог — «да», «нет» или «нет данных»; - вывод по гипотезе пишет `REPORT.md`.""" + вывода по гипотезе сводка не делает.""" grouped = cells(rows) def group(variant: str, size: str, clients: int) -> list[dict[str, Any]]: @@ -757,9 +757,12 @@ def render_summary(meta: dict[str, Any], rows: list[dict[str, Any]]) -> str: lines += [ "## Гипотезы", "", - "Гипотезы — `REPORT.md`, раздел загрузок (commit до прогонов); " - f"здесь — их проверка числами ячеек тела {big or '—'}, лимит " - f"реплики {limit_mib} MiB.", + "Гипотезы сформулированы в лабе 4 (design change `upload-memory`, " + "`openspec/changes/archive/2026-10-22-upload-memory/design.md`); " + f"здесь — только их проверка числами ячеек тела {big or '—'}, лимит " + f"реплики {limit_mib} MiB. Часть H2 про «до» ждёт код без мест " + "загрузки: если они есть в commit «до» из шапки, её итог о коде до " + "`upload-memory` ничего не говорит.", "", "| Гипотеза | Утверждение | Числа | Выполнена |", "|---|---|---|---|", @@ -796,7 +799,8 @@ def scenario_lines(rows: list[dict[str, Any]], big: str) -> list[str]: "- `attachments`, «Одна копия тела при записи в S3» (C = 10, " f"{big}): рост пика над памятью до окна — " + "; ".join(parts) - + " (порог «без лимита» — 1,5 тела, «до» — больше).", + + " (порог «без лимита» — 1,5 тела; «до» — справочно: что у кода " + "до `upload-memory` больше, показано в отчёте лабы 4).", ) lim = [grouped.get(("limited", big, c), []) for c in (10, 20, 40)] if any(lim): @@ -1103,6 +1107,11 @@ def selftest() -> int: } text = render_summary(meta, rows) expect("summary has H1", "| H1 |" in text, True) + expect( + "summary keeps hypotheses out of report", + "`REPORT.md`" in text, + False, + ) expect("summary names code", "«с лимитом» — 202" in text, True) expect("summary names broker", "брокер 1 CPU / 512m" in text, True) expect("summary has cells", "| с лимитом | 10MiB | 40 |" in text, True) diff --git a/openspec/changes/async-attachments/design.md b/openspec/changes/async-attachments/design.md index e91bd94f..c6d6da3a 100644 --- a/openspec/changes/async-attachments/design.md +++ b/openspec/changes/async-attachments/design.md @@ -342,12 +342,14 @@ publish, потом COMMIT. Отвергнута: worker увидел бы за | `succeeded` | любой | — | проверить: вложение `ready`, вариант есть; `ACK` без записи | | `failed` | любой | — | `ACK` | | `queued` | любой | — | взять: `attempt + 1`, `lease_expires_at`, `processing` | -| `processing` | да | любой | прежний потребитель потерян: взять так же | +| `processing` | да | любой | сообщение уже доставлялось: прежний потребитель потерян **или** дубль вернулся после `busy` (флаг стоит и после `nack(requeue=True)`), этого не различить: взять так же, ограничение — ниже | | `processing` | нет | истёк | взять так же | | `processing` | нет | идёт | дубль при живой попытке: пауза `retry_delay_seconds`, `REQUEUE` без записи. Следующая доставка придёт с `redelivered`, а попытка к тому времени обычно закончена, и это `ACK` | Перед взятием: `attempt ≥ max_attempts` → `failed` с `retry_exhausted`, `ACK`. Именно это ограничивает задание, которое роняет worker (OOM, SIGKILL): брокер его снова доставит, а попытка уже посчитана. +**Ограничение до lease.** Дубль, вернувшийся после `busy`, приходит с `redelivered`. Если живая попытка длится дольше паузы, он возьмёт задание параллельно ей и потратит её номер, а на последней попытке даст `retry_exhausted`, пока первая ещё идёт: её результат тогда не фиксируется. Эффект не дублируется: ключи те же, фиксация условна. Закрывает `pipeline-reliability` (`QUESTIONS.md`, «Предложения на потом»). + **Обработка** под `asyncio.timeout(job_timeout_seconds)`: 1. GET staging в память; нет объекта — постоянная `source_missing`; размер или SHA-256 не сходятся с `size_bytes` и `sha256` строки — постоянная `source_corrupted`. Обе дают `processing_failed` в API. 2. PUT `object_key` теми же байтами (`content_type` из строки). @@ -585,14 +587,14 @@ publish, потом COMMIT. Отвергнута: worker увидел бы за 5. **`Image.Transpose.FLIP_LEFT_RIGHT` равен 0:** проверка `if transpose := …` пропускала orientation 2. Нашла проба задачи 5.1, сверка с `ImageOps.exif_transpose`; тест `test_thumbnail_every_orientation` держит все восемь значений. 6. **`rabbitmqctl delete_queue` отсутствующей очереди** — код 64 и «No such queue was found», а не `not_found`: так проверяют `run_isolated.py` и hook. Нашёл первый `make test_isolated`. 7. **`delete-row` hook удаляет и задание с вариантами** одной транзакцией: FK без каскада иначе не дал бы удалить строку готового вложения. Новое действие `worker-log` — запись `error` журнала worker, которой требует спек, иначе тесту негде её увидеть. -8. **Две прежние проверки отказов сформулированы иначе,** worker теперь параллельно доводит задания прежних тестов, и равенство множеств стало бы гонкой: `ready_ids(after) == ready_ids(before)` в `test_upload_with_object_storage_stopped` → «новая строка одна, `pending`, задания нет»; «новых объектов нет» не считает объекты у `id`, известных до теста (`new_objects`). +8. **Две прежние проверки отказов сформулированы иначе,** worker теперь параллельно доводит задания прежних тестов, и равенство множеств стало бы гонкой: `ready_ids(after) == ready_ids(before)` в `test_upload_with_object_storage_stopped` → «новая строка одна, `pending`, задания нет» и `ready_ids(before) <= ready_ids(after)`: `ready` не откатывается, гонки с worker нет; «новых объектов нет» не считает объекты у `id`, известных до теста (`new_objects`). 9. **Дубль во время фиксации результата** таблица решения 7 не называет: фиксация держит строку задания, поэтому дубль ждёт блокировку и видит итог (`finished`), а не `busy`. `test_duplicate_during_processing` проверяет обе ветки: `busy` при замороженном S3 и `finished` при задержанной фиксации, `attempt` 1. 10. **Сверка фиксирует объект варианта строки, удалённой вручную:** у вложения без строки находка — и `original`, и `v1-thumbnail`, оба `orphan_object`; проверяют тесты расхождений. 11. **Время `make failure_checks`:** 99 проверок, pytest 1304 с, вся команда 1326 с (было 56, ~15 мин). Плюс больше ожидаемых ~5 мин design: 43 новые проверки, из них часть ждёт паузы повтора и grace. 12. **Регрессии задачи 10.10** (каждая откачена, хэши `src` совпали со снимком до них): - ack до фиксации → `test_worker_killed_during_processing` красный: не `ready` за 60 с, последний статус `processing`; - публикация без подтверждения → `test_upload_with_broker_paused` красный: 202 вместо 503; `test_upload_with_broker_stopped` зелёный, обрыв соединения публикация видит и так; - - очередь не `durable` → `test_broker_restart_keeps_job` красный, но раньше сценария: на входе `wait_queue_empty` очереди нет; причину (отказ брокера в объявлении или иное) не разбирал. На верном коде тот же запуск — зелёный; + - очередь не `durable` → `test_broker_restart_keeps_job` красный, но раньше сценария. Причина (журналы verify, строки `test_failures.py` — на `ff1a83b`): RabbitMQ 4.3.7 отказывает на `durable=False` (`541 INTERNAL_ERROR - Feature transient_nonexcl_queues is deprecated`), очередь не создаётся, и все 4 теста брокера падают на входе, `test_failures.py:1666`. Регрессия `NOT_PERSISTENT` при durable-очереди красная в самом сценарии: `test_broker_restart_keeps_job` на `test_failures.py:2552` (`assert 0 == 1`), `test_broker_kill_keeps_confirmed` (0 == 5), `test_broker_recreated` (0 вместо 2), `test_queue_durable` (`delivery_mode` 1). `durable=False` с `deprecated_features.permit.transient_nonexcl_queues = true` падает на строке 2552: после рестарта очереди нет. На верном коде тот же запуск — зелёный; - `Image.thumbnail` вместо своего расчёта → `test_thumbnail_rounding` красный на 1000 × 601; - `failed` до захвата ключа → `test_replay_after_attachment_failed` красный: 409 вместо 201; - сверка без ветки варианта → `test_reconcile_variant_objects` красный. diff --git a/openspec/changes/async-attachments/specs/attachments/spec.md b/openspec/changes/async-attachments/specs/attachments/spec.md index 132d8646..0b9cdf16 100644 --- a/openspec/changes/async-attachments/specs/attachments/spec.md +++ b/openspec/changes/async-attachments/specs/attachments/spec.md @@ -85,8 +85,9 @@ SHALL отдаваться без чтения тела. Без `Content-Length` у которой лимит одновременных загрузок выше 10 (профиль загрузок стенда `bench/`, вариант «без лимита») - **THEN** пик памяти реплики выше её памяти до загрузок не больше чем - на 1,5 размера тела на каждую загрузку, а у кода до этого изменения - (вариант «до») — больше + на 1,5 размера тела на каждую загрузку; что у кода до change + `upload-memory` больше — показано в отчёте лабы 4 + (`mtusi2026lab4-safronov`, `REPORT.md`) ### Requirement: Лимит пикселей до распаковки diff --git a/openspec/changes/async-attachments/specs/load-benchmark/spec.md b/openspec/changes/async-attachments/specs/load-benchmark/spec.md index 9ad5d8e7..35b5228f 100644 --- a/openspec/changes/async-attachments/specs/load-benchmark/spec.md +++ b/openspec/changes/async-attachments/specs/load-benchmark/spec.md @@ -138,7 +138,8 @@ swap), PostgreSQL, Valkey, S3 и брокер с лимитами рабочег запускается: задания ждут в очереди. Варианты кода: -- «до» — образ commit из методики, последнего до change `upload-memory`; +- «до» — образ commit из методики; у лабы 5 это commit переноса лабы 4, в + нём места загрузки уже есть; - «без лимита» — образ текущего checkout, мест загрузки больше, чем клиентов, очереди нет; - «с лимитом» — образ текущего checkout с параметрами загрузок по diff --git a/openspec/changes/async-attachments/tasks.md b/openspec/changes/async-attachments/tasks.md index fa1d9457..036ddc98 100644 --- a/openspec/changes/async-attachments/tasks.md +++ b/openspec/changes/async-attachments/tasks.md @@ -460,3 +460,26 @@ evidence и `REPORT.md`: её запускает основная сессия Проверка: у каждой новой строки таблицы доказательств есть команда, наблюдение и файл; `make lint`, `make check`, `openspec validate async-attachments --strict`. - [x] 15.6 Коммит evidence и `REPORT.md` основной сессией. Проверка: `git status` чист; `git log -2` — commit кода назван в шапках файлов evidence. + +## 16. Замечания проверки + +Код `src/`, миграции, compose и инфраструктура не меняются: evidence снят на `ff1a83b` и остаётся действительным, не пересъёмается. + +- [x] 16.1 W1. Вариант «до» в спеках и исключении сверки: в дельте и основном спеке `load-benchmark` «до» — commit из методики (у лабы 5 — перенос лабы 4); условие про «до» в дельте и основном спеке `attachments` — ссылка на отчёт лабы 4 (`mtusi2026lab4-safronov`, `REPORT.md`); текст исключения в `spec_coverage.py`; повторный sync. + + Проверка: `openspec validate --specs`; дельты и основные спеки совпадают; сверка покрытия без «unknown scenario». +- [x] 16.2 W2. Ответ на вопрос защиты о `redelivered`: абзац `REPORT.md`, строка таблицы claim в design (решение 7): флаг стоит и после `nack(requeue=True)`; дубль после `busy` при попытке дольше паузы — ограничение до lease. Код `src/` не меняется, закрывает `pipeline-reliability`. +- [x] 16.3 W3. `AGENTS.md`: commit профилей `bench/` — `04f8592` со ссылкой на `bench.md`; упоминания лабы 4 как текущей (раздел `evidence/`, «стенде лабы 4»). + + Проверка: `grep` прежних commit в `AGENTS.md` пуст. +- [x] 16.4 S1. Design, «Уточнения apply», п. 12: разобранная причина регрессии `durable` и числа журналов verify вместо «причину не разбирал». +- [x] 16.5 S2. `.claude/rules/docker.md`: что такое `.Image` и по чему сравнивать образы (метка `com.docker.compose.image`). + + Проверка: значения `.Image`, метки и ID тега на рабочем стенде. +- [x] 16.6 S3. `test_upload_with_object_storage_stopped`: контроль `ready_ids(before) <= ready_ids(after)`. + + Проверка: `make failure_checks FAULT_ARGS='-k test_upload_with_object_storage_stopped'`; красный прогон — если дёшево, иначе названо в отчёте. +- [x] 16.7 S4. Тексты сводок `bench/`: `reconcile.py` не пишет «S4: подтверждена» и «ожидалось ~N с», когда «до» ведёт себя так же; `uploads.py` не ссылается на гипотезы в `REPORT.md` и не требует от «до» порога. Метки в `evidence/` не пересчитываются. + + Проверка: `--selftest` обоих модулей. +- [x] 16.8 S5, S6, код W2: `QUESTIONS.md`, `## async-attachments`, «Предложения на потом» — для `pipeline-reliability`, без правки кода. diff --git a/openspec/specs/attachments/spec.md b/openspec/specs/attachments/spec.md index 3550fa52..92e89e8f 100644 --- a/openspec/specs/attachments/spec.md +++ b/openspec/specs/attachments/spec.md @@ -94,8 +94,9 @@ SHALL отдаваться без чтения тела. Без `Content-Length` у которой лимит одновременных загрузок выше 10 (профиль загрузок стенда `bench/`, вариант «без лимита») - **THEN** пик памяти реплики выше её памяти до загрузок не больше чем - на 1,5 размера тела на каждую загрузку, а у кода до этого изменения - (вариант «до») — больше + на 1,5 размера тела на каждую загрузку; что у кода до change + `upload-memory` больше — показано в отчёте лабы 4 + (`mtusi2026lab4-safronov`, `REPORT.md`) ### Requirement: Лимит пикселей до распаковки diff --git a/openspec/specs/load-benchmark/spec.md b/openspec/specs/load-benchmark/spec.md index 715d8742..f9b873d8 100644 --- a/openspec/specs/load-benchmark/spec.md +++ b/openspec/specs/load-benchmark/spec.md @@ -1874,7 +1874,8 @@ swap), PostgreSQL, Valkey, S3 и брокер с лимитами рабочег запускается: задания ждут в очереди. Варианты кода: -- «до» — образ commit из методики, последнего до change `upload-memory`; +- «до» — образ commit из методики; у лабы 5 это commit переноса лабы 4, в + нём места загрузки уже есть; - «без лимита» — образ текущего checkout, мест загрузки больше, чем клиентов, очереди нет; - «с лимитом» — образ текущего checkout с параметрами загрузок по diff --git a/student-tests/spec_coverage.py b/student-tests/spec_coverage.py index 2fdfef2d..9ed8bfe9 100644 --- a/student-tests/spec_coverage.py +++ b/student-tests/spec_coverage.py @@ -134,12 +134,12 @@ EXCLUDED: dict[Scenario, Exclusion] = { ), ("attachments", "Одна копия тела при записи в S3"): Exclusion( reason="нужен пик памяти cgroup реплики под одновременными " - "загрузками и образ кода до change upload-memory, а тесты ходят " - "по HTTP", + "загрузками, а тесты ходят по HTTP", check="make bench_uploads (профиль uploads стенда bench/): " - "варианты «до» и «без лимита» при 10 клиентах по 10 MiB, пик окна " - "над памятью до загрузок в телах на загрузку — " - "evidence/uploads/baseline/summary.md", + "вариант «без лимита» при 10 клиентах по 10 MiB, пик окна над " + "памятью до загрузок в телах на загрузку — " + "evidence/uploads/baseline/summary.md; у кода до change " + "upload-memory — отчёт лабы 4 (mtusi2026lab4-safronov, REPORT.md)", ), ("attachments", "Память не растёт с числом загрузок"): Exclusion( reason="нужен пик памяти cgroup реплики, реплика без swap и " diff --git a/student-tests/test_failures.py b/student-tests/test_failures.py index 66dedb4f..a5386d03 100644 --- a/student-tests/test_failures.py +++ b/student-tests/test_failures.py @@ -726,16 +726,22 @@ def test_upload_with_object_storage_stopped( chat: dict[str, Any], ) -> None: data = images.sample_png() + # хотя бы одно готовое вложение: контроль ниже не пуст случайно + ready = api.upload_ready(alice, chat["id"], data) before = attachment_rows(stand) + assert ready["id"] in ready_ids(before) with outage(stand, "stop", "s3"): resp, elapsed = timed(lambda: upload_raw(api, alice, chat, data)) assert_error(resp, 503) assert elapsed < S3_TIMEOUT_S + SLACK_S, f"503 after {elapsed:.2f}s" after = attachment_rows(stand) - # строка-намерение осталась, готовых не прибавилось; её уберёт - # уборщик (test_cleaner_survives_outages) + # строка-намерение осталась; её уберёт уборщик + # (test_cleaner_survives_outages) (pending,) = new_ids(before, after) assert after[pending] == "pending" + # ready не откатывается; число готовых может расти: worker + # параллельно доводит задания прежних тестов + assert ready_ids(before) <= ready_ids(after) # заданий и принятых не прибавилось: новая строка одна и pending assert job_row(stand, pending) is None # замечание S6 verify attachments: id последней pending — от hook