fix: address async-attachments verify findings

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-31 09:13:33 +03:00
co-authored by Claude Opus 5.5
parent acc6584dd3
commit 660466020c
14 changed files with 138 additions and 46 deletions
+13 -9
View File
@@ -380,16 +380,20 @@ Design change `async-attachments`, решения 4, 6, 12, 14.
манифестом тега. Пересборка без изменений кода реплики не трогает,
хотя digest тега новый: индекс образа содержит отметки времени
сборки (`evidence/rollout/compatibility.md`).
- Хранилище образов Docker Desktop — containerd. У образа три digest:
- индекс — `docker image inspect <тег>`;
- манифест платформы — метка контейнера и `docker image inspect
--platform`;
- конфигурация — поле `.Image` контейнера.
- Хранилище образов Docker Desktop — containerd. Что чем называется:
- индекс — ID тега, `docker image inspect <тег>`; у каждой пересборки
свой;
- манифест платформы — метка контейнера `com.docker.compose.image` и
`docker image inspect --platform`;
- поле `.Image` контейнера — не digest конфигурации: на пробе оно
совпадало с ID тега на момент создания контейнера, а при том же
манифесте отличалось.
`docker ps` показывает у реплик digest конфигурации, а не имя тега.
Это не признак «старого образа»: прежний пункт `KNOWN_ISSUES.md` о
том, что `run_docker` не пересоздаёт реплики, на этом и ошибся. Образы
сравниваются между контейнерами, по `.Image`.
`docker ps` показывает у реплик ID, а не имя тега, когда тег уже указывает
на другой индекс. Это не признак «старого образа»: прежний пункт
`KNOWN_ISSUES.md` о том, что `run_docker` не пересоздаёт реплики, на этом
и ошибся. Образы сравниваются по метке, а не по `.Image`: `docker inspect
-f '{{index .Config.Labels "com.docker.compose.image"}}' <контейнер>`.
- Без простоя новый код доходит до реплик через `make rolling_update`
(`balancer.md`): по одной, с выводом из LB и одной миграцией.
+13 -11
View File
@@ -141,8 +141,8 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
на `POST /auth/sessions`, остальное — Bearer; `X-User-Id` доступа не
даёт; пароли — только через password KDF (`auth.md`). Valkey — на
«4», кэш карточки чата: источник истины — PostgreSQL, отказ Valkey —
обход кэша, а не ошибка (`infra.md`). Всё это сохраняется в лабах 3
и 4.
обход кэша, а не ошибка (`infra.md`). Всё это сохраняется в лабах 3,
4 и 5.
- Лаба 3: ≥2 взаимозаменяемые реплики `api` за HAProxy — единственной
публичной точкой входа; порты реплик наружу не публикуются, sticky
session нет. В памяти процесса нет ничего, от чего зависит
@@ -156,7 +156,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
(`migrations.md`). Новый код доходит до реплик без простоя через `make
rolling_update`. Стенд и отказы — `balancer.md`. В каждом процессе
uvicorn по-прежнему один worker: масштабирование — числом реплик.
Всё это сохраняется в лабе 4.
Всё это сохраняется в лабах 4 и 5.
- Лаба 4, S3 (change `s3-storage`): SeaweedFS в стенде, образ
закреплён тегом и digest, volume `s3_data`. Bucket приватен с первой
секунды: административная пара — только у сервера, служебные
@@ -421,7 +421,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
| `driver.py --port <LB> reconcile-cycle` | сверка на рабочем стенде (~2 мин): исходный dry-run без расхождений (иначе код 2), расхождения с обеих сторон, dry-run без изменений, 500 → `--apply` → 404 и 200, повтор, удаление чужого объекта, свежий объект после grace, возврат оригинала; `evidence/reconcile/cycle.md` |
| `driver.py --port <LB> reconcile-stress [--seconds S] [--clients N]` | `--apply` раз в ~3 с под загрузками и отправками N клиентов S секунд (4 × 40 с): внесённое исправлено, каждое 201 скачивается с тем же SHA-256, повтор — 0; `evidence/reconcile/stress.md` |
| `driver.py reconcile-signal [--pace [--apply]]` | только не рабочий проект compose (`COMPOSE_PROJECT_NAME` и др., `mtusi-lab5` — код 2): `pause s3`, разовый `reconcile --apply` отдельным контейнером, `docker stop` через секунду после «Started cleaner» — код 1, `interrupted_by: stop`, «Stopped cleaner» с `exit_code` 1, быстрее 10 с; `unpause` в `finally`. `--pace` (change `track2-reconcile-cost`) — вместо `pause s3` объекты пробы мимо API и `reconcile --max-objects-per-second 1`, `docker stop` через 2 с во время паузы предела скорости — остановка ≤ 1 с, `listed_objects` — ключи страницы; `--pace --apply` (verify W1) — объекты пробы без строки, grace 18 с, `reconcile --apply`, `docker stop` посреди удалений: записей «Fixed» и `fixed` столько же, сколько удалено; объекты удаляются в `finally`; `evidence/reconcile/service.md` |
| `make bench_reconcile [RECONCILE_LABEL=...]` | трек 2, стоимость сверки (~50 мин, метка `baseline`; change `track2-reconcile-cost`): стенд `mtusi-bench` с LB, двумя репликами, PostgreSQL, Valkey и S3 с лимитами рабочего стенда, порт метрик шлюза S3 на loopback; наполнение мимо API (`\copy` метаданных, PUT объектов загрузчиком `bench/fill_objects.py`), 1 000 × 1 MiB и 10k → 30k → 100k × 4 KiB с 0,25 % расхождений каждого класса; разовые проходы уборщика (0,25 CPU / 256 МБ, управляемый опыт — 1 CPU): `batch`, `head`, глубокая, фоновая нагрузка с пределом скорости и без, отказ по пределу на образе `Profile.reconcile_before` (`7f4e626`) и checkout; 3 повтора, найденное сверяется с моделью (иначе отказ), счёт сверки — с метриками шлюза; `evidence/reconcile/<метка>/` (`passes.csv`, `windows.csv`, `summary.md` с H1–H4 и S4, SVG). Перед запуском — проверка хоста (`bench.md`), рабочий стенд — `make stop` |
| `make bench_reconcile [RECONCILE_LABEL=...]` | трек 2, стоимость сверки (~50 мин, метка `baseline`; change `track2-reconcile-cost`): стенд `mtusi-bench` с LB, двумя репликами, PostgreSQL, Valkey и S3 с лимитами рабочего стенда, порт метрик шлюза S3 на loopback; наполнение мимо API (`\copy` метаданных, PUT объектов загрузчиком `bench/fill_objects.py`), 1 000 × 1 MiB и 10k → 30k → 100k × 4 KiB с 0,25 % расхождений каждого класса; разовые проходы уборщика (0,25 CPU / 256 МБ, управляемый опыт — 1 CPU): `batch`, `head`, глубокая, фоновая нагрузка с пределом скорости и без, отказ по пределу на образе `Profile.reconcile_before` (`04f8592`, commit переноса лабы 4: ранний отказ уже есть, `bench.md`) и checkout; 3 повтора, найденное сверяется с моделью (иначе отказ), счёт сверки — с метриками шлюза; `evidence/reconcile/<метка>/` (`passes.csv`, `windows.csv`, `summary.md` с H1–H4 и S4, SVG). Перед запуском — проверка хоста (`bench.md`), рабочий стенд — `make stop` |
| `make bench_reconcile_quick` | то же на 2 000 × 4 KiB, по одному проходу каждого вида, окна 5 с, S4 с 300 кандидатами (~4 мин: 3,7 мин на шумном хосте), метка `quick-reconcile-<время>`, в git не идёт |
| `docker compose run --rm --no-deps cleaner --once` | разовый проход уборщика незавершённых загрузок (grace — `[cleaner]` или `-e CLEANER__PENDING_GRACE_SECONDS=…`, не меньше 18 с): 0 — проход дошёл до конца, 1 — прерван отказом, 2 — неверная конфигурация; журнал сервиса — `docker compose logs --no-log-prefix cleaner` |
| `make lb_stats` | слоты HAProxy: адрес, состояние проверки (`DRAIN`, `MAINT` при замене), запросы, повторы, перенаправления (CSV статистики изнутри контейнера LB) |
@@ -447,11 +447,11 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
| `make bench_restore_quick` | то же на 1k / 5k / 10k (~1,5 мин), метка `quick-restore-<время>`, в git не идёт; сценарий защиты трека 2 |
| `make bench_failover [FAILOVER_LABEL=...]` | уровень 4, отказ реплик под нагрузкой (~6 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` с HAProxy и двумя репликами с лимитами рабочего стенда, k6 — 100 записей с ключом и 100 чтений в секунду; каждая реплика в режимах `stop`, `kill`, `pause` с возвратом. Посекундная шкала, время исключения из LB и восстановления, сверка записей после повтора с тем же ключом, CPU и память каждого компонента по окнам фазы (сэмплер `scan`, `resources.csv`, `samples.csv`; CPU на запрос — только до действия) — `evidence/failover/<метка>/`. Перед запуском — проверка хоста (`bench.md`): питание, давление памяти, `Swapouts` без роста; сумма лимитов на пике больше CPU ВМ — код 2 |
| `make bench_failover_quick` | то же короче, режимы `stop` и `kill` (~2 мин), с ресурсами, метка `quick-failover-<время>`, в git не идёт |
| `make bench_rollout [ROLLOUT_LABEL=...]` | уровень 4, поочерёдная замена под нагрузкой (~3 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` как у `bench_failover`, реплики на образе прежнего commit (`Profile.rollout_from`, `git archive`; сейчас `e1161f7` — последний до change `attachments`, правило выбора — `bench.md`; commit вне истории — код 2 до стенда, отладка `--from`), та же нагрузка; посреди неё `scripts/rolling-update.sh` меняет их на образ текущего checkout. Посекундная шкала с ответами старых и новых реплик, шаги по репликам, контейнеры, образы и ревизия до и после, сверка записей, CPU и память каждой старой и новой реплики, миграции и остальных компонентов по окнам до / подготовка / замена / после (CPU на запрос — до и после) — `evidence/rollout/<метка>/`. Перед запуском — проверка хоста (`bench.md`) |
| `make bench_rollout [ROLLOUT_LABEL=...]` | уровень 4, поочерёдная замена под нагрузкой (~3 мин, метка `baseline` по умолчанию): стенд `mtusi-bench` как у `bench_failover`, реплики на образе прежнего commit (`Profile.rollout_from`, `git archive`; сейчас `04f8592` — commit переноса лабы 4, правило выбора — `bench.md`; commit вне истории — код 2 до стенда, отладка `--from`), та же нагрузка; посреди неё `scripts/rolling-update.sh` меняет их на образ текущего checkout. Посекундная шкала с ответами старых и новых реплик, шаги по репликам, контейнеры, образы и ревизия до и после, сверка записей, CPU и память каждой старой и новой реплики, миграции и остальных компонентов по окнам до / подготовка / замена / после (CPU на запрос — до и после) — `evidence/rollout/<метка>/`. Перед запуском — проверка хоста (`bench.md`) |
| `make bench_rollout_quick` | то же с короткими окнами (~2 мин), с ресурсами, метка `quick-rollout-<время>`, в git не идёт |
| `make bench_scaling SERIES=a\|b\|pool\|ab\|db\|db4 [SCALING_LABEL=...] [RESUME=1]` | уровень 5, трек 1: серия на стенде `mtusi-bench` (метка `scaling-<серия>` по умолчанию). `a` — бюджет 4 CPU: 1 × 4, 2 × 2, 4 × 1 (~50 мин); `b` — 1…6 реплик по 1 CPU (~100 мин); `pool` — 4 реплики при `max_connections` 100 и 50 (~35 мин); `ab` — 1 × 1 и 6 × 1 для «до/после» и A/A (~35 мин); `db` — 1, 2, 4 реплики при PostgreSQL 0,5 CPU и контроль 4 × 1 при 2 CPU (~50 мин); `db4` — только 4 × 1 при 0,5 и 2 CPU (~25 мин, «до/после» `scaling-improvement`); `db_quick` — самопроверка серии `db` (~4 мин, метка `quick-*`). Ячейка — конфигурация × повтор (3), свежий стенд; открытая модель 70/20/10, фиксированные 250 и 500/с и поиск R* по SLO; сэмплер контейнеров, ВМ, LB и PostgreSQL. `RESUME=1` — продолжить прерванную метку на том же commit. Перед запуском — проверка хоста, рабочий стенд — `make stop`; метку коммитить до следующей серии (`bench.md`) |
| `make bench_scaling_quick` | самопроверка серий: 1 × 1 и 2 × 1 при `max_connections` 50, короткие окна (~4 мин), метка `quick-scaling-<время>`, в git не идёт |
| `make bench_uploads [UPLOADS_LABEL=...]` | уровень 4, память при одновременных загрузках (~50 мин, метка `baseline` по умолчанию; change `upload-memory`): стенд `mtusi-bench` с LB, одной репликой 1 CPU / 512 МБ без swap, PostgreSQL, Valkey и S3 рабочего стенда; варианты «до» (`Profile.uploads_before` — `f894040`, `git archive`; commit вне истории — код 2), «без лимита» (1000 мест, без очереди) и «с лимитом» (по умолчанию) × тела PNG ~1 и ~10 MiB × 1 / 10 / 20 / 40 клиентов × 3 повтора, на прогон — новые реплика и volume S3; пик `memory.peak` окна со сбросом (сэмплер `peak`), `anon`, `sock`, OOM, ответы по кодам, загрузок/с, p50/p95/p99, пики S3 и LB, H1–H4 в сводке — `evidence/uploads/<метка>/`. Перед запуском — проверка хоста (`bench.md`), рабочий стенд — `make stop`, гипотезы закоммичены раньше |
| `make bench_uploads [UPLOADS_LABEL=...]` | уровень 4, память при одновременных загрузках (~50 мин, метка `baseline` по умолчанию; change `upload-memory`): стенд `mtusi-bench` с LB, одной репликой 1 CPU / 512 МБ без swap, PostgreSQL, Valkey и S3 рабочего стенда; варианты «до» (`Profile.uploads_before` — `04f8592`, commit переноса лабы 4: места загрузки уже есть, `bench.md`; `git archive`; commit вне истории — код 2), «без лимита» (1000 мест, без очереди) и «с лимитом» (по умолчанию) × тела PNG ~1 и ~10 MiB × 1 / 10 / 20 / 40 клиентов × 3 повтора, на прогон — новые реплика и volume S3; пик `memory.peak` окна со сбросом (сэмплер `peak`), `anon`, `sock`, OOM, ответы по кодам, загрузок/с, p50/p95/p99, пики S3 и LB, H1–H4 в сводке — `evidence/uploads/<метка>/`. Перед запуском — проверка хоста (`bench.md`), рабочий стенд — `make stop`, гипотезы закоммичены раньше |
| `make bench_uploads_quick` | то же короче (~4,5 мин): «без лимита» и «с лимитом», 10 MiB, 1 / 10 / 40 клиентов, один повтор, метка `quick-uploads-<время>`, в git не идёт |
| `make bench_plots LABELS="..." [PLOTS=scaling]` | графики SVG и сводка серий трека 1 из меток: R* от числа реплик, p95 от интенсивности, CPU по компонентам, эффективность и точка насыщения — `evidence/plots/<PLOTS>/` |
| `make bench_ab BEFORE=... AFTER=... REAPPLY=<commit> [SERIES=...]` | «до» и «после» одного изменения подряд (два прогона `bench`): `bench` для `BEFORE`, commit доказательств, `git revert` commit отката `REAPPLY`, `bench` для `AFTER`; с `SERIES` — серия трека 1 вместо матрицы (`make bench_scaling`). Нужно чистое рабочее дерево; сама делает два коммита |
@@ -581,7 +581,7 @@ evidence/storage/ # отказы БД, пул, statement_timeout, р
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после)
evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия)
evidence/cache/ # hits.md — make test_isolated + driver.py cache-check на стенде текущей лабы: одно чтение chats на 50 через LB, TTL, ключи двух баз (исключения сверки покрытия)
evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; лаба 4: failure-checks.md (стенд отказов со своим S3 и уборщиком, 56 проверок с `ca0c4b2`, красные прогоны новых тестов каждого change лабы 4 и правок по verify), student-test-lb.md, test-isolated-s3-cleanup.md (уборка префикса test_<db>/) — до attachments с ожидаемо красными тестами схемы Message; лаба 3 (в этом репозитории пока нет): profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline; fix-known-issues-checks.md — сверка событий поток/буфер, красный и зелёный failure_checks, консоль, сверка ссылок исключений, регрессия; strict-id-validation-checks.md — красный и зелёный прогоны курсора и UUID на входе, пересмотр проверки курсора, замена реплик, клон во временном проекте
evidence/tests/ # выводы make test_isolated (test-isolated.md), make student_test через LB (student-test-lb.md) и make failure_checks (failure-checks.md) для REPORT.md, secrets.md; файлы этих проверок лаб 3 и 4 — в их репозиториях
evidence/idempotency/ # повтор, 409, гонка, таблица ключей, X-Instance-Id
evidence/replicas/ # стенд с LB: порты, лимиты и их цена для Argon2id, окружение, распределение, ответы LB (нет реплик, зависшая, без PostgreSQL), test-persistence, чистый clone на нестандартных портах
evidence/failover/ # make test-failover для каждой реплики (stop и kill), отказы stop-one.sh; замер обнаружения, keep-alive, зависшая реплика и ключ; stop-at-start.md — docker stop стартующей реплики «до/после» раннего обработчика и ветка сбоя rolling-update.sh
@@ -600,10 +600,12 @@ evidence/compare/ # таблицы make bench_compare: <до>__<по
KNOWN_ISSUES.md # найденные попутно дефекты, не исправленные без просьбы
```
`evidence/` перенесён без содержимого лабы 3 (оно осталось в
репозитории `mtusi2026lab3-safronov`). Каталоги выше появляются заново
по мере changes; четыре файла исключений сверки покрытия снимаются
заново на стенде лабы 4 (раздел «Переход в следующую лабу»).
`evidence/` в лабу 5 не переносился: здесь только снятое на её стенде, а
файлы и метки лаб 3 и 4 остались в репозиториях `mtusi2026lab3-safronov`
и `mtusi2026lab4-safronov`. Записи карты о changes лаб 3 и 4 говорят, что
такой каталог содержит, когда он снят: каталоги появляются заново по мере
changes, а файлы исключений сверки покрытия снимаются заново на стенде
текущей лабы (раздел «Переход в следующую лабу»).
## Архитектура в двух словах
+10
View File
@@ -98,6 +98,16 @@
- **Группа 15:** снят ещё `make bench_uploads` (метка `baseline`): на неё ссылаются два исключения сверки, а в плане снятия её не было. Новые файлы `evidence/` на время замеров вынесены из дерева, чтобы паспорта не получили ложный `dirty: true`. Design, «Уточнения apply», п. 16–17.
- **Найдено при снятии, не исправлено** (код в группе 15 не меняется, запись в `KNOWN_ISSUES.md` — за основной сессией): в записи «Uploaded attachment» поле `content_type` пишется как `<ImageType.PNG: 'image/png'>`, а не `image/png` (`src/core/services/attachment.py`, `_store`; `evidence/worker/logs.md`). Секретов там нет, запись читается хуже.
### Предложения на потом
Найдено проверкой `async-attachments`, код `src/` здесь не менялся: evidence снят на `ff1a83b`. Берёт `pipeline-reliability`.
- **S5, срок закрытия worker:** комментарий `_CLOSE_TIMEOUT_SECONDS` (`src/worker/main.py:41-43`) обещает сумму меньше срока остановки контейнера 10 с, а худший случай — 8 + 5 × 0,5 = 10,5 с, при `graceful_shutdown_seconds` 9 — 11,5 с. Либо уменьшить составляющие, либо поправить комментарий и верхнюю границу настройки.
- **S6, пауза повтора и сигнал:** сигнал прерывает паузу и даёт `REQUEUE`, а claim не смотрит `next_attempt_at`: перезапущенный worker начнёт попытку раньше паузы (`attachment_processing.py`).
- **W2, дубль после `busy`:** `redelivered` стоит и после `nack(requeue=True)`, поэтому при попытке дольше паузы дубль возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке даст `retry_exhausted`, пока первая ещё идёт (`attachment_processing.py:230`; design, решение 7). Эффект не дублируется. Закрывается lease: живую попытку отличать по `lease_expires_at`, а не по флагу.
- **Спек `load-benchmark`, «Профиль сверки»:** там всё ещё «на образе до change», а `reconcile_before` = `04f8592`: та же неточность, что исправлена у профиля загрузок. Требования нет в дельте этого change, поэтому оно здесь не менялось.
- **`bench/run.py:1744, 2941`:** в паспорт пишется `.Image` как `id` образа, а сравнивать образы надо по метке `com.docker.compose.image` (`.claude/rules/docker.md`).
### Вопросы
Вопросы преподавателю, переносятся в `REPORT.md` (`tasks.md`, задача 15.5). Прогон не останавливают: взята самая
+1 -1
View File
@@ -170,7 +170,7 @@ cleaner → PostgreSQL + S3 (незавершённые загрузки pending
**Почему повторная доставка нормальна и где ключ идемпотентности job?** Подтверждение ack и результат работы нельзя зафиксировать атомарно: процесс может умереть между COMMIT и ack, и брокер обязан доставить сообщение снова. Это at least once, а не exactly once. Эффект идемпотентен: ключ — `(attachment_id, pipeline_version, variant)`, первичный ключ `attachment_variants`, вставка `ON CONFLICT DO NOTHING`; ключи объектов одни и те же при каждом повторе, логическая работа — `UNIQUE (attachment_id, pipeline_version)`. Доставка готовой работы проверяется и подтверждается без записи (`test_redelivery_of_ready_is_noop`), `ready` не откатывается.
**Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?** Сейчас — claim под блокировкой строки задания: `attempt`, `lease_expires_at` и таблица решений. `processing` без `redelivered` при неистёкшем сроке — живая попытка, дубль возвращается в очередь без записи (`test_duplicate_during_processing`). Брокер шлёт `redelivered`, только когда соединение прежнего потребителя потеряно. Если дубль всё же случится, он даст тот же эффект: ключи те же, фиксация условна, `ready` не перезаписывается. **Чего нет на уровне 3:** зависший worker с живым соединением освобождает задание только по сроку подтверждения брокера (30 мин), а поток декодирования сроком не прерывается. Активный проход по истёкшему `lease_expires_at` — `pipeline-reliability`; колонка уже есть.
**Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?** Сейчас — claim под блокировкой строки задания: `attempt`, `lease_expires_at` и таблица решений. `processing` без `redelivered` при неистёкшем сроке — живая попытка, дубль возвращается в очередь без записи (`test_duplicate_during_processing`). `redelivered` значит только «сообщение уже доставлялось»: брокер ставит его и при потере соединения прежнего потребителя, и после `nack(requeue=True)`, поэтому потерянного потребителя этот флаг не доказывает. Отсюда ограничение до lease: дубль, вернувшийся после `busy`, при попытке дольше паузы повтора возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке даст `retry_exhausted`, пока первая ещё идёт, и её результат уже не зафиксируется. Эффект при этом не дублируется: ключи те же, фиксация условна, `ready` не перезаписывается. **Чего нет на уровне 3:** зависший worker с живым соединением освобождает задание только по сроку подтверждения брокера (30 мин), а поток декодирования сроком не прерывается. Активный проход по истёкшему `lease_expires_at` — `pipeline-reliability`; колонка уже есть.
### Сценарий защиты
+35 -3
View File
@@ -1393,11 +1393,15 @@ def verdict_s4(meta: dict[str, Any], passes: list[dict[str, Any]]) -> Verdict:
base = cell_median(passes, base_stage, "batch", "duration_ms")
details = []
checks = []
# «до» уже отказывает рано (commit переноса, `bench.md`): сравнивать не с
# чем, подтвердить выигрыш нельзя
same_before = False
for count in info.get("s4_candidates", []):
stage = f"S4-{count}"
before = cell_median(passes, stage, "before", "duration_ms")
after = cell_median(passes, stage, "after", "duration_ms")
heads = cell_median(passes, stage, "after", "s3_head")
heads_before = cell_median(passes, stage, "before", "s3_head")
both = [
row
for cell in ("before", "after")
@@ -1423,10 +1427,17 @@ def verdict_s4(meta: dict[str, Any], passes: list[dict[str, Any]]) -> Verdict:
checks.append(heads is not None and heads <= limit + 1)
checks.append(codes == {3})
checks.append(unchanged)
early_before = heads_before is not None and heads_before <= limit + 1
same_before = same_before or early_before
before_note = (
f"HEAD до {fmt(heads_before, 0)}: «до» уже с ранним отказом"
if early_before
else f"ожидалось ~{count * S4_MS_PER_CANDIDATE / 1000:.0f} с"
)
details.append(
f"{count} кандидатов: до {fmt(before / 1000, 1)} с (+"
f"{fmt(None if extra_before is None else extra_before / 1000, 1)} "
f"с, ожидалось ~{count * S4_MS_PER_CANDIDATE / 1000:.0f} с), "
f"с, {before_note}), "
f"после {fmt(after / 1000, 1)} с (+"
f"{fmt(None if extra_after is None else extra_after / 1000, 2)} "
f"с), HEAD после {fmt(heads, 0)}, коды {sorted(codes)}, данные "
@@ -1434,14 +1445,19 @@ def verdict_s4(meta: dict[str, Any], passes: list[dict[str, Any]]) -> Verdict:
)
if not checks:
return Verdict("S4", "цена отказа", "нет ячеек", UNTESTED)
if not all(checks):
verdict = REFUTED
else:
verdict = UNTESTED if same_before else CONFIRMED
return Verdict(
"S4",
f"после — не дольше базы на {S4_AFTER_EXTRA_MS / 1000:.0f} с (база "
f"— поверхностный dry-run `batch` этапа {base_stage} того же N: "
"перепроверка его кандидатов и выборка зависших, без отказа по "
"пределу), HEAD ≤ предела + 1, код 3 у обоих, ни одного исправления",
"пределу), HEAD ≤ предела + 1, код 3 у обоих, ни одного исправления; "
"у «до» HEAD больше предела + 1, иначе сравнивать не с чем",
"; ".join(details),
CONFIRMED if all(checks) else REFUTED,
verdict,
details,
)
@@ -2165,6 +2181,7 @@ def selftest() -> int:
0,
duration_ms=4500,
exit_code=3,
s3_head=300,
),
synthetic("S4-300", "after", 10_000, 0, duration_ms=3200, s3_head=101),
]
@@ -2197,6 +2214,21 @@ def selftest() -> int:
refuted("H3", 3, s3_get=9950)
refuted("S4", 7, fixed_total=1)
refuted("S4", 6, fixed_records=None)
# «до» с тем же ранним отказом: S4 не подтверждена и не ждёт полной цены
early = [dict(row) for row in passes]
early[6]["s3_head"] = 101
early_s4 = verdict_s4(meta, early)
expect("verdict S4 same before", early_s4.verdict, UNTESTED)
expect(
"S4 same before: no expected",
"ожидалось" in early_s4.measured,
False,
)
expect(
"S4 old before: expected",
"ожидалось" in verdict_s4(meta, passes).measured,
True,
)
# H4: без 5xx окон контраст подтверждает, пометка фона — нет
clean, _ = windows_of([r for r in parsed if r.status < 500], bounds)
expect(
+15 -6
View File
@@ -26,7 +26,7 @@ MIB = 2**20
# ширина PNG из шума: строка 1024 × 3 байта RGB и байт фильтра
PNG_WIDTH = 1024
PNG_SIGNATURE = b"\x89PNG\r\n\x1a\n"
# варианты кода (решение 10): образ commit до change, checkout без лимита,
# варианты кода (решение 10): образ commit методики, checkout без лимита,
# checkout с параметрами по умолчанию
VARIANTS = ("before", "unlimited", "limited")
VARIANT_NAMES = {
@@ -503,7 +503,7 @@ def hypotheses(
) -> list[dict[str, str]]:
"""Проверка гипотез H1–H4 числами ячеек (design change
`upload-memory`, решение 10). Итог — «да», «нет» или «нет данных»;
вывод по гипотезе пишет `REPORT.md`."""
вывода по гипотезе сводка не делает."""
grouped = cells(rows)
def group(variant: str, size: str, clients: int) -> list[dict[str, Any]]:
@@ -757,9 +757,12 @@ def render_summary(meta: dict[str, Any], rows: list[dict[str, Any]]) -> str:
lines += [
"## Гипотезы",
"",
"Гипотезы — `REPORT.md`, раздел загрузок (commit до прогонов); "
f"здесь — их проверка числами ячеек тела {big or '—'}, лимит "
f"реплики {limit_mib} MiB.",
"Гипотезы сформулированы в лабе 4 (design change `upload-memory`, "
"`openspec/changes/archive/2026-10-22-upload-memory/design.md`); "
f"здесь — только их проверка числами ячеек тела {big or '—'}, лимит "
f"реплики {limit_mib} MiB. Часть H2 про «до» ждёт код без мест "
"загрузки: если они есть в commit «до» из шапки, её итог о коде до "
"`upload-memory` ничего не говорит.",
"",
"| Гипотеза | Утверждение | Числа | Выполнена |",
"|---|---|---|---|",
@@ -796,7 +799,8 @@ def scenario_lines(rows: list[dict[str, Any]], big: str) -> list[str]:
"- `attachments`, «Одна копия тела при записи в S3» (C = 10, "
f"{big}): рост пика над памятью до окна — "
+ "; ".join(parts)
+ " (порог «без лимита» — 1,5 тела, «до» — больше).",
+ " (порог «без лимита» — 1,5 тела; «до» — справочно: что у кода "
"до `upload-memory` больше, показано в отчёте лабы 4).",
)
lim = [grouped.get(("limited", big, c), []) for c in (10, 20, 40)]
if any(lim):
@@ -1103,6 +1107,11 @@ def selftest() -> int:
}
text = render_summary(meta, rows)
expect("summary has H1", "| H1 |" in text, True)
expect(
"summary keeps hypotheses out of report",
"`REPORT.md`" in text,
False,
)
expect("summary names code", "«с лимитом» — 202" in text, True)
expect("summary names broker", "брокер 1 CPU / 512m" in text, True)
expect("summary has cells", "| с лимитом | 10MiB | 40 |" in text, True)
+5 -3
View File
@@ -342,12 +342,14 @@ publish, потом COMMIT. Отвергнута: worker увидел бы за
| `succeeded` | любой | — | проверить: вложение `ready`, вариант есть; `ACK` без записи |
| `failed` | любой | — | `ACK` |
| `queued` | любой | — | взять: `attempt + 1`, `lease_expires_at`, `processing` |
| `processing` | да | любой | прежний потребитель потерян: взять так же |
| `processing` | да | любой | сообщение уже доставлялось: прежний потребитель потерян **или** дубль вернулся после `busy` (флаг стоит и после `nack(requeue=True)`), этого не различить: взять так же, ограничение — ниже |
| `processing` | нет | истёк | взять так же |
| `processing` | нет | идёт | дубль при живой попытке: пауза `retry_delay_seconds`, `REQUEUE` без записи. Следующая доставка придёт с `redelivered`, а попытка к тому времени обычно закончена, и это `ACK` |
Перед взятием: `attempt ≥ max_attempts` → `failed` с `retry_exhausted`, `ACK`. Именно это ограничивает задание, которое роняет worker (OOM, SIGKILL): брокер его снова доставит, а попытка уже посчитана.
**Ограничение до lease.** Дубль, вернувшийся после `busy`, приходит с `redelivered`. Если живая попытка длится дольше паузы, он возьмёт задание параллельно ей и потратит её номер, а на последней попытке даст `retry_exhausted`, пока первая ещё идёт: её результат тогда не фиксируется. Эффект не дублируется: ключи те же, фиксация условна. Закрывает `pipeline-reliability` (`QUESTIONS.md`, «Предложения на потом»).
**Обработка** под `asyncio.timeout(job_timeout_seconds)`:
1. GET staging в память; нет объекта — постоянная `source_missing`; размер или SHA-256 не сходятся с `size_bytes` и `sha256` строки — постоянная `source_corrupted`. Обе дают `processing_failed` в API.
2. PUT `object_key` теми же байтами (`content_type` из строки).
@@ -585,14 +587,14 @@ publish, потом COMMIT. Отвергнута: worker увидел бы за
5. **`Image.Transpose.FLIP_LEFT_RIGHT` равен 0:** проверка `if transpose := …` пропускала orientation 2. Нашла проба задачи 5.1, сверка с `ImageOps.exif_transpose`; тест `test_thumbnail_every_orientation` держит все восемь значений.
6. **`rabbitmqctl delete_queue` отсутствующей очереди** — код 64 и «No such queue was found», а не `not_found`: так проверяют `run_isolated.py` и hook. Нашёл первый `make test_isolated`.
7. **`delete-row` hook удаляет и задание с вариантами** одной транзакцией: FK без каскада иначе не дал бы удалить строку готового вложения. Новое действие `worker-log` — запись `error` журнала worker, которой требует спек, иначе тесту негде её увидеть.
8. **Две прежние проверки отказов сформулированы иначе,** worker теперь параллельно доводит задания прежних тестов, и равенство множеств стало бы гонкой: `ready_ids(after) == ready_ids(before)` в `test_upload_with_object_storage_stopped` → «новая строка одна, `pending`, задания нет»; «новых объектов нет» не считает объекты у `id`, известных до теста (`new_objects`).
8. **Две прежние проверки отказов сформулированы иначе,** worker теперь параллельно доводит задания прежних тестов, и равенство множеств стало бы гонкой: `ready_ids(after) == ready_ids(before)` в `test_upload_with_object_storage_stopped` → «новая строка одна, `pending`, задания нет» и `ready_ids(before) <= ready_ids(after)`: `ready` не откатывается, гонки с worker нет; «новых объектов нет» не считает объекты у `id`, известных до теста (`new_objects`).
9. **Дубль во время фиксации результата** таблица решения 7 не называет: фиксация держит строку задания, поэтому дубль ждёт блокировку и видит итог (`finished`), а не `busy`. `test_duplicate_during_processing` проверяет обе ветки: `busy` при замороженном S3 и `finished` при задержанной фиксации, `attempt` 1.
10. **Сверка фиксирует объект варианта строки, удалённой вручную:** у вложения без строки находка — и `original`, и `v1-thumbnail`, оба `orphan_object`; проверяют тесты расхождений.
11. **Время `make failure_checks`:** 99 проверок, pytest 1304 с, вся команда 1326 с (было 56, ~15 мин). Плюс больше ожидаемых ~5 мин design: 43 новые проверки, из них часть ждёт паузы повтора и grace.
12. **Регрессии задачи 10.10** (каждая откачена, хэши `src` совпали со снимком до них):
- ack до фиксации → `test_worker_killed_during_processing` красный: не `ready` за 60 с, последний статус `processing`;
- публикация без подтверждения → `test_upload_with_broker_paused` красный: 202 вместо 503; `test_upload_with_broker_stopped` зелёный, обрыв соединения публикация видит и так;
- очередь не `durable` → `test_broker_restart_keeps_job` красный, но раньше сценария: на входе `wait_queue_empty` очереди нет; причину (отказ брокера в объявлении или иное) не разбирал. На верном коде тот же запуск — зелёный;
- очередь не `durable` → `test_broker_restart_keeps_job` красный, но раньше сценария. Причина (журналы verify, строки `test_failures.py` — на `ff1a83b`): RabbitMQ 4.3.7 отказывает на `durable=False` (`541 INTERNAL_ERROR - Feature transient_nonexcl_queues is deprecated`), очередь не создаётся, и все 4 теста брокера падают на входе, `test_failures.py:1666`. Регрессия `NOT_PERSISTENT` при durable-очереди красная в самом сценарии: `test_broker_restart_keeps_job` на `test_failures.py:2552` (`assert 0 == 1`), `test_broker_kill_keeps_confirmed` (0 == 5), `test_broker_recreated` (0 вместо 2), `test_queue_durable` (`delivery_mode` 1). `durable=False` с `deprecated_features.permit.transient_nonexcl_queues = true` падает на строке 2552: после рестарта очереди нет. На верном коде тот же запуск — зелёный;
- `Image.thumbnail` вместо своего расчёта → `test_thumbnail_rounding` красный на 1000 × 601;
- `failed` до захвата ключа → `test_replay_after_attachment_failed` красный: 409 вместо 201;
- сверка без ветки варианта → `test_reconcile_variant_objects` красный.
@@ -85,8 +85,9 @@ SHALL отдаваться без чтения тела. Без `Content-Length`
у которой лимит одновременных загрузок выше 10 (профиль загрузок
стенда `bench/`, вариант «без лимита»)
- **THEN** пик памяти реплики выше её памяти до загрузок не больше чем
на 1,5 размера тела на каждую загрузку, а у кода до этого изменения
(вариант «до») — больше
на 1,5 размера тела на каждую загрузку; что у кода до change
`upload-memory` больше — показано в отчёте лабы 4
(`mtusi2026lab4-safronov`, `REPORT.md`)
### Requirement: Лимит пикселей до распаковки
@@ -138,7 +138,8 @@ swap), PostgreSQL, Valkey, S3 и брокер с лимитами рабочег
запускается: задания ждут в очереди.
Варианты кода:
- «до» — образ commit из методики, последнего до change `upload-memory`;
- «до» — образ commit из методики; у лабы 5 это commit переноса лабы 4, в
нём места загрузки уже есть;
- «без лимита» — образ текущего checkout, мест загрузки больше, чем
клиентов, очереди нет;
- «с лимитом» — образ текущего checkout с параметрами загрузок по
@@ -460,3 +460,26 @@ evidence и `REPORT.md`: её запускает основная сессия
Проверка: у каждой новой строки таблицы доказательств есть команда, наблюдение и файл; `make lint`, `make check`, `openspec validate async-attachments --strict`.
- [x] 15.6 Коммит evidence и `REPORT.md` основной сессией. Проверка: `git status` чист; `git log -2` — commit кода назван в шапках файлов evidence.
## 16. Замечания проверки
Код `src/`, миграции, compose и инфраструктура не меняются: evidence снят на `ff1a83b` и остаётся действительным, не пересъёмается.
- [x] 16.1 W1. Вариант «до» в спеках и исключении сверки: в дельте и основном спеке `load-benchmark` «до» — commit из методики (у лабы 5 — перенос лабы 4); условие про «до» в дельте и основном спеке `attachments` — ссылка на отчёт лабы 4 (`mtusi2026lab4-safronov`, `REPORT.md`); текст исключения в `spec_coverage.py`; повторный sync.
Проверка: `openspec validate --specs`; дельты и основные спеки совпадают; сверка покрытия без «unknown scenario».
- [x] 16.2 W2. Ответ на вопрос защиты о `redelivered`: абзац `REPORT.md`, строка таблицы claim в design (решение 7): флаг стоит и после `nack(requeue=True)`; дубль после `busy` при попытке дольше паузы — ограничение до lease. Код `src/` не меняется, закрывает `pipeline-reliability`.
- [x] 16.3 W3. `AGENTS.md`: commit профилей `bench/` — `04f8592` со ссылкой на `bench.md`; упоминания лабы 4 как текущей (раздел `evidence/`, «стенде лабы 4»).
Проверка: `grep` прежних commit в `AGENTS.md` пуст.
- [x] 16.4 S1. Design, «Уточнения apply», п. 12: разобранная причина регрессии `durable` и числа журналов verify вместо «причину не разбирал».
- [x] 16.5 S2. `.claude/rules/docker.md`: что такое `.Image` и по чему сравнивать образы (метка `com.docker.compose.image`).
Проверка: значения `.Image`, метки и ID тега на рабочем стенде.
- [x] 16.6 S3. `test_upload_with_object_storage_stopped`: контроль `ready_ids(before) <= ready_ids(after)`.
Проверка: `make failure_checks FAULT_ARGS='-k test_upload_with_object_storage_stopped'`; красный прогон — если дёшево, иначе названо в отчёте.
- [x] 16.7 S4. Тексты сводок `bench/`: `reconcile.py` не пишет «S4: подтверждена» и «ожидалось ~N с», когда «до» ведёт себя так же; `uploads.py` не ссылается на гипотезы в `REPORT.md` и не требует от «до» порога. Метки в `evidence/` не пересчитываются.
Проверка: `--selftest` обоих модулей.
- [x] 16.8 S5, S6, код W2: `QUESTIONS.md`, `## async-attachments`, «Предложения на потом» — для `pipeline-reliability`, без правки кода.
+3 -2
View File
@@ -94,8 +94,9 @@ SHALL отдаваться без чтения тела. Без `Content-Length`
у которой лимит одновременных загрузок выше 10 (профиль загрузок
стенда `bench/`, вариант «без лимита»)
- **THEN** пик памяти реплики выше её памяти до загрузок не больше чем
на 1,5 размера тела на каждую загрузку, а у кода до этого изменения
(вариант «до») — больше
на 1,5 размера тела на каждую загрузку; что у кода до change
`upload-memory` больше — показано в отчёте лабы 4
(`mtusi2026lab4-safronov`, `REPORT.md`)
### Requirement: Лимит пикселей до распаковки
+2 -1
View File
@@ -1874,7 +1874,8 @@ swap), PostgreSQL, Valkey, S3 и брокер с лимитами рабочег
запускается: задания ждут в очереди.
Варианты кода:
- «до» — образ commit из методики, последнего до change `upload-memory`;
- «до» — образ commit из методики; у лабы 5 это commit переноса лабы 4, в
нём места загрузки уже есть;
- «без лимита» — образ текущего checkout, мест загрузки больше, чем
клиентов, очереди нет;
- «с лимитом» — образ текущего checkout с параметрами загрузок по
+5 -5
View File
@@ -134,12 +134,12 @@ EXCLUDED: dict[Scenario, Exclusion] = {
),
("attachments", "Одна копия тела при записи в S3"): Exclusion(
reason="нужен пик памяти cgroup реплики под одновременными "
"загрузками и образ кода до change upload-memory, а тесты ходят "
"по HTTP",
"загрузками, а тесты ходят по HTTP",
check="make bench_uploads (профиль uploads стенда bench/): "
"варианты «до» и «без лимита» при 10 клиентах по 10 MiB, пик окна "
"над памятью до загрузок в телах на загрузку — "
"evidence/uploads/baseline/summary.md",
"вариант «без лимита» при 10 клиентах по 10 MiB, пик окна над "
"памятью до загрузок в телах на загрузку — "
"evidence/uploads/baseline/summary.md; у кода до change "
"upload-memory — отчёт лабы 4 (mtusi2026lab4-safronov, REPORT.md)",
),
("attachments", "Память не растёт с числом загрузок"): Exclusion(
reason="нужен пик памяти cgroup реплики, реплика без swap и "
+8 -2
View File
@@ -726,16 +726,22 @@ def test_upload_with_object_storage_stopped(
chat: dict[str, Any],
) -> None:
data = images.sample_png()
# хотя бы одно готовое вложение: контроль ниже не пуст случайно
ready = api.upload_ready(alice, chat["id"], data)
before = attachment_rows(stand)
assert ready["id"] in ready_ids(before)
with outage(stand, "stop", "s3"):
resp, elapsed = timed(lambda: upload_raw(api, alice, chat, data))
assert_error(resp, 503)
assert elapsed < S3_TIMEOUT_S + SLACK_S, f"503 after {elapsed:.2f}s"
after = attachment_rows(stand)
# строка-намерение осталась, готовых не прибавилось; её уберёт
# уборщик (test_cleaner_survives_outages)
# строка-намерение осталась; её уберёт уборщик
# (test_cleaner_survives_outages)
(pending,) = new_ids(before, after)
assert after[pending] == "pending"
# ready не откатывается; число готовых может расти: worker
# параллельно доводит задания прежних тестов
assert ready_ids(before) <= ready_ids(after)
# заданий и принятых не прибавилось: новая строка одна и pending
assert job_row(stand, pending) is None
# замечание S6 verify attachments: id последней pending — от hook