diff --git a/.claude/rules/balancer.md b/.claude/rules/balancer.md index bc9c2672..daf6cfc0 100644 --- a/.claude/rules/balancer.md +++ b/.claude/rules/balancer.md @@ -310,8 +310,16 @@ rolling_update COMMIT=<прежний> MIGRATE=0`. решение 9): как bootstrap, он не реплика за LB. После `make rolling_update` уборщик работает на прежнем образе — корректно, схема только расширяется (индекс). Новый код уборщика — `docker compose up -d ---no-deps cleaner` или `make run_docker`; его SIGTERM доводит текущую -строку и выходит за ≤ 6 с. +--no-deps cleaner` или `make run_docker`; его SIGTERM доводит текущий +шаг строки и выходит за ≤ 6 с. Пометка строки к уборке (verify W1, +design `upload-consistency`, «Уточнения apply», п. 16) защищает от +`ready` без объекта, только когда новые и реплики, и уборщик: прежний +уборщик строку не помечает, а реплики прежней версии пометку не +проверяют. До конца замены и `up -d --no-deps cleaner` действует +прежний остаточный риск (загрузка, пережившая grace, при откате +транзакции уборщика), это ограничение в `REPORT.md`. Обратная +совместимость есть: новый `mark_ready` на строках, вставленных прежним +кодом, работает (вставка всегда писала `created_at` = `updated_at`). **Bootstrap S3 скрипт не запускает** (design change `s3-storage`, решение 9): новая реплика поднимается с `--no-deps`. Bootstrap, как diff --git a/.claude/rules/docker.md b/.claude/rules/docker.md index ea236a00..e694c55a 100644 --- a/.claude/rules/docker.md +++ b/.claude/rules/docker.md @@ -272,8 +272,12 @@ git ls-files -z -co --exclude-standard | tar --null -T - -cf - | docker build -t --exit-code-from s3-bootstrap s3-bootstrap` (`make start_s3`). - **Уборщик** (с лабы 4, сервис `cleaner`, design change `upload-consistency`, решения 2 и 9): образ API (`image: - mtusi-messenger:lab4`, `pull_policy: never`), `command: ["python", - "-m", "src.cleaner"]`, `restart: unless-stopped`, без портов. + mtusi-messenger:lab4`, `pull_policy: never`), `entrypoint: ["python", + "-m", "src.cleaner"]`, а не `command`: аргументы после имени сервиса + (`docker compose run --rm --no-deps cleaner --once`) — флаги + уборщика, а с `command` они заменили бы саму команду («executable file + not found», design change `upload-consistency`, «Уточнения apply», + п. 6). `restart: unless-stopped`, без портов. Окружение — `<<: [*db-env, *s3-env]`, `DATABASE__POOL_SIZE: "1"` и ключи уборщика `S3_CLEANER_*` в `S3__ACCESS_KEY_ID` / `S3__SECRET_ACCESS_KEY`: ни пароля Valkey, ни ключей API, ни diff --git a/.claude/rules/repo-layer.md b/.claude/rules/repo-layer.md index 8f5cb412..8d836de0 100644 --- a/.claude/rules/repo-layer.md +++ b/.claude/rules/repo-layer.md @@ -50,8 +50,10 @@ paths: Порог `expired_before`, решение «повтор или 409» и commit — в сервисе. Ключ в исключения и логи не попадает. - Repo вложений (лаба 4, design change `attachments`, решения 3, 4, 8): - - `attachment.py`: `insert_attachment`, `mark_ready` (`UPDATE … WHERE - status = 'pending' RETURNING`, `None` — строки `pending` нет), + - `attachment.py`: `insert_attachment` (`created_at` и `updated_at` + одним значением), `mark_ready` (`UPDATE … WHERE status = 'pending' + AND updated_at = created_at RETURNING`, `None` — строки `pending` нет + или уборщик пометил её к уборке), `get_attachment`, `get_attachments` (до 10 строк по первичному ключу). Значения `content_type` и `status` — `.value` enum на записи и enum в DTO на чтении. Для уборщика (design change @@ -59,8 +61,10 @@ paths: `(created_at, id)`, `status = 'pending'`, `created_at < older_than`, `LIMIT`), `lock_stale_pending` (те же условия по `id`, `FOR UPDATE SKIP LOCKED`; `None` — строки нет, она `ready` или её - держат), `delete_attachment` (`RETURNING id`, `bool`); DTO — - `AttachmentInListDTO`. Статус в этих выражениях — константа + держат), `mark_removing` (пометка к уборке: `updated_at` = время + уборщика, позже `created_at`; без миграции, CHECK + `updated_after_created` выполняется), `delete_attachment` + (`RETURNING id`, `bool`); DTO — `AttachmentInListDTO`. Статус в этих выражениях — константа (`literal(..., literal_execute=True)`), а не параметр: условие частичного индекса `ix_attachments_pending_created_at` планировщик доказывает только по константе, и общий план подготовленного diff --git a/.claude/rules/run-modes.md b/.claude/rules/run-modes.md index 81eeccf3..b05ba422 100644 --- a/.claude/rules/run-modes.md +++ b/.claude/rules/run-modes.md @@ -106,8 +106,9 @@ access_log=False)`. Импорты в `src/__main__.py` — внутри `if __n engine и клиента S3; затем обработчики SIGTERM и SIGINT asyncio, `early_stop.disarm()`, «Started cleaner». - Цикл: проход, затем ожидание `[cleaner] interval_seconds` или - сигнала. SIGTERM / SIGINT ставят флаг: текущая строка доводится (не - дольше срока шага с БД, 6 с), новые не берутся, клиенты закрываются, + сигнала. SIGTERM / SIGINT ставят флаг: доводится текущий шаг строки — + пометка, удаление объекта или строки (не дольше срока шага с БД, 6 с; + флаг проверяется и между шагами), новые не берутся, клиенты закрываются, «Stopped cleaner» и код 0 — раньше `stop_grace_period` 10 с. Сигнал до обработчиков asyncio — ранний обработчик: «Stopped cleaner before startup», код 0. diff --git a/.claude/rules/service-layer.md b/.claude/rules/service-layer.md index f1c1699c..5a4f801c 100644 --- a/.claude/rules/service-layer.md +++ b/.claude/rules/service-layer.md @@ -88,21 +88,36 @@ paths: удаляется до ответа (`_compensate`: `delete_original` без повторов, неудача — `warning`, исходная ошибка уходит дальше); сбой на `commit()` — исход неизвестен, объект не трогается. `mark_ready` → - `None` (строку убрал уборщик) — `error`, удаление объекта, 503 - `ServiceUnavailable`. После неудачного PUT компенсации нет, строку + `None` (строку убрал или пометил к уборке уборщик) — `error`, + удаление объекта, 503 `ServiceUnavailable`. После неудачного PUT + компенсации нет, строку компенсация не удаляет никогда — её убирает уборщик. `CancelledError` не ловится (`except Exception`); - уборка — `AttachmentCleanupService(db_scope, storage)` (`services/attachment_cleanup.py`), сервис процесса уборщика, а не реплик API: `clean_stale_pending(*, older_than, batch_size, stop_requested)`. Кандидаты — короткая транзакция без блокировки - (keyset), затем каждая строка — своя транзакция: - `lock_stale_pending` (`FOR UPDATE SKIP LOCKED`) → `delete_original` - → `delete_attachment` → commit. Объект раньше строки: сбой между ними - оставляет строку без объекта, а не наоборот. Отказ S3 — откат - строки и прерывание прохода, отказ БД — тоже (`session_scope` уже - записал `warning`); `stop_requested()` проверяется перед строкой. - Итог — `CleanupPassDTO`; + (keyset), затем каждая строка — три шага (verify W1, design, + «Уточнения apply», п. 16): + 1. транзакция пометки: `lock_stale_pending` (`FOR UPDATE SKIP + LOCKED`) → `mark_removing` (`updated_at = utcnow()`) → commit; + 2. `delete_original` — вне транзакции, только после подтверждённой + пометки; + 3. транзакция строки: снова `lock_stale_pending` → + `delete_attachment` → commit; строки нет или она занята — + пропуск. + + Помеченную строку `mark_ready` в `ready` не переводит (`updated_at = + created_at`), поэтому сбой после удаления объекта (откат шага 3, + DELETE, который S3 выполнил после срока) не даёт `ready` без + объекта. Не одна транзакция на строку: её откат после удачного + DELETE в S3 вернул бы строку непомеченной, и загрузка, пережившая + grace, сделала бы её `ready` без объекта. Объект раньше строки: сбой + между ними оставляет строку без объекта, а не наоборот. Отказ S3 или + БД прерывает проход (`session_scope` уже записал `warning`), + помеченная строка ждёт следующего прохода — пометка ставится заново. + `stop_requested()` проверяется перед строкой и между шагами. Итог — + `CleanupPassDTO`; - чтение: `pending`, нет строки, не участник — одно `AttachmentNotFound`; скачивание — `open_original` вне транзакции, нет объекта или другой размер — `error` в журнале и diff --git a/.claude/rules/student-tests.md b/.claude/rules/student-tests.md index 3f36053d..02fdee4a 100644 --- a/.claude/rules/student-tests.md +++ b/.claude/rules/student-tests.md @@ -117,10 +117,18 @@ paths: (замечание S6 verify `attachments`), `object-ids` (файлы `original` из `weed shell fs.tree` под `/buckets//<база>/attachments`; bucket и база — `FAULT_S3_BUCKET`, `FAULT_DATABASE` от - `run_failures.py`), `fail-attachments insert|ready|stall ` - (триггер на уникальный `filename` теста: вставка или перевод в - `ready` падает с SQLSTATE 08006 — для API отказ БД, 503; `stall` — - перевод в `ready` ждёт `pg_sleep(4)`), `clear-fail-attachments`, + `run_failures.py`), `fail-attachments + insert|ready|stall|commit|outlive|undeletable ` (триггеры + на уникальный `filename` теста, сбой — SQLSTATE 08006, для API отказ + БД, 503: вставка или перевод в `ready` падает; `stall` — перевод в + `ready` ждёт `pg_sleep(4)`; `commit` — отложенный триггер + ограничения роняет COMMIT перевода, исход для API неизвестен; + `outlive` — строка вставляется на час старше вместе с `updated_at`, + а перевод в `ready` ждёт до 4,5 с в триггере уровня оператора + `BEFORE UPDATE OF status`, пока строку не уберёт уборщик: на уровне + оператора строка не заблокирована, а пометку уборщика (только + `updated_at`) `OF status` не задерживает; `undeletable` — как + `outlive`, и удаление строки падает), `clear-fail-attachments`, `kill-api` / `start-api` (`docker kill` / `docker start` `-api`, ожидание `healthy`); - тесты: `test_upload_with_object_storage_stopped` (+ «Незавершённая @@ -134,7 +142,15 @@ paths: (`stall` → строка и объект есть → `kill-api` → нет 201 → `start-api` в `finally` → уборка), `test_cleaner_survives_outages` (S3 и PostgreSQL остановлены, строка на месте после G + 3I, после возврата - S3 убрана за I + 5 с, готовое вложение цело). G и I — + S3 убрана за I + 5 с, готовое вложение цело); по замечаниям verify — + `test_ready_commit_outcome_unknown` (`commit`: 503, строка `pending` + и объект есть сразу после ответа, после G + I + 5 с ни того, ни + другого), `test_upload_outlives_grace` (`outlive`: 503, а не 201 и + не 500, ни строки, ни объекта) и + `test_cleaner_failure_after_object_delete` (`undeletable`: 503, а не + 201, строка `pending`, `ready` без объекта нет; после снятия + триггера уборщик доводит уборку). Клиент загрузок с ожиданием в + триггере — со сроком 30 с (у `Api` по умолчанию 5 с). G и I — `FAULT_CLEANER_GRACE_S` (20) и `FAULT_CLEANER_INTERVAL_S` (1) от `run_failures.py`; запас поверх G + I — 5 с; - красный прогон до кода (новые тесты против прежней ветки @@ -142,7 +158,13 @@ paths: `test_ready_failure_compensated` (объект остался), `test_killed_between_put_and_ready`, `test_cleaner_survives_outages`, `test_object_storage_paused` (строки никто не убрал); остальные - сценарии прежний код уже выполнял; + сценарии прежний код уже выполнял. Тесты по замечаниям verify: + `test_cleaner_failure_after_object_delete` красный на коде до пометки + (201: ждавший `mark_ready` перевёл строку в `ready` после отката + уборщика, объект уже удалён); `test_ready_commit_outcome_unknown` и + `test_upload_outlives_grace` на том коде зелёные (ветки были верны) и + красные на временных регрессиях — компенсация на любой сбой (объекта + нет сразу после 503) и возврат `RuntimeError` (500); - исключения сверки: «Принявшая реплика остановлена» — `driver.py attachment-failover` → `evidence/attachments/failover.md`; «Байты не в БД и не на диске API» — `driver.py attachment-storage` → @@ -223,7 +245,8 @@ paths: compose и передаёт тестам (`FAULT_CLEANER_GRACE_S`, `FAULT_CLEANER_INTERVAL_S`) и строкой `start cleaner: grace … s, interval … s` в вывод. При падении печатается и журнал уборщика. - Прогон — ~3,5 мин (pytest ~190 с, было ~70 с); + Прогон — ~4 мин (32 проверки, pytest ~220 с; до `upload-consistency` + ~70 с); - `pytest -m fault`, затем журнал PostgreSQL стенда: сводка `postgres log: N lines, crash markers M; "too many clients" X, "administrator command" Y` после каждого прогона и ненулевой код при признаках diff --git a/AGENTS.md b/AGENTS.md index 927ca773..8218b827 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -131,8 +131,10 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore загрузки убирает только уборщик — отдельный сервис `cleaner` на образе API, а не реплики: строки `pending` старше `[cleaner] pending_grace_seconds` (900 с; больше границы живой загрузки 17 с, - иначе уборщик не стартует) под `FOR UPDATE SKIP LOCKED`, объект раньше - строки, `ready` не трогает. У уборщика свой пользователь S3 — только + иначе уборщик не стартует) под `FOR UPDATE SKIP LOCKED`: сначала + пометка строки (`updated_at`) отдельной транзакцией, затем объект, + затем строка; помеченную строку `mark_ready` в `ready` не переводит, + `ready` уборщик не трогает. У уборщика свой пользователь S3 — только чтение и удаление объектов своего bucket, ключи `S3_CLEANER_*` только у него и bootstrap (`docker.md`, `settings.md`). - `.env`, `config.toml`, секреты, токены и реальные данные не попадают ни @@ -326,7 +328,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore | `make wipe_data` | `down -v` — удалить данные стенда (volumes Postgres и S3 называются в запросе) и кэш; только после ввода `yes` | | `make test_isolated [KEEP_TEST_DB=1]` | образ на временной базе `test_` с Valkey и S3 стенда (ключи кэша и объектов разделены именем базы): сборка, миграции, отдельный контейнер API на `TEST_APP_PORT`, `make test` + `make student_test EXPECT_REPLICAS=1` (тесты реплик пропускаются с причиной), уборка при любом исходе — база и объекты под префиксом `test_/` (`student-tests.md`) | | `make student_test [BASE_URL=...] [EXPECT_REPLICAS=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); `EXPECT_REPLICAS` (по умолчанию `API_REPLICAS`) — сколько реплик за `BASE_URL`, против одного процесса — 1; сервер недоступен — код 2 и одна строка с адресом | -| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, ~3,5 мин) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres, Valkey и S3 (с bootstrap), уборщик (grace 20 с, интервал 1 с), обычный и «тесный» API (срок 2 с, пул 1), hook `student-tests/fault_hook.py`; после тестов — журнал PostgreSQL стенда: сводка (`crash markers`, «too many clients», «administrator command») и ненулевой код при признаках аварийного перезапуска; стенд и его volumes удаляются при любом исходе, рабочий не трогается (`student-tests.md`) | +| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, ~4 мин) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres, Valkey и S3 (с bootstrap), уборщик (grace 20 с, интервал 1 с), обычный и «тесный» API (срок 2 с, пул 1), hook `student-tests/fault_hook.py`; после тестов — журнал PostgreSQL стенда: сводка (`crash markers`, «too many clients», «administrator command») и ненулевой код при признаках аварийного перезапуска; стенд и его volumes удаляются при любом исходе, рабочий не трогается (`student-tests.md`) | | `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k читаемого чата плюс 100 000 сообщений в 1 110 фоновых чатах разного размера (~35 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (HAProxy и одна реплика API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда; k6 ходит через LB); на каждый размер — свежий стенд, `VACUUM (ANALYZE)`, планы запроса истории (`auto_explain`) по уровням чатов с вариантами индекса и запроса, в конце — пробы стоимости записи по вариантам. Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) | | `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт | | `make bench_restore [RESTORE_LABEL=...]` | трек 2, восстановление (~20 мин, метка `restore` по умолчанию): тот же стенд и данные, без матрицы прогонов; на каждый размер — `pg_dump` во время записи через HTTP, активность после backup, `pg_restore -j` в новый контейнер Postgres на новом volume, сверка обеих баз построчно, переключение API, проверки через HTTP до и после `FLUSHALL`; время dump / restore / RTO и потерянные сообщения — в `summary.md` | @@ -370,12 +372,12 @@ src/ repos/.py # атомарный доступ к хранилищу, модульные функции repos/idempotency.py # ключ идемпотентности: захват ON CONFLICT DO UPDATE WHERE просрочен, чтение сохранённого результата repos/chat_cache.py # карточка чата в Valkey: ключ с именем базы, JSON ↔ ChatFullDTO - repos/attachment.py # строки вложений: вставка pending, mark_ready (pending → ready RETURNING), чтение одной и до 10; уборщику — get_stale_pending (keyset по частичному индексу), lock_stale_pending (FOR UPDATE SKIP LOCKED), delete_attachment + repos/attachment.py # строки вложений: вставка pending (created_at = updated_at), mark_ready (pending и непомеченная → ready RETURNING), чтение одной и до 10; уборщику — get_stale_pending (keyset по частичному индексу), lock_stale_pending (FOR UPDATE SKIP LOCKED), mark_removing (пометка updated_at), delete_attachment repos/attachment_object.py # оригинал в S3: ключ <база>/attachments//original, put, open, delete_original repos/message.py # MESSAGE_COLUMNS с ARRAY(подзапрос attachment_ids по position), вставка связей одной вставкой services/.py # Service: логика, проверки доступа, id и время, логи; чаты и сообщения — с кэшем; отправка — ключ, сообщение и связи с вложениями одной транзакцией services/attachment.py # AttachmentService(db_scope, cache, storage): загрузка (проверки → тело со счётчиком в BytesIO, bytes без копии → структура и SHA-256 в потоке → pending → PUT → ready; сбой ready до COMMIT или пропавшая строка — удаление объекта и 503), метаданные, отдача потоком - services/attachment_cleanup.py # AttachmentCleanupService(db_scope, storage): проход уборщика — кандидаты keyset, каждая строка своей транзакцией: блокировка → DELETE объекта → DELETE строки; отказ S3 или БД прерывает проход; CleanupPassDTO + services/attachment_cleanup.py # AttachmentCleanupService(db_scope, storage): проход уборщика — кандидаты keyset, каждая строка в три шага: блокировка и пометка (commit) → DELETE объекта → блокировка и DELETE строки (commit); отказ S3 или БД прерывает проход, SIGTERM — после текущего шага; CleanupPassDTO exceptions/.py # доменные исключения, реэкспорт в __init__.py; storage.py — ObjectStorageUnavailable (503) и StoredObjectMissing; attachment.py — 404, 413, 415, 400 обрыва, 500 пропавшего объекта infra/ early_stop.py # ранний обработчик SIGTERM/SIGINT (только stdlib): до старта сервера — запись «Stopped <процесс> before startup» (API, cleaner) и выход 0; disarm() — первая строка lifespan; write_record — запись мимо structlog @@ -412,7 +414,7 @@ student-tests/ # black-box тесты по HTTP (уровень 4) test_failures.py # проверки отказов (маркер fault): только make failure_checks run_isolated.py # make test_isolated: образ на временной базе test_, уборка базы и префикса test_/ в S3 (weed shell fs.rm, затем проверка fs.ls: код 0 weed shell успеха не значит; префикс только из проверенного имени) (stdlib) run_failures.py # make failure_checks: стенд <рабочий>-failures (Postgres, Valkey, S3 + bootstrap, уборщик с grace 20 с и интервалом 1 с → FAULT_CLEANER_*), два API, pytest -m fault, журнал PostgreSQL стенда (сводка, признаки аварии — ненулевой код), журналы API и уборщика при падении, уборка (stdlib) - fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников, сообщений и вложений (fail-attachments insert|ready|stall), заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions, attachment-ids, last-pending, object-ids (файлы original по fs.tree), kill-api / start-api (stdlib) + fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников, сообщений и вложений (fail-attachments insert|ready|stall|commit|outlive|undeletable: сбой вставки, перевода в ready до и на COMMIT, задержка, строка «старше grace» с ожиданием уборщика, неудаляемая строка), заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions, attachment-ids, last-pending, object-ids (файлы original по fs.tree), kill-api / start-api (stdlib) failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, S3, LB), уборщик с CLEANER__* 20 / 1 и restart "no", stop_grace_period 2 с у S3, healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения), init: true у PostgreSQL (сирот psql из fill-connections подбирает init, а не postmaster) bench/ # нагрузочный стенд на HAProxy + N реплик API + Postgres + Valkey: make bench / bench_quick / bench_restore / bench_failover / bench_rollout / bench_scaling run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover (события цели — поток docker events по контейнеру, а не буфер демона), профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker с exec_start), ресурсы профилей failover и rollout (Profile.sample_resources: сэмплер scan, карта контейнеров по меткам compose, окна, бюджет на пике, сторож), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json diff --git a/PLAN.md b/PLAN.md index c1b891f0..e12a25ac 100644 --- a/PLAN.md +++ b/PLAN.md @@ -804,9 +804,10 @@ design, «Уточнения apply», пп. 10–15): - в консоли (`make run_dev`) уборщика нет. 3. **Проход** (решение 3): строка под `FOR UPDATE SKIP LOCKED` → DELETE объекта → DELETE строки → commit. Блокировка упорядочивает уборщика и - `mark_ready` загрузки, пережившей grace, — `ready` без объекта не - появляется. Остаток риска: API заморожен дольше grace посреди PUT — - объект без строки, его находит сверка трека 2. + `mark_ready` загрузки, пережившей grace. Остаток риска: API заморожен + дольше grace посреди PUT — объект без строки, его находит сверка + трека 2. После verify — пометка строки отдельной транзакцией до + DELETE объекта (решение 18 ниже). 4. **Grace 900 с, интервал 60 с, выборка 100** (решение 4): - граница живой загрузки от строки до `ready`: B = 2 × 6 + 5 = 17 с, запас ×50; @@ -866,6 +867,30 @@ apply»): выполнявшееся поведение. Полный `make failure_checks` — 29 passed, ~3,5 мин. +Приняты 2026-10-21 в правках по verify (решения основной сессии; +design, «Уточнения apply», п. 16–20; tasks, группа 11): + +18. **W1 — пометка строки до удаления объекта** вместо одной транзакции + уборщика: блокировка → `updated_at = utcnow()` → commit; DELETE + объекта; блокировка → DELETE строки → commit. `mark_ready` — только + при `updated_at = created_at`. Без миграции. Откат транзакции + уборщика после удачного DELETE в S3 больше не даёт `ready` без + объекта. Остаток — окно `make rolling_update` (прежние реплики и + уборщик) и объект без строки, если зомби дописал объект после + уборки, а компенсация не удалась. +19. **SIGTERM уборщика — между шагами строки**: три шага удлинили бы + худшую остановку до 17 с; доводится только текущий шаг (≤ 6 с). + Требование `graceful-shutdown` «Остановка уборщика» уточнено. +20. **W2, W3 — режимы hook `commit` и `outlive`** и тесты веток «исход + COMMIT неизвестен» и «строку убрал уборщик до `ready`»; W1 — режим + `undeletable`. Ожидание перевода в `ready` — триггер `BEFORE UPDATE + OF status` уровня оператора: пометку уборщика он не задерживает. +21. **Новые сценарии** — «Исход фиксации неизвестен» (`attachments`), + «Загрузка дольше grace» и «Сбой уборки после удаления объекта» + (`storage-consistency`), в дельтах и основных спеках. +22. **W4 и S1** — evidence «Отказ S3 во время прохода» с закоммиченного + кода; `docker.md` — `entrypoint` уборщика. + #### Вопросы 1. Как перенести секреты уборщика `S3_CLEANER_ACCESS_KEY` и diff --git a/openspec/changes/upload-consistency/design.md b/openspec/changes/upload-consistency/design.md index cf11913e..43f297dc 100644 --- a/openspec/changes/upload-consistency/design.md +++ b/openspec/changes/upload-consistency/design.md @@ -204,16 +204,20 @@ cron-контейнер. Отвергнуты: ещё один образ, S3 и (created_at, id) > (:after) ORDER BY created_at, id LIMIT :batch_size`. Это keyset, как у истории, по частичному индексу (решение 6). Занятая строка не возвращает проход к началу. -3. Каждый кандидат — своя транзакция: - 1. `SELECT … WHERE id = :id AND status = 'pending' AND created_at < - :older_than FOR UPDATE SKIP LOCKED`. Нет строки — её уже убрали, - она стала `ready` или её держит другой процесс: пропуск; - 2. `storage.delete(object_key)`: 204 и для отсутствующего объекта; - 3. `DELETE FROM attachments WHERE id = :id`; - 4. commit. +3. Каждый кандидат — три шага (после verify W1, «Уточнения apply», + п. 16; было — одна транзакция с DELETE объекта внутри): + 1. транзакция пометки: `SELECT … WHERE id = :id AND status = + 'pending' AND created_at < :older_than FOR UPDATE SKIP LOCKED` + (нет строки — её уже убрали, она стала `ready` или её держит + другой процесс: пропуск) → `UPDATE … SET updated_at = utcnow()` → + commit; + 2. `storage.delete(object_key)` вне транзакции: 204 и для + отсутствующего объекта; + 3. транзакция строки: та же блокировка → `DELETE FROM attachments + WHERE id = :id` → commit. - Отказ S3 откатывает транзакцию: строка остаётся, проход прерывается - (решение 5). + Отказ S3 прерывает проход: помеченная строка остаётся `pending`, + следующий проход ставит пометку заново (решение 5). 4. Итог — DTO: сколько убрано, сколько пропущено, причина прерывания, длительность. @@ -230,21 +234,40 @@ grace, после разморозки дойдёт до `mark_ready`. Без б | | `DELETE … WHERE status = 'pending'` — 0 строк | Итог — `ready` без объекта: клиент получил 201, скачивание — 500. С -блокировкой `mark_ready` ждёт commit уборщика и находит 0 строк. Ветка -`None` решения 1: 503 и удаление объекта. Если `mark_ready` успел -раньше, строка уже `ready`, и уборщик её не выбирает. Оба порядка -согласованы. +блокировкой `mark_ready` ждёт commit уборщика. Ветка `None` решения 1: +503 и удаление объекта. Если `mark_ready` успел раньше, строка уже +`ready`, и уборщик её не выбирает. -Транзакция держит блокировку и соединение уборщика на время DELETE в S3 -(≤ 5 с). Это в своём пуле уборщика, на реплики не влияет. Сроки: -`[s3] timeout_seconds` (5) < `[database] request_timeout_seconds` (6) < +Одной блокировки мало (verify W1). В первой версии блокировка, DELETE +объекта и DELETE строки шли одной транзакцией, и её откат уже после +удачного DELETE в S3 возвращал строку `pending` в прежнем виде. Откат — +сбой БД перед COMMIT, срок 6 с, заморозка уборщика дольше +`idle_in_transaction_session_timeout`. То же, если DELETE в S3 истёк по +сроку, а сервер выполнил его позже. Ждавший `mark_ready` делал такую +строку `ready` без объекта (проба 3 verify). Поэтому пометка: уборщик +до DELETE объекта сдвигает `updated_at` отдельной зафиксированной +транзакцией, а `mark_ready` переводит в `ready` только строку с +`updated_at = created_at`. Вставка пишет оба поля одним значением +(`now`), а пометка — время уборщика, оно позже порога прохода и тем +более `created_at`. Помеченная строка `ready` уже не станет, и любой +исход шагов 2–3 оставляет её `pending`: загрузка получает `None` (503 и +компенсация), уборку доводит следующий проход. Миграции нет, CHECK +`updated_after_created` выполняется. + +Блокировку и соединение уборщика держат только короткие транзакции +пометки и удаления строки; DELETE в S3 — между ними, вне транзакции. +Пул у уборщика свой, на реплики это не влияет. Сроки шага: `[s3] +timeout_seconds` (5) и `[database] request_timeout_seconds` (6) < `idle_in_transaction_session_timeout` (10 с). Остаток риска, назван в спеке и `REPORT.md`. Процесс API заморожен дольше grace посреди PUT, уборщик убрал строку, затем после разморозки S3 принял тело. Компенсации при этом нет: PUT для API завершился -ошибкой по сроку. Объект остаётся без строки, его находит только сверка -списком bucket (трек 2). +ошибкой по сроку. Или PUT прошёл, `mark_ready` получил `None`, а +удаление при компенсации не удалось. Объект остаётся без строки, его +находит только сверка списком bucket (трек 2). Второй остаток — окно +`make rolling_update` (п. 16): реплики прежней версии пометку не +проверяют. *Альтернатива:* без блокировки, условие возраста в `mark_ready` (`AND created_at > :deadline`). Отвергнута: API пришлось бы знать grace @@ -558,17 +581,32 @@ Evidence (с закоммиченного кода): ## Risks / Trade-offs - [Заморозка процесса API дольше grace посреди PUT оставляет объект без - строки] → вероятность — заморозка дольше 15 мин ровно посреди PUT; - запас grace ×50 над B; `error` в журнале у ветки `None`; находит сверка - трека 2. В спеке и `REPORT.md` названо прямо. + строки; то же — PUT прошёл после уборки, а удаление при компенсации не + удалось] → вероятность — заморозка дольше 15 мин ровно посреди PUT + (и для второго случая ещё отказ S3 на компенсации); запас grace ×50 + над B; `error` в журнале у ветки `None`, `warning` «Attachment object + kept for cleaner»; находит сверка трека 2. В спеке и `REPORT.md` + названо прямо. +- [`ready` без объекта при откате транзакции уборщика после удачного + DELETE в S3 (verify W1)] → закрыто пометкой строки отдельной + транзакцией до DELETE объекта (решение 3, «Уточнения apply», п. 16). + Остаток — окно `make rolling_update`: реплики прежней версии + пометку не проверяют, прежний уборщик её не ставит. Оно длится до + конца замены и `docker compose up -d --no-deps cleaner`, нужен ещё и + зомби дольше grace — ограничение в `REPORT.md`. +- [Три шага на строку вместо одной транзакции: SIGTERM посреди строки + мог бы ждать 6 + 5 + 6 с при зависших хранилищах] → флаг остановки + проверяется и между шагами, доводится только текущий шаг (≤ 6 с < + 10 с `stop_grace_period`). Требование `graceful-shutdown` уточнено. - [Компенсация добавляет до 5 с к ответу 503, если S3 стал медленным после удачного PUT] → только ветка сбоя tx2. Худший путь загрузки и так длиннее `timeout server` HAProxy (`attachments`, Risks). Пересмотр цепочки — `upload-memory`. -- [Транзакция уборщика держит блокировку строки на время DELETE в S3 - (≤ 5 с)] → только строки старше grace. `mark_ready` зомби-загрузки - подождёт — это и нужно. Пул уборщика свой (1 соединение); `idle_in_ - transaction_session_timeout` 10 с больше срока S3 5 с. +- [Транзакции уборщика держат блокировку строки] → только короткие + транзакции пометки и удаления строки и только строки старше grace; + DELETE в S3 — между ними, вне транзакции (после verify W1). + `mark_ready` зомби-загрузки подождёт — это и нужно. Пул уборщика свой + (1 соединение). - [Долгий отказ S3 копит строки `pending`: каждая попытка загрузки — одна строка] → после возврата S3 уборщик убирает их выборками по 100 через индекс. Стоимость обхода — трек 2. @@ -744,3 +782,71 @@ stop cleaner`. Индекс и пользователь `cleaner` остаютс код 137; с 0,05 с — «Stopped cleaner before startup», код 0 за 0,2 с. То же ограничение, что у API (`run-modes.md`, «окно 0»), названо в `REPORT.md`; данных не портит. В apply пауза 0,3 с его не задевала. + +Правки по verify 2026-10-21 (0 CRITICAL, 4 WARNING, 1 SUGGESTION; решения +основной сессии, tasks, группа 11): + +16. **W1 закрыт кодом: пометка строки до удаления объекта** (решение 3, + Risks). Уборщик: `lock_stale_pending` → `mark_removing` (`updated_at + = utcnow()`) → commit; `delete_original`; `lock_stale_pending` → + `delete_attachment` → commit. `mark_ready` — `AND updated_at = + created_at`, помеченная строка — `None`, то есть прежняя ветка + «строку убрал уборщик» (503 и компенсация). Проверено: + - вставка `pending` пишет оба поля одним `now` — и в текущем коде, и + в `d9d44c5` (`git show`): строки, вставленные прежними репликами, + новый `mark_ready` переводит в `ready` как раньше; + - пометка строго позже `created_at`: строка выбрана по `created_at < + older_than`, а `utcnow()` уборщика позже `older_than`; + - повтор после сбоя между транзакциями идемпотентен — пометка + ставится заново, следующий проход доводит строку; + - окно `make rolling_update`: реплики прежней версии (`f2dc0b3`) + условия не знают, а скрипт уборщика не пересоздаёт (прежний + уборщик не помечает). До конца замены и `docker compose up -d + --no-deps cleaner` остаётся прежний риск W1, это ограничение + (`balancer.md`, `REPORT.md`). Смешанные версии друг другу не + мешают: прежний уборщик с новыми репликами — поведение до правки, + новый уборщик с прежними репликами — тоже. + + Три шага вместо одной транзакции удлиняют худший SIGTERM посреди + строки до 6 + 5 + 6 с при зависших хранилищах. Поэтому + `stop_requested()` проверяется и между шагами (доводится только + текущий, ≤ 6 с < 10 с), а требование `graceful-shutdown` «Остановка + уборщика» уточнено: «довести текущий шаг уборки … новых шагов не + начинать», в дельте и основном спеке. Попутно итог прохода называет + `interrupted_by="stop"` и после последней строки выборки (раньше — + `None`). + Тест — `test_cleaner_failure_after_object_delete`, режим hook + `undeletable` (вставка на час старше, ожидание перевода в `ready`, + удаление строки падает с 08006); сценарий «Сбой уборки после удаления + объекта» (`storage-consistency`, «Безопасность уборки»). Красный на + коде `f2dc0b3` (`make failure_checks FAULT_ARGS='-k "commit_outcome + or outlives or failure_after_object"'`: 1 failed, 2 passed) — 201 + вместо 503 за 4,6 с: уборщик удалил объект, откатился на DELETE + строки, ждавший `mark_ready` перевёл её в `ready`. Зелёный полный + `make failure_checks` на новом коде — 32 passed за 222 с, вся + команда 239 с, журнал PostgreSQL без признаков аварии, стенд отказов + удалён. +17. **W2 — тест ветки «исход COMMIT неизвестен».** Режим hook `commit`: + `CREATE CONSTRAINT TRIGGER … AFTER UPDATE DEFERRABLE INITIALLY + DEFERRED`, 08006 на COMMIT перевода в `ready`. Тест + `test_ready_commit_outcome_unknown`, сценарий «Исход фиксации + неизвестен» (`attachments`, «Порядок записи»). На `f2dc0b3` зелёный + (код верен, как в пробе 1 verify); красный на временной регрессии + «компенсация на любой сбой» (`if not commit_sent` → всегда): объекта + нет сразу после 503. Правка возвращена (`git diff` файла пуст). +18. **W3 — тест ветки «строку убрал уборщик до `ready`».** Режим hook + `outlive`: вставка на час старше — `created_at` и `updated_at` + вместе, иначе после п. 16 строка выглядела бы помеченной и тест + проверял бы не ту ветку; ожидание перевода в `ready` до 4,5 с в + триггере уровня оператора, пока строка `pending` не исчезнет. + Триггер — `BEFORE UPDATE OF status`, а не любой `UPDATE`: пометка + уборщика меняет только `updated_at`, и общий триггер заставил бы + ждать и её (уборщик ждал бы исчезновения строки, которую сам держит, + до 4,5 с). Тест `test_upload_outlives_grace`, сценарий «Загрузка + дольше grace» (`storage-consistency`). На `f2dc0b3` зелёный; красный + на временном возврате `RuntimeError`: 500 вместо 503. Правка + возвращена. +19. **W4 — evidence «Отказ S3 во время прохода»** — после коммита + основной сессии (раздел в `evidence/attachments/cleaner-process.md`). +20. **S1** — `docker.md`, раздел «Уборщик»: `entrypoint`, как в + `docker-compose.yml`, и почему не `command` (п. 6). diff --git a/openspec/changes/upload-consistency/specs/attachments/spec.md b/openspec/changes/upload-consistency/specs/attachments/spec.md index c170aee6..17f7cd0e 100644 --- a/openspec/changes/upload-consistency/specs/attachments/spec.md +++ b/openspec/changes/upload-consistency/specs/attachments/spec.md @@ -28,9 +28,9 @@ S3: без зафиксированных метаданных объект не уборщик; - исход фиксации `ready` неизвестен: связь оборвалась во время фиксации. API MUST NOT удалять объект — вложение могло стать `ready`; -- к шагу 4 метаданных «загружается» уже нет: их убрал уборщик, потому - что загрузка длилась дольше grace. Ответ SHALL быть 503 - `unavailable`, и API SHALL удалить записанный объект. +- к шагу 4 метаданных «загружается» уже нет или уборщик уже начал их + уборку, потому что загрузка длилась дольше grace. Ответ SHALL быть + 503 `unavailable`, и API SHALL удалить записанный объект. Если запись метаданных на шаге 2 не удалась, объект MUST NOT записываться; отказ PostgreSQL при этом — 503 `unavailable`. Загрузка, @@ -76,6 +76,15 @@ S3: без зафиксированных метаданных объект не - **AND** вложение остаётся в статусе «загружается» до уборщика, а по API его не видно +#### Scenario: Исход фиксации неизвестен + +- **WHEN** объект вложения записан в S3, а фиксация перевода в `ready` + обрывается отказом PostgreSQL +- **THEN** ответ 503 `unavailable`, вложение в статусе «загружается» и + по API не видно, а его объект в bucket остаётся: API его не удаляет +- **AND** после grace уборщик убирает и метаданные, и объект, а в bucket + нет объектов вложений без метаданных + #### Scenario: Обрыв передачи тела - **WHEN** клиент обрывает соединение посреди тела загрузки diff --git a/openspec/changes/upload-consistency/specs/graceful-shutdown/spec.md b/openspec/changes/upload-consistency/specs/graceful-shutdown/spec.md index dc3bd78e..557ee643 100644 --- a/openspec/changes/upload-consistency/specs/graceful-shutdown/spec.md +++ b/openspec/changes/upload-consistency/specs/graceful-shutdown/spec.md @@ -5,8 +5,10 @@ ### Requirement: Остановка уборщика По SIGTERM уборщик незавершённых загрузок (capability -`storage-consistency`) SHALL довести загрузку, которую убирает, до -конца или до отката и больше новых не брать. Затем он SHALL выйти с +`storage-consistency`) SHALL довести текущий шаг уборки загрузки до +конца или до отката и больше новых шагов не начинать. Загрузка, +остановленная между шагами, остаётся в состоянии, из которого её +доводит следующий проход. Затем он SHALL выйти с кодом 0 раньше срока остановки контейнера (10 с), а не по SIGKILL. Сигнал во время старта процесса SHALL завершать его с кодом 0 без traceback, как у API (требование «Остановка во время старта»). diff --git a/openspec/changes/upload-consistency/specs/storage-consistency/spec.md b/openspec/changes/upload-consistency/specs/storage-consistency/spec.md index 6db8b6f9..52bddacc 100644 --- a/openspec/changes/upload-consistency/specs/storage-consistency/spec.md +++ b/openspec/changes/upload-consistency/specs/storage-consistency/spec.md @@ -23,9 +23,11 @@ `[cleaner] interval_seconds`. Каждую загрузку, метаданные которой записаны раньше чем `[cleaner] pending_grace_seconds` назад (grace period), он SHALL убирать по шагам: -1. удалить объект по ключу из её метаданных; отсутствие объекта — не +1. пометить её метаданные как убираемые и зафиксировать пометку + (требование «Безопасность уборки»); +2. удалить объект по ключу из её метаданных; отсутствие объекта — не ошибка; -2. только после подтверждённого удаления объекта — удалить метаданные. +3. только после подтверждённого удаления объекта — удалить метаданные. Каждый шаг SHALL быть безопасно повторяемым: проход, прерванный на любом шаге, доводит следующий. После уборки у вложения не остаётся ни @@ -34,8 +36,10 @@ period), он SHALL убирать по шагам: Ограничение называется в `REPORT.md`. Объект может остаться без метаданных, если процесс API заморожен дольше grace посреди записи -объекта и после разморозки дописал объект уже убранной загрузки. Такой -объект находит только сверка bucket и БД (трек 2). +объекта и после разморозки дописал объект уже убранной загрузки, а +удалить его не смог: запись объекта завершилась для API ошибкой по +сроку, или не удалось удаление при компенсации. Такой объект находит +только сверка bucket и БД (трек 2). #### Scenario: Зависшая загрузка убрана @@ -68,11 +72,39 @@ PostgreSQL и запись объекта, у каждого свой срок ( Загрузка, которая длится дольше grace (процесс API заморожен), и уборщик SHALL исключать друг друга на одном вложении. Исходов два: - вложение стало `ready` вместе с объектом, и уборщик его не трогает; -- уборщик его убрал, а загрузка отвечает 503 `unavailable` и удаляет - записанный ею объект. +- уборщик начал его уборку, а загрузка отвечает 503 `unavailable` и + удаляет записанный ею объект. -Вложение `ready` без объекта MUST NOT появляться ни при каком порядке -этих действий. +До удаления объекта уборщик SHALL помечать метаданные вложения как +убираемые и фиксировать пометку отдельно. Помеченное вложение MUST NOT +становиться `ready`. Поэтому сбой уборки после удаления объекта не даёт +вложения `ready` без объекта: загрузка отвечает 503, а уборку доводит +следующий проход. Сбой — например, не удалось удалить метаданные, или +S3 выполнил удаление уже после срока вызова. Вложение `ready` без +объекта MUST NOT появляться ни при каком порядке этих действий. + +Ограничение называется в `REPORT.md`. Пока идёт поочерёдная замена +реплик API, реплики прежней версии пометку не проверяют. Для их +загрузок, переживших grace, это свойство не гарантировано. + +#### Scenario: Загрузка дольше grace + +- **WHEN** загрузка записала объект, а к переводу в `ready` её + метаданным уже больше grace, и уборщик убирает их, пока загрузка ждёт + перевода +- **THEN** ответ 503 `unavailable`, а не 201 и не 500, нет ни + метаданных, ни объекта этого вложения, а в bucket нет объектов + вложений без метаданных + +#### Scenario: Сбой уборки после удаления объекта + +- **WHEN** загрузка ждёт перевода в `ready`, её метаданным больше grace, + а уборщик удалил её объект, но удалить метаданные не смог: PostgreSQL + отказал +- **THEN** ответ загрузки 503 `unavailable`, а не 201, метаданные в + статусе «загружается», и вложения `ready` без объекта нет +- **AND** когда удаление метаданных снова проходит, уборщик доводит + уборку, и в bucket нет объектов вложений без метаданных #### Scenario: Свежая загрузка не тронута diff --git a/openspec/changes/upload-consistency/tasks.md b/openspec/changes/upload-consistency/tasks.md index d2ffc5b3..e7430bef 100644 --- a/openspec/changes/upload-consistency/tasks.md +++ b/openspec/changes/upload-consistency/tasks.md @@ -339,3 +339,65 @@ exclusion». таблицы доказательств есть команда, наблюдение и файл; `make lint`, `make check`, `openspec validate upload-consistency --type change --strict`. Коммит — после подтверждения. + +## 11. Замечания проверки + +Verify 2026-10-21: 0 CRITICAL, 4 WARNING, 1 SUGGESTION; решения +основной сессии — design, «Уточнения apply», п. 16–20. Новый или +изменённый сценарий правится и в дельте, и в основном спеке дословно. + +- [x] 11.1 W1, «`ready` без объекта» при откате уборщика — закрыть кодом + (решение 3, «Уточнения apply», п. 16): + - уборщик: `lock_stale_pending` → пометка `updated_at = utcnow()` + (`mark_removing`) → commit; DELETE объекта; своя транзакция — + `lock_stale_pending` → `delete_attachment` → commit; + - `mark_ready` — только непомеченная строка (`updated_at = + created_at`), помеченная — `None` (503 и компенсация); + - требование «Безопасность уборки» (`storage-consistency`), сценарий + «Сбой уборки после удаления объекта», ограничение «Уборщика + незавершённых загрузок», Decisions и Risks design; окно `make + rolling_update`; + - режим hook `fail-attachments undeletable ` и тест + `test_cleaner_failure_after_object_delete`. + + Проверка: вставка `pending` пишет `created_at` и `updated_at` одним + значением (и в коде до change); красный прогон теста на коде до + правки (201 вместо 503), зелёный — после; полный `make failure_checks`. +- [x] 11.2 W2, «исход COMMIT неизвестен»: режим hook `fail-attachments + commit ` (отложенный триггер ограничения, 08006), сценарий + «Исход фиксации неизвестен» (`attachments`), тест + `test_ready_commit_outcome_unknown`: 503, строка `pending`, объект + есть сразу после ответа; через G + I + 5 с ни строки, ни объекта, + объектов без строки нет. Проверка: тест красный на временной + регрессии «компенсация на любой сбой» (правка откатывается), зелёный + на коде. +- [x] 11.3 W3, «строку убрал уборщик до `ready`»: режим hook + `fail-attachments outlive ` (вставка на час старше вместе с + `updated_at`, ожидание перевода в `ready` в триггере уровня оператора + `BEFORE UPDATE OF status`), сценарий «Загрузка дольше grace» + (`storage-consistency`), тест `test_upload_outlives_grace`: 503 (не + 201 и не 500), ни строки, ни объекта, объектов без строки нет. + Проверка: тест красный на временном возврате `RuntimeError`, зелёный + на коде. +- [ ] 11.4 W4, evidence сценария `service-logging` «Отказ S3 во время + прохода» — раздел в `evidence/attachments/cleaner-process.md` (`pause + s3` → `cleaner --once` с grace 30 с: код 1, «Object storage is + unavailable» и «Interrupted cleanup pass» с `interrupted_by: + object_storage`, строка на месте → `unpause` → `--once` убирает) и + строка `REPORT.md`. Снимается с закоммиченного кода. Проверка: `grep` + секретов по `evidence/` пуст. +- [x] 11.5 S1: `.claude/rules/docker.md`, раздел «Уборщик» — `entrypoint`, + а не `command`. Проверка: текст совпадает с `docker-compose.yml`. +- [x] 11.6 Документы и регресс: правила (`service-layer.md`, + `repo-layer.md`, `student-tests.md`), AGENTS.md (карта кода, действия + hook, время `make failure_checks`), `PLAN.md`. Проверки: `make lint`, + `make check`, `openspec validate upload-consistency --type change + --strict`, `openspec validate --specs`, полный `make failure_checks` + (код 0, сводка PostgreSQL без признаков аварии); на рабочем стенде + после `make rolling_update` и `docker compose up -d --no-deps cleaner` + — `make test`, `make student_test` через LB, `make test_isolated`, + `driver.py --port upload-consistency` (код 0). +- [ ] 11.7 После коммита основной сессии: evidence 11.4, пересъёмка + `evidence/tests/failure-checks.md` и чисел в `evidence/tests/` и + `REPORT.md`; `REPORT.md` — порядок уборки с пометкой и остаточный + риск, новые проверки, строка W4; строка этапа 3 `PLAN.md`. diff --git a/openspec/specs/attachments/spec.md b/openspec/specs/attachments/spec.md index 18c71cfe..786e00d6 100644 --- a/openspec/specs/attachments/spec.md +++ b/openspec/specs/attachments/spec.md @@ -403,9 +403,9 @@ S3: без зафиксированных метаданных объект не уборщик; - исход фиксации `ready` неизвестен: связь оборвалась во время фиксации. API MUST NOT удалять объект — вложение могло стать `ready`; -- к шагу 4 метаданных «загружается» уже нет: их убрал уборщик, потому - что загрузка длилась дольше grace. Ответ SHALL быть 503 - `unavailable`, и API SHALL удалить записанный объект. +- к шагу 4 метаданных «загружается» уже нет или уборщик уже начал их + уборку, потому что загрузка длилась дольше grace. Ответ SHALL быть + 503 `unavailable`, и API SHALL удалить записанный объект. Если запись метаданных на шаге 2 не удалась, объект MUST NOT записываться; отказ PostgreSQL при этом — 503 `unavailable`. Загрузка, @@ -451,6 +451,15 @@ S3: без зафиксированных метаданных объект не - **AND** вложение остаётся в статусе «загружается» до уборщика, а по API его не видно +#### Scenario: Исход фиксации неизвестен + +- **WHEN** объект вложения записан в S3, а фиксация перевода в `ready` + обрывается отказом PostgreSQL +- **THEN** ответ 503 `unavailable`, вложение в статусе «загружается» и + по API не видно, а его объект в bucket остаётся: API его не удаляет +- **AND** после grace уборщик убирает и метаданные, и объект, а в bucket + нет объектов вложений без метаданных + #### Scenario: Обрыв передачи тела - **WHEN** клиент обрывает соединение посреди тела загрузки diff --git a/openspec/specs/graceful-shutdown/spec.md b/openspec/specs/graceful-shutdown/spec.md index 8dc3b8d2..38894c7f 100644 --- a/openspec/specs/graceful-shutdown/spec.md +++ b/openspec/specs/graceful-shutdown/spec.md @@ -196,8 +196,10 @@ SIGTERM и SIGINT, пришедшие процессу сервиса во вр ### Requirement: Остановка уборщика По SIGTERM уборщик незавершённых загрузок (capability -`storage-consistency`) SHALL довести загрузку, которую убирает, до -конца или до отката и больше новых не брать. Затем он SHALL выйти с +`storage-consistency`) SHALL довести текущий шаг уборки загрузки до +конца или до отката и больше новых шагов не начинать. Загрузка, +остановленная между шагами, остаётся в состоянии, из которого её +доводит следующий проход. Затем он SHALL выйти с кодом 0 раньше срока остановки контейнера (10 с), а не по SIGKILL. Сигнал во время старта процесса SHALL завершать его с кодом 0 без traceback, как у API (требование «Остановка во время старта»). diff --git a/openspec/specs/storage-consistency/spec.md b/openspec/specs/storage-consistency/spec.md index b986240e..9e3185bf 100644 --- a/openspec/specs/storage-consistency/spec.md +++ b/openspec/specs/storage-consistency/spec.md @@ -23,9 +23,11 @@ `[cleaner] interval_seconds`. Каждую загрузку, метаданные которой записаны раньше чем `[cleaner] pending_grace_seconds` назад (grace period), он SHALL убирать по шагам: -1. удалить объект по ключу из её метаданных; отсутствие объекта — не +1. пометить её метаданные как убираемые и зафиксировать пометку + (требование «Безопасность уборки»); +2. удалить объект по ключу из её метаданных; отсутствие объекта — не ошибка; -2. только после подтверждённого удаления объекта — удалить метаданные. +3. только после подтверждённого удаления объекта — удалить метаданные. Каждый шаг SHALL быть безопасно повторяемым: проход, прерванный на любом шаге, доводит следующий. После уборки у вложения не остаётся ни @@ -34,8 +36,10 @@ period), он SHALL убирать по шагам: Ограничение называется в `REPORT.md`. Объект может остаться без метаданных, если процесс API заморожен дольше grace посреди записи -объекта и после разморозки дописал объект уже убранной загрузки. Такой -объект находит только сверка bucket и БД (трек 2). +объекта и после разморозки дописал объект уже убранной загрузки, а +удалить его не смог: запись объекта завершилась для API ошибкой по +сроку, или не удалось удаление при компенсации. Такой объект находит +только сверка bucket и БД (трек 2). #### Scenario: Зависшая загрузка убрана @@ -68,11 +72,39 @@ PostgreSQL и запись объекта, у каждого свой срок ( Загрузка, которая длится дольше grace (процесс API заморожен), и уборщик SHALL исключать друг друга на одном вложении. Исходов два: - вложение стало `ready` вместе с объектом, и уборщик его не трогает; -- уборщик его убрал, а загрузка отвечает 503 `unavailable` и удаляет - записанный ею объект. +- уборщик начал его уборку, а загрузка отвечает 503 `unavailable` и + удаляет записанный ею объект. -Вложение `ready` без объекта MUST NOT появляться ни при каком порядке -этих действий. +До удаления объекта уборщик SHALL помечать метаданные вложения как +убираемые и фиксировать пометку отдельно. Помеченное вложение MUST NOT +становиться `ready`. Поэтому сбой уборки после удаления объекта не даёт +вложения `ready` без объекта: загрузка отвечает 503, а уборку доводит +следующий проход. Сбой — например, не удалось удалить метаданные, или +S3 выполнил удаление уже после срока вызова. Вложение `ready` без +объекта MUST NOT появляться ни при каком порядке этих действий. + +Ограничение называется в `REPORT.md`. Пока идёт поочерёдная замена +реплик API, реплики прежней версии пометку не проверяют. Для их +загрузок, переживших grace, это свойство не гарантировано. + +#### Scenario: Загрузка дольше grace + +- **WHEN** загрузка записала объект, а к переводу в `ready` её + метаданным уже больше grace, и уборщик убирает их, пока загрузка ждёт + перевода +- **THEN** ответ 503 `unavailable`, а не 201 и не 500, нет ни + метаданных, ни объекта этого вложения, а в bucket нет объектов + вложений без метаданных + +#### Scenario: Сбой уборки после удаления объекта + +- **WHEN** загрузка ждёт перевода в `ready`, её метаданным больше grace, + а уборщик удалил её объект, но удалить метаданные не смог: PostgreSQL + отказал +- **THEN** ответ загрузки 503 `unavailable`, а не 201, метаданные в + статусе «загружается», и вложения `ready` без объекта нет +- **AND** когда удаление метаданных снова проходит, уборщик доводит + уборку, и в bucket нет объектов вложений без метаданных #### Scenario: Свежая загрузка не тронута diff --git a/src/core/repos/attachment.py b/src/core/repos/attachment.py index 5197ca31..3ed9f150 100644 --- a/src/core/repos/attachment.py +++ b/src/core/repos/attachment.py @@ -3,7 +3,7 @@ Строка пишется в статусе `pending` до записи объекта и переводится в `ready` после неё (design change `attachments`, решение 1). Видимость `pending` решает сервис: repo отдаёт строку как есть. Незавершённые -загрузки выбирает, блокирует и удаляет уборщик (design change +загрузки выбирает, блокирует, помечает и удаляет уборщик (design change `upload-consistency`, решение 3). """ @@ -79,12 +79,20 @@ async def mark_ready( attachment_id: UUID, updated_at: datetime, ) -> dataclasses.AttachmentFullDTO | None: - """`pending` → `ready`; `None` — строки в статусе `pending` нет.""" + """`pending` → `ready`; `None` — строки `pending` нет или уборщик уже + пометил её к уборке. + + Вставка пишет `created_at` и `updated_at` одним значением, а уборщик + до удаления объекта сдвигает `updated_at` (`mark_removing`): `ready` + становится только непомеченная строка (design change + `upload-consistency`, «Уточнения apply», п. 16). + """ statement = ( update(Attachment) .where( Attachment.id == attachment_id, Attachment.status == AttachmentStatus.PENDING.value, + Attachment.updated_at == Attachment.created_at, ) .values(status=AttachmentStatus.READY.value, updated_at=updated_at) .returning(*_ATTACHMENT_COLUMNS) @@ -182,6 +190,27 @@ async def lock_stale_pending( ) +async def mark_removing( + db_session: AsyncSession, + *, + attachment_id: UUID, + updated_at: datetime, +) -> bool: + """Пометить строку к уборке: `updated_at` позже `created_at`, и + `mark_ready` её больше не переведёт в `ready`. `False` — строки нет. + + Вызывается под блокировкой `lock_stale_pending`: `created_at` строки + раньше порога прохода, а `updated_at` — время уборщика после него. + """ + statement = ( + update(Attachment) + .where(Attachment.id == attachment_id) + .values(updated_at=updated_at) + .returning(Attachment.id) + ) + return (await db_session.execute(statement)).one_or_none() is not None + + async def delete_attachment( db_session: AsyncSession, *, diff --git a/src/core/services/attachment_cleanup.py b/src/core/services/attachment_cleanup.py index d37efadc..d582d7d1 100644 --- a/src/core/services/attachment_cleanup.py +++ b/src/core/services/attachment_cleanup.py @@ -2,10 +2,11 @@ решения 3 и 5). Сервис процесса уборщика (`src/cleaner/`), а не реплик API. Строка -`pending` старше grace: блокировка `FOR UPDATE SKIP LOCKED` → удаление -объекта → удаление строки → commit, каждая строка — своя транзакция. -Метаданные удаляются последними: объекта без строки уборка не -оставляет. Строки `ready` выборка не видит. +`pending` старше grace: блокировка `FOR UPDATE SKIP LOCKED` → пометка +(`updated_at`) → commit → удаление объекта → блокировка → удаление +строки → commit. Метаданные удаляются последними: объекта без строки +уборка не оставляет. Строки `ready` выборка не видит, а помеченную +строку `mark_ready` в `ready` не переводит («Уточнения apply», п. 16). """ import time @@ -85,12 +86,16 @@ class AttachmentCleanupService: if await self._remove( attachment_id=candidate.id, older_than=older_than, + stop_requested=stop_requested, log=log, ): removed += 1 else: skipped += 1 - if len(candidates) < batch_size or stop_requested(): + if stop_requested(): + # и после последней строки выборки, и посреди строки + interrupted_by = INTERRUPTED_BY_STOP + if len(candidates) < batch_size: break after = (candidates[-1].created_at, candidates[-1].id) except exceptions.ObjectStorageUnavailable: @@ -127,14 +132,29 @@ class AttachmentCleanupService: *, attachment_id: UUID, older_than: datetime, + stop_requested: Callable[[], bool], log: AbstractLogger, ) -> bool: """Убрать одну строку; `False` — её уже нет, она `ready` или её держит другой процесс. - Блокировка строки упорядочивает уборщика и `mark_ready` загрузки, - пережившей grace: та ждёт commit и находит 0 строк (решение 3). - Объект — до строки; отказ S3 откатывает транзакцию. + 1. Пометка — своя транзакция: блокировка, `updated_at` = сейчас, + commit. Загрузка, пережившая grace, ждёт блокировку в + `mark_ready` и после commit находит строку помеченной: `None`, + 503 и компенсация. После пометки строка `ready` уже не станет, + поэтому никакой исход следующих шагов не даёт `ready` без + объекта: ни откат удаления строки, ни DELETE, который S3 + выполнил после срока вызова (verify W1). + 2. Объект — вне транзакции, после подтверждённой пометки. Отказ + S3 прерывает проход, помеченная строка ждёт следующего. + 3. Строка — своя транзакция с той же блокировкой; занята или уже + убрана — пропуск, следующий проход доводит. + Повтор после сбоя между шагами идемпотентен: пометка ставится + заново, удаление объекта и строки — те же. `stop_requested()` + проверяется и между шагами: по SIGTERM доводится только текущий + шаг (не дольше срока шага с БД, 6 с), и уборщик укладывается в + срок остановки контейнера (10 с); помеченная строка ждёт + следующего запуска. """ async with self.db_scope() as db_session: stale = await attachment_repo.lock_stale_pending( @@ -144,13 +164,31 @@ class AttachmentCleanupService: ) if stale is None: return False - await attachment_object_repo.delete_original( - self.storage, - key=stale.object_key, - ) - await attachment_repo.delete_attachment( + await attachment_repo.mark_removing( db_session=db_session, attachment_id=stale.id, + updated_at=utcnow(), + ) + await db_session.commit() + if stop_requested(): + return False + await attachment_object_repo.delete_original( + self.storage, + key=stale.object_key, + ) + if stop_requested(): + return False + async with self.db_scope() as db_session: + locked = await attachment_repo.lock_stale_pending( + db_session=db_session, + attachment_id=stale.id, + older_than=older_than, + ) + if locked is None: + return False + await attachment_repo.delete_attachment( + db_session=db_session, + attachment_id=locked.id, ) await db_session.commit() log.info( diff --git a/student-tests/fault_hook.py b/student-tests/fault_hook.py index 8e6c5fd1..45c2dbb2 100755 --- a/student-tests/fault_hook.py +++ b/student-tests/fault_hook.py @@ -39,13 +39,19 @@ s3). Каталог `` без файла не считается: после DELETE SeaweedFS убирает его лишь через ~2 мин - fail-attachments insert|ready|stall - триггер на вложения с этим filename: - insert — вставка строки падает, ready — - перевод в ready падает (оба с SQLSTATE 08006, - для API это отказ БД, 503); stall — перевод - в ready ждёт pg_sleep(4) - clear-fail-attachments убрать триггер + fail-attachments insert|ready|stall|commit|outlive|undeletable + триггеры на вложения с этим filename (сбой — + SQLSTATE 08006, для API это отказ БД, 503): + insert — вставка строки падает; ready — + перевод в ready падает до COMMIT; stall — + перевод в ready ждёт pg_sleep(4); commit — + перевод в ready падает на COMMIT (исход для + API неизвестен); outlive — строка + вставляется на час старше (уборщик берёт её + сразу), а перевод в ready ждёт до 4,5 с, пока + строка pending не исчезнет; undeletable — как + outlive, и удаление строки падает + clear-fail-attachments убрать триггеры kill-api docker kill обычного API стенда (`-api`) start-api docker start того же контейнера и ожидание @@ -202,23 +208,49 @@ LAST_PENDING_SQL = """\ SELECT id FROM attachments WHERE status = 'pending' ORDER BY created_at DESC, id DESC LIMIT 1; """ -# режим и filename — аргументы триггера (TG_ARGV). SQLSTATE 08006 +# режим и filename — аргументы триггеров (TG_ARGV). SQLSTATE 08006 # (connection_failure) приложение считает отказом БД: 503, а не 500 -# (design change upload-consistency, пробы). stall — меньше -# statement_timeout (5 с): ожидание завершается само +# (design change upload-consistency, пробы). Три триггера, каждый +# срабатывает только в своих режимах: +# - fault_fail_attachments (строка, BEFORE): insert, ready, stall; в outlive +# и undeletable вставка «на час старше» — created_at и updated_at вместе, +# строка остаётся непомеченной (mark_ready требует updated_at = +# created_at); в undeletable удаление строки падает; +# - fault_fail_attachments_commit (отложенный триггер ограничения, AFTER +# UPDATE): commit — перевод в ready падает на COMMIT, исход для API +# неизвестен; +# - fault_wait_attachments (оператор, BEFORE UPDATE OF status): outlive и +# undeletable — перевод в ready ждёт, пока строка pending с этим +# filename не исчезнет, но не дольше WAIT. На уровне оператора строка ещё +# не заблокирована, уборщик её берёт. UPDATE OF status: пометку уборщика +# (меняет только updated_at) ожидание не задерживает. +# stall и ожидание короче statement_timeout (5 с): завершаются сами FAIL_ATTACHMENTS_SQL = """\ CREATE OR REPLACE FUNCTION fault_fail_attachments() RETURNS trigger LANGUAGE plpgsql AS $$ BEGIN + IF TG_OP = 'DELETE' THEN + IF OLD.filename = TG_ARGV[1] AND TG_ARGV[0] = 'undeletable' THEN + RAISE EXCEPTION 'fault injected: attachment delete' + USING ERRCODE = '08006'; + END IF; + RETURN OLD; + END IF; IF NEW.filename <> TG_ARGV[1] THEN RETURN NEW; END IF; - IF TG_OP = 'INSERT' AND TG_ARGV[0] = 'insert' THEN - RAISE EXCEPTION 'fault injected: attachment insert' - USING ERRCODE = '08006'; + IF TG_OP = 'INSERT' THEN + IF TG_ARGV[0] = 'insert' THEN + RAISE EXCEPTION 'fault injected: attachment insert' + USING ERRCODE = '08006'; + END IF; + IF TG_ARGV[0] IN ('outlive', 'undeletable') THEN + NEW.created_at := NEW.created_at - interval '1 hour'; + NEW.updated_at := NEW.updated_at - interval '1 hour'; + END IF; + RETURN NEW; END IF; - IF TG_OP = 'UPDATE' AND OLD.status = 'pending' - AND NEW.status = 'ready' THEN + IF OLD.status = 'pending' AND NEW.status = 'ready' THEN IF TG_ARGV[0] = 'ready' THEN RAISE EXCEPTION 'fault injected: attachment ready' USING ERRCODE = '08006'; @@ -230,15 +262,65 @@ BEGIN RETURN NEW; END $$; +CREATE OR REPLACE FUNCTION fault_fail_attachments_commit() RETURNS trigger +LANGUAGE plpgsql AS $$ +BEGIN + IF TG_ARGV[0] = 'commit' AND NEW.filename = TG_ARGV[1] + AND OLD.status = 'pending' AND NEW.status = 'ready' THEN + RAISE EXCEPTION 'fault injected: attachment ready commit' + USING ERRCODE = '08006'; + END IF; + RETURN NULL; +END +$$; +CREATE OR REPLACE FUNCTION fault_wait_attachments() RETURNS trigger +LANGUAGE plpgsql AS $$ +DECLARE + deadline timestamptz := clock_timestamp() + interval '4.5 seconds'; +BEGIN + IF TG_ARGV[0] NOT IN ('outlive', 'undeletable') THEN + RETURN NULL; + END IF; + WHILE clock_timestamp() < deadline AND EXISTS ( + SELECT 1 FROM attachments + WHERE filename = TG_ARGV[1] AND status = 'pending' + ) LOOP + PERFORM pg_sleep(0.1); + END LOOP; + RETURN NULL; +END +$$; DROP TRIGGER IF EXISTS fault_fail_attachments ON attachments; -CREATE TRIGGER fault_fail_attachments BEFORE INSERT OR UPDATE ON attachments +CREATE TRIGGER fault_fail_attachments + BEFORE INSERT OR UPDATE OR DELETE ON attachments FOR EACH ROW EXECUTE FUNCTION fault_fail_attachments(:'mode', :'title'); +DROP TRIGGER IF EXISTS fault_fail_attachments_commit ON attachments; +CREATE CONSTRAINT TRIGGER fault_fail_attachments_commit + AFTER UPDATE ON attachments DEFERRABLE INITIALLY DEFERRED + FOR EACH ROW + EXECUTE FUNCTION fault_fail_attachments_commit(:'mode', :'title'); +DROP TRIGGER IF EXISTS fault_wait_attachments ON attachments; +CREATE TRIGGER fault_wait_attachments + BEFORE UPDATE OF status ON attachments + FOR EACH STATEMENT + EXECUTE FUNCTION fault_wait_attachments(:'mode', :'title'); """ CLEAR_FAIL_ATTACHMENTS_SQL = """\ DROP TRIGGER IF EXISTS fault_fail_attachments ON attachments; +DROP TRIGGER IF EXISTS fault_fail_attachments_commit ON attachments; +DROP TRIGGER IF EXISTS fault_wait_attachments ON attachments; DROP FUNCTION IF EXISTS fault_fail_attachments(); +DROP FUNCTION IF EXISTS fault_fail_attachments_commit(); +DROP FUNCTION IF EXISTS fault_wait_attachments(); """ -FAIL_ATTACHMENTS_MODES = ("insert", "ready", "stall") +FAIL_ATTACHMENTS_MODES = ( + "insert", + "ready", + "stall", + "commit", + "outlive", + "undeletable", +) # как S3_BUCKET_NAME_PATTERN в src/utils/constants.py; имя базы — как в # run_isolated.py: путь filer собирается только из проверенных имён BUCKET_NAME_RE = re.compile(r"^[a-z0-9][a-z0-9.-]{1,61}[a-z0-9]$") diff --git a/student-tests/test_failures.py b/student-tests/test_failures.py index ff3e75ef..9d89fa9f 100644 --- a/student-tests/test_failures.py +++ b/student-tests/test_failures.py @@ -575,6 +575,12 @@ def orphan_objects(stand: Stand) -> set[str]: return stored_ids(stand) - set(rows) +def ready_without_object(stand: Stand) -> set[str]: + """Готовые вложения без объекта: строки `ready` уборщик не трогает, + поэтому порядок вызовов здесь не важен.""" + return ready_ids(attachment_rows(stand)) - stored_ids(stand) + + def new_ids(before: dict[str, str], after: dict[str, str]) -> set[str]: return set(after) - set(before) @@ -875,6 +881,111 @@ def test_killed_between_put_and_ready( api.upload(alice, chat["id"], images.sample_png()) +@pytest.mark.spec("attachments", "Исход фиксации неизвестен") +def test_ready_commit_outcome_unknown( + api: Api, + stand: Stand, + alice: Actor, + chat: dict[str, Any], +) -> None: + """Перевод в ready падает на самом COMMIT (отложенный триггер): API не + знает, зафиксировано ли вложение, и объект не трогает (verify W2).""" + filename = fault_filename() + before = attachment_rows(stand) + stand("fail-attachments", "commit", filename) + try: + started = time.monotonic() + resp = upload_raw( + api, + alice, + chat, + images.sample_png(), + filename=filename, + ) + assert_error(resp, 503) + finally: + stand("clear-fail-attachments") + after = attachment_rows(stand) + (pending,) = new_ids(before, after) + assert after[pending] == "pending" + # компенсации нет: вложение могло стать ready + assert pending in stored_ids(stand) + assert_invisible(api, alice, chat, pending) + wait_cleaned(stand, pending, since=started) + assert not orphan_objects(stand) + + +@pytest.mark.spec("storage-consistency", "Загрузка дольше grace") +def test_upload_outlives_grace( + api: Api, + stand: Stand, + alice: Actor, + chat: dict[str, Any], +) -> None: + """Строка вставлена «на час старше», перевод в ready ждёт в триггере, + пока её не уберёт уборщик стенда: загрузка, пережившая grace, без + заморозки процесса (verify W3).""" + filename = fault_filename() + before = attachment_rows(stand) + stand("fail-attachments", "outlive", filename) + # ожидание в триггере до 4,5 с: срок клиента больше + slow = Api(str(api.client.base_url), timeout=THREAD_CLIENT_TIMEOUT_S) + try: + with slow: + resp = upload_raw( + slow, + alice, + chat, + images.sample_png(), + filename=filename, + ) + # не 201 (ready без объекта) и не 500 (дефект ветки) + assert_error(resp, 503) + finally: + stand("clear-fail-attachments") + rows = attachment_rows(stand) + assert not new_ids(before, rows), rows + assert not stored_ids(stand) - set(before) + assert not orphan_objects(stand) + + +@pytest.mark.spec("storage-consistency", "Сбой уборки после удаления объекта") +def test_cleaner_failure_after_object_delete( + api: Api, + stand: Stand, + alice: Actor, + chat: dict[str, Any], +) -> None: + """Уборщик удалил объект, а удаление строки упало (08006), пока загрузка + ждёт перевода в ready: строка помечена до удаления объекта и ready уже + не станет (verify W1).""" + filename = fault_filename() + before = attachment_rows(stand) + stand("fail-attachments", "undeletable", filename) + slow = Api(str(api.client.base_url), timeout=THREAD_CLIENT_TIMEOUT_S) + try: + with slow: + resp = upload_raw( + slow, + alice, + chat, + images.sample_png(), + filename=filename, + ) + assert_error(resp, 503) + (pending,) = new_ids(before, attachment_rows(stand)) + assert attachment_rows(stand).get(pending) == "pending" + assert not ready_without_object(stand) + assert_invisible(api, alice, chat, pending) + finally: + stand("clear-fail-attachments") + # строка старше grace: следующий проход доводит уборку + returned = time.monotonic() + wait_cleaned(stand, pending, since=returned - CLEANER_GRACE_S) + assert not orphan_objects(stand) + assert not ready_without_object(stand) + + @pytest.mark.spec("storage-consistency", "S3 недоступен во время уборки") @pytest.mark.spec("storage-consistency", "БД недоступна во время уборки") @pytest.mark.spec("storage-consistency", "Готовые вложения не тронуты")