fix: address upload-consistency verify findings

Mark a stale pending row in its own committed transaction before the
cleaner deletes the object, and let mark_ready promote only unmarked
rows, so a cleaner rollback after the object delete can no longer leave
a ready attachment without its object. Add fault checks for an unknown
COMMIT outcome, an upload outliving the grace period and a cleaner
failure after the object delete; fix the cleaner entrypoint in rules.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-21 21:27:47 +03:00
co-authored by Claude Opus 5.5
parent f2dc0b368a
commit 87c48b940b
20 changed files with 714 additions and 118 deletions
+31 -2
View File
@@ -3,7 +3,7 @@
Строка пишется в статусе `pending` до записи объекта и переводится в
`ready` после неё (design change `attachments`, решение 1). Видимость
`pending` решает сервис: repo отдаёт строку как есть. Незавершённые
загрузки выбирает, блокирует и удаляет уборщик (design change
загрузки выбирает, блокирует, помечает и удаляет уборщик (design change
`upload-consistency`, решение 3).
"""
@@ -79,12 +79,20 @@ async def mark_ready(
attachment_id: UUID,
updated_at: datetime,
) -> dataclasses.AttachmentFullDTO | None:
"""`pending` → `ready`; `None` — строки в статусе `pending` нет."""
"""`pending` → `ready`; `None` — строки `pending` нет или уборщик уже
пометил её к уборке.
Вставка пишет `created_at` и `updated_at` одним значением, а уборщик
до удаления объекта сдвигает `updated_at` (`mark_removing`): `ready`
становится только непомеченная строка (design change
`upload-consistency`, «Уточнения apply», п. 16).
"""
statement = (
update(Attachment)
.where(
Attachment.id == attachment_id,
Attachment.status == AttachmentStatus.PENDING.value,
Attachment.updated_at == Attachment.created_at,
)
.values(status=AttachmentStatus.READY.value, updated_at=updated_at)
.returning(*_ATTACHMENT_COLUMNS)
@@ -182,6 +190,27 @@ async def lock_stale_pending(
)
async def mark_removing(
db_session: AsyncSession,
*,
attachment_id: UUID,
updated_at: datetime,
) -> bool:
"""Пометить строку к уборке: `updated_at` позже `created_at`, и
`mark_ready` её больше не переведёт в `ready`. `False` — строки нет.
Вызывается под блокировкой `lock_stale_pending`: `created_at` строки
раньше порога прохода, а `updated_at` — время уборщика после него.
"""
statement = (
update(Attachment)
.where(Attachment.id == attachment_id)
.values(updated_at=updated_at)
.returning(Attachment.id)
)
return (await db_session.execute(statement)).one_or_none() is not None
async def delete_attachment(
db_session: AsyncSession,
*,
+51 -13
View File
@@ -2,10 +2,11 @@
решения 3 и 5).
Сервис процесса уборщика (`src/cleaner/`), а не реплик API. Строка
`pending` старше grace: блокировка `FOR UPDATE SKIP LOCKED` → удаление
объекта → удаление строки → commit, каждая строка — своя транзакция.
Метаданные удаляются последними: объекта без строки уборка не
оставляет. Строки `ready` выборка не видит.
`pending` старше grace: блокировка `FOR UPDATE SKIP LOCKED` → пометка
(`updated_at`) → commit → удаление объекта → блокировка → удаление
строки → commit. Метаданные удаляются последними: объекта без строки
уборка не оставляет. Строки `ready` выборка не видит, а помеченную
строку `mark_ready` в `ready` не переводит («Уточнения apply», п. 16).
"""
import time
@@ -85,12 +86,16 @@ class AttachmentCleanupService:
if await self._remove(
attachment_id=candidate.id,
older_than=older_than,
stop_requested=stop_requested,
log=log,
):
removed += 1
else:
skipped += 1
if len(candidates) < batch_size or stop_requested():
if stop_requested():
# и после последней строки выборки, и посреди строки
interrupted_by = INTERRUPTED_BY_STOP
if len(candidates) < batch_size:
break
after = (candidates[-1].created_at, candidates[-1].id)
except exceptions.ObjectStorageUnavailable:
@@ -127,14 +132,29 @@ class AttachmentCleanupService:
*,
attachment_id: UUID,
older_than: datetime,
stop_requested: Callable[[], bool],
log: AbstractLogger,
) -> bool:
"""Убрать одну строку; `False` — её уже нет, она `ready` или её
держит другой процесс.
Блокировка строки упорядочивает уборщика и `mark_ready` загрузки,
пережившей grace: та ждёт commit и находит 0 строк (решение 3).
Объект — до строки; отказ S3 откатывает транзакцию.
1. Пометка — своя транзакция: блокировка, `updated_at` = сейчас,
commit. Загрузка, пережившая grace, ждёт блокировку в
`mark_ready` и после commit находит строку помеченной: `None`,
503 и компенсация. После пометки строка `ready` уже не станет,
поэтому никакой исход следующих шагов не даёт `ready` без
объекта: ни откат удаления строки, ни DELETE, который S3
выполнил после срока вызова (verify W1).
2. Объект — вне транзакции, после подтверждённой пометки. Отказ
S3 прерывает проход, помеченная строка ждёт следующего.
3. Строка — своя транзакция с той же блокировкой; занята или уже
убрана — пропуск, следующий проход доводит.
Повтор после сбоя между шагами идемпотентен: пометка ставится
заново, удаление объекта и строки — те же. `stop_requested()`
проверяется и между шагами: по SIGTERM доводится только текущий
шаг (не дольше срока шага с БД, 6 с), и уборщик укладывается в
срок остановки контейнера (10 с); помеченная строка ждёт
следующего запуска.
"""
async with self.db_scope() as db_session:
stale = await attachment_repo.lock_stale_pending(
@@ -144,13 +164,31 @@ class AttachmentCleanupService:
)
if stale is None:
return False
await attachment_object_repo.delete_original(
self.storage,
key=stale.object_key,
)
await attachment_repo.delete_attachment(
await attachment_repo.mark_removing(
db_session=db_session,
attachment_id=stale.id,
updated_at=utcnow(),
)
await db_session.commit()
if stop_requested():
return False
await attachment_object_repo.delete_original(
self.storage,
key=stale.object_key,
)
if stop_requested():
return False
async with self.db_scope() as db_session:
locked = await attachment_repo.lock_stale_pending(
db_session=db_session,
attachment_id=stale.id,
older_than=older_than,
)
if locked is None:
return False
await attachment_repo.delete_attachment(
db_session=db_session,
attachment_id=locked.id,
)
await db_session.commit()
log.info(