fix: address upload-consistency verify findings
Mark a stale pending row in its own committed transaction before the cleaner deletes the object, and let mark_ready promote only unmarked rows, so a cleaner rollback after the object delete can no longer leave a ready attachment without its object. Add fault checks for an unknown COMMIT outcome, an upload outliving the grace period and a cleaner failure after the object delete; fix the cleaner entrypoint in rules. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -3,7 +3,7 @@
|
||||
Строка пишется в статусе `pending` до записи объекта и переводится в
|
||||
`ready` после неё (design change `attachments`, решение 1). Видимость
|
||||
`pending` решает сервис: repo отдаёт строку как есть. Незавершённые
|
||||
загрузки выбирает, блокирует и удаляет уборщик (design change
|
||||
загрузки выбирает, блокирует, помечает и удаляет уборщик (design change
|
||||
`upload-consistency`, решение 3).
|
||||
"""
|
||||
|
||||
@@ -79,12 +79,20 @@ async def mark_ready(
|
||||
attachment_id: UUID,
|
||||
updated_at: datetime,
|
||||
) -> dataclasses.AttachmentFullDTO | None:
|
||||
"""`pending` → `ready`; `None` — строки в статусе `pending` нет."""
|
||||
"""`pending` → `ready`; `None` — строки `pending` нет или уборщик уже
|
||||
пометил её к уборке.
|
||||
|
||||
Вставка пишет `created_at` и `updated_at` одним значением, а уборщик
|
||||
до удаления объекта сдвигает `updated_at` (`mark_removing`): `ready`
|
||||
становится только непомеченная строка (design change
|
||||
`upload-consistency`, «Уточнения apply», п. 16).
|
||||
"""
|
||||
statement = (
|
||||
update(Attachment)
|
||||
.where(
|
||||
Attachment.id == attachment_id,
|
||||
Attachment.status == AttachmentStatus.PENDING.value,
|
||||
Attachment.updated_at == Attachment.created_at,
|
||||
)
|
||||
.values(status=AttachmentStatus.READY.value, updated_at=updated_at)
|
||||
.returning(*_ATTACHMENT_COLUMNS)
|
||||
@@ -182,6 +190,27 @@ async def lock_stale_pending(
|
||||
)
|
||||
|
||||
|
||||
async def mark_removing(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
attachment_id: UUID,
|
||||
updated_at: datetime,
|
||||
) -> bool:
|
||||
"""Пометить строку к уборке: `updated_at` позже `created_at`, и
|
||||
`mark_ready` её больше не переведёт в `ready`. `False` — строки нет.
|
||||
|
||||
Вызывается под блокировкой `lock_stale_pending`: `created_at` строки
|
||||
раньше порога прохода, а `updated_at` — время уборщика после него.
|
||||
"""
|
||||
statement = (
|
||||
update(Attachment)
|
||||
.where(Attachment.id == attachment_id)
|
||||
.values(updated_at=updated_at)
|
||||
.returning(Attachment.id)
|
||||
)
|
||||
return (await db_session.execute(statement)).one_or_none() is not None
|
||||
|
||||
|
||||
async def delete_attachment(
|
||||
db_session: AsyncSession,
|
||||
*,
|
||||
|
||||
@@ -2,10 +2,11 @@
|
||||
решения 3 и 5).
|
||||
|
||||
Сервис процесса уборщика (`src/cleaner/`), а не реплик API. Строка
|
||||
`pending` старше grace: блокировка `FOR UPDATE SKIP LOCKED` → удаление
|
||||
объекта → удаление строки → commit, каждая строка — своя транзакция.
|
||||
Метаданные удаляются последними: объекта без строки уборка не
|
||||
оставляет. Строки `ready` выборка не видит.
|
||||
`pending` старше grace: блокировка `FOR UPDATE SKIP LOCKED` → пометка
|
||||
(`updated_at`) → commit → удаление объекта → блокировка → удаление
|
||||
строки → commit. Метаданные удаляются последними: объекта без строки
|
||||
уборка не оставляет. Строки `ready` выборка не видит, а помеченную
|
||||
строку `mark_ready` в `ready` не переводит («Уточнения apply», п. 16).
|
||||
"""
|
||||
|
||||
import time
|
||||
@@ -85,12 +86,16 @@ class AttachmentCleanupService:
|
||||
if await self._remove(
|
||||
attachment_id=candidate.id,
|
||||
older_than=older_than,
|
||||
stop_requested=stop_requested,
|
||||
log=log,
|
||||
):
|
||||
removed += 1
|
||||
else:
|
||||
skipped += 1
|
||||
if len(candidates) < batch_size or stop_requested():
|
||||
if stop_requested():
|
||||
# и после последней строки выборки, и посреди строки
|
||||
interrupted_by = INTERRUPTED_BY_STOP
|
||||
if len(candidates) < batch_size:
|
||||
break
|
||||
after = (candidates[-1].created_at, candidates[-1].id)
|
||||
except exceptions.ObjectStorageUnavailable:
|
||||
@@ -127,14 +132,29 @@ class AttachmentCleanupService:
|
||||
*,
|
||||
attachment_id: UUID,
|
||||
older_than: datetime,
|
||||
stop_requested: Callable[[], bool],
|
||||
log: AbstractLogger,
|
||||
) -> bool:
|
||||
"""Убрать одну строку; `False` — её уже нет, она `ready` или её
|
||||
держит другой процесс.
|
||||
|
||||
Блокировка строки упорядочивает уборщика и `mark_ready` загрузки,
|
||||
пережившей grace: та ждёт commit и находит 0 строк (решение 3).
|
||||
Объект — до строки; отказ S3 откатывает транзакцию.
|
||||
1. Пометка — своя транзакция: блокировка, `updated_at` = сейчас,
|
||||
commit. Загрузка, пережившая grace, ждёт блокировку в
|
||||
`mark_ready` и после commit находит строку помеченной: `None`,
|
||||
503 и компенсация. После пометки строка `ready` уже не станет,
|
||||
поэтому никакой исход следующих шагов не даёт `ready` без
|
||||
объекта: ни откат удаления строки, ни DELETE, который S3
|
||||
выполнил после срока вызова (verify W1).
|
||||
2. Объект — вне транзакции, после подтверждённой пометки. Отказ
|
||||
S3 прерывает проход, помеченная строка ждёт следующего.
|
||||
3. Строка — своя транзакция с той же блокировкой; занята или уже
|
||||
убрана — пропуск, следующий проход доводит.
|
||||
Повтор после сбоя между шагами идемпотентен: пометка ставится
|
||||
заново, удаление объекта и строки — те же. `stop_requested()`
|
||||
проверяется и между шагами: по SIGTERM доводится только текущий
|
||||
шаг (не дольше срока шага с БД, 6 с), и уборщик укладывается в
|
||||
срок остановки контейнера (10 с); помеченная строка ждёт
|
||||
следующего запуска.
|
||||
"""
|
||||
async with self.db_scope() as db_session:
|
||||
stale = await attachment_repo.lock_stale_pending(
|
||||
@@ -144,13 +164,31 @@ class AttachmentCleanupService:
|
||||
)
|
||||
if stale is None:
|
||||
return False
|
||||
await attachment_object_repo.delete_original(
|
||||
self.storage,
|
||||
key=stale.object_key,
|
||||
)
|
||||
await attachment_repo.delete_attachment(
|
||||
await attachment_repo.mark_removing(
|
||||
db_session=db_session,
|
||||
attachment_id=stale.id,
|
||||
updated_at=utcnow(),
|
||||
)
|
||||
await db_session.commit()
|
||||
if stop_requested():
|
||||
return False
|
||||
await attachment_object_repo.delete_original(
|
||||
self.storage,
|
||||
key=stale.object_key,
|
||||
)
|
||||
if stop_requested():
|
||||
return False
|
||||
async with self.db_scope() as db_session:
|
||||
locked = await attachment_repo.lock_stale_pending(
|
||||
db_session=db_session,
|
||||
attachment_id=stale.id,
|
||||
older_than=older_than,
|
||||
)
|
||||
if locked is None:
|
||||
return False
|
||||
await attachment_repo.delete_attachment(
|
||||
db_session=db_session,
|
||||
attachment_id=locked.id,
|
||||
)
|
||||
await db_session.commit()
|
||||
log.info(
|
||||
|
||||
Reference in New Issue
Block a user