fix: address upload-consistency verify findings

Mark a stale pending row in its own committed transaction before the
cleaner deletes the object, and let mark_ready promote only unmarked
rows, so a cleaner rollback after the object delete can no longer leave
a ready attachment without its object. Add fault checks for an unknown
COMMIT outcome, an upload outliving the grace period and a cleaner
failure after the object delete; fix the cleaner entrypoint in rules.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-21 21:27:47 +03:00
co-authored by Claude Opus 5.5
parent f2dc0b368a
commit 87c48b940b
20 changed files with 714 additions and 118 deletions
+12 -3
View File
@@ -403,9 +403,9 @@ S3: без зафиксированных метаданных объект не
уборщик;
- исход фиксации `ready` неизвестен: связь оборвалась во время
фиксации. API MUST NOT удалять объект — вложение могло стать `ready`;
- к шагу 4 метаданных «загружается» уже нет: их убрал уборщик, потому
что загрузка длилась дольше grace. Ответ SHALL быть 503
`unavailable`, и API SHALL удалить записанный объект.
- к шагу 4 метаданных «загружается» уже нет или уборщик уже начал их
уборку, потому что загрузка длилась дольше grace. Ответ SHALL быть
503 `unavailable`, и API SHALL удалить записанный объект.
Если запись метаданных на шаге 2 не удалась, объект MUST NOT
записываться; отказ PostgreSQL при этом — 503 `unavailable`. Загрузка,
@@ -451,6 +451,15 @@ S3: без зафиксированных метаданных объект не
- **AND** вложение остаётся в статусе «загружается» до уборщика, а по
API его не видно
#### Scenario: Исход фиксации неизвестен
- **WHEN** объект вложения записан в S3, а фиксация перевода в `ready`
обрывается отказом PostgreSQL
- **THEN** ответ 503 `unavailable`, вложение в статусе «загружается» и
по API не видно, а его объект в bucket остаётся: API его не удаляет
- **AND** после grace уборщик убирает и метаданные, и объект, а в bucket
нет объектов вложений без метаданных
#### Scenario: Обрыв передачи тела
- **WHEN** клиент обрывает соединение посреди тела загрузки
+4 -2
View File
@@ -196,8 +196,10 @@ SIGTERM и SIGINT, пришедшие процессу сервиса во вр
### Requirement: Остановка уборщика
По SIGTERM уборщик незавершённых загрузок (capability
`storage-consistency`) SHALL довести загрузку, которую убирает, до
конца или до отката и больше новых не брать. Затем он SHALL выйти с
`storage-consistency`) SHALL довести текущий шаг уборки загрузки до
конца или до отката и больше новых шагов не начинать. Загрузка,
остановленная между шагами, остаётся в состоянии, из которого её
доводит следующий проход. Затем он SHALL выйти с
кодом 0 раньше срока остановки контейнера (10 с), а не по SIGKILL.
Сигнал во время старта процесса SHALL завершать его с кодом 0 без
traceback, как у API (требование «Остановка во время старта»).
+40 -8
View File
@@ -23,9 +23,11 @@
`[cleaner] interval_seconds`. Каждую загрузку, метаданные которой
записаны раньше чем `[cleaner] pending_grace_seconds` назад (grace
period), он SHALL убирать по шагам:
1. удалить объект по ключу из её метаданных; отсутствие объекта — не
1. пометить её метаданные как убираемые и зафиксировать пометку
(требование «Безопасность уборки»);
2. удалить объект по ключу из её метаданных; отсутствие объекта — не
ошибка;
2. только после подтверждённого удаления объекта — удалить метаданные.
3. только после подтверждённого удаления объекта — удалить метаданные.
Каждый шаг SHALL быть безопасно повторяемым: проход, прерванный на
любом шаге, доводит следующий. После уборки у вложения не остаётся ни
@@ -34,8 +36,10 @@ period), он SHALL убирать по шагам:
Ограничение называется в `REPORT.md`. Объект может остаться без
метаданных, если процесс API заморожен дольше grace посреди записи
объекта и после разморозки дописал объект уже убранной загрузки. Такой
объект находит только сверка bucket и БД (трек 2).
объекта и после разморозки дописал объект уже убранной загрузки, а
удалить его не смог: запись объекта завершилась для API ошибкой по
сроку, или не удалось удаление при компенсации. Такой объект находит
только сверка bucket и БД (трек 2).
#### Scenario: Зависшая загрузка убрана
@@ -68,11 +72,39 @@ PostgreSQL и запись объекта, у каждого свой срок (
Загрузка, которая длится дольше grace (процесс API заморожен), и
уборщик SHALL исключать друг друга на одном вложении. Исходов два:
- вложение стало `ready` вместе с объектом, и уборщик его не трогает;
- уборщик его убрал, а загрузка отвечает 503 `unavailable` и удаляет
записанный ею объект.
- уборщик начал его уборку, а загрузка отвечает 503 `unavailable` и
удаляет записанный ею объект.
Вложение `ready` без объекта MUST NOT появляться ни при каком порядке
этих действий.
До удаления объекта уборщик SHALL помечать метаданные вложения как
убираемые и фиксировать пометку отдельно. Помеченное вложение MUST NOT
становиться `ready`. Поэтому сбой уборки после удаления объекта не даёт
вложения `ready` без объекта: загрузка отвечает 503, а уборку доводит
следующий проход. Сбой — например, не удалось удалить метаданные, или
S3 выполнил удаление уже после срока вызова. Вложение `ready` без
объекта MUST NOT появляться ни при каком порядке этих действий.
Ограничение называется в `REPORT.md`. Пока идёт поочерёдная замена
реплик API, реплики прежней версии пометку не проверяют. Для их
загрузок, переживших grace, это свойство не гарантировано.
#### Scenario: Загрузка дольше grace
- **WHEN** загрузка записала объект, а к переводу в `ready` её
метаданным уже больше grace, и уборщик убирает их, пока загрузка ждёт
перевода
- **THEN** ответ 503 `unavailable`, а не 201 и не 500, нет ни
метаданных, ни объекта этого вложения, а в bucket нет объектов
вложений без метаданных
#### Scenario: Сбой уборки после удаления объекта
- **WHEN** загрузка ждёт перевода в `ready`, её метаданным больше grace,
а уборщик удалил её объект, но удалить метаданные не смог: PostgreSQL
отказал
- **THEN** ответ загрузки 503 `unavailable`, а не 201, метаданные в
статусе «загружается», и вложения `ready` без объекта нет
- **AND** когда удаление метаданных снова проходит, уборщик доводит
уборку, и в bucket нет объектов вложений без метаданных
#### Scenario: Свежая загрузка не тронута