fix: address upload-consistency verify findings
Mark a stale pending row in its own committed transaction before the cleaner deletes the object, and let mark_ready promote only unmarked rows, so a cleaner rollback after the object delete can no longer leave a ready attachment without its object. Add fault checks for an unknown COMMIT outcome, an upload outliving the grace period and a cleaner failure after the object delete; fix the cleaner entrypoint in rules. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -403,9 +403,9 @@ S3: без зафиксированных метаданных объект не
|
||||
уборщик;
|
||||
- исход фиксации `ready` неизвестен: связь оборвалась во время
|
||||
фиксации. API MUST NOT удалять объект — вложение могло стать `ready`;
|
||||
- к шагу 4 метаданных «загружается» уже нет: их убрал уборщик, потому
|
||||
что загрузка длилась дольше grace. Ответ SHALL быть 503
|
||||
`unavailable`, и API SHALL удалить записанный объект.
|
||||
- к шагу 4 метаданных «загружается» уже нет или уборщик уже начал их
|
||||
уборку, потому что загрузка длилась дольше grace. Ответ SHALL быть
|
||||
503 `unavailable`, и API SHALL удалить записанный объект.
|
||||
|
||||
Если запись метаданных на шаге 2 не удалась, объект MUST NOT
|
||||
записываться; отказ PostgreSQL при этом — 503 `unavailable`. Загрузка,
|
||||
@@ -451,6 +451,15 @@ S3: без зафиксированных метаданных объект не
|
||||
- **AND** вложение остаётся в статусе «загружается» до уборщика, а по
|
||||
API его не видно
|
||||
|
||||
#### Scenario: Исход фиксации неизвестен
|
||||
|
||||
- **WHEN** объект вложения записан в S3, а фиксация перевода в `ready`
|
||||
обрывается отказом PostgreSQL
|
||||
- **THEN** ответ 503 `unavailable`, вложение в статусе «загружается» и
|
||||
по API не видно, а его объект в bucket остаётся: API его не удаляет
|
||||
- **AND** после grace уборщик убирает и метаданные, и объект, а в bucket
|
||||
нет объектов вложений без метаданных
|
||||
|
||||
#### Scenario: Обрыв передачи тела
|
||||
|
||||
- **WHEN** клиент обрывает соединение посреди тела загрузки
|
||||
|
||||
@@ -196,8 +196,10 @@ SIGTERM и SIGINT, пришедшие процессу сервиса во вр
|
||||
### Requirement: Остановка уборщика
|
||||
|
||||
По SIGTERM уборщик незавершённых загрузок (capability
|
||||
`storage-consistency`) SHALL довести загрузку, которую убирает, до
|
||||
конца или до отката и больше новых не брать. Затем он SHALL выйти с
|
||||
`storage-consistency`) SHALL довести текущий шаг уборки загрузки до
|
||||
конца или до отката и больше новых шагов не начинать. Загрузка,
|
||||
остановленная между шагами, остаётся в состоянии, из которого её
|
||||
доводит следующий проход. Затем он SHALL выйти с
|
||||
кодом 0 раньше срока остановки контейнера (10 с), а не по SIGKILL.
|
||||
Сигнал во время старта процесса SHALL завершать его с кодом 0 без
|
||||
traceback, как у API (требование «Остановка во время старта»).
|
||||
|
||||
@@ -23,9 +23,11 @@
|
||||
`[cleaner] interval_seconds`. Каждую загрузку, метаданные которой
|
||||
записаны раньше чем `[cleaner] pending_grace_seconds` назад (grace
|
||||
period), он SHALL убирать по шагам:
|
||||
1. удалить объект по ключу из её метаданных; отсутствие объекта — не
|
||||
1. пометить её метаданные как убираемые и зафиксировать пометку
|
||||
(требование «Безопасность уборки»);
|
||||
2. удалить объект по ключу из её метаданных; отсутствие объекта — не
|
||||
ошибка;
|
||||
2. только после подтверждённого удаления объекта — удалить метаданные.
|
||||
3. только после подтверждённого удаления объекта — удалить метаданные.
|
||||
|
||||
Каждый шаг SHALL быть безопасно повторяемым: проход, прерванный на
|
||||
любом шаге, доводит следующий. После уборки у вложения не остаётся ни
|
||||
@@ -34,8 +36,10 @@ period), он SHALL убирать по шагам:
|
||||
|
||||
Ограничение называется в `REPORT.md`. Объект может остаться без
|
||||
метаданных, если процесс API заморожен дольше grace посреди записи
|
||||
объекта и после разморозки дописал объект уже убранной загрузки. Такой
|
||||
объект находит только сверка bucket и БД (трек 2).
|
||||
объекта и после разморозки дописал объект уже убранной загрузки, а
|
||||
удалить его не смог: запись объекта завершилась для API ошибкой по
|
||||
сроку, или не удалось удаление при компенсации. Такой объект находит
|
||||
только сверка bucket и БД (трек 2).
|
||||
|
||||
#### Scenario: Зависшая загрузка убрана
|
||||
|
||||
@@ -68,11 +72,39 @@ PostgreSQL и запись объекта, у каждого свой срок (
|
||||
Загрузка, которая длится дольше grace (процесс API заморожен), и
|
||||
уборщик SHALL исключать друг друга на одном вложении. Исходов два:
|
||||
- вложение стало `ready` вместе с объектом, и уборщик его не трогает;
|
||||
- уборщик его убрал, а загрузка отвечает 503 `unavailable` и удаляет
|
||||
записанный ею объект.
|
||||
- уборщик начал его уборку, а загрузка отвечает 503 `unavailable` и
|
||||
удаляет записанный ею объект.
|
||||
|
||||
Вложение `ready` без объекта MUST NOT появляться ни при каком порядке
|
||||
этих действий.
|
||||
До удаления объекта уборщик SHALL помечать метаданные вложения как
|
||||
убираемые и фиксировать пометку отдельно. Помеченное вложение MUST NOT
|
||||
становиться `ready`. Поэтому сбой уборки после удаления объекта не даёт
|
||||
вложения `ready` без объекта: загрузка отвечает 503, а уборку доводит
|
||||
следующий проход. Сбой — например, не удалось удалить метаданные, или
|
||||
S3 выполнил удаление уже после срока вызова. Вложение `ready` без
|
||||
объекта MUST NOT появляться ни при каком порядке этих действий.
|
||||
|
||||
Ограничение называется в `REPORT.md`. Пока идёт поочерёдная замена
|
||||
реплик API, реплики прежней версии пометку не проверяют. Для их
|
||||
загрузок, переживших grace, это свойство не гарантировано.
|
||||
|
||||
#### Scenario: Загрузка дольше grace
|
||||
|
||||
- **WHEN** загрузка записала объект, а к переводу в `ready` её
|
||||
метаданным уже больше grace, и уборщик убирает их, пока загрузка ждёт
|
||||
перевода
|
||||
- **THEN** ответ 503 `unavailable`, а не 201 и не 500, нет ни
|
||||
метаданных, ни объекта этого вложения, а в bucket нет объектов
|
||||
вложений без метаданных
|
||||
|
||||
#### Scenario: Сбой уборки после удаления объекта
|
||||
|
||||
- **WHEN** загрузка ждёт перевода в `ready`, её метаданным больше grace,
|
||||
а уборщик удалил её объект, но удалить метаданные не смог: PostgreSQL
|
||||
отказал
|
||||
- **THEN** ответ загрузки 503 `unavailable`, а не 201, метаданные в
|
||||
статусе «загружается», и вложения `ready` без объекта нет
|
||||
- **AND** когда удаление метаданных снова проходит, уборщик доводит
|
||||
уборку, и в bucket нет объектов вложений без метаданных
|
||||
|
||||
#### Scenario: Свежая загрузка не тронута
|
||||
|
||||
|
||||
Reference in New Issue
Block a user