fix: address upload-consistency verify findings

Mark a stale pending row in its own committed transaction before the
cleaner deletes the object, and let mark_ready promote only unmarked
rows, so a cleaner rollback after the object delete can no longer leave
a ready attachment without its object. Add fault checks for an unknown
COMMIT outcome, an upload outliving the grace period and a cleaner
failure after the object delete; fix the cleaner entrypoint in rules.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-21 21:27:47 +03:00
co-authored by Claude Opus 5.5
parent f2dc0b368a
commit 87c48b940b
20 changed files with 714 additions and 118 deletions
+131 -25
View File
@@ -204,16 +204,20 @@ cron-контейнер. Отвергнуты: ещё один образ, S3 и
(created_at, id) > (:after) ORDER BY created_at, id LIMIT
:batch_size`. Это keyset, как у истории, по частичному индексу
(решение 6). Занятая строка не возвращает проход к началу.
3. Каждый кандидат — своя транзакция:
1. `SELECT … WHERE id = :id AND status = 'pending' AND created_at <
:older_than FOR UPDATE SKIP LOCKED`. Нет строки — её уже убрали,
она стала `ready` или её держит другой процесс: пропуск;
2. `storage.delete(object_key)`: 204 и для отсутствующего объекта;
3. `DELETE FROM attachments WHERE id = :id`;
4. commit.
3. Каждый кандидат — три шага (после verify W1, «Уточнения apply»,
п. 16; было — одна транзакция с DELETE объекта внутри):
1. транзакция пометки: `SELECT … WHERE id = :id AND status =
'pending' AND created_at < :older_than FOR UPDATE SKIP LOCKED`
(нет строки — её уже убрали, она стала `ready` или её держит
другой процесс: пропуск) → `UPDATE … SET updated_at = utcnow()` →
commit;
2. `storage.delete(object_key)` вне транзакции: 204 и для
отсутствующего объекта;
3. транзакция строки: та же блокировка → `DELETE FROM attachments
WHERE id = :id` → commit.
Отказ S3 откатывает транзакцию: строка остаётся, проход прерывается
(решение 5).
Отказ S3 прерывает проход: помеченная строка остаётся `pending`,
следующий проход ставит пометку заново (решение 5).
4. Итог — DTO: сколько убрано, сколько пропущено, причина прерывания,
длительность.
@@ -230,21 +234,40 @@ grace, после разморозки дойдёт до `mark_ready`. Без б
| | `DELETE … WHERE status = 'pending'` — 0 строк |
Итог — `ready` без объекта: клиент получил 201, скачивание — 500. С
блокировкой `mark_ready` ждёт commit уборщика и находит 0 строк. Ветка
`None` решения 1: 503 и удаление объекта. Если `mark_ready` успел
раньше, строка уже `ready`, и уборщик её не выбирает. Оба порядка
согласованы.
блокировкой `mark_ready` ждёт commit уборщика. Ветка `None` решения 1:
503 и удаление объекта. Если `mark_ready` успел раньше, строка уже
`ready`, и уборщик её не выбирает.
Транзакция держит блокировку и соединение уборщика на время DELETE в S3
(≤ 5 с). Это в своём пуле уборщика, на реплики не влияет. Сроки:
`[s3] timeout_seconds` (5) < `[database] request_timeout_seconds` (6) <
Одной блокировки мало (verify W1). В первой версии блокировка, DELETE
объекта и DELETE строки шли одной транзакцией, и её откат уже после
удачного DELETE в S3 возвращал строку `pending` в прежнем виде. Откат —
сбой БД перед COMMIT, срок 6 с, заморозка уборщика дольше
`idle_in_transaction_session_timeout`. То же, если DELETE в S3 истёк по
сроку, а сервер выполнил его позже. Ждавший `mark_ready` делал такую
строку `ready` без объекта (проба 3 verify). Поэтому пометка: уборщик
до DELETE объекта сдвигает `updated_at` отдельной зафиксированной
транзакцией, а `mark_ready` переводит в `ready` только строку с
`updated_at = created_at`. Вставка пишет оба поля одним значением
(`now`), а пометка — время уборщика, оно позже порога прохода и тем
более `created_at`. Помеченная строка `ready` уже не станет, и любой
исход шагов 2–3 оставляет её `pending`: загрузка получает `None` (503 и
компенсация), уборку доводит следующий проход. Миграции нет, CHECK
`updated_after_created` выполняется.
Блокировку и соединение уборщика держат только короткие транзакции
пометки и удаления строки; DELETE в S3 — между ними, вне транзакции.
Пул у уборщика свой, на реплики это не влияет. Сроки шага: `[s3]
timeout_seconds` (5) и `[database] request_timeout_seconds` (6) <
`idle_in_transaction_session_timeout` (10 с).
Остаток риска, назван в спеке и `REPORT.md`. Процесс API заморожен
дольше grace посреди PUT, уборщик убрал строку, затем после разморозки
S3 принял тело. Компенсации при этом нет: PUT для API завершился
ошибкой по сроку. Объект остаётся без строки, его находит только сверка
списком bucket (трек 2).
ошибкой по сроку. Или PUT прошёл, `mark_ready` получил `None`, а
удаление при компенсации не удалось. Объект остаётся без строки, его
находит только сверка списком bucket (трек 2). Второй остаток — окно
`make rolling_update` (п. 16): реплики прежней версии пометку не
проверяют.
*Альтернатива:* без блокировки, условие возраста в `mark_ready` (`AND
created_at > :deadline`). Отвергнута: API пришлось бы знать grace
@@ -558,17 +581,32 @@ Evidence (с закоммиченного кода):
## Risks / Trade-offs
- [Заморозка процесса API дольше grace посреди PUT оставляет объект без
строки] → вероятность — заморозка дольше 15 мин ровно посреди PUT;
запас grace ×50 над B; `error` в журнале у ветки `None`; находит сверка
трека 2. В спеке и `REPORT.md` названо прямо.
строки; то же — PUT прошёл после уборки, а удаление при компенсации не
удалось] → вероятность — заморозка дольше 15 мин ровно посреди PUT
(и для второго случая ещё отказ S3 на компенсации); запас grace ×50
над B; `error` в журнале у ветки `None`, `warning` «Attachment object
kept for cleaner»; находит сверка трека 2. В спеке и `REPORT.md`
названо прямо.
- [`ready` без объекта при откате транзакции уборщика после удачного
DELETE в S3 (verify W1)] → закрыто пометкой строки отдельной
транзакцией до DELETE объекта (решение 3, «Уточнения apply», п. 16).
Остаток — окно `make rolling_update`: реплики прежней версии
пометку не проверяют, прежний уборщик её не ставит. Оно длится до
конца замены и `docker compose up -d --no-deps cleaner`, нужен ещё и
зомби дольше grace — ограничение в `REPORT.md`.
- [Три шага на строку вместо одной транзакции: SIGTERM посреди строки
мог бы ждать 6 + 5 + 6 с при зависших хранилищах] → флаг остановки
проверяется и между шагами, доводится только текущий шаг (≤ 6 с <
10 с `stop_grace_period`). Требование `graceful-shutdown` уточнено.
- [Компенсация добавляет до 5 с к ответу 503, если S3 стал медленным
после удачного PUT] → только ветка сбоя tx2. Худший путь загрузки и
так длиннее `timeout server` HAProxy (`attachments`, Risks). Пересмотр
цепочки — `upload-memory`.
- [Транзакция уборщика держит блокировку строки на время DELETE в S3
(≤ 5 с)] → только строки старше grace. `mark_ready` зомби-загрузки
подождёт — это и нужно. Пул уборщика свой (1 соединение); `idle_in_
transaction_session_timeout` 10 с больше срока S3 5 с.
- [Транзакции уборщика держат блокировку строки] → только короткие
транзакции пометки и удаления строки и только строки старше grace;
DELETE в S3 — между ними, вне транзакции (после verify W1).
`mark_ready` зомби-загрузки подождёт — это и нужно. Пул уборщика свой
(1 соединение).
- [Долгий отказ S3 копит строки `pending`: каждая попытка загрузки — одна
строка] → после возврата S3 уборщик убирает их выборками по 100 через
индекс. Стоимость обхода — трек 2.
@@ -744,3 +782,71 @@ stop cleaner`. Индекс и пользователь `cleaner` остаютс
код 137; с 0,05 с — «Stopped cleaner before startup», код 0 за 0,2 с.
То же ограничение, что у API (`run-modes.md`, «окно 0»), названо в
`REPORT.md`; данных не портит. В apply пауза 0,3 с его не задевала.
Правки по verify 2026-10-21 (0 CRITICAL, 4 WARNING, 1 SUGGESTION; решения
основной сессии, tasks, группа 11):
16. **W1 закрыт кодом: пометка строки до удаления объекта** (решение 3,
Risks). Уборщик: `lock_stale_pending` → `mark_removing` (`updated_at
= utcnow()`) → commit; `delete_original`; `lock_stale_pending` →
`delete_attachment` → commit. `mark_ready` — `AND updated_at =
created_at`, помеченная строка — `None`, то есть прежняя ветка
«строку убрал уборщик» (503 и компенсация). Проверено:
- вставка `pending` пишет оба поля одним `now` — и в текущем коде, и
в `d9d44c5` (`git show`): строки, вставленные прежними репликами,
новый `mark_ready` переводит в `ready` как раньше;
- пометка строго позже `created_at`: строка выбрана по `created_at <
older_than`, а `utcnow()` уборщика позже `older_than`;
- повтор после сбоя между транзакциями идемпотентен — пометка
ставится заново, следующий проход доводит строку;
- окно `make rolling_update`: реплики прежней версии (`f2dc0b3`)
условия не знают, а скрипт уборщика не пересоздаёт (прежний
уборщик не помечает). До конца замены и `docker compose up -d
--no-deps cleaner` остаётся прежний риск W1, это ограничение
(`balancer.md`, `REPORT.md`). Смешанные версии друг другу не
мешают: прежний уборщик с новыми репликами — поведение до правки,
новый уборщик с прежними репликами — тоже.
Три шага вместо одной транзакции удлиняют худший SIGTERM посреди
строки до 6 + 5 + 6 с при зависших хранилищах. Поэтому
`stop_requested()` проверяется и между шагами (доводится только
текущий, ≤ 6 с < 10 с), а требование `graceful-shutdown` «Остановка
уборщика» уточнено: «довести текущий шаг уборки … новых шагов не
начинать», в дельте и основном спеке. Попутно итог прохода называет
`interrupted_by="stop"` и после последней строки выборки (раньше —
`None`).
Тест — `test_cleaner_failure_after_object_delete`, режим hook
`undeletable` (вставка на час старше, ожидание перевода в `ready`,
удаление строки падает с 08006); сценарий «Сбой уборки после удаления
объекта» (`storage-consistency`, «Безопасность уборки»). Красный на
коде `f2dc0b3` (`make failure_checks FAULT_ARGS='-k "commit_outcome
or outlives or failure_after_object"'`: 1 failed, 2 passed) — 201
вместо 503 за 4,6 с: уборщик удалил объект, откатился на DELETE
строки, ждавший `mark_ready` перевёл её в `ready`. Зелёный полный
`make failure_checks` на новом коде — 32 passed за 222 с, вся
команда 239 с, журнал PostgreSQL без признаков аварии, стенд отказов
удалён.
17. **W2 — тест ветки «исход COMMIT неизвестен».** Режим hook `commit`:
`CREATE CONSTRAINT TRIGGER … AFTER UPDATE DEFERRABLE INITIALLY
DEFERRED`, 08006 на COMMIT перевода в `ready`. Тест
`test_ready_commit_outcome_unknown`, сценарий «Исход фиксации
неизвестен» (`attachments`, «Порядок записи»). На `f2dc0b3` зелёный
(код верен, как в пробе 1 verify); красный на временной регрессии
«компенсация на любой сбой» (`if not commit_sent` → всегда): объекта
нет сразу после 503. Правка возвращена (`git diff` файла пуст).
18. **W3 — тест ветки «строку убрал уборщик до `ready`».** Режим hook
`outlive`: вставка на час старше — `created_at` и `updated_at`
вместе, иначе после п. 16 строка выглядела бы помеченной и тест
проверял бы не ту ветку; ожидание перевода в `ready` до 4,5 с в
триггере уровня оператора, пока строка `pending` не исчезнет.
Триггер — `BEFORE UPDATE OF status`, а не любой `UPDATE`: пометка
уборщика меняет только `updated_at`, и общий триггер заставил бы
ждать и её (уборщик ждал бы исчезновения строки, которую сам держит,
до 4,5 с). Тест `test_upload_outlives_grace`, сценарий «Загрузка
дольше grace» (`storage-consistency`). На `f2dc0b3` зелёный; красный
на временном возврате `RuntimeError`: 500 вместо 503. Правка
возвращена.
19. **W4 — evidence «Отказ S3 во время прохода»** — после коммита
основной сессии (раздел в `evidence/attachments/cleaner-process.md`).
20. **S1** — `docker.md`, раздел «Уборщик»: `entrypoint`, как в
`docker-compose.yml`, и почему не `command` (п. 6).
@@ -28,9 +28,9 @@ S3: без зафиксированных метаданных объект не
уборщик;
- исход фиксации `ready` неизвестен: связь оборвалась во время
фиксации. API MUST NOT удалять объект — вложение могло стать `ready`;
- к шагу 4 метаданных «загружается» уже нет: их убрал уборщик, потому
что загрузка длилась дольше grace. Ответ SHALL быть 503
`unavailable`, и API SHALL удалить записанный объект.
- к шагу 4 метаданных «загружается» уже нет или уборщик уже начал их
уборку, потому что загрузка длилась дольше grace. Ответ SHALL быть
503 `unavailable`, и API SHALL удалить записанный объект.
Если запись метаданных на шаге 2 не удалась, объект MUST NOT
записываться; отказ PostgreSQL при этом — 503 `unavailable`. Загрузка,
@@ -76,6 +76,15 @@ S3: без зафиксированных метаданных объект не
- **AND** вложение остаётся в статусе «загружается» до уборщика, а по
API его не видно
#### Scenario: Исход фиксации неизвестен
- **WHEN** объект вложения записан в S3, а фиксация перевода в `ready`
обрывается отказом PostgreSQL
- **THEN** ответ 503 `unavailable`, вложение в статусе «загружается» и
по API не видно, а его объект в bucket остаётся: API его не удаляет
- **AND** после grace уборщик убирает и метаданные, и объект, а в bucket
нет объектов вложений без метаданных
#### Scenario: Обрыв передачи тела
- **WHEN** клиент обрывает соединение посреди тела загрузки
@@ -5,8 +5,10 @@
### Requirement: Остановка уборщика
По SIGTERM уборщик незавершённых загрузок (capability
`storage-consistency`) SHALL довести загрузку, которую убирает, до
конца или до отката и больше новых не брать. Затем он SHALL выйти с
`storage-consistency`) SHALL довести текущий шаг уборки загрузки до
конца или до отката и больше новых шагов не начинать. Загрузка,
остановленная между шагами, остаётся в состоянии, из которого её
доводит следующий проход. Затем он SHALL выйти с
кодом 0 раньше срока остановки контейнера (10 с), а не по SIGKILL.
Сигнал во время старта процесса SHALL завершать его с кодом 0 без
traceback, как у API (требование «Остановка во время старта»).
@@ -23,9 +23,11 @@
`[cleaner] interval_seconds`. Каждую загрузку, метаданные которой
записаны раньше чем `[cleaner] pending_grace_seconds` назад (grace
period), он SHALL убирать по шагам:
1. удалить объект по ключу из её метаданных; отсутствие объекта — не
1. пометить её метаданные как убираемые и зафиксировать пометку
(требование «Безопасность уборки»);
2. удалить объект по ключу из её метаданных; отсутствие объекта — не
ошибка;
2. только после подтверждённого удаления объекта — удалить метаданные.
3. только после подтверждённого удаления объекта — удалить метаданные.
Каждый шаг SHALL быть безопасно повторяемым: проход, прерванный на
любом шаге, доводит следующий. После уборки у вложения не остаётся ни
@@ -34,8 +36,10 @@ period), он SHALL убирать по шагам:
Ограничение называется в `REPORT.md`. Объект может остаться без
метаданных, если процесс API заморожен дольше grace посреди записи
объекта и после разморозки дописал объект уже убранной загрузки. Такой
объект находит только сверка bucket и БД (трек 2).
объекта и после разморозки дописал объект уже убранной загрузки, а
удалить его не смог: запись объекта завершилась для API ошибкой по
сроку, или не удалось удаление при компенсации. Такой объект находит
только сверка bucket и БД (трек 2).
#### Scenario: Зависшая загрузка убрана
@@ -68,11 +72,39 @@ PostgreSQL и запись объекта, у каждого свой срок (
Загрузка, которая длится дольше grace (процесс API заморожен), и
уборщик SHALL исключать друг друга на одном вложении. Исходов два:
- вложение стало `ready` вместе с объектом, и уборщик его не трогает;
- уборщик его убрал, а загрузка отвечает 503 `unavailable` и удаляет
записанный ею объект.
- уборщик начал его уборку, а загрузка отвечает 503 `unavailable` и
удаляет записанный ею объект.
Вложение `ready` без объекта MUST NOT появляться ни при каком порядке
этих действий.
До удаления объекта уборщик SHALL помечать метаданные вложения как
убираемые и фиксировать пометку отдельно. Помеченное вложение MUST NOT
становиться `ready`. Поэтому сбой уборки после удаления объекта не даёт
вложения `ready` без объекта: загрузка отвечает 503, а уборку доводит
следующий проход. Сбой — например, не удалось удалить метаданные, или
S3 выполнил удаление уже после срока вызова. Вложение `ready` без
объекта MUST NOT появляться ни при каком порядке этих действий.
Ограничение называется в `REPORT.md`. Пока идёт поочерёдная замена
реплик API, реплики прежней версии пометку не проверяют. Для их
загрузок, переживших grace, это свойство не гарантировано.
#### Scenario: Загрузка дольше grace
- **WHEN** загрузка записала объект, а к переводу в `ready` её
метаданным уже больше grace, и уборщик убирает их, пока загрузка ждёт
перевода
- **THEN** ответ 503 `unavailable`, а не 201 и не 500, нет ни
метаданных, ни объекта этого вложения, а в bucket нет объектов
вложений без метаданных
#### Scenario: Сбой уборки после удаления объекта
- **WHEN** загрузка ждёт перевода в `ready`, её метаданным больше grace,
а уборщик удалил её объект, но удалить метаданные не смог: PostgreSQL
отказал
- **THEN** ответ загрузки 503 `unavailable`, а не 201, метаданные в
статусе «загружается», и вложения `ready` без объекта нет
- **AND** когда удаление метаданных снова проходит, уборщик доводит
уборку, и в bucket нет объектов вложений без метаданных
#### Scenario: Свежая загрузка не тронута
@@ -339,3 +339,65 @@ exclusion».
таблицы доказательств есть команда, наблюдение и файл; `make lint`,
`make check`, `openspec validate upload-consistency --type change
--strict`. Коммит — после подтверждения.
## 11. Замечания проверки
Verify 2026-10-21: 0 CRITICAL, 4 WARNING, 1 SUGGESTION; решения
основной сессии — design, «Уточнения apply», п. 16–20. Новый или
изменённый сценарий правится и в дельте, и в основном спеке дословно.
- [x] 11.1 W1, «`ready` без объекта» при откате уборщика — закрыть кодом
(решение 3, «Уточнения apply», п. 16):
- уборщик: `lock_stale_pending` → пометка `updated_at = utcnow()`
(`mark_removing`) → commit; DELETE объекта; своя транзакция —
`lock_stale_pending` → `delete_attachment` → commit;
- `mark_ready` — только непомеченная строка (`updated_at =
created_at`), помеченная — `None` (503 и компенсация);
- требование «Безопасность уборки» (`storage-consistency`), сценарий
«Сбой уборки после удаления объекта», ограничение «Уборщика
незавершённых загрузок», Decisions и Risks design; окно `make
rolling_update`;
- режим hook `fail-attachments undeletable <filename>` и тест
`test_cleaner_failure_after_object_delete`.
Проверка: вставка `pending` пишет `created_at` и `updated_at` одним
значением (и в коде до change); красный прогон теста на коде до
правки (201 вместо 503), зелёный — после; полный `make failure_checks`.
- [x] 11.2 W2, «исход COMMIT неизвестен»: режим hook `fail-attachments
commit <filename>` (отложенный триггер ограничения, 08006), сценарий
«Исход фиксации неизвестен» (`attachments`), тест
`test_ready_commit_outcome_unknown`: 503, строка `pending`, объект
есть сразу после ответа; через G + I + 5 с ни строки, ни объекта,
объектов без строки нет. Проверка: тест красный на временной
регрессии «компенсация на любой сбой» (правка откатывается), зелёный
на коде.
- [x] 11.3 W3, «строку убрал уборщик до `ready`»: режим hook
`fail-attachments outlive <filename>` (вставка на час старше вместе с
`updated_at`, ожидание перевода в `ready` в триггере уровня оператора
`BEFORE UPDATE OF status`), сценарий «Загрузка дольше grace»
(`storage-consistency`), тест `test_upload_outlives_grace`: 503 (не
201 и не 500), ни строки, ни объекта, объектов без строки нет.
Проверка: тест красный на временном возврате `RuntimeError`, зелёный
на коде.
- [ ] 11.4 W4, evidence сценария `service-logging` «Отказ S3 во время
прохода» — раздел в `evidence/attachments/cleaner-process.md` (`pause
s3` → `cleaner --once` с grace 30 с: код 1, «Object storage is
unavailable» и «Interrupted cleanup pass» с `interrupted_by:
object_storage`, строка на месте → `unpause` → `--once` убирает) и
строка `REPORT.md`. Снимается с закоммиченного кода. Проверка: `grep`
секретов по `evidence/` пуст.
- [x] 11.5 S1: `.claude/rules/docker.md`, раздел «Уборщик» — `entrypoint`,
а не `command`. Проверка: текст совпадает с `docker-compose.yml`.
- [x] 11.6 Документы и регресс: правила (`service-layer.md`,
`repo-layer.md`, `student-tests.md`), AGENTS.md (карта кода, действия
hook, время `make failure_checks`), `PLAN.md`. Проверки: `make lint`,
`make check`, `openspec validate upload-consistency --type change
--strict`, `openspec validate --specs`, полный `make failure_checks`
(код 0, сводка PostgreSQL без признаков аварии); на рабочем стенде
после `make rolling_update` и `docker compose up -d --no-deps cleaner`
— `make test`, `make student_test` через LB, `make test_isolated`,
`driver.py --port <LB> upload-consistency` (код 0).
- [ ] 11.7 После коммита основной сессии: evidence 11.4, пересъёмка
`evidence/tests/failure-checks.md` и чисел в `evidence/tests/` и
`REPORT.md`; `REPORT.md` — порядок уборки с пометкой и остаточный
риск, новые проверки, строка W4; строка этапа 3 `PLAN.md`.
+12 -3
View File
@@ -403,9 +403,9 @@ S3: без зафиксированных метаданных объект не
уборщик;
- исход фиксации `ready` неизвестен: связь оборвалась во время
фиксации. API MUST NOT удалять объект — вложение могло стать `ready`;
- к шагу 4 метаданных «загружается» уже нет: их убрал уборщик, потому
что загрузка длилась дольше grace. Ответ SHALL быть 503
`unavailable`, и API SHALL удалить записанный объект.
- к шагу 4 метаданных «загружается» уже нет или уборщик уже начал их
уборку, потому что загрузка длилась дольше grace. Ответ SHALL быть
503 `unavailable`, и API SHALL удалить записанный объект.
Если запись метаданных на шаге 2 не удалась, объект MUST NOT
записываться; отказ PostgreSQL при этом — 503 `unavailable`. Загрузка,
@@ -451,6 +451,15 @@ S3: без зафиксированных метаданных объект не
- **AND** вложение остаётся в статусе «загружается» до уборщика, а по
API его не видно
#### Scenario: Исход фиксации неизвестен
- **WHEN** объект вложения записан в S3, а фиксация перевода в `ready`
обрывается отказом PostgreSQL
- **THEN** ответ 503 `unavailable`, вложение в статусе «загружается» и
по API не видно, а его объект в bucket остаётся: API его не удаляет
- **AND** после grace уборщик убирает и метаданные, и объект, а в bucket
нет объектов вложений без метаданных
#### Scenario: Обрыв передачи тела
- **WHEN** клиент обрывает соединение посреди тела загрузки
+4 -2
View File
@@ -196,8 +196,10 @@ SIGTERM и SIGINT, пришедшие процессу сервиса во вр
### Requirement: Остановка уборщика
По SIGTERM уборщик незавершённых загрузок (capability
`storage-consistency`) SHALL довести загрузку, которую убирает, до
конца или до отката и больше новых не брать. Затем он SHALL выйти с
`storage-consistency`) SHALL довести текущий шаг уборки загрузки до
конца или до отката и больше новых шагов не начинать. Загрузка,
остановленная между шагами, остаётся в состоянии, из которого её
доводит следующий проход. Затем он SHALL выйти с
кодом 0 раньше срока остановки контейнера (10 с), а не по SIGKILL.
Сигнал во время старта процесса SHALL завершать его с кодом 0 без
traceback, как у API (требование «Остановка во время старта»).
+40 -8
View File
@@ -23,9 +23,11 @@
`[cleaner] interval_seconds`. Каждую загрузку, метаданные которой
записаны раньше чем `[cleaner] pending_grace_seconds` назад (grace
period), он SHALL убирать по шагам:
1. удалить объект по ключу из её метаданных; отсутствие объекта — не
1. пометить её метаданные как убираемые и зафиксировать пометку
(требование «Безопасность уборки»);
2. удалить объект по ключу из её метаданных; отсутствие объекта — не
ошибка;
2. только после подтверждённого удаления объекта — удалить метаданные.
3. только после подтверждённого удаления объекта — удалить метаданные.
Каждый шаг SHALL быть безопасно повторяемым: проход, прерванный на
любом шаге, доводит следующий. После уборки у вложения не остаётся ни
@@ -34,8 +36,10 @@ period), он SHALL убирать по шагам:
Ограничение называется в `REPORT.md`. Объект может остаться без
метаданных, если процесс API заморожен дольше grace посреди записи
объекта и после разморозки дописал объект уже убранной загрузки. Такой
объект находит только сверка bucket и БД (трек 2).
объекта и после разморозки дописал объект уже убранной загрузки, а
удалить его не смог: запись объекта завершилась для API ошибкой по
сроку, или не удалось удаление при компенсации. Такой объект находит
только сверка bucket и БД (трек 2).
#### Scenario: Зависшая загрузка убрана
@@ -68,11 +72,39 @@ PostgreSQL и запись объекта, у каждого свой срок (
Загрузка, которая длится дольше grace (процесс API заморожен), и
уборщик SHALL исключать друг друга на одном вложении. Исходов два:
- вложение стало `ready` вместе с объектом, и уборщик его не трогает;
- уборщик его убрал, а загрузка отвечает 503 `unavailable` и удаляет
записанный ею объект.
- уборщик начал его уборку, а загрузка отвечает 503 `unavailable` и
удаляет записанный ею объект.
Вложение `ready` без объекта MUST NOT появляться ни при каком порядке
этих действий.
До удаления объекта уборщик SHALL помечать метаданные вложения как
убираемые и фиксировать пометку отдельно. Помеченное вложение MUST NOT
становиться `ready`. Поэтому сбой уборки после удаления объекта не даёт
вложения `ready` без объекта: загрузка отвечает 503, а уборку доводит
следующий проход. Сбой — например, не удалось удалить метаданные, или
S3 выполнил удаление уже после срока вызова. Вложение `ready` без
объекта MUST NOT появляться ни при каком порядке этих действий.
Ограничение называется в `REPORT.md`. Пока идёт поочерёдная замена
реплик API, реплики прежней версии пометку не проверяют. Для их
загрузок, переживших grace, это свойство не гарантировано.
#### Scenario: Загрузка дольше grace
- **WHEN** загрузка записала объект, а к переводу в `ready` её
метаданным уже больше grace, и уборщик убирает их, пока загрузка ждёт
перевода
- **THEN** ответ 503 `unavailable`, а не 201 и не 500, нет ни
метаданных, ни объекта этого вложения, а в bucket нет объектов
вложений без метаданных
#### Scenario: Сбой уборки после удаления объекта
- **WHEN** загрузка ждёт перевода в `ready`, её метаданным больше grace,
а уборщик удалил её объект, но удалить метаданные не смог: PostgreSQL
отказал
- **THEN** ответ загрузки 503 `unavailable`, а не 201, метаданные в
статусе «загружается», и вложения `ready` без объекта нет
- **AND** когда удаление метаданных снова проходит, уборщик доводит
уборку, и в bucket нет объектов вложений без метаданных
#### Scenario: Свежая загрузка не тронута