docs: add upload-consistency verify evidence and report

Capture the cleaner pass under a paused S3 (row stays marked pending,
next pass removes it), re-run failure checks (32 of 32 with red runs of
the new checks), student tests and the isolated run on 87c48b9, and
describe the marked three-step cleanup and its rolling-update window in
the report.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-21 21:42:31 +03:00
co-authored by Claude Opus 5.5
parent 87c48b940b
commit 6551839807
9 changed files with 296 additions and 130 deletions
+2 -2
View File
@@ -441,13 +441,13 @@ Dockerfile # builder (uv sync --locked) → runtime: .venv + s
docker-compose.yml # проект mtusi-lab4: postgres, valkey, s3 (SeaweedFS, служебное на loopback, API S3 на 127.0.0.1:S3_OUT_PORT), migrate, s3-bootstrap, api × API_REPLICAS без портов, cleaner (уборщик: точка входа python -m src.cleaner, пул 1, ключи S3_CLEANER_*, без healthcheck), haproxy — единственный порт API; адреса и порты из .env, volumes postgres_data и s3_data, лимиты у всех, окружение и секреты по сервисам (x-db-env, x-cache-env, x-s3-env, x-s3-api-keys-env)
.dockerignore
config_example.toml, .env.example
evidence/attachments/ # change attachments: smoke.md, failover.md (driver.py attachment-failover stop и kill), storage.md (driver.py attachment-storage), slow-transfer.md (10 MiB через LB дольше 6 с); change upload-consistency: consistency.md (driver.py upload-consistency и журналы API и уборщика), cleaner-process.md (старт, отказ конфигурации, остановка, окно 0, рестарт хранилищ)
evidence/attachments/ # change attachments: smoke.md, failover.md (driver.py attachment-failover stop и kill), storage.md (driver.py attachment-storage), slow-transfer.md (10 MiB через LB дольше 6 с); change upload-consistency: consistency.md (driver.py upload-consistency и журналы API и уборщика), cleaner-process.md (старт, отказ конфигурации, остановка, окно 0, рестарт хранилищ, отказ S3 во время прохода)
evidence/s3/ # change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам)
evidence/storage/ # отказы БД, пул, statement_timeout, рестарт, порты Postgres, свежий clone; connection-cost.md — цена нового соединения и пинга
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick)
evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия)
evidence/cache/ # hits.md — make test_isolated + driver.py cache-check на стенде текущей лабы: одно чтение chats на 50 через LB, TTL, ключи двух баз (исключения сверки покрытия)
evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; лаба 4: failure-checks.md (стенд отказов со своим S3 и уборщиком, 29 проверок, красный прогон до upload-consistency), student-test-lb.md, test-isolated-s3-cleanup.md (уборка префикса test_<db>/) — до attachments с ожидаемо красными тестами схемы Message; лаба 3 (в этом репозитории пока нет): profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline; fix-known-issues-checks.md — сверка событий поток/буфер, красный и зелёный failure_checks, консоль, сверка ссылок исключений, регрессия; strict-id-validation-checks.md — красный и зелёный прогоны курсора и UUID на входе, пересмотр проверки курсора, замена реплик, клон во временном проекте
evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; лаба 4: failure-checks.md (стенд отказов со своим S3 и уборщиком, 32 проверки, красные прогоны до upload-consistency и до правок по verify), student-test-lb.md, test-isolated-s3-cleanup.md (уборка префикса test_<db>/) — до attachments с ожидаемо красными тестами схемы Message; лаба 3 (в этом репозитории пока нет): profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline; fix-known-issues-checks.md — сверка событий поток/буфер, красный и зелёный failure_checks, консоль, сверка ссылок исключений, регрессия; strict-id-validation-checks.md — красный и зелёный прогоны курсора и UUID на входе, пересмотр проверки курсора, замена реплик, клон во временном проекте
evidence/idempotency/ # повтор, 409, гонка, таблица ключей, X-Instance-Id
evidence/replicas/ # стенд с LB: порты, лимиты и их цена для Argon2id, окружение, распределение, ответы LB (нет реплик, зависшая, без PostgreSQL), test-persistence, чистый clone на нестандартных портах
evidence/failover/ # make test-failover для каждой реплики (stop и kill), отказы stop-one.sh; замер обнаружения, keep-alive, зависшая реплика и ключ; stop-at-start.md — docker stop стартующей реплики «до/после» раннего обработчика и ветка сбоя rolling-update.sh
+1 -1
View File
@@ -229,7 +229,7 @@ RustFS. В `.claude/rules/settings.md` MinIO упомянут только пр
| 0 | — (подготовка) | — | этот план; выбор трека и S3-сервера | план сохранён 2026-10-20; трек 2, SeaweedFS, решения 3 и 7 подтверждены 2026-10-20 |
| 1 | `s3-storage` | 3 (+4: bootstrap, права, консоль, приватность) | S3 в стенде, bootstrap, клиент в `src/infra/s3/`, настройки, все стенды знают о S3 | bootstrap дважды без ошибок, анонимный GET / LIST → 403, ключ API не может admin-операций, `make test-persistence` перезапускает и S3; **заархивирован 2026-10-20** — `openspec/changes/archive/2026-10-20-s3-storage/` |
| 2 | `attachments` | 3 (+4: тесты) | миграция, домен `attachment`, ручки, `attachment_ids` в сообщениях, тесты | зелёные `make test`, `test-persistence`, `test-failover`, свой сценарий отказа загрузившей реплики; негативные тесты; evidence исключений переснят; **код — `116d8d3`, гонка `bench_restore` — `d56b892`; evidence 2026-10-20 с `d56b892`: `evidence/attachments/`, исключения, `evidence/tests/` (196 / 191 + 5 пропусков / 23 из 23), `test-failover` для обеих реплик; правки verify — `dba40bc`, после них `student_test` 197 и `failure_checks` 24 из 24, `bench_rollout` `attachments` переснят с `e1f8531` на чистом дереве (8,67 с, ошибок 0, 12 001 = 12 001); заархивирован 2026-10-21** — `openspec/changes/archive/2026-10-21-attachments/` |
| 3 | `upload-consistency` | 4 | намерение до PUT, компенсация, уборщик с grace period, тесты отказов | `make failure_checks` с отказами S3 и БД посреди загрузки: нет 500, нет неучтённых объектов старше grace period; **код — `5b42bd2`; evidence 2026-10-21 с него: `evidence/attachments/consistency.md` и `cleaner-process.md`, `evidence/s3/cleaner-key.md`, `evidence/migrations/pending-index.md`, `evidence/tests/` (`failure_checks` 29 из 29, `student_test` 197, сверка 212 / 33, `test_isolated` 192 + 5 пропусков); `REPORT.md` — раздел «Согласованность БД и S3», ответ на вопрос «PUT прошёл, COMMIT нет», строки уровня «4»** |
| 3 | `upload-consistency` | 4 | намерение до PUT, компенсация, уборщик с grace period, тесты отказов | `make failure_checks` с отказами S3 и БД посреди загрузки: нет 500, нет неучтённых объектов старше grace period; **код — `5b42bd2`; evidence 2026-10-21 с него: `evidence/attachments/consistency.md` и `cleaner-process.md`, `evidence/s3/cleaner-key.md`, `evidence/migrations/pending-index.md`, `evidence/tests/`; `REPORT.md` — раздел «Согласованность БД и S3», ответ на вопрос «PUT прошёл, COMMIT нет», строки уровня «4». Правки по verify (W1–W4, S1) — код `87c48b9`: пометка строки уборщиком до удаления объекта, тесты неизвестного COMMIT, загрузки дольше grace и сбоя уборки после удаления объекта; evidence 2026-10-21 с него: `evidence/tests/` (`failure_checks` 32 из 32, `student_test` 197, сверка 215 / 36, `test_isolated` 192 + 5 пропусков), `cleaner-process.md` раздел 7 (отказ S3 во время прохода); `REPORT.md` — пометка, остаточный риск и окно `rolling_update`** |
| 4 | `upload-memory` | 4 | лимит загрузок на реплику, сроки тела, профиль `uploads` | замер ≥ 10 одновременных загрузок: пик памяти ограничен, механизм объяснён |
| 5 | `track2-reconciler` | 5 | reconciler: dry-run / apply, классы расхождений, внедрение ошибок, доказательство безопасности | ошибки внесены с обеих сторон, обнаружены, исправлены; повторный запуск находит 0; под загрузками ничего подтверждённого не удалено |
| 6 | `track2-reconcile-cost` | 5 | гипотезы, профиль стоимости обхода, стратегии, графики | метки в `evidence/`, выводы по гипотезам и ограничения в `REPORT.md` |
+70 -31
View File
@@ -303,7 +303,7 @@ PostgreSQL **до** записи — строка `pending` с `object_key` фи
| PUT: S3 недоступен, срок 5 с, 5xx, отказ в доступе | 503 | не трогается: при замороженном S3 тело не уходит без ответа сервера (проба), а DELETE ждал бы ещё 5 с | уборщику |
| tx2 до отправки COMMIT (`UPDATE`, пул, срок на нём) | 503 (отказ БД) или 500 (дефект) | **удаляется до ответа** ключом API, без повторов; не удалось — `warning`, остаётся уборщику | уборщику |
| tx2 на самом COMMIT (связь оборвалась во время фиксации) | 503 | **не трогается**: вложение могло стать `ready`, удаление дало бы `ready` без объекта | уборщику, если фиксации не было |
| `mark_ready` → 0 строк (строку убрал уборщик: загрузка длилась дольше grace) | 503, `error` в журнале | **удаляется до ответа** | нет |
| `mark_ready` → 0 строк (строку убрал или пометил к уборке уборщик: загрузка длилась дольше grace) | 503, `error` в журнале | **удаляется до ответа** | нет или помеченная — уборщику |
| процесс убит, задача отменена | — | не трогается | уборщику |
Граница «до отправки COMMIT» — флаг, который ставится прямо перед
@@ -319,16 +319,20 @@ PostgreSQL **до** записи — строка `pending` с `object_key` фи
выбирает строки `pending` старше `[cleaner] pending_grace_seconds`
(900 с) выборками по 100 (keyset по `(created_at, id)`, частичный индекс
`ix_attachments_pending_created_at` — план в
`evidence/migrations/pending-index.md`) и каждую убирает своей
транзакцией:
1. `SELECT … FOR UPDATE SKIP LOCKED` той же строки (всё ещё `pending` и
старше порога; нет — пропуск);
2. DELETE объекта ключом уборщика (отсутствие объекта — тоже 204);
3. DELETE строки, commit.
`evidence/migrations/pending-index.md`) и каждую убирает в три шага
(после verify, `87c48b9`):
1. транзакция пометки: `SELECT … FOR UPDATE SKIP LOCKED` той же строки
(всё ещё `pending` и старше порога; нет — пропуск), `updated_at =
now()` уборщика, commit;
2. DELETE объекта ключом уборщика, вне транзакции (отсутствие объекта —
тоже 204);
3. транзакция строки: та же блокировка, DELETE строки, commit.
Объект удаляется раньше строки: сбой между шагами оставляет строку без
объекта (следующий проход её доуберёт), а не объект без строки. Строки
`ready` выборка не видит никогда.
объекта (следующий проход её доуберёт, пометка ставится заново), а не
объект без строки. Строки `ready` выборка не видит никогда. SIGTERM
доводит только текущий шаг (≤ 6 с), между шагами уборщик останавливается
сам.
**Зачем блокировка.** Загрузка короче grace, но процесс API, замороженный
дольше grace (`docker pause`, пауза ВМ), после разморозки дойдёт до
@@ -336,10 +340,21 @@ PostgreSQL **до** записи — строка `pending` с `object_key` фи
`mark_ready` сделал строку `ready`» дал бы `ready` без объекта (201
клиенту, 500 при скачивании). С блокировкой `mark_ready` ждёт commit
уборщика и находит 0 строк → компенсация и 503; если `mark_ready` успел
раньше, строка уже `ready`, и уборщик её не выбирает. Транзакция
уборщика держит строку на время DELETE в S3 (≤ 5 с) — в своём пуле из
одного соединения; `[s3] timeout_seconds` 5 < `request_timeout_seconds`
6 < `idle_in_transaction_session_timeout` 10 с.
раньше, строка уже `ready`, и уборщик её не выбирает.
**Зачем пометка** (замечание W1 verify). В первой версии блокировка,
DELETE объекта и DELETE строки шли одной транзакцией. Её откат уже после
удачного DELETE в S3 (сбой БД перед COMMIT, срок, заморозка уборщика) или
DELETE, который S3 выполнил после срока вызова, возвращали строку
`pending` как была, и ждавший `mark_ready` делал её `ready` без объекта.
Теперь `mark_ready` переводит в `ready` только непомеченную строку
(`updated_at = created_at`: вставка пишет оба поля одним значением), а
пометка зафиксирована до DELETE объекта. Помеченная строка `ready` уже не
станет: загрузка получает 503 и удаляет свой объект, уборку доводит
следующий проход (`test_cleaner_failure_after_object_delete`). Миграции
нет, CHECK `updated_at >= created_at` выполняется. Блокировку держат
только две короткие транзакции; DELETE в S3 — между ними, в своём пуле
уборщика из одного соединения.
**Grace period и его обоснование.** Граница живой загрузки B — от
записи `created_at` строки до фиксации `ready`: tx1 ≤
@@ -418,17 +433,23 @@ PostgreSQL недоступен — проход пропускается (`warn
- связь оборвалась **во время** COMMIT — исход неизвестен, вложение
могло стать `ready`, поэтому объект не трогаем; если фиксации не
было, строка осталась `pending`, и уборщик после grace (900 с)
удалит объект и строку;
удалит объект и строку (`test_ready_commit_outcome_unknown`:
отложенный триггер роняет COMMIT, объект на месте сразу после 503,
после grace — ни строки, ни объекта);
- процесс API убит между PUT и COMMIT — то же: строка `pending` и
объект, уборщик убирает оба после grace
(`test_killed_between_put_and_ready`).
Уборщик удаляет объект раньше строки и под `FOR UPDATE SKIP LOCKED`,
поэтому загрузка, пережившая grace, и уборщик не дают `ready` без
объекта. Остаток риска назван в «Ограничениях»: процесс API заморожен
дольше grace посреди самого PUT, уборщик убрал строку, а S3 принял
тело после разморозки — объект без строки, его находит только сверка
bucket и БД (трек 2).
Уборщик под `FOR UPDATE SKIP LOCKED` сначала помечает строку
отдельной транзакцией, потом удаляет объект, потом строку. Помеченную
строку `mark_ready` не переводит в `ready`, поэтому загрузка,
пережившая grace, получает 503 (`test_upload_outlives_grace`), и даже
сбой уборки после удаления объекта не даёт `ready` без объекта
(`test_cleaner_failure_after_object_delete`). Остаток риска назван в
«Ограничениях»: процесс API заморожен дольше grace посреди самого
PUT, уборщик убрал строку, а S3 принял тело после разморозки и
удалить его API не смог — объект без строки, его находит только сверка
bucket и БД (трек 2); и окно `make rolling_update`.
- **Почему случайный object key и приватный bucket не заменяют ACL
приложения?** Приватный bucket закрывает прямой доступ к S3, но
скачивает через API любой аутентифицированный пользователь: кто
@@ -451,9 +472,14 @@ failure_checks` (`evidence/tests/student-test-lb.md`,
`failure-checks.md`) и замер `bench_rollout` на чистом дереве
(`evidence/rollout/attachments/`, `dirty: false`). Строки
согласованности БД и S3 (change `upload-consistency`) — с `5b42bd2` на
том же стенде с уборщиком `cleaner`; с него же переснято `make
student_test` через LB, `make failure_checks` и `make test_isolated`
(`evidence/tests/`).
том же стенде с уборщиком `cleaner`. После правок по verify (код
`87c48b9`: пометка строки уборщиком, три новых теста отказов) с
`87c48b9` переснято `make student_test` через LB, `make failure_checks`
и `make test_isolated` (`evidence/tests/`) и снят раздел 7
`evidence/attachments/cleaner-process.md` (отказ S3 во время прохода).
`driver.py upload-consistency` на коде `87c48b9` — тоже PASS, файл
`evidence/attachments/consistency.md` остался с `5b42bd2`: его шаги
правка не меняет.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
@@ -464,12 +490,13 @@ student_test` через LB, `make failure_checks` и `make test_isolated`
| «3»: остановка загрузившей реплики → download через другую | `driver.py --port 8080 attachment-failover --mode stop` и `--mode kill` | загрузку принял `5f5d4ac50d9a`, `stop-one.sh` его остановил (`stop` и `kill`), метаданные и байты — 200 от `847ad74efd7c`, SHA-256 совпал, посторонний — 404; после `make replicas` обе `UP` | `evidence/attachments/failover.md` |
| «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` |
| «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` |
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 197 passed через LB, 192 passed + 5 пропусков тестов реплик в одном процессе (оба — `5b42bd2`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 212 сценариев 13 спеков, 197 тестами (33 — проверками отказов), 15 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 29 / 29, код 0 (`5b42bd2`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали | `evidence/tests/failure-checks.md` |
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 197 passed через LB, 192 passed + 5 пропусков тестов реплик в одном процессе (оба — `87c48b9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 215 сценариев 13 спеков, 200 тестами (36 — проверками отказов), 15 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 32 / 32, код 0 (`87c48b9`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` |
| «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` |
| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED`, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` |
| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` с пометкой строки до удаления объекта, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` |
| «4»: уборщик переживает отказы хранилищ, готовые вложения не трогает | `make failure_checks` (`test_cleaner_survives_outages`); `make test-persistence` | S3 остановлен и PostgreSQL остановлен на 3 с: строка на месте после G + 3I, после возврата S3 убрана за I + 5 с без перезапуска; готовое вложение старше grace — 200 `ready`, тот же SHA-256; после `scripts/restart.sh` (`make test-persistence` — PASS) у уборщика прежний `StartedAt`, `RestartCount` 0, `cleaner --once` — код 0 | `evidence/tests/failure-checks.md`, `evidence/attachments/cleaner-process.md` (раздел 6) |
| «4»: отказ S3 во время прохода уборщика виден в журнале, строка не теряется | рабочий стенд (`87c48b9`): `docker compose pause s3` → загрузка через LB → `docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once` → `unpause` → тот же `--once` | загрузка 503, строка `pending`; проход: DELETE объекта — срок 5,01 с, `warning` «Object storage is unavailable» (`delete_object`, `TimeoutError`, без ключей) и «Interrupted cleanup pass» с `interrupted_by: object_storage`, код 1, строка на месте и помечена; после `unpause` — «Removed stale attachment», код 0, ни строки, ни файла `original` | `evidence/attachments/cleaner-process.md` (раздел 7) |
| «4»: отдельные ограниченные credentials уборщика | `make s3_check` (строки `cleaner key …`), bootstrap на пустом volume и со сменой секрета, `docker compose config` | ключ уборщика: GET / HEAD / DELETE своего объекта 200 / 200 / 204, повторный DELETE 204; запись, список, bucket, политика, ACL, чужой bucket — 403; новый секрет — ключ пересоздан, прежний — 403 `SignatureDoesNotMatch`; ключи уборщика только у `s3-bootstrap` и `cleaner`, у уборщика нет пароля Valkey, ключей API и административных | `evidence/s3/cleaner-key.md` |
| «4»: индекс уборщика без блокировки записи, план по индексу | `alembic upgrade head --sql`; с нуля, повтор, откат на временной базе; `EXPLAIN (ANALYZE, BUFFERS)` общего плана на рабочей базе с откатом; `make bench_rollout_quick` | `CREATE INDEX CONCURRENTLY IF NOT EXISTS` вне транзакции; повтор и повтор после «сбоя» проходят, `indisvalid` true; 22 000 строк (2 000 `pending`) — `Index Scan using ix_attachments_pending_created_at`, 100 кандидатов за 28–29 буферов, 0,03–0,04 мс; замена под нагрузкой `e656d6bbe1a4 → 739b8f04d5fb`, ошибок 0 | `evidence/migrations/pending-index.md` |
| «4»: длинная передача не держит соединение пула | разовый скрипт: 10 MiB частями ~12 с и скачивание с медленным чтением | 201 за 12,4 с и 200 за 13,1 с через LB, «Database is unavailable» — 0 | `evidence/attachments/slow-transfer.md` |
@@ -571,10 +598,22 @@ S3 (change `s3-storage`):
- **Остаток риска — объект без строки.** Процесс API заморожен дольше
grace (15 мин) ровно посреди PUT, уборщик за это время убрал строку, а
после разморозки S3 принял тело. Для API PUT кончился ошибкой по сроку,
компенсации нет — объект остаётся без строки. Вероятность мала (запас
×50, заморозка посреди PUT), такой объект находит только сверка bucket
и БД (трек 2). `ready` без объекта при этом не возникает: `mark_ready`
и уборщик упорядочены блокировкой строки.
компенсации нет — объект остаётся без строки. То же, если PUT прошёл
после уборки, `mark_ready` вернул 0 строк, а удаление при компенсации
не удалось (`warning` «Attachment object kept for cleaner»). Вероятность
мала (запас ×50, заморозка посреди PUT), такой объект находит только
сверка bucket и БД (трек 2). `ready` без объекта при этом не возникает:
уборщик помечает строку до удаления объекта, а помеченную `mark_ready`
в `ready` не переводит.
- **Окно `make rolling_update` для пометки.** Реплики прежней версии
(`f2dc0b3` и раньше) пометку не проверяют, а скрипт замены уборщика не
пересоздаёт (прежний не помечает). Пока замена не закончена и не
выполнен `docker compose up -d --no-deps cleaner`, для загрузки,
пережившей grace, остаётся прежний риск: откат транзакции уборщика
после удачного DELETE в S3 даёт `ready` без объекта. Нужно совпадение
зомби дольше 15 мин и сбоя в окне меньше секунды. Смешанные версии
друг другу не мешают: новый `mark_ready` работает на строках прежних
реплик (вставка всегда писала `created_at` = `updated_at`).
- **Проверка grace — по настройкам уборщика.** `config.toml` у API и
уборщика общий, но подмена сроков окружением только у API
(`DATABASE__REQUEST_TIMEOUT_SECONDS`, `S3__TIMEOUT_SECONDS`) обошла бы
+62 -3
View File
@@ -1,7 +1,10 @@
# Процесс уборщика: старт, отказ конфигурации, остановка, ресурсы
- Дата: 2026-10-21, 03:13:09–03:16:30 UTC (раздел 6 — 03:30:04–03:30:35).
- Commit: `5b42bd2` (change `upload-consistency`).
- Дата: 2026-10-21, 03:13:09–03:16:30 UTC (раздел 6 — 03:30:04–03:30:35,
раздел 7 — 18:29:22–18:30:18).
- Commit: `5b42bd2` (change `upload-consistency`); раздел 7 — `87c48b9`
(правки по verify: пометка строки до удаления объекта), рабочее дерево
чистое.
- Стенд: рабочий `mtusi-lab4` после `make run_docker` с этого commit,
сервис `cleaner` (образ `mtusi-messenger:lab4`, точка входа `python -m
src.cleaner`, лимиты 0,25 CPU / 256 МБ, `stop_grace_period: 10s`).
@@ -131,4 +134,60 @@ exit=0
- Записи `warning` об отказе в журнале сервиса за это время нет: при
интервале 60 с ни один проход не попал в окно рестарта (~25 с).
Проход во время отказа S3 и PostgreSQL — `test_cleaner_survives_outages`
стенда отказов (интервал 1 с, `evidence/tests/failure-checks.md`).
стенда отказов (интервал 1 с, `evidence/tests/failure-checks.md`) и
раздел 7.
## 7. Отказ S3 во время прохода: код 1, строка на месте
Сценарий `service-logging` «Отказ S3 во время прохода» (замечание W4
verify). Стенд: рабочий `mtusi-lab4` на commit `87c48b9` — `make
rolling_update` из чистого дерева (реплики `api-11`, `api-12`) и
`docker compose up -d --no-deps --force-recreate cleaner`; у реплик и
уборщика один образ (`.Image` совпадает). Загрузка — синтетический
пользователь через LB (`127.0.0.1:8080`), токен и пароль не печатаются.
Строку смотрит psql, объект — `weed shell fs.ls` в контейнере `s3`.
Уборщик сервиса (grace 900 с) этой строки не трогает. Вывод `Container
…` compose опущен.
```
start 2026-10-21T18:29:22Z
$ docker compose pause s3
$ upload sample.png через LB
upload: 503 unavailable
pending row: 68d56c3d-cf89-4fd6-a1f2-17460dba9d3b pending f
$ sleep 31 # grace разового прохода 30 с
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once
{"event": "Started cleaner", "instance_id": "acefe62351e6", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T18:30:04.420195Z", "filename": "main.py", "func_name": "run", "lineno": 120}
{"event": "Object storage is unavailable", "instance_id": "acefe62351e6", "module": "object_storage", "operation": "delete_object", "endpoint": "s3:8333", "bucket": "messenger", "key": "messenger/attachments/68d56c3d-cf89-4fd6-a1f2-17460dba9d3b/original", "duration_ms": 5010, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-21T18:30:09.619614Z", "filename": "client.py", "func_name": "_failure", "lineno": 377}
{"event": "Interrupted cleanup pass", "instance_id": "acefe62351e6", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 0, "skipped": 0, "interrupted_by": "object_storage", "duration_ms": 5200, "level": "warning", "timestamp": "2026-10-21T18:30:09.620582Z", "filename": "attachment_cleanup.py", "func_name": "clean_stale_pending", "lineno": 123}
{"event": "Stopped cleaner", "instance_id": "acefe62351e6", "module": "cleaner", "exit_code": 1, "level": "info", "timestamp": "2026-10-21T18:30:09.627573Z", "filename": "main.py", "func_name": "run", "lineno": 158}
exit=1
row after: 68d56c3d-cf89-4fd6-a1f2-17460dba9d3b pending t
$ docker compose unpause s3
s3 answers 2026-10-21T18:30:10Z
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once
{"event": "Started cleaner", "instance_id": "9b05100de5b5", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T18:30:16.413465Z", "func_name": "run", "filename": "main.py", "lineno": 120}
{"event": "Removed stale attachment", "instance_id": "9b05100de5b5", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "attachment_id": "68d56c3d-cf89-4fd6-a1f2-17460dba9d3b", "object_key": "messenger/attachments/68d56c3d-cf89-4fd6-a1f2-17460dba9d3b/original", "age_seconds": 54, "level": "info", "timestamp": "2026-10-21T18:30:16.618704Z", "func_name": "_remove", "filename": "attachment_cleanup.py", "lineno": 194}
{"event": "Finished cleanup pass", "instance_id": "9b05100de5b5", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 1, "skipped": 0, "interrupted_by": null, "duration_ms": 205, "level": "info", "timestamp": "2026-10-21T18:30:16.618939Z", "func_name": "clean_stale_pending", "filename": "attachment_cleanup.py", "lineno": 125}
{"event": "Stopped cleaner", "instance_id": "9b05100de5b5", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T18:30:16.622080Z", "func_name": "run", "filename": "main.py", "lineno": 158}
exit=0
row after: []
object files 'original': 0
end 2026-10-21T18:30:18Z
```
- При замороженном S3 загрузка — 503, строка `pending` осталась
(`marked` — `updated_at > created_at` — `f`: строку ещё никто не
трогал).
- Разовый проход: DELETE объекта упёрся в срок вызова (5,01 с). Клиент S3
записал `warning` «Object storage is unavailable» — операция, адрес,
bucket, ключ, длительность, класс ошибки, без ключей и текста
исключения. Сервис записал `warning` «Interrupted cleanup pass» с
`interrupted_by: object_storage`; `--once` — код 1.
- Строка на месте и помечена (`marked` `t`): пометка зафиксирована до
DELETE объекта (design, «Уточнения apply», п. 16), поэтому `ready`
такая строка уже не станет. Метаданные без подтверждённого удаления
объекта не удалены (спек `storage-consistency`, «Уборка при отказах
хранилищ»).
- После `unpause` следующий проход ставит пометку заново и убирает
строку и объект: код 0, строки нет, файла `original` нет.
+106 -50
View File
@@ -1,9 +1,10 @@
# `make failure_checks`: проверки отказов с уборщиком и согласованностью БД и S3
- Дата: 2026-10-21, 03:20:17–03:23:44 UTC.
- Commit: `5b42bd2` (change `upload-consistency`: компенсация в загрузке,
уборщик, hook и тесты отказов); незакоммичены только файлы `evidence/`
этого change.
- Дата: 2026-10-21, 18:30:28–18:34:30 UTC.
- Commit: `87c48b9` (правки change `upload-consistency` по verify: пометка
строки уборщиком до удаления объекта, режимы hook `commit`, `outlive`,
`undeletable` и три новых теста); рабочее дерево чистое (`git status`
пуст), образ собран из него.
- Стенд отказов: проект `mtusi-lab4-failures` — свои PostgreSQL, Valkey
и S3 (с bootstrap, пользователи `api` и `cleaner`), порты хранилищ не
публикуются; уборщик `cleaner` с grace 20 с и интервалом 1 с
@@ -11,16 +12,16 @@
обычный — с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении, и
«тесный» (сроки сессии и ключа 2 с, пул 1). Рабочий стенд `mtusi-lab4`
в это время запущен. Docker Desktop 29.9.1, Apple M3 Pro.
- Прежний снимок этого файла (commit `e1f8531`, change `attachments`) —
24 из 24 за 94 с; сейчас 29 из 29 за 190 с: пять новых тестов и три
изменённых (design change `upload-consistency`, решение 10).
- Прежний снимок этого файла (commit `5b42bd2`) — 29 из 29 за 190 с;
сейчас 32 из 32 за 224 с: три теста по замечаниям verify W1–W3 (design
change `upload-consistency`, «Уточнения apply», п. 16–18).
## Итог: код 0, 29 из 29
## Итог: код 0, 32 из 32
Вывод сборки образа (BuildKit), строки `Container …` compose и записи
alembic о прежних пяти ревизиях опущены;
строки `platform` и `rootdir` pytest с путём к рабочему каталогу
заменены на `…`.
Вывод сборки образа (BuildKit), строки `Container …` compose, записи
alembic о прежних пяти ревизиях и журналы контейнеров стенда опущены;
путь к рабочему каталогу в строках `platform` и `rootdir` pytest заменён
на `…`.
```
$ make failure_checks
@@ -29,7 +30,7 @@ python3 student-tests/run_failures.py
[failure_checks] build image
[failure_checks] start postgres, valkey and s3
[failure_checks] migrations
{"event": "Running upgrade ef25d50b01a8 -> 739b8f04d5fb, added pending attachments index", "instance_id": "7dc2d0220d90", "level": "info", "logger": "alembic.runtime.migration", "timestamp": "2026-10-21T03:20:24.135091Z"}
{"event": "Running upgrade ef25d50b01a8 -> 739b8f04d5fb, added pending attachments index", "instance_id": "16f65334b59e", "level": "info", "logger": "alembic.runtime.migration", "timestamp": "2026-10-21T18:30:36.141892Z"}
[failure_checks] s3 bootstrap
s3-bootstrap-1 | s3-bootstrap: bucket messenger created
s3-bootstrap-1 | s3-bootstrap: user api created
@@ -38,64 +39,71 @@ s3-bootstrap-1 | s3-bootstrap: checks passed (api key put/get; cleaner key get/
s3-bootstrap-1 exited with code 0
[failure_checks] start cleaner: grace 20 s, interval 1 s
[failure_checks] start api containers
[failure_checks] ready: api=http://127.0.0.1:65050 tight=http://127.0.0.1:65068
[failure_checks] ready: api=http://127.0.0.1:57436 tight=http://127.0.0.1:57440
[failure_checks] pytest -m fault
platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- …
collecting ... collected 226 items / 197 deselected / 29 selected
collecting ... collected 229 items / 197 deselected / 32 selected
student-tests/test_failures.py::test_expired_token PASSED [ 3%]
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 6%]
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 10%]
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 13%]
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 17%]
student-tests/test_failures.py::test_pool_exhausted PASSED [ 20%]
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 24%]
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 27%]
student-tests/test_failures.py::test_readiness_without_database PASSED [ 31%]
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 34%]
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 37%]
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 41%]
student-tests/test_failures.py::test_flush_cache PASSED [ 44%]
student-tests/test_failures.py::test_valkey_stopped PASSED [ 48%]
student-tests/test_failures.py::test_valkey_paused PASSED [ 51%]
student-tests/test_failures.py::test_valkey_back PASSED [ 55%]
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 58%]
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 62%]
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 65%]
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 68%]
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 72%]
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 75%]
student-tests/test_failures.py::test_interrupted_body PASSED [ 79%]
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 82%]
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 86%]
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 89%]
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 9%]
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 12%]
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 15%]
student-tests/test_failures.py::test_pool_exhausted PASSED [ 18%]
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 21%]
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 25%]
student-tests/test_failures.py::test_readiness_without_database PASSED [ 28%]
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 31%]
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 34%]
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 37%]
student-tests/test_failures.py::test_flush_cache PASSED [ 40%]
student-tests/test_failures.py::test_valkey_stopped PASSED [ 43%]
student-tests/test_failures.py::test_valkey_paused PASSED [ 46%]
student-tests/test_failures.py::test_valkey_back PASSED [ 50%]
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 53%]
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 56%]
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 59%]
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 62%]
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 65%]
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 68%]
student-tests/test_failures.py::test_interrupted_body PASSED [ 71%]
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 75%]
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 78%]
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 81%]
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 84%]
student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 87%]
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 90%]
student-tests/test_failures.py::test_object_storage_stopped PASSED [ 93%]
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 96%]
student-tests/test_failures.py::test_object_storage_paused PASSED [100%]
================ 29 passed, 197 deselected in 190.40s (0:03:10) ================
[failure_checks] postgres log: 418 lines, crash markers 0; "too many clients" 31, "administrator command" 138
================ 32 passed, 197 deselected in 223.70s (0:03:43) ================
[failure_checks] postgres log: 424 lines, crash markers 0; "too many clients" 20, "administrator command" 137
[failure_checks] cleanup
[failure_checks] results: {'fault': 0, 'postgres': 0}
exit=0
```
Вся команда — 242 с (18:30:28–18:34:30). «too many clients» и
«administrator command» — следы проверок «Предел соединений PostgreSQL
исчерпан» (`fill-connections`) и остановок PostgreSQL, признаков
аварийного перезапуска нет.
## Уборка и рабочий стенд
```
$ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q) # до и после — одинаково
/mtusi-lab4-api-7 2026-10-21T03:02:55.127674845Z
/mtusi-lab4-api-8 2026-10-21T03:03:45.600925174Z
/mtusi-lab4-cleaner-1 2026-10-21T03:14:42.071533631Z
/mtusi-lab4-haproxy-1 2026-10-21T03:02:55.18557422Z
/mtusi-lab4-postgres-1 2026-10-21T03:02:33.641433585Z
/mtusi-lab4-s3-1 2026-10-21T03:02:48.641611592Z
/mtusi-lab4-valkey-1 2026-10-21T03:02:33.670361668Z
/mtusi-lab4-api-11 2026-10-21T18:28:46.759887001Z
/mtusi-lab4-api-12 2026-10-21T18:28:49.979426419Z
/mtusi-lab4-cleaner-1 2026-10-21T18:29:04.322478592Z
/mtusi-lab4-haproxy-1 2026-10-21T03:30:26.991596804Z
/mtusi-lab4-postgres-1 2026-10-21T03:30:05.896306378Z
/mtusi-lab4-s3-1 2026-10-21T03:30:20.918287843Z
/mtusi-lab4-valkey-1 2026-10-21T03:30:05.925240128Z
left: containers 0, volumes 0
```
- `StartedAt` всех контейнеров `mtusi-lab4`, в том числе его уборщика,
до и после совпали (`diff` пуст): рабочий стенд не тронут.
до и после совпали: рабочий стенд не тронут.
- У проекта `mtusi-lab4-failures` не осталось ни контейнеров, ни volumes.
## Что проверяют проверки вложений и уборщика
@@ -136,6 +144,23 @@ left: containers 0, volumes 0
`pending` и объект → `kill-api` (docker kill обычного API) → 201 до
клиента не дошёл, строка и объект на месте → `start-api` → после grace
ни строки, ни объекта, объектов без строки нет; загрузка — 201.
- «Исход фиксации неизвестен» (`test_ready_commit_outcome_unknown`,
verify W2): отложенный триггер ограничения роняет COMMIT перевода в
`ready` (08006) → 503, строка `pending`, по API не видна, **объект на
месте** сразу после ответа (исход для API неизвестен, компенсации
нет); не позже G + I + 5 с ни строки, ни объекта, объектов без строки
нет.
- «Загрузка дольше grace» (`test_upload_outlives_grace`, verify W3):
строка вставлена на час старше (`created_at` и `updated_at` вместе),
перевод в `ready` ждёт в триггере уровня оператора `BEFORE UPDATE OF
status`, пока уборщик стенда не уберёт строку → 503, а не 201 и не 500;
ни строки, ни объекта, объектов без строки нет.
- «Сбой уборки после удаления объекта»
(`test_cleaner_failure_after_object_delete`, verify W1): то же, но
удаление строки падает с 08006 уже после удаления объекта → 503, а не
201; строка `pending` (помечена уборщиком), по API не видна, вложений
`ready` без объекта нет; после снятия триггера следующий проход
убирает строку, объектов без строки нет.
- «S3 недоступен во время уборки», «БД недоступна во время уборки»,
«Готовые вложения не тронуты» (`test_cleaner_survives_outages`):
готовое вложение R; S3 остановлен → загрузка 503 (строка X);
@@ -175,3 +200,34 @@ E AssertionError: attachment 359413af-… is not cleaned 26.4s aft
«Сбой записи метаданных», «Обрыв передачи тела» и «Незавершённая
загрузка не видна» прежний код уже выполнял — эти тесты закрепляют
поведение.
## Красные прогоны тестов по замечаниям verify (2026-10-21)
Новые тесты и режимы hook против кода `f2dc0b3` (рабочее дерево до
правки уборщика; `make failure_checks FAULT_ARGS='-k "commit_outcome or
outlives or failure_after_object"'`):
```
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 33%]
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 66%]
student-tests/test_failures.py::test_cleaner_failure_after_object_delete FAILED [100%]
E AssertionError: POST /api/v1/chats/0ba258db-…/attachments: expected 503; got 201 {"id":"2dd20f36-…", …}
================= 1 failed, 2 passed, 226 deselected in 31.21s =================
```
- W1 на прежнем коде — 201 за 4,6 с: уборщик удалил объект, его
транзакция откатилась на DELETE строки, и ждавший `mark_ready`
перевёл строку в `ready` без объекта.
- W2 и W3 на прежнем коде зелёные: эти ветки были верны, тесты их
закрепляют. Краснеют на временных регрессиях (правки возвращены, `git
diff src/core/services/attachment.py` пуст): «компенсация на любой
сбой» и возврат `RuntimeError` вместо 503
(`FAULT_ARGS='-k "commit_outcome or outlives"'`):
```
student-tests/test_failures.py::test_ready_commit_outcome_unknown FAILED [ 50%]
student-tests/test_failures.py::test_upload_outlives_grace FAILED [100%]
E AssertionError: assert '2b1ccadf-…' in set() # объект удалён после неизвестного COMMIT
E AssertionError: POST /api/v1/chats/e6a74a0b-…/attachments: expected 503; got 500 {"error":{"code":"internal_error","message":"Internal server error","request_id":"…"}}
====================== 2 failed, 227 deselected in 3.49s =======================
```
+30 -27
View File
@@ -1,21 +1,24 @@
# `make student_test` через балансировщик
- Дата: 2026-10-21, 03:24:44–03:25:18 UTC (пересъёмка после change
`upload-consistency`; счёт по модулям — из того же вывода).
- Commit: `5b42bd2` (change `upload-consistency`); незакоммичены только
файлы `evidence/` этого change.
- Стенд: рабочий `mtusi-lab4` — `BASE_URL=http://localhost:8080`
(HAProxy), `EXPECT_REPLICAS=2` (`API_REPLICAS`): реплики
`c6cde1dc6109` и `13f1cb708119`, PostgreSQL, Valkey, S3, уборщик
`cleaner`. Тесты реплик выполняются, проверки отказов (`fault`) — нет
(`-m 'not fault'`, их гоняет `make failure_checks`,
`failure-checks.md`).
- Что изменилось с прежнего снимка (commit `e1f8531`, change
`attachments`): в сверке покрытия новая capability
`storage-consistency` (7 сценариев) и 3 новых сценария `attachments` —
212 сценариев в 13 спеках, из них 33 покрыты проверками отказов (было
202, 12 и 23); проверок отказов в наборе 29 (было 24), поэтому
`deselected` — 29. Число выполняемых тестов то же — 197.
- Дата: 2026-10-21, 18:35:35–18:36:25 UTC (пересъёмка после правок
change `upload-consistency` по verify); счёт по модулям — повторный
прогон 18:36–18:37 с тем же итогом (197 passed, 32 deselected).
- Commit: `87c48b9`; вне commit — только файлы `evidence/` и `REPORT.md`
второго этапа правок (код стенда собран из чистого дерева этого
commit).
- Стенд: рабочий `mtusi-lab4` после `make rolling_update` с этого commit
— `BASE_URL=http://localhost:8080` (HAProxy), `EXPECT_REPLICAS=2`
(`API_REPLICAS`): реплики `17d8dd756626` и `b3c055808ddf`, PostgreSQL,
Valkey, S3, уборщик `cleaner` на том же образе. Тесты реплик
выполняются, проверки отказов (`fault`) — нет (`-m 'not fault'`, их
гоняет `make failure_checks`, `failure-checks.md`).
- Что изменилось с прежнего снимка (commit `5b42bd2`): три новых
сценария по замечаниям verify — «Исход фиксации неизвестен»
(`attachments`), «Загрузка дольше grace» и «Сбой уборки после удаления
объекта» (`storage-consistency`, теперь 9 сценариев). Итог — 215
сценариев в 13 спеках, из них 36 покрыты проверками отказов (было 212 и
33); проверок отказов в наборе 32 (было 29), поэтому `deselected` —
32. Число выполняемых тестов то же — 197.
- Файлы исключений сверки покрытия сняты на стенде лабы 4 (commit
`8dc925e`: `evidence/cache/hits.md`,
`evidence/auth/passwords-and-tokens.md`,
@@ -28,8 +31,8 @@
```
$ make student_test
coverage: 212 scenarios in 13 specs, 197 tested (33 by make failure_checks), 15 excluded
===================== 197 passed, 29 deselected in 33.56s ======================
coverage: 215 scenarios in 13 specs, 200 tested (36 by make failure_checks), 15 excluded
===================== 197 passed, 32 deselected in 48.84s ======================
exit=0
```
@@ -58,16 +61,16 @@ exit=0
## Строки тестов реплик и гонок (`-rsP`)
```
uploaded via c6cde1dc6109, downloaded via ['13f1cb708119', 'c6cde1dc6109']
sent via c6cde1dc6109, replayed via ['13f1cb708119']
409 via ['13f1cb708119', 'c6cde1dc6109']
one session, 20 requests: {'13f1cb708119': 10, 'c6cde1dc6109': 10}
written via c6cde1dc6109, read via {'13f1cb708119': 3, 'c6cde1dc6109': 3}
uploaded via 17d8dd756626, downloaded via ['17d8dd756626', 'b3c055808ddf']
sent via 17d8dd756626, replayed via ['b3c055808ddf']
409 via ['17d8dd756626', 'b3c055808ddf']
one session, 20 requests: {'b3c055808ddf': 10, '17d8dd756626': 10}
written via 17d8dd756626, read via {'b3c055808ddf': 3, '17d8dd756626': 3}
race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30
username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
key race through replicas: {'c6cde1dc6109': 5, '13f1cb708119': 5}
key race through replicas: {'b3c055808ddf': 5, '17d8dd756626': 5}
```
- Вложения лабы 4: 33 теста спека `attachments` (`test_attachments.py`)
@@ -75,7 +78,7 @@ key race through replicas: {'c6cde1dc6109': 5, '13f1cb708119': 5}
большой файл, повреждённое изображение, подмена MIME, чужое
`attachment_id`, вложение другого чата): каждая ошибка клиента — 4xx
в формате контракта, не 500. «Скачивание через другую реплику»:
загрузку принял `c6cde1dc6109`, оригинал отдал и `13f1cb708119`.
загрузку принял `17d8dd756626`, оригинал отдал и `b3c055808ddf`.
- Новый после verify тест `test_filename_not_utf8` (сценарий «Имя не в
UTF-8»): `filename=a%FFb.png`, `a%C3.png`, `a%ED%A0%80b.png` — 400,
`%C3%A9t%C3%A9.png` — 201 с `été.png`. На коде до правки (`8dc925e`)
@@ -83,6 +86,6 @@ key race through replicas: {'c6cde1dc6109': 5, '13f1cb708119': 5}
- Уровень 4 лаб 2–3: 100 сообщений от 10 клиентов — 100 уникальных в
истории; гонка регистрации — один 201; гонка одного ключа через
реплики — одно сообщение.
- Сверка покрытия: все 212 сценариев 13 спеков — тест (197, из них 33
проверками отказов, в том числе все 7 сценариев `storage-consistency`)
- Сверка покрытия: все 215 сценариев 13 спеков — тест (200, из них 36
проверками отказов, в том числе все 9 сценариев `storage-consistency`)
или исключение с доказательством (15).
+14 -12
View File
@@ -3,18 +3,20 @@
- Спек `student-tests`: «Прогон на временной базе» (уборка префикса
`test_<db>/`, «Хвост прошлого прогона», «Сохранить базу для разбора»).
Design change `s3-storage`, решение 9 и «Уточнения apply», п. 11.
- Раздел 0 — пересъёмка после change `upload-consistency` (зелёная).
Разделы 1–3 сняты на `f57635a` (change `s3-storage`): механизм уборки
с тех пор не менялся (`student-tests/run_isolated.py`), а красное в
них — ожидаемое до `attachments`, как сказано ниже. Прежний снимок
раздела 0 (commit `d56b892`, change `attachments`): 191 passed, 5
skipped, 23 deselected.
- Раздел 0 — пересъёмка после правок change `upload-consistency` по
verify (зелёная). Разделы 1–3 сняты на `f57635a` (change `s3-storage`):
механизм уборки с тех пор не менялся (`student-tests/run_isolated.py`),
а красное в них — ожидаемое до `attachments`, как сказано ниже.
Прежние снимки раздела 0: commit `d56b892` (change `attachments`) — 191
passed, 5 skipped, 23 deselected; `5b42bd2` — 192 passed, 5 skipped, 29
deselected, сверка 212 / 33.
## 0. Пересъёмка: код 0 (change `upload-consistency`)
## 0. Пересъёмка: код 0 (change `upload-consistency`, правки по verify)
- Дата: 2026-10-21, 03:25:49–03:27:24 UTC.
- Commit: `5b42bd2` (change `upload-consistency`); незакоммичены только
файлы `evidence/` этого change.
- Дата: 2026-10-21, 18:37:58–18:39:52 UTC.
- Commit: `87c48b9`; рабочее дерево — только незакоммиченные файлы
`evidence/` и `REPORT.md` второго этапа правок (образ собирается из
дерева, код совпадает с commit).
- Стенд: рабочий `mtusi-lab4` (с уборщиком `cleaner`); временная база
`test_messenger`, один контейнер API `mtusi-lab4-test-api` на
`127.0.0.1:18088` без LB (`EXPECT_REPLICAS=1`), Valkey и S3 стенда
@@ -36,13 +38,13 @@ $ make test_isolated
[test_isolated] make test
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
[test_isolated] make student_test
coverage: 212 scenarios in 13 specs, 197 tested (33 by make failure_checks), 15 excluded
coverage: 215 scenarios in 13 specs, 200 tested (36 by make failure_checks), 15 excluded
SKIPPED [1] student-tests/test_attachments.py:648: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
SKIPPED [1] student-tests/test_idempotency.py:372: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
SKIPPED [1] student-tests/test_load_balancing.py:18: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
SKIPPED [1] student-tests/test_load_balancing.py:34: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
SKIPPED [1] student-tests/test_race.py:169: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
=========== 192 passed, 5 skipped, 29 deselected in 83.18s (0:01:23) ===========
=========== 192 passed, 5 skipped, 32 deselected in 98.88s (0:01:38) ===========
[test_isolated] cleanup
[test_isolated] remove objects /buckets/messenger/test_messenger/
[test_isolated] results: {'test': 0, 'student_test': 0}
@@ -846,7 +846,14 @@ stop cleaner`. Индекс и пользователь `cleaner` остаютс
дольше grace» (`storage-consistency`). На `f2dc0b3` зелёный; красный
на временном возврате `RuntimeError`: 500 вместо 503. Правка
возвращена.
19. **W4 — evidence «Отказ S3 во время прохода»** — после коммита
основной сессии (раздел в `evidence/attachments/cleaner-process.md`).
19. **W4 — evidence «Отказ S3 во время прохода»** — с `87c48b9`,
раздел 7 `evidence/attachments/cleaner-process.md`: `pause s3` →
загрузка 503 → `cleaner --once` с grace 30 с — DELETE объекта по
сроку 5,01 с, `warning` «Object storage is unavailable» и
«Interrupted cleanup pass» (`interrupted_by: object_storage`), код 1,
строка `pending` на месте и помечена (п. 16) → `unpause` → `--once`
убирает, код 0. С того же commit переснято `evidence/tests/` (32 из
32, сверка 215 / 36); `consistency.md` не переснимался — драйвер на
этом коде PASS, его шаги правка не меняет.
20. **S1** — `docker.md`, раздел «Уборщик»: `entrypoint`, как в
`docker-compose.yml`, и почему не `command` (п. 6).
+2 -2
View File
@@ -379,7 +379,7 @@ Verify 2026-10-21: 0 CRITICAL, 4 WARNING, 1 SUGGESTION; решения
201 и не 500), ни строки, ни объекта, объектов без строки нет.
Проверка: тест красный на временном возврате `RuntimeError`, зелёный
на коде.
- [ ] 11.4 W4, evidence сценария `service-logging` «Отказ S3 во время
- [x] 11.4 W4, evidence сценария `service-logging` «Отказ S3 во время
прохода» — раздел в `evidence/attachments/cleaner-process.md` (`pause
s3` → `cleaner --once` с grace 30 с: код 1, «Object storage is
unavailable» и «Interrupted cleanup pass» с `interrupted_by:
@@ -397,7 +397,7 @@ Verify 2026-10-21: 0 CRITICAL, 4 WARNING, 1 SUGGESTION; решения
после `make rolling_update` и `docker compose up -d --no-deps cleaner`
— `make test`, `make student_test` через LB, `make test_isolated`,
`driver.py --port <LB> upload-consistency` (код 0).
- [ ] 11.7 После коммита основной сессии: evidence 11.4, пересъёмка
- [x] 11.7 После коммита основной сессии: evidence 11.4, пересъёмка
`evidence/tests/failure-checks.md` и чисел в `evidence/tests/` и
`REPORT.md`; `REPORT.md` — порядок уборки с пометкой и остаточный
риск, новые проверки, строка W4; строка этапа 3 `PLAN.md`.