docs: re-capture upload-consistency evidence on 5889ca2

Re-run failure checks (32 of 32) and the cleaner pass under a paused S3
on the two-step cleanup, fix the storage-consistency scenario count in
the student test evidence and point the report at the new commit.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-21 22:17:53 +03:00
co-authored by Claude Opus 5.5
parent 5889ca2ad7
commit 9dde16e638
6 changed files with 78 additions and 56 deletions
+1 -1
View File
@@ -229,7 +229,7 @@ RustFS. В `.claude/rules/settings.md` MinIO упомянут только пр
| 0 | — (подготовка) | — | этот план; выбор трека и S3-сервера | план сохранён 2026-10-20; трек 2, SeaweedFS, решения 3 и 7 подтверждены 2026-10-20 |
| 1 | `s3-storage` | 3 (+4: bootstrap, права, консоль, приватность) | S3 в стенде, bootstrap, клиент в `src/infra/s3/`, настройки, все стенды знают о S3 | bootstrap дважды без ошибок, анонимный GET / LIST → 403, ключ API не может admin-операций, `make test-persistence` перезапускает и S3; **заархивирован 2026-10-20** — `openspec/changes/archive/2026-10-20-s3-storage/` |
| 2 | `attachments` | 3 (+4: тесты) | миграция, домен `attachment`, ручки, `attachment_ids` в сообщениях, тесты | зелёные `make test`, `test-persistence`, `test-failover`, свой сценарий отказа загрузившей реплики; негативные тесты; evidence исключений переснят; **код — `116d8d3`, гонка `bench_restore` — `d56b892`; evidence 2026-10-20 с `d56b892`: `evidence/attachments/`, исключения, `evidence/tests/` (196 / 191 + 5 пропусков / 23 из 23), `test-failover` для обеих реплик; правки verify — `dba40bc`, после них `student_test` 197 и `failure_checks` 24 из 24, `bench_rollout` `attachments` переснят с `e1f8531` на чистом дереве (8,67 с, ошибок 0, 12 001 = 12 001); заархивирован 2026-10-21** — `openspec/changes/archive/2026-10-21-attachments/` |
| 3 | `upload-consistency` | 4 | намерение до PUT, компенсация, уборщик с grace period, тесты отказов | `make failure_checks` с отказами S3 и БД посреди загрузки: нет 500, нет неучтённых объектов старше grace period; **код — `5b42bd2`; evidence 2026-10-21 с него: `evidence/attachments/consistency.md` и `cleaner-process.md`, `evidence/s3/cleaner-key.md`, `evidence/migrations/pending-index.md`, `evidence/tests/`; `REPORT.md` — раздел «Согласованность БД и S3», ответ на вопрос «PUT прошёл, COMMIT нет», строки уровня «4». Правки по verify (W1–W4, S1) — код `87c48b9`: пометка строки уборщиком до удаления объекта, тесты неизвестного COMMIT, загрузки дольше grace и сбоя уборки после удаления объекта; evidence 2026-10-21 с него: `evidence/tests/` (`failure_checks` 32 из 32, `student_test` 197, сверка 215 / 36, `test_isolated` 192 + 5 пропусков), `cleaner-process.md` раздел 7 (отказ S3 во время прохода); `REPORT.md` — пометка, остаточный риск и окно `rolling_update`** |
| 3 | `upload-consistency` | 4 | намерение до PUT, компенсация, уборщик с grace period, тесты отказов | `make failure_checks` с отказами S3 и БД посреди загрузки: нет 500, нет неучтённых объектов старше grace period; **код — `5b42bd2`; evidence 2026-10-21 с него: `evidence/attachments/consistency.md` и `cleaner-process.md`, `evidence/s3/cleaner-key.md`, `evidence/migrations/pending-index.md`, `evidence/tests/`; `REPORT.md` — раздел «Согласованность БД и S3», ответ на вопрос «PUT прошёл, COMMIT нет», строки уровня «4». Правки по verify (W1–W4, S1) — код `87c48b9`: пометка строки уборщиком до удаления объекта, тесты неизвестного COMMIT, загрузки дольше grace и сбоя уборки после удаления объекта; evidence 2026-10-21 с него: `evidence/tests/` (`failure_checks` 32 из 32, `student_test` 197, сверка 215 / 36, `test_isolated` 192 + 5 пропусков), `cleaner-process.md` раздел 7 (отказ S3 во время прохода); `REPORT.md` — пометка, остаточный риск и окно `rolling_update`. Правки по повторному verify (W1, S1, S2) — код `5889ca2`: уборщик в два шага, объект и строка одной транзакцией под блокировкой, смеси версий не хуже, чем до правки, порядок обновления; evidence 2026-10-21 с него: `evidence/tests/failure-checks.md` (32 из 32 за 228 с), `cleaner-process.md` раздел 7, S2 в `student-test-lb.md` (8 сценариев `storage-consistency`); `REPORT.md` — два шага, «Зачем DELETE объекта под блокировкой», смесь версий** |
| 4 | `upload-memory` | 4 | лимит загрузок на реплику, сроки тела, профиль `uploads` | замер ≥ 10 одновременных загрузок: пик памяти ограничен, механизм объяснён |
| 5 | `track2-reconciler` | 5 | reconciler: dry-run / apply, классы расхождений, внедрение ошибок, доказательство безопасности | ошибки внесены с обеих сторон, обнаружены, исправлены; повторный запуск находит 0; под загрузками ничего подтверждённого не удалено |
| 6 | `track2-reconcile-cost` | 5 | гипотезы, профиль стоимости обхода, стратегии, графики | метки в `evidence/`, выводы по гипотезам и ограничения в `REPORT.md` |
+12 -5
View File
@@ -491,7 +491,14 @@ failure_checks` (`evidence/tests/student-test-lb.md`,
`evidence/attachments/cleaner-process.md` (отказ S3 во время прохода).
`driver.py upload-consistency` на коде `87c48b9` — тоже PASS, файл
`evidence/attachments/consistency.md` остался с `5b42bd2`: его шаги
правка не меняет.
правка не меняет. После правки по повторному verify (код `5889ca2`:
уборщик в два шага — пометка, затем объект и строка одной транзакцией
под блокировкой) с `5889ca2` переснято `make failure_checks`
(`evidence/tests/failure-checks.md`) и раздел 7
`evidence/attachments/cleaner-process.md`; `make test`, `make
student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
`driver.py upload-consistency` на этом коде — PASS, их файлы остались с
`87c48b9` и `5b42bd2`: правка их шагов не меняет.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
@@ -503,12 +510,12 @@ failure_checks` (`evidence/tests/student-test-lb.md`,
| «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` |
| «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` |
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 197 passed через LB, 192 passed + 5 пропусков тестов реплик в одном процессе (оба — `87c48b9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 215 сценариев 13 спеков, 200 тестами (36 — проверками отказов), 15 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 32 / 32, код 0 (`87c48b9`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` |
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 32 / 32, код 0 (`5889ca2`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` |
| «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` |
| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` с пометкой строки до удаления объекта, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` |
| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` |
| «4»: уборщик переживает отказы хранилищ, готовые вложения не трогает | `make failure_checks` (`test_cleaner_survives_outages`); `make test-persistence` | S3 остановлен и PostgreSQL остановлен на 3 с: строка на месте после G + 3I, после возврата S3 убрана за I + 5 с без перезапуска; готовое вложение старше grace — 200 `ready`, тот же SHA-256; после `scripts/restart.sh` (`make test-persistence` — PASS) у уборщика прежний `StartedAt`, `RestartCount` 0, `cleaner --once` — код 0 | `evidence/tests/failure-checks.md`, `evidence/attachments/cleaner-process.md` (раздел 6) |
| «4»: отказ S3 во время прохода уборщика виден в журнале, строка не теряется | рабочий стенд (`87c48b9`): `docker compose pause s3` → загрузка через LB → `docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once` → `unpause` → тот же `--once` | загрузка 503, строка `pending`; проход: DELETE объекта — срок 5,01 с, `warning` «Object storage is unavailable» (`delete_object`, `TimeoutError`, без ключей) и «Interrupted cleanup pass» с `interrupted_by: object_storage`, код 1, строка на месте и помечена; после `unpause` — «Removed stale attachment», код 0, ни строки, ни файла `original` | `evidence/attachments/cleaner-process.md` (раздел 7) |
| «4»: отказ S3 во время прохода уборщика виден в журнале, строка не теряется | рабочий стенд (`5889ca2`): `docker compose pause s3` → загрузка через LB → `docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once` → `unpause` → тот же `--once` | загрузка 503, строка `pending`; проход: DELETE объекта — срок 5,01 с, `warning` «Object storage is unavailable» (`delete_object`, `TimeoutError`, без ключей) и «Interrupted cleanup pass» с `interrupted_by: object_storage`, код 1, строка на месте и помечена; после `unpause` — «Removed stale attachment», код 0, ни строки, ни файла `original` | `evidence/attachments/cleaner-process.md` (раздел 7) |
| «4»: отдельные ограниченные credentials уборщика | `make s3_check` (строки `cleaner key …`), bootstrap на пустом volume и со сменой секрета, `docker compose config` | ключ уборщика: GET / HEAD / DELETE своего объекта 200 / 200 / 204, повторный DELETE 204; запись, список, bucket, политика, ACL, чужой bucket — 403; новый секрет — ключ пересоздан, прежний — 403 `SignatureDoesNotMatch`; ключи уборщика только у `s3-bootstrap` и `cleaner`, у уборщика нет пароля Valkey, ключей API и административных | `evidence/s3/cleaner-key.md` |
| «4»: индекс уборщика без блокировки записи, план по индексу | `alembic upgrade head --sql`; с нуля, повтор, откат на временной базе; `EXPLAIN (ANALYZE, BUFFERS)` общего плана на рабочей базе с откатом; `make bench_rollout_quick` | `CREATE INDEX CONCURRENTLY IF NOT EXISTS` вне транзакции; повтор и повтор после «сбоя» проходят, `indisvalid` true; 22 000 строк (2 000 `pending`) — `Index Scan using ix_attachments_pending_created_at`, 100 кандидатов за 28–29 буферов, 0,03–0,04 мс; замена под нагрузкой `e656d6bbe1a4 → 739b8f04d5fb`, ошибок 0 | `evidence/migrations/pending-index.md` |
| «4»: длинная передача не держит соединение пула | разовый скрипт: 10 MiB частями ~12 с и скачивание с медленным чтением | 201 за 12,4 с и 200 за 13,1 с через LB, «Database is unavailable» — 0 | `evidence/attachments/slow-transfer.md` |
+34 -26
View File
@@ -1,10 +1,10 @@
# Процесс уборщика: старт, отказ конфигурации, остановка, ресурсы
- Дата: 2026-10-21, 03:13:09–03:16:30 UTC (раздел 6 — 03:30:04–03:30:35,
раздел 7 — 18:29:22–18:30:18).
- Commit: `5b42bd2` (change `upload-consistency`); раздел 7 — `87c48b9`
(правки по verify: пометка строки до удаления объекта), рабочее дерево
чистое.
раздел 7 — 19:13:43–19:14:40).
- Commit: `5b42bd2` (change `upload-consistency`); раздел 7 — `5889ca2`
(правки по повторному verify: пометка строки, затем объект и строка
одной транзакцией под блокировкой), рабочее дерево чистое.
- Стенд: рабочий `mtusi-lab4` после `make run_docker` с этого commit,
сервис `cleaner` (образ `mtusi-messenger:lab4`, точка входа `python -m
src.cleaner`, лимиты 0,25 CPU / 256 МБ, `stop_grace_period: 10s`).
@@ -140,40 +140,43 @@ exit=0
## 7. Отказ S3 во время прохода: код 1, строка на месте
Сценарий `service-logging` «Отказ S3 во время прохода» (замечание W4
verify). Стенд: рабочий `mtusi-lab4` на commit `87c48b9` — `make
rolling_update` из чистого дерева (реплики `api-11`, `api-12`) и
`docker compose up -d --no-deps --force-recreate cleaner`; у реплик и
уборщика один образ (`.Image` совпадает). Загрузка — синтетический
verify), переснят после повторного verify. Стенд: рабочий `mtusi-lab4`
на commit `5889ca2`. Реплики (`api-15`, `api-16`) обновлены `make
rolling_update` из чистого дерева, сервис `cleaner` — `docker compose up
-d --no-deps --force-recreate cleaner`; у реплик и уборщика один образ
(`.Image` совпадает). Разовые `cleaner --once` запущены на теге
`mtusi-messenger:lab4`, который перед этим пересобрал `make
failure_checks` из того же чистого дерева. Загрузка — синтетический
пользователь через LB (`127.0.0.1:8080`), токен и пароль не печатаются.
Строку смотрит psql, объект — `weed shell fs.ls` в контейнере `s3`.
Уборщик сервиса (grace 900 с) этой строки не трогает. Вывод `Container
…` compose опущен.
```
start 2026-10-21T18:29:22Z
start 2026-10-21T19:13:43Z
$ docker compose pause s3
$ upload sample.png через LB
upload: 503 unavailable
pending row: 68d56c3d-cf89-4fd6-a1f2-17460dba9d3b pending f
pending row: e62b8df0-8ce6-4125-acbe-302e5391dd93 pending f
$ sleep 31 # grace разового прохода 30 с
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once
{"event": "Started cleaner", "instance_id": "acefe62351e6", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T18:30:04.420195Z", "filename": "main.py", "func_name": "run", "lineno": 120}
{"event": "Object storage is unavailable", "instance_id": "acefe62351e6", "module": "object_storage", "operation": "delete_object", "endpoint": "s3:8333", "bucket": "messenger", "key": "messenger/attachments/68d56c3d-cf89-4fd6-a1f2-17460dba9d3b/original", "duration_ms": 5010, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-21T18:30:09.619614Z", "filename": "client.py", "func_name": "_failure", "lineno": 377}
{"event": "Interrupted cleanup pass", "instance_id": "acefe62351e6", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 0, "skipped": 0, "interrupted_by": "object_storage", "duration_ms": 5200, "level": "warning", "timestamp": "2026-10-21T18:30:09.620582Z", "filename": "attachment_cleanup.py", "func_name": "clean_stale_pending", "lineno": 123}
{"event": "Stopped cleaner", "instance_id": "acefe62351e6", "module": "cleaner", "exit_code": 1, "level": "info", "timestamp": "2026-10-21T18:30:09.627573Z", "filename": "main.py", "func_name": "run", "lineno": 158}
{"event": "Started cleaner", "instance_id": "d2e99cba60fc", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T19:14:26.495280Z", "func_name": "run", "filename": "main.py", "lineno": 121}
{"event": "Object storage is unavailable", "instance_id": "d2e99cba60fc", "module": "object_storage", "operation": "delete_object", "endpoint": "s3:8333", "bucket": "messenger", "key": "messenger/attachments/e62b8df0-8ce6-4125-acbe-302e5391dd93/original", "duration_ms": 5007, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-21T19:14:31.623024Z", "func_name": "_failure", "filename": "client.py", "lineno": 377}
{"event": "Interrupted cleanup pass", "instance_id": "d2e99cba60fc", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 0, "skipped": 0, "interrupted_by": "object_storage", "duration_ms": 5131, "level": "warning", "timestamp": "2026-10-21T19:14:31.626325Z", "func_name": "clean_stale_pending", "filename": "attachment_cleanup.py", "lineno": 125}
{"event": "Stopped cleaner", "instance_id": "d2e99cba60fc", "module": "cleaner", "exit_code": 1, "level": "info", "timestamp": "2026-10-21T19:14:31.632276Z", "func_name": "run", "filename": "main.py", "lineno": 159}
exit=1
row after: 68d56c3d-cf89-4fd6-a1f2-17460dba9d3b pending t
row after: e62b8df0-8ce6-4125-acbe-302e5391dd93 pending t
$ docker compose unpause s3
s3 answers 2026-10-21T18:30:10Z
s3 answers 2026-10-21T19:14:32Z
$ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once
{"event": "Started cleaner", "instance_id": "9b05100de5b5", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T18:30:16.413465Z", "func_name": "run", "filename": "main.py", "lineno": 120}
{"event": "Removed stale attachment", "instance_id": "9b05100de5b5", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "attachment_id": "68d56c3d-cf89-4fd6-a1f2-17460dba9d3b", "object_key": "messenger/attachments/68d56c3d-cf89-4fd6-a1f2-17460dba9d3b/original", "age_seconds": 54, "level": "info", "timestamp": "2026-10-21T18:30:16.618704Z", "func_name": "_remove", "filename": "attachment_cleanup.py", "lineno": 194}
{"event": "Finished cleanup pass", "instance_id": "9b05100de5b5", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 1, "skipped": 0, "interrupted_by": null, "duration_ms": 205, "level": "info", "timestamp": "2026-10-21T18:30:16.618939Z", "func_name": "clean_stale_pending", "filename": "attachment_cleanup.py", "lineno": 125}
{"event": "Stopped cleaner", "instance_id": "9b05100de5b5", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T18:30:16.622080Z", "func_name": "run", "filename": "main.py", "lineno": 158}
{"event": "Started cleaner", "instance_id": "c522e710369d", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T19:14:38.459927Z", "func_name": "run", "lineno": 121, "filename": "main.py"}
{"event": "Removed stale attachment", "instance_id": "c522e710369d", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "attachment_id": "e62b8df0-8ce6-4125-acbe-302e5391dd93", "object_key": "messenger/attachments/e62b8df0-8ce6-4125-acbe-302e5391dd93/original", "age_seconds": 55, "level": "info", "timestamp": "2026-10-21T19:14:38.656561Z", "func_name": "_remove", "lineno": 200, "filename": "attachment_cleanup.py"}
{"event": "Finished cleanup pass", "instance_id": "c522e710369d", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 1, "skipped": 0, "interrupted_by": null, "duration_ms": 197, "level": "info", "timestamp": "2026-10-21T19:14:38.656816Z", "func_name": "clean_stale_pending", "lineno": 127, "filename": "attachment_cleanup.py"}
{"event": "Stopped cleaner", "instance_id": "c522e710369d", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T19:14:38.659621Z", "func_name": "run", "lineno": 159, "filename": "main.py"}
exit=0
row after: []
object files 'original': 0
end 2026-10-21T18:30:18Z
end 2026-10-21T19:14:40Z
```
- При замороженном S3 загрузка — 503, строка `pending` осталась
@@ -184,10 +187,15 @@ end 2026-10-21T18:30:18Z
bucket, ключ, длительность, класс ошибки, без ключей и текста
исключения. Сервис записал `warning` «Interrupted cleanup pass» с
`interrupted_by: object_storage`; `--once` — код 1.
- Строка на месте и помечена (`marked` `t`): пометка зафиксирована до
DELETE объекта (design, «Уточнения apply», п. 16), поэтому `ready`
такая строка уже не станет. Метаданные без подтверждённого удаления
объекта не удалены (спек `storage-consistency`, «Уборка при отказах
хранилищ»).
- Строка на месте и помечена (`marked` `t`): пометка зафиксирована первым
шагом, до DELETE объекта, а отказ S3 откатил второй шаг — транзакцию,
где DELETE объекта и строки идут под блокировкой (design, «Уточнения
apply», п. 16 и 21). Поэтому `ready` такая строка уже не станет.
Метаданные без подтверждённого удаления объекта не удалены (спек
`storage-consistency`, «Уборка при отказах хранилищ»).
- После `unpause` следующий проход ставит пометку заново и убирает
строку и объект: код 0, строки нет, файла `original` нет.
- Прежний снимок раздела (commit `87c48b9`, DELETE объекта между
транзакциями) дал те же наблюдения: 503, `warning` по сроку 5,01 с,
код 1, строка помечена, затем код 0 и ни строки, ни объекта. На
наблюдаемое поведение при отказе S3 правка `5889ca2` не влияет.
+28 -21
View File
@@ -1,9 +1,9 @@
# `make failure_checks`: проверки отказов с уборщиком и согласованностью БД и S3
- Дата: 2026-10-21, 18:30:28–18:34:30 UTC.
- Commit: `87c48b9` (правки change `upload-consistency` по verify: пометка
строки уборщиком до удаления объекта, режимы hook `commit`, `outlive`,
`undeletable` и три новых теста); рабочее дерево чистое (`git status`
- Дата: 2026-10-21, 19:09:23–19:13:29 UTC.
- Commit: `5889ca2` (правки change `upload-consistency` по повторному
verify: уборщик в два шага — пометка строки, затем объект и строка
одной транзакцией под блокировкой); рабочее дерево чистое (`git status`
пуст), образ собран из него.
- Стенд отказов: проект `mtusi-lab4-failures` — свои PostgreSQL, Valkey
и S3 (с bootstrap, пользователи `api` и `cleaner`), порты хранилищ не
@@ -11,10 +11,14 @@
(`failures.compose.yml`, `restart: "no"`); два API на `127.0.0.1`:
обычный — с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении, и
«тесный» (сроки сессии и ключа 2 с, пул 1). Рабочий стенд `mtusi-lab4`
в это время запущен. Docker Desktop 29.9.1, Apple M3 Pro.
- Прежний снимок этого файла (commit `5b42bd2`) — 29 из 29 за 190 с;
сейчас 32 из 32 за 224 с: три теста по замечаниям verify W1–W3 (design
change `upload-consistency`, «Уточнения apply», п. 16–18).
в это время запущен на том же commit (`make rolling_update`, затем
`docker compose up -d --no-deps --force-recreate cleaner`). Docker
Desktop 29.9.1, Apple M3 Pro.
- Прежние снимки этого файла: commit `5b42bd2` — 29 из 29 за 190 с;
`87c48b9` — 32 из 32 за 224 с (три теста по замечаниям verify W1–W3,
design change `upload-consistency`, «Уточнения apply», п. 16–18).
Сейчас — 32 из 32 за 228 с; тесты не менялись, меняется только порядок
шагов уборщика (п. 21).
## Итог: код 0, 32 из 32
@@ -30,7 +34,7 @@ python3 student-tests/run_failures.py
[failure_checks] build image
[failure_checks] start postgres, valkey and s3
[failure_checks] migrations
{"event": "Running upgrade ef25d50b01a8 -> 739b8f04d5fb, added pending attachments index", "instance_id": "16f65334b59e", "level": "info", "logger": "alembic.runtime.migration", "timestamp": "2026-10-21T18:30:36.141892Z"}
{"event": "Running upgrade ef25d50b01a8 -> 739b8f04d5fb, added pending attachments index", "instance_id": "1a6d5ceec824", "level": "info", "logger": "alembic.runtime.migration", "timestamp": "2026-10-21T19:09:30.354306Z"}
[failure_checks] s3 bootstrap
s3-bootstrap-1 | s3-bootstrap: bucket messenger created
s3-bootstrap-1 | s3-bootstrap: user api created
@@ -39,7 +43,7 @@ s3-bootstrap-1 | s3-bootstrap: checks passed (api key put/get; cleaner key get/
s3-bootstrap-1 exited with code 0
[failure_checks] start cleaner: grace 20 s, interval 1 s
[failure_checks] start api containers
[failure_checks] ready: api=http://127.0.0.1:57436 tight=http://127.0.0.1:57440
[failure_checks] ready: api=http://127.0.0.1:61810 tight=http://127.0.0.1:61814
[failure_checks] pytest -m fault
platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- …
collecting ... collected 229 items / 197 deselected / 32 selected
@@ -76,14 +80,14 @@ student-tests/test_failures.py::test_object_storage_stopped PASSED [ 93%]
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 96%]
student-tests/test_failures.py::test_object_storage_paused PASSED [100%]
================ 32 passed, 197 deselected in 223.70s (0:03:43) ================
[failure_checks] postgres log: 424 lines, crash markers 0; "too many clients" 20, "administrator command" 137
================ 32 passed, 197 deselected in 228.04s (0:03:48) ================
[failure_checks] postgres log: 436 lines, crash markers 0; "too many clients" 31, "administrator command" 138
[failure_checks] cleanup
[failure_checks] results: {'fault': 0, 'postgres': 0}
exit=0
```
Вся команда — 242 с (18:30:28–18:34:30). «too many clients» и
Вся команда — 246 с (19:09:23–19:13:29). «too many clients» и
«administrator command» — следы проверок «Предел соединений PostgreSQL
исчерпан» (`fill-connections`) и остановок PostgreSQL, признаков
аварийного перезапуска нет.
@@ -92,9 +96,9 @@ exit=0
```
$ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q) # до и после — одинаково
/mtusi-lab4-api-11 2026-10-21T18:28:46.759887001Z
/mtusi-lab4-api-12 2026-10-21T18:28:49.979426419Z
/mtusi-lab4-cleaner-1 2026-10-21T18:29:04.322478592Z
/mtusi-lab4-api-15 2026-10-21T19:08:44.74597043Z
/mtusi-lab4-api-16 2026-10-21T19:08:48.805083335Z
/mtusi-lab4-cleaner-1 2026-10-21T19:08:58.331389589Z
/mtusi-lab4-haproxy-1 2026-10-21T03:30:26.991596804Z
/mtusi-lab4-postgres-1 2026-10-21T03:30:05.896306378Z
/mtusi-lab4-s3-1 2026-10-21T03:30:20.918287843Z
@@ -157,10 +161,11 @@ left: containers 0, volumes 0
ни строки, ни объекта, объектов без строки нет.
- «Сбой уборки после удаления объекта»
(`test_cleaner_failure_after_object_delete`, verify W1): то же, но
удаление строки падает с 08006 уже после удаления объекта → 503, а не
201; строка `pending` (помечена уборщиком), по API не видна, вложений
`ready` без объекта нет; после снятия триггера следующий проход
убирает строку, объектов без строки нет.
удаление строки падает с 08006 уже после удаления объекта — в той же
транзакции уборки (второй шаг), то есть её откат после удачного DELETE
в S3 → 503, а не 201; строка `pending` (помечена первым шагом), по API
не видна, вложений `ready` без объекта нет; после снятия триггера
следующий проход убирает строку, объектов без строки нет.
- «S3 недоступен во время уборки», «БД недоступна во время уборки»,
«Готовые вложения не тронуты» (`test_cleaner_survives_outages`):
готовое вложение R; S3 остановлен → загрузка 503 (строка X);
@@ -217,7 +222,9 @@ E AssertionError: POST /api/v1/chats/0ba258db-…/attachments: expected 50
- W1 на прежнем коде — 201 за 4,6 с: уборщик удалил объект, его
транзакция откатилась на DELETE строки, и ждавший `mark_ready`
перевёл строку в `ready` без объекта.
перевёл строку в `ready` без объекта. Тест после этого не менялся
(правка `5889ca2` меняет только порядок шагов уборщика), поэтому этот
красный прогон в силе и для текущего кода.
- W2 и W3 на прежнем коде зелёные: эти ветки были верны, тесты их
закрепляют. Краснеют на временных регрессиях (правки возвращены, `git
diff src/core/services/attachment.py` пуст): «компенсация на любой
+2 -2
View File
@@ -15,7 +15,7 @@
- Что изменилось с прежнего снимка (commit `5b42bd2`): три новых
сценария по замечаниям verify — «Исход фиксации неизвестен»
(`attachments`), «Загрузка дольше grace» и «Сбой уборки после удаления
объекта» (`storage-consistency`, теперь 9 сценариев). Итог — 215
объекта» (`storage-consistency`, теперь 8 сценариев). Итог — 215
сценариев в 13 спеках, из них 36 покрыты проверками отказов (было 212 и
33); проверок отказов в наборе 32 (было 29), поэтому `deselected` —
32. Число выполняемых тестов то же — 197.
@@ -87,5 +87,5 @@ key race through replicas: {'b3c055808ddf': 5, '17d8dd756626': 5}
истории; гонка регистрации — один 201; гонка одного ключа через
реплики — одно сообщение.
- Сверка покрытия: все 215 сценариев 13 спеков — тест (200, из них 36
проверками отказов, в том числе все 9 сценариев `storage-consistency`)
проверками отказов, в том числе все 8 сценариев `storage-consistency`)
или исключение с доказательством (15).
+1 -1
View File
@@ -448,7 +448,7 @@ SUGGESTION; решения основной сессии — design, «Уточ
rolling_update` и `docker compose up -d --no-deps cleaner` — `make
test`, `make student_test` через LB, `driver.py --port <LB>
upload-consistency` (код 0).
- [ ] 12.5 После коммита основной сессии: S2 — `evidence/tests/
- [x] 12.5 После коммита основной сессии: S2 — `evidence/tests/
student-test-lb.md` (8 сценариев `storage-consistency`, а не 9);
пересъёмка `evidence/tests/failure-checks.md` и раздела 7
`evidence/attachments/cleaner-process.md` с нового commit; числа в