diff --git a/PLAN.md b/PLAN.md index 0121f846..78788f71 100644 --- a/PLAN.md +++ b/PLAN.md @@ -229,7 +229,7 @@ RustFS. В `.claude/rules/settings.md` MinIO упомянут только пр | 0 | — (подготовка) | — | этот план; выбор трека и S3-сервера | план сохранён 2026-10-20; трек 2, SeaweedFS, решения 3 и 7 подтверждены 2026-10-20 | | 1 | `s3-storage` | 3 (+4: bootstrap, права, консоль, приватность) | S3 в стенде, bootstrap, клиент в `src/infra/s3/`, настройки, все стенды знают о S3 | bootstrap дважды без ошибок, анонимный GET / LIST → 403, ключ API не может admin-операций, `make test-persistence` перезапускает и S3; **заархивирован 2026-10-20** — `openspec/changes/archive/2026-10-20-s3-storage/` | | 2 | `attachments` | 3 (+4: тесты) | миграция, домен `attachment`, ручки, `attachment_ids` в сообщениях, тесты | зелёные `make test`, `test-persistence`, `test-failover`, свой сценарий отказа загрузившей реплики; негативные тесты; evidence исключений переснят; **код — `116d8d3`, гонка `bench_restore` — `d56b892`; evidence 2026-10-20 с `d56b892`: `evidence/attachments/`, исключения, `evidence/tests/` (196 / 191 + 5 пропусков / 23 из 23), `test-failover` для обеих реплик; правки verify — `dba40bc`, после них `student_test` 197 и `failure_checks` 24 из 24, `bench_rollout` `attachments` переснят с `e1f8531` на чистом дереве (8,67 с, ошибок 0, 12 001 = 12 001); заархивирован 2026-10-21** — `openspec/changes/archive/2026-10-21-attachments/` | -| 3 | `upload-consistency` | 4 | намерение до PUT, компенсация, уборщик с grace period, тесты отказов | `make failure_checks` с отказами S3 и БД посреди загрузки: нет 500, нет неучтённых объектов старше grace period; **код — `5b42bd2`; evidence 2026-10-21 с него: `evidence/attachments/consistency.md` и `cleaner-process.md`, `evidence/s3/cleaner-key.md`, `evidence/migrations/pending-index.md`, `evidence/tests/`; `REPORT.md` — раздел «Согласованность БД и S3», ответ на вопрос «PUT прошёл, COMMIT нет», строки уровня «4». Правки по verify (W1–W4, S1) — код `87c48b9`: пометка строки уборщиком до удаления объекта, тесты неизвестного COMMIT, загрузки дольше grace и сбоя уборки после удаления объекта; evidence 2026-10-21 с него: `evidence/tests/` (`failure_checks` 32 из 32, `student_test` 197, сверка 215 / 36, `test_isolated` 192 + 5 пропусков), `cleaner-process.md` раздел 7 (отказ S3 во время прохода); `REPORT.md` — пометка, остаточный риск и окно `rolling_update`** | +| 3 | `upload-consistency` | 4 | намерение до PUT, компенсация, уборщик с grace period, тесты отказов | `make failure_checks` с отказами S3 и БД посреди загрузки: нет 500, нет неучтённых объектов старше grace period; **код — `5b42bd2`; evidence 2026-10-21 с него: `evidence/attachments/consistency.md` и `cleaner-process.md`, `evidence/s3/cleaner-key.md`, `evidence/migrations/pending-index.md`, `evidence/tests/`; `REPORT.md` — раздел «Согласованность БД и S3», ответ на вопрос «PUT прошёл, COMMIT нет», строки уровня «4». Правки по verify (W1–W4, S1) — код `87c48b9`: пометка строки уборщиком до удаления объекта, тесты неизвестного COMMIT, загрузки дольше grace и сбоя уборки после удаления объекта; evidence 2026-10-21 с него: `evidence/tests/` (`failure_checks` 32 из 32, `student_test` 197, сверка 215 / 36, `test_isolated` 192 + 5 пропусков), `cleaner-process.md` раздел 7 (отказ S3 во время прохода); `REPORT.md` — пометка, остаточный риск и окно `rolling_update`. Правки по повторному verify (W1, S1, S2) — код `5889ca2`: уборщик в два шага, объект и строка одной транзакцией под блокировкой, смеси версий не хуже, чем до правки, порядок обновления; evidence 2026-10-21 с него: `evidence/tests/failure-checks.md` (32 из 32 за 228 с), `cleaner-process.md` раздел 7, S2 в `student-test-lb.md` (8 сценариев `storage-consistency`); `REPORT.md` — два шага, «Зачем DELETE объекта под блокировкой», смесь версий** | | 4 | `upload-memory` | 4 | лимит загрузок на реплику, сроки тела, профиль `uploads` | замер ≥ 10 одновременных загрузок: пик памяти ограничен, механизм объяснён | | 5 | `track2-reconciler` | 5 | reconciler: dry-run / apply, классы расхождений, внедрение ошибок, доказательство безопасности | ошибки внесены с обеих сторон, обнаружены, исправлены; повторный запуск находит 0; под загрузками ничего подтверждённого не удалено | | 6 | `track2-reconcile-cost` | 5 | гипотезы, профиль стоимости обхода, стратегии, графики | метки в `evidence/`, выводы по гипотезам и ограничения в `REPORT.md` | diff --git a/REPORT.md b/REPORT.md index 771408ac..ee179020 100644 --- a/REPORT.md +++ b/REPORT.md @@ -491,7 +491,14 @@ failure_checks` (`evidence/tests/student-test-lb.md`, `evidence/attachments/cleaner-process.md` (отказ S3 во время прохода). `driver.py upload-consistency` на коде `87c48b9` — тоже PASS, файл `evidence/attachments/consistency.md` остался с `5b42bd2`: его шаги -правка не меняет. +правка не меняет. После правки по повторному verify (код `5889ca2`: +уборщик в два шага — пометка, затем объект и строка одной транзакцией +под блокировкой) с `5889ca2` переснято `make failure_checks` +(`evidence/tests/failure-checks.md`) и раздел 7 +`evidence/attachments/cleaner-process.md`; `make test`, `make +student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и +`driver.py upload-consistency` на этом коде — PASS, их файлы остались с +`87c48b9` и `5b42bd2`: правка их шагов не меняет. | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | @@ -503,12 +510,12 @@ failure_checks` (`evidence/tests/student-test-lb.md`, | «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` | | «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` | | «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 197 passed через LB, 192 passed + 5 пропусков тестов реплик в одном процессе (оба — `87c48b9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 215 сценариев 13 спеков, 200 тестами (36 — проверками отказов), 15 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | -| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 32 / 32, код 0 (`87c48b9`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` | -| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` | +| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 32 / 32, код 0 (`5889ca2`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` | +| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` | | «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` | -| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` с пометкой строки до удаления объекта, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` | +| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` | | «4»: уборщик переживает отказы хранилищ, готовые вложения не трогает | `make failure_checks` (`test_cleaner_survives_outages`); `make test-persistence` | S3 остановлен и PostgreSQL остановлен на 3 с: строка на месте после G + 3I, после возврата S3 убрана за I + 5 с без перезапуска; готовое вложение старше grace — 200 `ready`, тот же SHA-256; после `scripts/restart.sh` (`make test-persistence` — PASS) у уборщика прежний `StartedAt`, `RestartCount` 0, `cleaner --once` — код 0 | `evidence/tests/failure-checks.md`, `evidence/attachments/cleaner-process.md` (раздел 6) | -| «4»: отказ S3 во время прохода уборщика виден в журнале, строка не теряется | рабочий стенд (`87c48b9`): `docker compose pause s3` → загрузка через LB → `docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once` → `unpause` → тот же `--once` | загрузка 503, строка `pending`; проход: DELETE объекта — срок 5,01 с, `warning` «Object storage is unavailable» (`delete_object`, `TimeoutError`, без ключей) и «Interrupted cleanup pass» с `interrupted_by: object_storage`, код 1, строка на месте и помечена; после `unpause` — «Removed stale attachment», код 0, ни строки, ни файла `original` | `evidence/attachments/cleaner-process.md` (раздел 7) | +| «4»: отказ S3 во время прохода уборщика виден в журнале, строка не теряется | рабочий стенд (`5889ca2`): `docker compose pause s3` → загрузка через LB → `docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once` → `unpause` → тот же `--once` | загрузка 503, строка `pending`; проход: DELETE объекта — срок 5,01 с, `warning` «Object storage is unavailable» (`delete_object`, `TimeoutError`, без ключей) и «Interrupted cleanup pass» с `interrupted_by: object_storage`, код 1, строка на месте и помечена; после `unpause` — «Removed stale attachment», код 0, ни строки, ни файла `original` | `evidence/attachments/cleaner-process.md` (раздел 7) | | «4»: отдельные ограниченные credentials уборщика | `make s3_check` (строки `cleaner key …`), bootstrap на пустом volume и со сменой секрета, `docker compose config` | ключ уборщика: GET / HEAD / DELETE своего объекта 200 / 200 / 204, повторный DELETE 204; запись, список, bucket, политика, ACL, чужой bucket — 403; новый секрет — ключ пересоздан, прежний — 403 `SignatureDoesNotMatch`; ключи уборщика только у `s3-bootstrap` и `cleaner`, у уборщика нет пароля Valkey, ключей API и административных | `evidence/s3/cleaner-key.md` | | «4»: индекс уборщика без блокировки записи, план по индексу | `alembic upgrade head --sql`; с нуля, повтор, откат на временной базе; `EXPLAIN (ANALYZE, BUFFERS)` общего плана на рабочей базе с откатом; `make bench_rollout_quick` | `CREATE INDEX CONCURRENTLY IF NOT EXISTS` вне транзакции; повтор и повтор после «сбоя» проходят, `indisvalid` true; 22 000 строк (2 000 `pending`) — `Index Scan using ix_attachments_pending_created_at`, 100 кандидатов за 28–29 буферов, 0,03–0,04 мс; замена под нагрузкой `e656d6bbe1a4 → 739b8f04d5fb`, ошибок 0 | `evidence/migrations/pending-index.md` | | «4»: длинная передача не держит соединение пула | разовый скрипт: 10 MiB частями ~12 с и скачивание с медленным чтением | 201 за 12,4 с и 200 за 13,1 с через LB, «Database is unavailable» — 0 | `evidence/attachments/slow-transfer.md` | diff --git a/evidence/attachments/cleaner-process.md b/evidence/attachments/cleaner-process.md index 0ff29b95..ba2ee3ab 100644 --- a/evidence/attachments/cleaner-process.md +++ b/evidence/attachments/cleaner-process.md @@ -1,10 +1,10 @@ # Процесс уборщика: старт, отказ конфигурации, остановка, ресурсы - Дата: 2026-10-21, 03:13:09–03:16:30 UTC (раздел 6 — 03:30:04–03:30:35, - раздел 7 — 18:29:22–18:30:18). -- Commit: `5b42bd2` (change `upload-consistency`); раздел 7 — `87c48b9` - (правки по verify: пометка строки до удаления объекта), рабочее дерево - чистое. + раздел 7 — 19:13:43–19:14:40). +- Commit: `5b42bd2` (change `upload-consistency`); раздел 7 — `5889ca2` + (правки по повторному verify: пометка строки, затем объект и строка + одной транзакцией под блокировкой), рабочее дерево чистое. - Стенд: рабочий `mtusi-lab4` после `make run_docker` с этого commit, сервис `cleaner` (образ `mtusi-messenger:lab4`, точка входа `python -m src.cleaner`, лимиты 0,25 CPU / 256 МБ, `stop_grace_period: 10s`). @@ -140,40 +140,43 @@ exit=0 ## 7. Отказ S3 во время прохода: код 1, строка на месте Сценарий `service-logging` «Отказ S3 во время прохода» (замечание W4 -verify). Стенд: рабочий `mtusi-lab4` на commit `87c48b9` — `make -rolling_update` из чистого дерева (реплики `api-11`, `api-12`) и -`docker compose up -d --no-deps --force-recreate cleaner`; у реплик и -уборщика один образ (`.Image` совпадает). Загрузка — синтетический +verify), переснят после повторного verify. Стенд: рабочий `mtusi-lab4` +на commit `5889ca2`. Реплики (`api-15`, `api-16`) обновлены `make +rolling_update` из чистого дерева, сервис `cleaner` — `docker compose up +-d --no-deps --force-recreate cleaner`; у реплик и уборщика один образ +(`.Image` совпадает). Разовые `cleaner --once` запущены на теге +`mtusi-messenger:lab4`, который перед этим пересобрал `make +failure_checks` из того же чистого дерева. Загрузка — синтетический пользователь через LB (`127.0.0.1:8080`), токен и пароль не печатаются. Строку смотрит psql, объект — `weed shell fs.ls` в контейнере `s3`. Уборщик сервиса (grace 900 с) этой строки не трогает. Вывод `Container …` compose опущен. ``` -start 2026-10-21T18:29:22Z +start 2026-10-21T19:13:43Z $ docker compose pause s3 $ upload sample.png через LB upload: 503 unavailable -pending row: 68d56c3d-cf89-4fd6-a1f2-17460dba9d3b pending f +pending row: e62b8df0-8ce6-4125-acbe-302e5391dd93 pending f $ sleep 31 # grace разового прохода 30 с $ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once -{"event": "Started cleaner", "instance_id": "acefe62351e6", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T18:30:04.420195Z", "filename": "main.py", "func_name": "run", "lineno": 120} -{"event": "Object storage is unavailable", "instance_id": "acefe62351e6", "module": "object_storage", "operation": "delete_object", "endpoint": "s3:8333", "bucket": "messenger", "key": "messenger/attachments/68d56c3d-cf89-4fd6-a1f2-17460dba9d3b/original", "duration_ms": 5010, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-21T18:30:09.619614Z", "filename": "client.py", "func_name": "_failure", "lineno": 377} -{"event": "Interrupted cleanup pass", "instance_id": "acefe62351e6", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 0, "skipped": 0, "interrupted_by": "object_storage", "duration_ms": 5200, "level": "warning", "timestamp": "2026-10-21T18:30:09.620582Z", "filename": "attachment_cleanup.py", "func_name": "clean_stale_pending", "lineno": 123} -{"event": "Stopped cleaner", "instance_id": "acefe62351e6", "module": "cleaner", "exit_code": 1, "level": "info", "timestamp": "2026-10-21T18:30:09.627573Z", "filename": "main.py", "func_name": "run", "lineno": 158} +{"event": "Started cleaner", "instance_id": "d2e99cba60fc", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T19:14:26.495280Z", "func_name": "run", "filename": "main.py", "lineno": 121} +{"event": "Object storage is unavailable", "instance_id": "d2e99cba60fc", "module": "object_storage", "operation": "delete_object", "endpoint": "s3:8333", "bucket": "messenger", "key": "messenger/attachments/e62b8df0-8ce6-4125-acbe-302e5391dd93/original", "duration_ms": 5007, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-21T19:14:31.623024Z", "func_name": "_failure", "filename": "client.py", "lineno": 377} +{"event": "Interrupted cleanup pass", "instance_id": "d2e99cba60fc", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 0, "skipped": 0, "interrupted_by": "object_storage", "duration_ms": 5131, "level": "warning", "timestamp": "2026-10-21T19:14:31.626325Z", "func_name": "clean_stale_pending", "filename": "attachment_cleanup.py", "lineno": 125} +{"event": "Stopped cleaner", "instance_id": "d2e99cba60fc", "module": "cleaner", "exit_code": 1, "level": "info", "timestamp": "2026-10-21T19:14:31.632276Z", "func_name": "run", "filename": "main.py", "lineno": 159} exit=1 -row after: 68d56c3d-cf89-4fd6-a1f2-17460dba9d3b pending t +row after: e62b8df0-8ce6-4125-acbe-302e5391dd93 pending t $ docker compose unpause s3 -s3 answers 2026-10-21T18:30:10Z +s3 answers 2026-10-21T19:14:32Z $ docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once -{"event": "Started cleaner", "instance_id": "9b05100de5b5", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T18:30:16.413465Z", "func_name": "run", "filename": "main.py", "lineno": 120} -{"event": "Removed stale attachment", "instance_id": "9b05100de5b5", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "attachment_id": "68d56c3d-cf89-4fd6-a1f2-17460dba9d3b", "object_key": "messenger/attachments/68d56c3d-cf89-4fd6-a1f2-17460dba9d3b/original", "age_seconds": 54, "level": "info", "timestamp": "2026-10-21T18:30:16.618704Z", "func_name": "_remove", "filename": "attachment_cleanup.py", "lineno": 194} -{"event": "Finished cleanup pass", "instance_id": "9b05100de5b5", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 1, "skipped": 0, "interrupted_by": null, "duration_ms": 205, "level": "info", "timestamp": "2026-10-21T18:30:16.618939Z", "func_name": "clean_stale_pending", "filename": "attachment_cleanup.py", "lineno": 125} -{"event": "Stopped cleaner", "instance_id": "9b05100de5b5", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T18:30:16.622080Z", "func_name": "run", "filename": "main.py", "lineno": 158} +{"event": "Started cleaner", "instance_id": "c522e710369d", "module": "cleaner", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": true, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-21T19:14:38.459927Z", "func_name": "run", "lineno": 121, "filename": "main.py"} +{"event": "Removed stale attachment", "instance_id": "c522e710369d", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "attachment_id": "e62b8df0-8ce6-4125-acbe-302e5391dd93", "object_key": "messenger/attachments/e62b8df0-8ce6-4125-acbe-302e5391dd93/original", "age_seconds": 55, "level": "info", "timestamp": "2026-10-21T19:14:38.656561Z", "func_name": "_remove", "lineno": 200, "filename": "attachment_cleanup.py"} +{"event": "Finished cleanup pass", "instance_id": "c522e710369d", "module": "attachment_cleanup_service", "method": "clean_stale_pending", "removed": 1, "skipped": 0, "interrupted_by": null, "duration_ms": 197, "level": "info", "timestamp": "2026-10-21T19:14:38.656816Z", "func_name": "clean_stale_pending", "lineno": 127, "filename": "attachment_cleanup.py"} +{"event": "Stopped cleaner", "instance_id": "c522e710369d", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-21T19:14:38.659621Z", "func_name": "run", "lineno": 159, "filename": "main.py"} exit=0 row after: [] object files 'original': 0 -end 2026-10-21T18:30:18Z +end 2026-10-21T19:14:40Z ``` - При замороженном S3 загрузка — 503, строка `pending` осталась @@ -184,10 +187,15 @@ end 2026-10-21T18:30:18Z bucket, ключ, длительность, класс ошибки, без ключей и текста исключения. Сервис записал `warning` «Interrupted cleanup pass» с `interrupted_by: object_storage`; `--once` — код 1. -- Строка на месте и помечена (`marked` `t`): пометка зафиксирована до - DELETE объекта (design, «Уточнения apply», п. 16), поэтому `ready` - такая строка уже не станет. Метаданные без подтверждённого удаления - объекта не удалены (спек `storage-consistency`, «Уборка при отказах - хранилищ»). +- Строка на месте и помечена (`marked` `t`): пометка зафиксирована первым + шагом, до DELETE объекта, а отказ S3 откатил второй шаг — транзакцию, + где DELETE объекта и строки идут под блокировкой (design, «Уточнения + apply», п. 16 и 21). Поэтому `ready` такая строка уже не станет. + Метаданные без подтверждённого удаления объекта не удалены (спек + `storage-consistency`, «Уборка при отказах хранилищ»). - После `unpause` следующий проход ставит пометку заново и убирает строку и объект: код 0, строки нет, файла `original` нет. +- Прежний снимок раздела (commit `87c48b9`, DELETE объекта между + транзакциями) дал те же наблюдения: 503, `warning` по сроку 5,01 с, + код 1, строка помечена, затем код 0 и ни строки, ни объекта. На + наблюдаемое поведение при отказе S3 правка `5889ca2` не влияет. diff --git a/evidence/tests/failure-checks.md b/evidence/tests/failure-checks.md index 6224a888..922032df 100644 --- a/evidence/tests/failure-checks.md +++ b/evidence/tests/failure-checks.md @@ -1,9 +1,9 @@ # `make failure_checks`: проверки отказов с уборщиком и согласованностью БД и S3 -- Дата: 2026-10-21, 18:30:28–18:34:30 UTC. -- Commit: `87c48b9` (правки change `upload-consistency` по verify: пометка - строки уборщиком до удаления объекта, режимы hook `commit`, `outlive`, - `undeletable` и три новых теста); рабочее дерево чистое (`git status` +- Дата: 2026-10-21, 19:09:23–19:13:29 UTC. +- Commit: `5889ca2` (правки change `upload-consistency` по повторному + verify: уборщик в два шага — пометка строки, затем объект и строка + одной транзакцией под блокировкой); рабочее дерево чистое (`git status` пуст), образ собран из него. - Стенд отказов: проект `mtusi-lab4-failures` — свои PostgreSQL, Valkey и S3 (с bootstrap, пользователи `api` и `cleaner`), порты хранилищ не @@ -11,10 +11,14 @@ (`failures.compose.yml`, `restart: "no"`); два API на `127.0.0.1`: обычный — с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении, и «тесный» (сроки сессии и ключа 2 с, пул 1). Рабочий стенд `mtusi-lab4` - в это время запущен. Docker Desktop 29.9.1, Apple M3 Pro. -- Прежний снимок этого файла (commit `5b42bd2`) — 29 из 29 за 190 с; - сейчас 32 из 32 за 224 с: три теста по замечаниям verify W1–W3 (design - change `upload-consistency`, «Уточнения apply», п. 16–18). + в это время запущен на том же commit (`make rolling_update`, затем + `docker compose up -d --no-deps --force-recreate cleaner`). Docker + Desktop 29.9.1, Apple M3 Pro. +- Прежние снимки этого файла: commit `5b42bd2` — 29 из 29 за 190 с; + `87c48b9` — 32 из 32 за 224 с (три теста по замечаниям verify W1–W3, + design change `upload-consistency`, «Уточнения apply», п. 16–18). + Сейчас — 32 из 32 за 228 с; тесты не менялись, меняется только порядок + шагов уборщика (п. 21). ## Итог: код 0, 32 из 32 @@ -30,7 +34,7 @@ python3 student-tests/run_failures.py [failure_checks] build image [failure_checks] start postgres, valkey and s3 [failure_checks] migrations -{"event": "Running upgrade ef25d50b01a8 -> 739b8f04d5fb, added pending attachments index", "instance_id": "16f65334b59e", "level": "info", "logger": "alembic.runtime.migration", "timestamp": "2026-10-21T18:30:36.141892Z"} +{"event": "Running upgrade ef25d50b01a8 -> 739b8f04d5fb, added pending attachments index", "instance_id": "1a6d5ceec824", "level": "info", "logger": "alembic.runtime.migration", "timestamp": "2026-10-21T19:09:30.354306Z"} [failure_checks] s3 bootstrap s3-bootstrap-1 | s3-bootstrap: bucket messenger created s3-bootstrap-1 | s3-bootstrap: user api created @@ -39,7 +43,7 @@ s3-bootstrap-1 | s3-bootstrap: checks passed (api key put/get; cleaner key get/ s3-bootstrap-1 exited with code 0 [failure_checks] start cleaner: grace 20 s, interval 1 s [failure_checks] start api containers -[failure_checks] ready: api=http://127.0.0.1:57436 tight=http://127.0.0.1:57440 +[failure_checks] ready: api=http://127.0.0.1:61810 tight=http://127.0.0.1:61814 [failure_checks] pytest -m fault platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- … collecting ... collected 229 items / 197 deselected / 32 selected @@ -76,14 +80,14 @@ student-tests/test_failures.py::test_object_storage_stopped PASSED [ 93%] student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 96%] student-tests/test_failures.py::test_object_storage_paused PASSED [100%] -================ 32 passed, 197 deselected in 223.70s (0:03:43) ================ -[failure_checks] postgres log: 424 lines, crash markers 0; "too many clients" 20, "administrator command" 137 +================ 32 passed, 197 deselected in 228.04s (0:03:48) ================ +[failure_checks] postgres log: 436 lines, crash markers 0; "too many clients" 31, "administrator command" 138 [failure_checks] cleanup [failure_checks] results: {'fault': 0, 'postgres': 0} exit=0 ``` -Вся команда — 242 с (18:30:28–18:34:30). «too many clients» и +Вся команда — 246 с (19:09:23–19:13:29). «too many clients» и «administrator command» — следы проверок «Предел соединений PostgreSQL исчерпан» (`fill-connections`) и остановок PostgreSQL, признаков аварийного перезапуска нет. @@ -92,9 +96,9 @@ exit=0 ``` $ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q) # до и после — одинаково -/mtusi-lab4-api-11 2026-10-21T18:28:46.759887001Z -/mtusi-lab4-api-12 2026-10-21T18:28:49.979426419Z -/mtusi-lab4-cleaner-1 2026-10-21T18:29:04.322478592Z +/mtusi-lab4-api-15 2026-10-21T19:08:44.74597043Z +/mtusi-lab4-api-16 2026-10-21T19:08:48.805083335Z +/mtusi-lab4-cleaner-1 2026-10-21T19:08:58.331389589Z /mtusi-lab4-haproxy-1 2026-10-21T03:30:26.991596804Z /mtusi-lab4-postgres-1 2026-10-21T03:30:05.896306378Z /mtusi-lab4-s3-1 2026-10-21T03:30:20.918287843Z @@ -157,10 +161,11 @@ left: containers 0, volumes 0 ни строки, ни объекта, объектов без строки нет. - «Сбой уборки после удаления объекта» (`test_cleaner_failure_after_object_delete`, verify W1): то же, но - удаление строки падает с 08006 уже после удаления объекта → 503, а не - 201; строка `pending` (помечена уборщиком), по API не видна, вложений - `ready` без объекта нет; после снятия триггера следующий проход - убирает строку, объектов без строки нет. + удаление строки падает с 08006 уже после удаления объекта — в той же + транзакции уборки (второй шаг), то есть её откат после удачного DELETE + в S3 → 503, а не 201; строка `pending` (помечена первым шагом), по API + не видна, вложений `ready` без объекта нет; после снятия триггера + следующий проход убирает строку, объектов без строки нет. - «S3 недоступен во время уборки», «БД недоступна во время уборки», «Готовые вложения не тронуты» (`test_cleaner_survives_outages`): готовое вложение R; S3 остановлен → загрузка 503 (строка X); @@ -217,7 +222,9 @@ E AssertionError: POST /api/v1/chats/0ba258db-…/attachments: expected 50 - W1 на прежнем коде — 201 за 4,6 с: уборщик удалил объект, его транзакция откатилась на DELETE строки, и ждавший `mark_ready` - перевёл строку в `ready` без объекта. + перевёл строку в `ready` без объекта. Тест после этого не менялся + (правка `5889ca2` меняет только порядок шагов уборщика), поэтому этот + красный прогон в силе и для текущего кода. - W2 и W3 на прежнем коде зелёные: эти ветки были верны, тесты их закрепляют. Краснеют на временных регрессиях (правки возвращены, `git diff src/core/services/attachment.py` пуст): «компенсация на любой diff --git a/evidence/tests/student-test-lb.md b/evidence/tests/student-test-lb.md index 46850370..16ab7060 100644 --- a/evidence/tests/student-test-lb.md +++ b/evidence/tests/student-test-lb.md @@ -15,7 +15,7 @@ - Что изменилось с прежнего снимка (commit `5b42bd2`): три новых сценария по замечаниям verify — «Исход фиксации неизвестен» (`attachments`), «Загрузка дольше grace» и «Сбой уборки после удаления - объекта» (`storage-consistency`, теперь 9 сценариев). Итог — 215 + объекта» (`storage-consistency`, теперь 8 сценариев). Итог — 215 сценариев в 13 спеках, из них 36 покрыты проверками отказов (было 212 и 33); проверок отказов в наборе 32 (было 29), поэтому `deselected` — 32. Число выполняемых тестов то же — 197. @@ -87,5 +87,5 @@ key race through replicas: {'b3c055808ddf': 5, '17d8dd756626': 5} истории; гонка регистрации — один 201; гонка одного ключа через реплики — одно сообщение. - Сверка покрытия: все 215 сценариев 13 спеков — тест (200, из них 36 - проверками отказов, в том числе все 9 сценариев `storage-consistency`) + проверками отказов, в том числе все 8 сценариев `storage-consistency`) или исключение с доказательством (15). diff --git a/openspec/changes/upload-consistency/tasks.md b/openspec/changes/upload-consistency/tasks.md index 9ec7c0a6..e392176d 100644 --- a/openspec/changes/upload-consistency/tasks.md +++ b/openspec/changes/upload-consistency/tasks.md @@ -448,7 +448,7 @@ SUGGESTION; решения основной сессии — design, «Уточ rolling_update` и `docker compose up -d --no-deps cleaner` — `make test`, `make student_test` через LB, `driver.py --port upload-consistency` (код 0). -- [ ] 12.5 После коммита основной сессии: S2 — `evidence/tests/ +- [x] 12.5 После коммита основной сессии: S2 — `evidence/tests/ student-test-lb.md` (8 сценариев `storage-consistency`, а не 9); пересъёмка `evidence/tests/failure-checks.md` и раздела 7 `evidence/attachments/cleaner-process.md` с нового commit; числа в