docs: re-capture track2-reconciler evidence on 84f8c35

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-22 21:31:49 +03:00
co-authored by Claude Opus 5.5
parent 84f8c353e9
commit 96d2ecca3d
7 changed files with 385 additions and 113 deletions
+3 -3
View File
@@ -46,9 +46,9 @@ LB пути загрузки 30 с, дренаж замены 90 с, профи
`openspec/changes/archive/`, активных нет, спеки синхронизированы
(новые capability: с `s3-storage` —
`object-storage`, с `attachments` — `attachments`, с
`upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` три открытые записи (bootstrap после удаления
bucket; уборщик удаляет объект зависшей загрузки по ключу вне своего
префикса; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её
`upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` четыре открытые записи (bootstrap после удаления
bucket; изредка 503 на загрузке — PUT в S3 обрывается без тела; уборщик
удаляет объект зависшей загрузки по ключу вне своего префикса; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её
репозитории (`REPORT.md`, `evidence/`, `git show 063eedb:PLAN.md`).
Стек: Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings,
structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
+42
View File
@@ -33,6 +33,48 @@
меньше 1024 (больше слотов на тот же объём) или явный `-volume.max`;
для стендов проекта не нужно. Запись остаётся открытой.
## Изредка 503 на загрузке: PUT в S3 обрывается без тела
- **Где:** путь загрузки реплики API — `src/core/services/attachment.py`
(`_store`: PUT тем же `BytesIO` после `seek(0)`) и клиент S3
`src/infra/s3/client.py` (aiobotocore поверх aiohttp, без повторов,
пул соединений с `keepalive_timeout` 15 с); сервер — SeaweedFS 4.48.
- **Что:** на рабочем стенде `mtusi-lab4` 2026-10-22 в 18:17–18:25 UTC из
восьми прогонов `make student_test BASE_URL=http://localhost:8090` три
дали по одному падению: загрузка — 503 (`test_attachment_order_kept`,
`test_replay_with_attachments`, ещё один тест в прогоне 18:18). Все
три — на реплике `151df4af59c3` (код `c1648d9`, путь загрузки не менялся
с `upload-memory`). В журнале реплики — `warning` «Object storage is
unavailable», `put_object`, `ReadTimeoutError` через **1 мс** (это не
срок вызова 5 с), затем «Attachment upload left pending» (`step: put`);
в журнале S3 — «chunked upload failed: truncated request body: read
chunk at offset 0 (got 0 bytes): unexpected EOF»: заголовки PUT дошли,
тело — ни байта. Строка остаётся `pending` до уборщика, как и задумано
для отказа PUT (`upload-consistency`), — согласованность не нарушена,
загрузка не подтверждена.
- **Чего не видно:** до 18:18 таких записей в журналах реплик нет с их
старта в 16:38 (в том числе `reconcile-stress`, 649 загрузок); три
прогона одного `test_attachments.py` подряд (132 загрузки поровну на
обе реплики) — без единого отказа; на стенде отказов (`make
failure_checks`, 48 из 48) и в `make test_isolated` не появлялось.
Пауза перед упавшим PUT по журналу реплики — 0,04–2,25 с, то есть не
простой соединения дольше `keepalive_timeout`. Соединений реплик с S3
в `ESTABLISHED` после прогонов нет (только `TIME_WAIT`) у обеих.
Причина не найдена; change `track2-reconciler` её не касается: он
меняет только процесс уборщика, реплики стенда — на `c1648d9`.
- **Чем грозит:** клиент изредка получает 503 на загрузку, которую
повтор (новая загрузка) проводит; данных это не портит.
- **Предложение:** воспроизвести на временном стенде полным набором
`student-tests` в цикле с журналом `aiohttp.client` / `botocore` на
уровне `DEBUG` (заголовки подписи — не в evidence) и `tcpdump` на порту
8333 в сети стенда; проверить переиспользование соединения пула после
ответа S3 с ошибкой или ранним закрытием (тело `BytesIO`, `Expect:
100-continue` botocore, `ServerDisconnectedError` aiohttp, который
aiobotocore отдаёт как `ReadTimeoutError`). Если подтвердится —
`force_close` / `enable_cleanup_closed` у коннектора или один повтор PUT
только при обрыве до отправки тела (решение об этом — отдельным
change: правило `infra.md` «S3 без повторов»).
## Уборщик удаляет объект зависшей загрузки по ключу вне своего префикса
- **Где:** `src/core/services/attachment_cleanup.py`
+16 -13
View File
@@ -670,8 +670,10 @@ reconcile` (dry-run), потом `docker compose start cleaner`.
оригинала), `evidence/reconcile/stress.md` (`--apply` раз в ~3 с под 640
загрузками и отправками: внесённое исправлено, все 640 скачиваются с тем
же SHA-256, повтор — 0), `evidence/reconcile/service.md`,
`evidence/tests/failure-checks.md` (восемь проверок отказов сверки и их
красный прогон на `c13df14`), `evidence/s3/cleaner-list.md`,
`evidence/tests/failure-checks.md` (одиннадцать проверок отказов сверки:
восемь и их красный прогон на `c13df14`, три по замечаниям verify и их
красные прогоны на `a6071da` и на временных регрессиях),
`evidence/s3/cleaner-list.md`,
`evidence/migrations/lost-at.md`. Стоимость обхода, стратегия «HEAD на
строку», глубокая сверка SHA-256 и ограничение скорости — следующий
change `track2-reconcile-cost`.
@@ -781,10 +783,11 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
переснято `make failure_checks` (37 / 37). Строки сверки хранилищ (change
`track2-reconciler`, трек 2) — с `c1648d9` на рабочем стенде после
порядка обновления change (`evidence/reconcile/`, `evidence/s3/cleaner-
list.md`, `evidence/migrations/lost-at.md`); с того же commit переснято
`make failure_checks` (45 / 45), `make student_test` через LB и `make
test_isolated` (`evidence/tests/`), поэтому строки отказов S3, мест
загрузки, срока тела и тестов рубрики называют `c1648d9`.
list.md`, `evidence/migrations/lost-at.md`); с того же commit снят `make
test_isolated` (`evidence/tests/`). После правок по verify (`84f8c35`:
сверка и тесты отказов, код API прежний) переснято `make failure_checks`
(48 / 48) и `make student_test` через LB, поэтому строки отказов S3, мест
загрузки и срока тела называют `84f8c35`.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
@@ -795,8 +798,8 @@ test_isolated` (`evidence/tests/`), поэтому строки отказов S
| «3»: остановка загрузившей реплики → download через другую | `driver.py --port 8080 attachment-failover --mode stop` и `--mode kill` | загрузку принял `5f5d4ac50d9a`, `stop-one.sh` его остановил (`stop` и `kill`), метаданные и байты — 200 от `847ad74efd7c`, SHA-256 совпал, посторонний — 404; после `make replicas` обе `UP` | `evidence/attachments/failover.md` |
| «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` |
| «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` |
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB, 193 passed + 5 пропусков тестов реплик в одном процессе (оба — `c1648d9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 240 сценариев 13 спеков, 223 тестами (58 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 45 / 45, код 0 (`c1648d9`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB (`84f8c35`; из восьми прогонов подряд три дали по одному 503 на загрузке — PUT в S3 без тела, `KNOWN_ISSUES.md`), 193 passed + 5 пропусков тестов реплик в одном процессе (`c1648d9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 243 сценария 13 спеков, 226 тестами (61 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 48 / 48, код 0 (`84f8c35`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` |
| «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` |
| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` |
@@ -818,14 +821,14 @@ test_isolated` (`evidence/tests/`), поэтому строки отказов S
| «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; с местами API в S3 не больше 4 PUT от реплики — в метке `uploads` 503 по сроку S3 нет | `evidence/s3/memory.md`, `evidence/uploads/baseline/summary.md` |
| Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` |
| «4»: ≥ 10 одновременных загрузок, пик памяти | `make bench_uploads` (метка `baseline`, `97a4be4`, `dirty: false`; 72 прогона: 3 варианта × 2 тела × 4 уровня × 3 повтора; реплика 1 CPU / 512 МБ без swap) | «с лимитом», 10 MiB: пик реплики 169,5 / 177,3 / 181,3 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0, лишние — 429; «без лимита» и код до change при 40 × 10 MiB — OOM 3/3, код до change и при 20 × 10 MiB — OOM 3/3; в паспорте — предупреждение о swap хоста (раздел «Одновременные загрузки») | `evidence/uploads/baseline/summary.md` |
| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 3 с; прогон `c1648d9`) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` |
| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | прогон `c1648d9`: тело частями дольше срока тела стенда (4 с при сроке 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` |
| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 3 с; прогон `84f8c35`) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` |
| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | прогон `84f8c35`: тело частями дольше срока тела стенда (4 с при сроке 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` |
| «4»: 10 одновременных загрузок проходят | `make student_test` через LB и `make test_isolated` (`test_concurrent_uploads`) | 10 участников одного чата, PNG ~1 MiB: все 201, `id` разные, скачиваются побайтно — и через LB, и на одном процессе | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
| «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` |
| «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` |
| «5», трек 2: ошибки внесены с обеих сторон, найдены и исправлены, повтор находит 0 | `driver.py --port 8090 reconcile-cycle` (рабочий стенд, `c1648d9`) | внесены O (объект без строки), X (чужой ключ), удалён объект A (в сообщении), удалена строка B, размер C +1, обрыв COMMIT P; после grace 30 с dry-run — 6 находок своих классов (`orphan_object` ×2, `missing_object`, `size_mismatch`, `stale_pending`, `unknown_object`), код 3, строки, объекты и пометки не изменились; байты A — 500; `--apply` — O, B удалены, P убрана, A и C помечены, свежий F не тронут, X остался (код 3); байты A — 404, метаданные 200 = ответ загрузки, история отдаёт A; повтор — только X; после удаления X оператором — код 0; F удалён после grace; A возвращён — `restored_object`, 200 с тем же SHA-256; итоговый dry-run — код 0; 45 проверок, PASS | `evidence/reconcile/cycle.md` |
| «5», трек 2: dry-run, `--apply`, повторный запуск; коды выхода | `make reconcile`, плановая сверка уборщика при старте (`--apply`), `docker compose run … cleaner reconcile` с чужим объектом и с неверными `RECONCILER__*` | стенд после обновления: плановая сверка при старте — 2 086 объектов и строк, `found {}`; `make reconcile` — `found {}`, код 0; чужой объект старше grace — `warning` «Found …», код 3, после его удаления — код 0; `RECONCILER__PAGE_SIZE=5000`, `MAX_CHANGES=0`, `INTERVAL_SECONDS=-1`, `--max-changes 0` — код 2 с именем поля | `evidence/reconcile/service.md` |
| «5», трек 2: свежие и используемые вложения не удаляются, ничего подтверждённого не теряется под нагрузкой | `driver.py --port 8090 reconcile-stress` (4 клиента × 40 с, `--apply` раз в ~3 с, grace 20 с); `make failure_checks` (8 проверок сверки) | 640 загрузок 201 и 640 сообщений, 9 проходов `--apply` с кодом 0; внесённые 2 объекта без строки удалены, 2 потери помечены, новых пометок — только они; каждое из 640 вложений — тот же SHA-256, сообщения отдают свои вложения; повтор — 0; на стенде отказов: свежие объект и вложение не тронуты, вложение в сообщении только помечено (метаданные 200, история с `id`), чужой ключ не удалён (код 3), предел 2 при 3 изменениях — ни одного (код 3, `error`), S3 остановлен — код 1 без изменений, сбой БД на пометке — код 1, повтор доводит; плановая сверка с интервалом 1 с помечает потерю сама; красный прогон на `c13df14` — 8 из 8 упали | `evidence/reconcile/stress.md`, `evidence/tests/failure-checks.md` |
| «5», трек 2: dry-run, `--apply`, повторный запуск; коды выхода | `make reconcile`, плановая сверка уборщика при старте (`--apply`), `docker compose run … cleaner reconcile` с чужим объектом и с неверными `RECONCILER__*`; `driver.py reconcile-signal` | стенд после обновления: плановая сверка при старте — 2 086 объектов и строк, `found {}`; `make reconcile` — `found {}`, код 0; чужой объект старше grace — `warning` «Found …», код 3, после его удаления — код 0; `driver.py reconcile-signal` (временный проект, `84f8c35`): разовый `--apply` при замороженном S3 и `docker stop` — код 1, `interrupted_by: stop`, остановка 5,0 с; `RECONCILER__PAGE_SIZE=5000`, `MAX_CHANGES=0`, `INTERVAL_SECONDS=-1`, `--max-changes 0` — код 2 с именем поля | `evidence/reconcile/service.md` |
| «5», трек 2: свежие и используемые вложения не удаляются, ничего подтверждённого не теряется под нагрузкой | `driver.py --port 8090 reconcile-stress` (4 клиента × 40 с, `--apply` раз в ~3 с, grace 20 с); `make failure_checks` (11 проверок сверки, `84f8c35`) | 640 загрузок 201 и 640 сообщений, 9 проходов `--apply` с кодом 0; внесённые 2 объекта без строки удалены, 2 потери помечены, новых пометок — только они; каждое из 640 вложений — тот же SHA-256, сообщения отдают свои вложения; повтор — 0; на стенде отказов: свежие объект и вложение не тронуты, вложение в сообщении только помечено (метаданные 200, история с `id`), чужой ключ не удалён (код 3), предел 2 при 3 изменениях — ни одного (код 3, `error`), S3 остановлен — код 1 без изменений, сбой БД на пометке — код 1, повтор доводит; плановая сверка с интервалом 1 с помечает потерю сама; объект, на который ссылается строка (в том числе строка другого `id`), — чужой, не удалён; отказ по пределу не мешает уборке зависшей загрузки; строка с ключом вне `<база>/attachments/` — чужая, без пометки и уборки; красный прогон на `c13df14` — 8 из 8 упали, проверки по verify — 1 из 3 на `a6071da`, 2 из 2 на временных регрессиях | `evidence/reconcile/stress.md`, `evidence/tests/failure-checks.md` |
| «5», трек 2: права S3 для сверки, схема пометки | `make s3_check`; bootstrap с неверным префиксом; `alembic` с нуля / повтор / откат / `--sql`; `make rolling_update` | ключ уборщика: список `messenger/attachments/` — 200, всего bucket, `.s3-check/` и чужого bucket — 403, 70 проверок PASS; неверный `S3_CLEANER_LIST_PREFIX` — код 1; `ADD COLUMN lost_at` после `SET LOCAL lock_timeout = '2s'`, ревизия `739b8f04d5fb` → `5c3e1f0a9b7d` поочерёдной заменой за 12 с | `evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md` |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
@@ -1192,5 +1195,5 @@ S3 (change `s3-storage`):
остаётся в рабочей базе и bucket: согласованные вложения и помеченные
потерянными — одно за прогон цикла и два за прогон стресса
(`lost_known` 1 → 3; их байты — 404).
- **`make failure_checks` дольше на ~3,5 мин** (45 проверок, ~8 мин):
- **`make failure_checks` дольше на ~4,5 мин** (48 проверок, ~9 мин):
объекты нельзя состарить, тесты ждут grace стенда (20 с).
+59 -2
View File
@@ -1,5 +1,8 @@
# Сверка в процессе уборщика: старт, плановая сверка, остановка, отказ конфигурации, коды
Разделы до «Код 1 разового прохода» сняты с `c1648d9` на рабочем стенде;
последний раздел — с `84f8c35` на временном проекте (правки по verify).
Change `track2-reconciler` (design, решения 1, 8–10; спеки
`storage-consistency` «Плановая сверка», `service-configuration`
«Параметры сверки», `service-logging` «Журнал сверки», `graceful-shutdown`
@@ -98,7 +101,7 @@ reconcile`:
```
put foreign object messenger/attachments/x-service-600294ea-04f4-43ac-88f0-b28ec6183a49
== make reconcile (grace 30 s), foreign object older than grace
== docker compose run --rm --no-deps -T -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner reconcile (dry-run, grace 30 s), foreign object older than grace
{"event": "Started cleaner", "module": "cleaner", "mode": "reconcile", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "reconcile_interval_seconds": 3600, "reconcile_page_size": 1000, "reconcile_max_changes": 100, "reconcile_apply": false, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info"}
{"event": "Found storage discrepancy", "module": "attachment_reconcile_service", "method": "reconcile", "apply": false, "kind": "unknown_object", "object_key": "messenger/attachments/x-service-600294ea-04f4-43ac-88f0-b28ec6183a49", "attachment_id": null, "age_seconds": 39, "level": "warning"}
{"event": "Finished reconcile pass", "module": "attachment_reconcile_service", "method": "reconcile", "apply": false, "listed_objects": 2867, "checked_rows": 2868, "found": {"unknown_object": 1}, "fixed": {}, "remaining": 1, "fresh_objects": 0, "fresh_rows": 0, "lost_known": 3, "refused": false, "unlogged": 0, "interrupted_by": null, "duration_ms": 813, "level": "warning"}
@@ -111,6 +114,60 @@ Stopped cleaner 0
exit=0
```
Первый проход — не `make reconcile`: цель Makefile grace не подменяет, а
чужой объект был моложе grace стенда (900 с). Строка-заголовок «==» в
выводе прежде называла его «make reconcile (grace 30 s)»; исправлена на
выполненную команду по замечанию S2 verify, сами записи не менялись.
Второй проход — `make reconcile` (grace 900 с).
Код 3 — расхождение осталось (чужой объект сверка не удаляет), код 0 —
расхождений нет. Код 1 (прерван отказом) — `test_reconcile_object_storage_
stopped` и `test_reconcile_interrupted_by_database` (`make failure_checks`).
stopped` и `test_reconcile_interrupted_by_database` (`make failure_checks`),
код 1 по сигналу — раздел ниже.
## Код 1 разового прохода, прерванного сигналом
Требование `graceful-shutdown` «Остановка уборщика»: разовый проход
сверки, прерванный сигналом, выходит с кодом 1 (замечание S5 verify;
design, «Уточнения apply», п. 23). Снято `driver.py reconcile-signal` с
commit `84f8c35`, 2026-10-22 18:14:01 UTC, на **временном** проекте
compose `rcsig`, а не на рабочем стенде: команда замораживает S3, на
`mtusi-lab4` она отказывает (код 2). Стенд — `docker-compose.yml` проекта
с override хранилищ на tmpfs и без публикации портов PostgreSQL и Valkey,
синтетические секреты, сервисы `postgres`, `s3`, `migrate`,
`s3-bootstrap`, `cleaner` (`docker compose up -d --no-build --wait
cleaner`), образ `mtusi-messenger:lab4`, собранный `make failure_checks`
из `84f8c35`. После — `docker compose down -v`: контейнеров `rcsig` 0,
volumes — 155, как до.
```
$ COMPOSE_PROJECT_NAME=rcsig COMPOSE_FILE=… COMPOSE_ENV_FILES=… python3 .claude/skills/run-mtusi-messenger/driver.py reconcile-signal
rcsig: s3 paused
docker stop while reconcile waits for paused S3
rcsig: s3 unpaused
== records of the one-off reconcile
{"event": "Started cleaner", "level": "info", "mode": "reconcile", "timestamp": "2026-10-22T18:14:06.160823Z"}
{"event": "Object storage is unavailable", "level": "warning", "operation": "list_objects_v2", "error_type": "TimeoutError", "duration_ms": 5010, "timestamp": "2026-10-22T18:14:11.171450Z"}
{"event": "Finished reconcile pass", "level": "warning", "duration_ms": 5011, "interrupted_by": "stop", "timestamp": "2026-10-22T18:14:11.172645Z"}
{"event": "Stopped cleaner", "level": "info", "exit_code": 1, "timestamp": "2026-10-22T18:14:11.174668Z"}
docker stop took 5.0 s, exit code 1
Started cleaner (mode reconcile) expected yes got yes
exit code expected 1 got 1
Finished reconcile pass interrupted_by expected stop got stop
Stopped cleaner exit_code expected 1 got 1
Fixed storage discrepancy records expected 0 got 0
docker stop faster than 10 s expected yes got yes
PASS: one-off reconcile stopped by SIGTERM: exit 1, nothing changed
driver_exit=0
```
- `run -d --no-deps cleaner reconcile --apply` при замороженном S3:
первая страница списка ждёт S3; через секунду после «Started cleaner» —
`docker stop` (SIGTERM). Текущий вызов доведён до своего срока (5 с,
`TimeoutError`), новых вызовов не было: сигнал проверяется перед каждым
вызовом хранилища (design, п. 20);
- итог — `interrupted_by: "stop"`, «Stopped cleaner» с `exit_code` 1 и
код контейнера 1 — проход не завершён; у сервиса тот же сигнал даёт код
0 (раздел «Остановка во время сверки» выше);
- `docker stop` — 5,0 с, меньше `stop_grace_period` 10 с, без SIGKILL;
записей «Fixed» нет — ничего не изменено. S3 разморожен в `finally`.
+150 -56
View File
@@ -1,10 +1,11 @@
# `make failure_checks`: проверки отказов с уборщиком, согласованностью БД и S3, местами загрузки и сверкой
- Дата: 2026-10-22, 16:45:12–16:53:19 UTC.
- Commit: `c1648d9` (change `track2-reconciler`: сверка bucket и БД в
процессе уборщика, колонка `lost_at`, список по префиксу у ключа
уборщика, восемь новых проверок отказов). Рабочее дерево — `c1648d9`
(вне commit — только файлы `evidence/`), образ собран из него.
- Дата: 2026-10-22, 18:04:24–18:13:30 UTC.
- Commit: `84f8c35` (правки по verify change `track2-reconciler`: строка
с ключом вне префикса вложений — чужой объект, сигнал перед каждым
вызовом хранилища, hook `set-key`, три новые проверки отказов поверх
восьми проверок сверки `c1648d9`). Рабочее дерево — `84f8c35` (вне
commit — только файлы `evidence/`), образ собран из него.
- Стенд отказов: проект `mtusi-lab4-failures` — свои PostgreSQL, Valkey
и S3 (с bootstrap, пользователи `api` и `cleaner`, у уборщика список
только с префиксом `messenger/attachments/`), порты хранилищ не
@@ -15,17 +16,20 @@
`MAX_IMAGE_PIXELS=1` в окружении, «тесный» (сроки сессии и ключа 2 с,
пул 1) и «узкий по загрузкам» (`UPLOADS_ENV`: 1 место, 1 в очереди,
ожидание 1 с, срок тела 3 с). Рабочий стенд `mtusi-lab4` в это время
запущен на том же коде (порядок обновления change в 16:32–16:34, LB —
на `127.0.0.1:8090`: 8080 хоста занят контейнером другого проекта).
запущен на образе `c1648d9` (порядок обновления change в 16:32–16:34;
`84f8c35` меняет только процесс уборщика, стенд отказов собирает его
сам; LB — на `127.0.0.1:8090`: 8080 хоста занят контейнером другого
проекта).
Docker Desktop 29.9.1, Apple M3 Pro.
- Прежние снимки этого файла: commit `5b42bd2` — 29 из 29 за 190 с;
`87c48b9` — 32 из 32 за 224 с; `5889ca2` — 32 из 32 за 228 с;
`ce1ae2c` — 37 из 37 за 255 с; `9d2ee30` — 37 из 37 за 263 с. Сейчас —
45 из 45 за 462 с: +8 проверок сверки (раздел «Сверка bucket и БД»
ниже), им нужны ожидания grace стенда (20 с) для объектов без строки и
~35 с нагрузки.
`ce1ae2c` — 37 из 37 за 255 с; `9d2ee30` — 37 из 37 за 263 с;
`c1648d9` — 45 из 45 за 462 с (+8 проверок сверки: ожидания grace
стенда, 20 с, для объектов без строки и ~35 с нагрузки). Сейчас — 48 из
48 за 524 с: +3 проверки по замечаниям verify (раздел «Сверка bucket и
БД», последние три пункта), одной из них — ожидание grace.
## Итог: код 0, 45 из 45
## Итог: код 0, 48 из 48
Вывод сборки образа (BuildKit), строки `Container …` compose, записи
alembic, вывод bootstrap S3 и журналы контейнеров стенда опущены; путь к
@@ -41,63 +45,66 @@ python3 student-tests/run_failures.py
[failure_checks] s3 bootstrap
[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off)
[failure_checks] start api containers
[failure_checks] ready: api=http://127.0.0.1:50460 tight=http://127.0.0.1:50464 uploads=http://127.0.0.1:50468
[failure_checks] ready: api=http://127.0.0.1:54563 tight=http://127.0.0.1:54569 uploads=http://127.0.0.1:54573
[failure_checks] pytest -m fault
platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- …
collecting ... collected 243 items / 198 deselected / 45 selected
collecting ... collected 246 items / 198 deselected / 48 selected
student-tests/test_failures.py::test_expired_token PASSED [ 2%]
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 4%]
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 6%]
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 8%]
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 11%]
student-tests/test_failures.py::test_pool_exhausted PASSED [ 13%]
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 15%]
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 17%]
student-tests/test_failures.py::test_readiness_without_database PASSED [ 20%]
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 22%]
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 24%]
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 26%]
student-tests/test_failures.py::test_flush_cache PASSED [ 28%]
student-tests/test_failures.py::test_valkey_stopped PASSED [ 31%]
student-tests/test_failures.py::test_valkey_paused PASSED [ 33%]
student-tests/test_failures.py::test_valkey_back PASSED [ 35%]
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 37%]
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 40%]
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 42%]
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 44%]
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 46%]
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 48%]
student-tests/test_failures.py::test_interrupted_body PASSED [ 51%]
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 53%]
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 55%]
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 57%]
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 60%]
student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 62%]
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 64%]
student-tests/test_failures.py::test_object_storage_stopped PASSED [ 66%]
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 68%]
student-tests/test_failures.py::test_object_storage_paused PASSED [ 71%]
student-tests/test_failures.py::test_upload_slots_busy PASSED [ 73%]
student-tests/test_failures.py::test_rejections_before_queue PASSED [ 75%]
student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 77%]
student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 80%]
student-tests/test_failures.py::test_slow_body PASSED [ 82%]
student-tests/test_failures.py::test_reconcile_finds_and_fixes PASSED [ 84%]
student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown PASSED [ 86%]
student-tests/test_failures.py::test_reconcile_restored_original PASSED [ 88%]
student-tests/test_failures.py::test_reconcile_change_limit PASSED [ 91%]
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 10%]
student-tests/test_failures.py::test_pool_exhausted PASSED [ 12%]
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 14%]
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 16%]
student-tests/test_failures.py::test_readiness_without_database PASSED [ 18%]
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 20%]
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 22%]
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 25%]
student-tests/test_failures.py::test_flush_cache PASSED [ 27%]
student-tests/test_failures.py::test_valkey_stopped PASSED [ 29%]
student-tests/test_failures.py::test_valkey_paused PASSED [ 31%]
student-tests/test_failures.py::test_valkey_back PASSED [ 33%]
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 35%]
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 37%]
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 39%]
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 41%]
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 43%]
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 45%]
student-tests/test_failures.py::test_interrupted_body PASSED [ 47%]
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 50%]
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 52%]
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 54%]
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 56%]
student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 58%]
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 60%]
student-tests/test_failures.py::test_object_storage_stopped PASSED [ 62%]
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 64%]
student-tests/test_failures.py::test_object_storage_paused PASSED [ 66%]
student-tests/test_failures.py::test_upload_slots_busy PASSED [ 68%]
student-tests/test_failures.py::test_rejections_before_queue PASSED [ 70%]
student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 72%]
student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 75%]
student-tests/test_failures.py::test_slow_body PASSED [ 77%]
student-tests/test_failures.py::test_reconcile_finds_and_fixes PASSED [ 79%]
student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown PASSED [ 81%]
student-tests/test_failures.py::test_reconcile_restored_original PASSED [ 83%]
student-tests/test_failures.py::test_reconcile_change_limit PASSED [ 85%]
student-tests/test_failures.py::test_reconcile_keeps_referenced_objects PASSED [ 87%]
student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup PASSED [ 89%]
student-tests/test_failures.py::test_reconcile_foreign_key_untouched PASSED [ 91%]
student-tests/test_failures.py::test_reconcile_object_storage_stopped PASSED [ 93%]
student-tests/test_failures.py::test_reconcile_interrupted_by_database PASSED [ 95%]
student-tests/test_failures.py::test_reconcile_under_load PASSED [ 97%]
student-tests/test_failures.py::test_scheduled_reconcile PASSED [100%]
================ 45 passed, 198 deselected in 462.06s (0:07:42) ================
[failure_checks] postgres log: 438 lines, crash markers 0; "too many clients" 23, "administrator command" 142
================ 48 passed, 198 deselected in 523.74s (0:08:43) ================
[failure_checks] postgres log: 458 lines, crash markers 0; "too many clients" 31, "administrator command" 143
[failure_checks] cleanup
[failure_checks] results: {'fault': 0, 'postgres': 0}
make failure_checks 2>&1 56,10s user 20,95s system 15% cpu 8:07,69 total
exit=0
```
Вся команда — 8 мин 07 с (16:45:12–16:53:19). «too many clients» и
Вся команда — 9 мин 06 с (18:04:24–18:13:30). «too many clients» и
«administrator command» — следы проверок «Предел соединений PostgreSQL
исчерпан» (`fill-connections`) и остановок PostgreSQL, признаков
аварийного перезапуска нет.
@@ -121,7 +128,7 @@ $ docker volume ls -q | wc -l
- Все контейнеры `mtusi-lab4` стартовали раньше прогона (последние — после
`make test-persistence`, `make test-failover` и остановки уборщика для
`evidence/reconcile/service.md` в 16:36–16:43; прогон — с 16:45:12), и
`evidence/reconcile/service.md` в 16:36–16:43; прогон — с 18:04:24), и
время старта после прогона то же: рабочий стенд не тронут. Список docker
volumes до и после прогона один и тот же (155 имён).
- У проекта `mtusi-lab4-failures` не осталось ни контейнеров, ни volumes.
@@ -179,6 +186,27 @@ Hook вносит расхождения с обеих сторон (`put-object
на 6 с — в журнале «Finished reconcile pass» с `apply: true`, потеря
помечена без разового прохода.
По замечаниям verify (hook `set-key` меняет только `object_key` строки):
- «Объект, на который ссылается строка, не удаляется»
(`…_keeps_referenced_objects`): у X ключ `…/attachments/x-other-<uuid>`
без объекта, Y ссылается на `<Z>/original` (строки Z нет, объект есть),
после G + 1 dry-run и `--apply` — `<X>/original`, `<Y>/original` и
`<Z>/original` — `unknown_object` и на месте, код 3; X помечено
(`missing_object` по своему ключу), Y — нет; в `finally` ключи
возвращены, объект Z удалён hook.
- «Предел не останавливает уборку зависших» (`…_limit_keeps_cleanup`):
уборщик стенда стоит, обрыв COMMIT даёт зависшую P (`age-row`), три
потери при пределе 2 — код 3, `error` о пределе, `refused: true`, ни
одной пометки, а P убрана (`removed_pending`, ни строки, ни объекта);
затем с пределом 100 помечены все три.
- «Ключ вне префикса вложений не трогается»
(`…_foreign_key_untouched`): готовой строке и зависшей загрузке `set-key`
ставит `<база>/elsewhere/<id>`; dry-run и `--apply` — обе
`unknown_object`, код 3, ни одной записи «Fixed»: строки `ready` и
`pending` на месте, готовая не помечена, их объекты под префиксом
вложений целы.
## Места загрузки и срок тела (change `upload-memory`)
«Узкий по загрузкам» API: 1 место, 1 в очереди, ожидание 1 с, срок тела
@@ -440,3 +468,69 @@ failed за 99,5 с; его вывод сохранился не полност
самих тестов и hook (`start cleaner` через `compose start` требовал
контейнер `migrate`; сравнение метаданных строк, которые изменил сам
hook), не кода: после их правки — 8 из 8 и полный прогон 45 из 45.
## Красные прогоны тестов по замечаниям verify `track2-reconciler` (2026-10-22)
Три новые проверки (tasks, группа 13) — с тестами и hook `84f8c35`, в
двух временных каталогах из `git archive` (рабочее дерево не менялось).
Рабочий стенд не трогался; после прогонов образ `mtusi-messenger:lab4`
пересобран из `84f8c35` (`docker compose build api`, контейнеры стенда не
пересоздавались), каталоги удалены.
**13.2, W2 — код приложения `a6071da`** (до правок; `git archive a6071da`,
поверх — `student-tests/` из `84f8c35`), 18:14:37–18:15:58:
```
$ python3 student-tests/run_failures.py -k "referenced_objects or limit_keeps_cleanup or foreign_key_untouched"
[failure_checks] project=mtusi-lab4-failures (working stand: mtusi-lab4)
[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off)
student-tests/test_failures.py::test_reconcile_keeps_referenced_objects PASSED [ 33%]
student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup PASSED [ 66%]
student-tests/test_failures.py::test_reconcile_foreign_key_untouched FAILED [100%]
E AssertionError: assert {'95d43699-44...tale_pending'} == {'95d43699-44...known_object'}
E Differing items:
E {'95d43699-44d0-463d-b168-a44f99b0d141': 'missing_object'} != {'95d43699-44d0-463d-b168-a44f99b0d141': 'unknown_object'}
E {'b8dd6a9a-884a-4868-afd1-2e5dc3192d4a': 'stale_pending'} != {'b8dd6a9a-884a-4868-afd1-2e5dc3192d4a': 'unknown_object'}
student-tests/test_failures.py:2001: AssertionError
================= 1 failed, 2 passed, 243 deselected in 59.97s =================
[failure_checks] postgres log: 62 lines, crash markers 0; "too many clients" 0, "administrator command" 0
[failure_checks] results: {'fault': 1, 'postgres': 0}
```
- `…_foreign_key_untouched` красный: прежний код считал готовую строку с
ключом `<база>/elsewhere/<id>` «метаданными без объекта» (HEAD чужого
префикса, с `--apply` — пометка), а зависшую с таким ключом —
`stale_pending` (уборка удалила бы объект по чужому ключу);
- оба теста W1 на прежнем коде зелёные: эти ветки были верны, замечание —
об их покрытии.
**13.1, W1 — `84f8c35` с двумя временными регрессиями** в
`src/core/services/attachment_reconcile.py` временного каталога:
`_recheck_orphan` без проверки ссылок (`references = []`) и `_act`,
пропускающий при отказе по пределу и зависшие загрузки (`if
state.refused: continue`), 18:16:04–18:17:05:
```
$ python3 student-tests/run_failures.py -k "referenced_objects or limit_keeps_cleanup"
student-tests/test_failures.py::test_reconcile_keeps_referenced_objects FAILED [ 50%]
student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup FAILED [100%]
E Differing items:
E {'messenger/attachments/d39923b2-57c5-4e3d-8d86-0967932df378/original': 'orphan_object'} != {'messenger/attachments/d39923b2-57c5-4e3d-8d86-0967932df378/original': 'unknown_object'}
student-tests/test_failures.py:1884: AssertionError
E AssertionError: assert {} == {'50635edf-66...tale_pending'}
E Right contains 1 more item:
E {'50635edf-667c-44a7-878c-ea7298b94ef6': 'stale_pending'}
student-tests/test_failures.py:1950: AssertionError
====================== 2 failed, 244 deselected in 41.34s ======================
[failure_checks] postgres log: 59 lines, crash markers 0; "too many clients" 0, "administrator command" 0
[failure_checks] results: {'fault': 1, 'postgres': 0}
```
- без проверки ссылок объект `<Z>/original`, на который ссылается Y, стал
«объектом без метаданных» (`orphan_object`) — тест ловит удаление
используемого объекта;
- при уборке зависших под пределом P не убрана (ни одной записи
`removed_pending`) — тест ловит остановку уборки отказом по пределу.
Те же три теста на `84f8c35` без регрессий — зелёные в полном прогоне
выше (48 из 48).
+92 -37
View File
@@ -1,25 +1,29 @@
# `make student_test` через балансировщик
- Дата: 2026-10-22, 16:35:03–16:35:42 UTC (пересъёмка после change
`track2-reconciler`; второй прогон 16:35:55–16:36:33 — счёт по модулям).
- Commit: `c1648d9`, дерево чистое.
- Стенд: рабочий `mtusi-lab4` после порядка обновления change (`docker
compose up -d s3-bootstrap` → `make rolling_update` → `docker compose up
-d --no-deps cleaner`, 16:32–16:34) — `BASE_URL=http://localhost:8090`:
**LB на 8090, а не на 8080 из `.env`**, порт 8080 хоста занят
контейнером другого проекта (`domains-api-1`); `EXPECT_REPLICAS=2`
(`API_REPLICAS`): реплики `151df4af59c3` и `b5c48ae854d1`, PostgreSQL на
ревизии `5c3e1f0a9b7d`, Valkey, S3, уборщик с плановой сверкой. Тесты
реплик выполняются, проверки отказов (`fault`) — нет (`-m 'not fault'`,
их гоняет `make failure_checks`, `failure-checks.md`).
- Что изменилось с прежнего снимка (commit `ce1ae2c`): change
`track2-reconciler` — восемь новых проверок отказов сверки bucket и БД
(`deselected` 45 вместо 37) и 13 новых сценариев в основных спеках:
12 у `storage-consistency` (сверка, её безопасность, потерянный
оригинал, отказы хранилищ, плановая сверка) и «Потерянный оригинал» у
`attachments`. Все они покрыты проверками отказов: итог сверки — 240
сценариев в 13 спеках, 223 с тестами (58 — проверками отказов), 17
исключений. Тестов вне `fault` change не добавил: 198, как раньше.
- Дата: 2026-10-22, 18:17:22–18:18:01 UTC (пересъёмка после правок по
verify change `track2-reconciler`); прогон 18:25:02–18:25:40 — счёт по
модулям. Между ними — повторные прогоны (раздел «Повторные прогоны»
ниже).
- Commit: `84f8c35`, дерево чистое (вне commit — только файлы
`evidence/`).
- Стенд: рабочий `mtusi-lab4` — `BASE_URL=http://localhost:8090`: **LB на
8090, а не на 8080 из `.env`**, порт 8080 хоста занят контейнером
другого проекта (`domains-api-1`); `EXPECT_REPLICAS=2` (`API_REPLICAS`):
реплики `151df4af59c3` и `b5c48ae854d1`, PostgreSQL на ревизии
`5c3e1f0a9b7d`, Valkey, S3, уборщик с плановой сверкой. Реплики и
уборщик — на образе `c1648d9` (порядок обновления 16:32–16:34): commit
`84f8c35` меняет только процесс уборщика (сверку) и тесты отказов, код
API тот же, а тесты набора — из `84f8c35`. Тесты реплик выполняются,
проверки отказов (`fault`) — нет (`-m 'not fault'`, их гоняет `make
failure_checks`, `failure-checks.md`).
- Что изменилось с прежнего снимка (commit `c1648d9`): правки по verify
— три новые проверки отказов сверки (`deselected` 48 вместо 45) и три
новых сценария `storage-consistency` («Объект, на который ссылается
строка, не удаляется», «Предел не останавливает уборку зависших», «Ключ
вне префикса вложений не трогается»). Все они покрыты проверками
отказов: итог сверки — 243 сценария в 13 спеках, 226 с тестами (61 —
проверками отказов), 17 исключений. Тестов вне `fault` не добавилось:
198, как раньше.
- Файлы исключений сверки покрытия есть в репозитории, новых исключений
нет: `test_exclusion_evidence_exists` зелёный.
@@ -27,14 +31,17 @@
```
$ make student_test BASE_URL=http://localhost:8090
collecting ... collected 243 items / 45 deselected / 198 selected
coverage: 240 scenarios in 13 specs, 223 tested (58 by make failure_checks), 17 excluded
===================== 198 passed, 45 deselected in 38.55s ======================
collecting ... collected 246 items / 48 deselected / 198 selected
coverage: 243 scenarios in 13 specs, 226 tested (61 by make failure_checks), 17 excluded
===================== 198 passed, 48 deselected in 38.60s ======================
exit=0
```
## По модулям
Прогон 18:25:02–18:25:40 — тоже 198 passed за 37,83 с; число тестов
модуля — по сбору того же набора (`pytest --collect-only`, 198 из 246):
```
21 student-tests/test_api_conventions.py PASSED
34 student-tests/test_attachments.py PASSED
@@ -55,31 +62,79 @@ exit=0
11 student-tests/test_users.py PASSED
```
## Строки тестов реплик и гонок (`-rsP`)
## Строки тестов реплик и гонок (`-rsP`, прогон 18:17)
```
two series of 18 requests: {'151df4af59c3': 18, 'b5c48ae854d1': 18}
uploaded via 151df4af59c3, downloaded via ['151df4af59c3', 'b5c48ae854d1']
coverage: 240 scenarios in 13 specs, 223 tested (58 by make failure_checks), 17 excluded
sent via 151df4af59c3, replayed via ['b5c48ae854d1']
two series of 18 requests: {'b5c48ae854d1': 18, '151df4af59c3': 18}
uploaded via b5c48ae854d1, downloaded via ['151df4af59c3', 'b5c48ae854d1']
coverage: 243 scenarios in 13 specs, 226 tested (61 by make failure_checks), 17 excluded
sent via b5c48ae854d1, replayed via ['151df4af59c3']
409 via ['151df4af59c3', 'b5c48ae854d1']
one session, 20 requests: {'b5c48ae854d1': 10, '151df4af59c3': 10}
written via 151df4af59c3, read via {'b5c48ae854d1': 3, '151df4af59c3': 3}
one session, 20 requests: {'151df4af59c3': 10, 'b5c48ae854d1': 10}
written via b5c48ae854d1, read via {'151df4af59c3': 3, 'b5c48ae854d1': 3}
race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30
username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
key race through replicas: {'151df4af59c3': 5, 'b5c48ae854d1': 5}
key race through replicas: {'b5c48ae854d1': 5, '151df4af59c3': 5}
```
- Вложения лабы 4: 34 теста спека `attachments` и пять сценариев рубрики
«4» лабы 4 в `test_rubric.py` — прежние, на новом коде (ветка
`lost_at` в скачивании касается только помеченных сверкой вложений).
«Скачивание через другую реплику»: загрузку принял `151df4af59c3`,
оригинал отдали обе реплики.
«4» лабы 4 в `test_rubric.py`. «Скачивание через другую реплику»:
загрузку принял `b5c48ae854d1`, оригинал отдали обе реплики.
- Уровень 4 лаб 2–3: 100 сообщений от 10 клиентов — 100 уникальных в
истории; гонка регистрации — один 201; гонка одного ключа через
реплики — одно сообщение.
- Сверка покрытия: все 240 сценариев 13 спеков — тест (223, из них 58
проверками отказов, в том числе все 21 сценарий `storage-consistency`)
- Сверка покрытия: все 243 сценария 13 спеков — тест (226, из них 61
проверками отказов, в том числе все 24 сценария `storage-consistency`)
или исключение с доказательством (17).
## Повторные прогоны: изредка 503 на загрузке
Всего с 18:17 до 18:25 — восемь прогонов `make student_test
BASE_URL=http://localhost:8090` на том же стенде: пять — 198 passed, три —
197 passed и 1 failed, каждый раз — загрузка вложения с ответом 503:
```
== 18:19:44
student-tests/test_data_storage.py::test_attachment_order_kept FAILED [ 48%]
E AssertionError: POST /api/v1/chats/e9cd7e61-…/attachments: expected 201; got 503 {"error":{"code":"unavailable","message":"Service is temporarily unavailable","request_id":"5843668b169842e2a529a6e501c0f2bb"}}
================ 1 failed, 197 passed, 48 deselected in 40.72s =================
== 18:21:48
student-tests/test_idempotency.py::test_replay_with_attachments FAILED [ 55%]
E AssertionError: POST /api/v1/chats/20b195d4-…/attachments: expected 201; got 503 {"error":{"code":"unavailable","message":"Service is temporarily unavailable","request_id":"31f468538c9f4e64a7cf1c8a5c0e8ca0"}}
================ 1 failed, 197 passed, 48 deselected in 39.23s =================
```
(прогон 18:18:10 — тоже 1 failed, 197 passed; имя теста не сохранилось:
вывод был отфильтрован, в журнале реплики — та же запись в 18:18:30).
Разбор (по AGENTS.md: сначала причина, потом правка):
```
$ docker compose logs --no-log-prefix api | grep <request_id> # поля записей
18:20:04.681984Z 151df4af59c3 Object storage is unavailable put_object ReadTimeoutError duration_ms=1 key=messenger/attachments/046f82cc-…/original
18:20:04.682084Z 151df4af59c3 Attachment upload left pending step=put
18:20:04.682228Z 151df4af59c3 HTTP request completed status=503
18:22:10.012482Z 151df4af59c3 Object storage is unavailable put_object ReadTimeoutError duration_ms=1 key=messenger/attachments/e5a48be2-…/original
$ docker compose logs --no-log-prefix s3
E1022 18:22:10.013066 upload_chunked.go:281 chunked upload failed: truncated request body: read chunk at offset 0 (got 0 bytes): unexpected EOF (returning 0 partial chunks for cleanup)
E1022 18:22:10.013104 s3api_object_handlers_put.go:626 putToFiler: chunked upload failed: truncated request body: read chunk at offset 0 (got 0 bytes): unexpected EOF
```
- все три отказа — на реплике `151df4af59c3`, PUT в S3 — `ReadTimeoutError`
через 1 мс (не срок вызова 5 с); S3 получил заголовки PUT и ни байта
тела; строка вложения осталась `pending` до уборщика, 503 — штатный
ответ на отказ PUT (`upload-consistency`): загрузка не подтверждена,
согласованность не нарушена;
- три прогона одного `test_attachments.py` подряд — 34 passed каждый,
132 загрузки поровну на обе реплики, отказов S3 0; до 18:18 записей
«Object storage is unavailable» в журналах реплик нет с их старта в
16:38; пауза перед упавшим PUT на этой реплике — 0,04–2,25 с (не простой
дольше `keepalive_timeout` 15 с);
- это не дефект тестов и не стенд чужого проекта: ответ дала реплика
стенда, причина — на пути API → S3. Change `track2-reconciler` её не
касается (реплики на `c1648d9`, путь загрузки не менялся с
`upload-memory`). Причина не найдена — запись «Изредка 503 на
загрузке: PUT в S3 обрывается без тела» в `KNOWN_ISSUES.md` с
предложением разбора; тесты не менялись.
+23 -2
View File
@@ -550,7 +550,7 @@ verify — вне репозитория (scratchpad сессии). Evidence с
- [x] 13.6 S4. Перепроверка в `--apply` при N ≫ предела — решение не
делать в этом change (design, «Уточнения apply», п. 21), передано в
`PLAN.md`, `track2-reconcile-cost`.
- [ ] 13.7 S5. `driver.py reconcile-signal` — код 1 разового прохода по
- [x] 13.7 S5. `driver.py reconcile-signal` — код 1 разового прохода по
SIGTERM, пока вызов S3 ждёт замороженный S3 (только не рабочий проект
compose). После commit основной сессии — снимок на временном стенде в
`evidence/reconcile/service.md`, заголовок S2 там же, `make
@@ -562,7 +562,28 @@ verify — вне репозитория (scratchpad сессии). Evidence с
(`docker-compose.yml` + override хранилищ на tmpfs, синтетические
секреты, образ из `make failure_checks`): код 1, `interrupted_by: stop`,
«Stopped cleaner» `exit_code` 1, `docker stop` 4,9 с, PASS; проект
удалён, volumes — 155. Снимок evidence — после commit (открыто).
удалён, volumes — 155.
После commit `84f8c35` (основная сессия), 2026-10-22 18:04–18:25 UTC:
- `make failure_checks` — 48 из 48 за 524 с, вся команда 9 мин 06 с,
crash markers 0, `StartedAt` рабочего стенда прежний →
`evidence/tests/failure-checks.md`; там же раздел красных прогонов
группы 13 (`git archive` во временные каталоги): на `a6071da` — 1
failed из 3 (`…_foreign_key_untouched`), на `84f8c35` с временными
регрессиями — 2 failed из 2; образ после — пересобран из `84f8c35`;
- `driver.py reconcile-signal` на временном `rcsig` — код 1,
`interrupted_by: stop`, `docker stop` 5,0 с, PASS → новый раздел
`evidence/reconcile/service.md`; заголовок «make reconcile (grace 30
s)» исправлен на выполненную команду;
- `make student_test BASE_URL=http://localhost:8090` на `84f8c35` — 198
passed, 243 / 226 / 61 / 17 → `evidence/tests/student-test-lb.md`.
Из восьми прогонов три дали по одному 503 на загрузке: PUT реплики
`151df4af59c3` (код `c1648d9`) в S3 — `ReadTimeoutError` через 1 мс, S3
— «truncated request body … got 0 bytes». Разбор — там же; причина на
пути API → S3 не найдена, change её не касается — `KNOWN_ISSUES.md`,
тесты не менялись;
- `REPORT.md` — 48 / 48, 243 / 226 / 61 / 17, строки на `84f8c35`,
`reconcile-signal`. Проект `rcsig` удалён, volumes — 155.
- [x] 13.8 Проверки на дереве: `make lint`, `make check`, `make validate
PYTHON=.venv/bin/python`, `openspec validate track2-reconciler
--strict` и `--specs`, `make failure_checks`, `make student_test