diff --git a/AGENTS.md b/AGENTS.md index 04322d21..07159ae2 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -46,9 +46,9 @@ LB пути загрузки 30 с, дренаж замены 90 с, профи `openspec/changes/archive/`, активных нет, спеки синхронизированы (новые capability: с `s3-storage` — `object-storage`, с `attachments` — `attachments`, с -`upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` три открытые записи (bootstrap после удаления -bucket; уборщик удаляет объект зависшей загрузки по ключу вне своего -префикса; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её +`upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` четыре открытые записи (bootstrap после удаления +bucket; изредка 503 на загрузке — PUT в S3 обрывается без тела; уборщик +удаляет объект зависшей загрузки по ключу вне своего префикса; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её репозитории (`REPORT.md`, `evidence/`, `git show 063eedb:PLAN.md`). Стек: Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings, structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore diff --git a/KNOWN_ISSUES.md b/KNOWN_ISSUES.md index 69b2b12b..2147e0f1 100644 --- a/KNOWN_ISSUES.md +++ b/KNOWN_ISSUES.md @@ -33,6 +33,48 @@ меньше 1024 (больше слотов на тот же объём) или явный `-volume.max`; для стендов проекта не нужно. Запись остаётся открытой. +## Изредка 503 на загрузке: PUT в S3 обрывается без тела + +- **Где:** путь загрузки реплики API — `src/core/services/attachment.py` + (`_store`: PUT тем же `BytesIO` после `seek(0)`) и клиент S3 + `src/infra/s3/client.py` (aiobotocore поверх aiohttp, без повторов, + пул соединений с `keepalive_timeout` 15 с); сервер — SeaweedFS 4.48. +- **Что:** на рабочем стенде `mtusi-lab4` 2026-10-22 в 18:17–18:25 UTC из + восьми прогонов `make student_test BASE_URL=http://localhost:8090` три + дали по одному падению: загрузка — 503 (`test_attachment_order_kept`, + `test_replay_with_attachments`, ещё один тест в прогоне 18:18). Все + три — на реплике `151df4af59c3` (код `c1648d9`, путь загрузки не менялся + с `upload-memory`). В журнале реплики — `warning` «Object storage is + unavailable», `put_object`, `ReadTimeoutError` через **1 мс** (это не + срок вызова 5 с), затем «Attachment upload left pending» (`step: put`); + в журнале S3 — «chunked upload failed: truncated request body: read + chunk at offset 0 (got 0 bytes): unexpected EOF»: заголовки PUT дошли, + тело — ни байта. Строка остаётся `pending` до уборщика, как и задумано + для отказа PUT (`upload-consistency`), — согласованность не нарушена, + загрузка не подтверждена. +- **Чего не видно:** до 18:18 таких записей в журналах реплик нет с их + старта в 16:38 (в том числе `reconcile-stress`, 649 загрузок); три + прогона одного `test_attachments.py` подряд (132 загрузки поровну на + обе реплики) — без единого отказа; на стенде отказов (`make + failure_checks`, 48 из 48) и в `make test_isolated` не появлялось. + Пауза перед упавшим PUT по журналу реплики — 0,04–2,25 с, то есть не + простой соединения дольше `keepalive_timeout`. Соединений реплик с S3 + в `ESTABLISHED` после прогонов нет (только `TIME_WAIT`) у обеих. + Причина не найдена; change `track2-reconciler` её не касается: он + меняет только процесс уборщика, реплики стенда — на `c1648d9`. +- **Чем грозит:** клиент изредка получает 503 на загрузку, которую + повтор (новая загрузка) проводит; данных это не портит. +- **Предложение:** воспроизвести на временном стенде полным набором + `student-tests` в цикле с журналом `aiohttp.client` / `botocore` на + уровне `DEBUG` (заголовки подписи — не в evidence) и `tcpdump` на порту + 8333 в сети стенда; проверить переиспользование соединения пула после + ответа S3 с ошибкой или ранним закрытием (тело `BytesIO`, `Expect: + 100-continue` botocore, `ServerDisconnectedError` aiohttp, который + aiobotocore отдаёт как `ReadTimeoutError`). Если подтвердится — + `force_close` / `enable_cleanup_closed` у коннектора или один повтор PUT + только при обрыве до отправки тела (решение об этом — отдельным + change: правило `infra.md` «S3 без повторов»). + ## Уборщик удаляет объект зависшей загрузки по ключу вне своего префикса - **Где:** `src/core/services/attachment_cleanup.py` diff --git a/REPORT.md b/REPORT.md index d82562d7..dd43385c 100644 --- a/REPORT.md +++ b/REPORT.md @@ -670,8 +670,10 @@ reconcile` (dry-run), потом `docker compose start cleaner`. оригинала), `evidence/reconcile/stress.md` (`--apply` раз в ~3 с под 640 загрузками и отправками: внесённое исправлено, все 640 скачиваются с тем же SHA-256, повтор — 0), `evidence/reconcile/service.md`, -`evidence/tests/failure-checks.md` (восемь проверок отказов сверки и их -красный прогон на `c13df14`), `evidence/s3/cleaner-list.md`, +`evidence/tests/failure-checks.md` (одиннадцать проверок отказов сверки: +восемь и их красный прогон на `c13df14`, три по замечаниям verify и их +красные прогоны на `a6071da` и на временных регрессиях), +`evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md`. Стоимость обхода, стратегия «HEAD на строку», глубокая сверка SHA-256 и ограничение скорости — следующий change `track2-reconcile-cost`. @@ -781,10 +783,11 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и переснято `make failure_checks` (37 / 37). Строки сверки хранилищ (change `track2-reconciler`, трек 2) — с `c1648d9` на рабочем стенде после порядка обновления change (`evidence/reconcile/`, `evidence/s3/cleaner- -list.md`, `evidence/migrations/lost-at.md`); с того же commit переснято -`make failure_checks` (45 / 45), `make student_test` через LB и `make -test_isolated` (`evidence/tests/`), поэтому строки отказов S3, мест -загрузки, срока тела и тестов рубрики называют `c1648d9`. +list.md`, `evidence/migrations/lost-at.md`); с того же commit снят `make +test_isolated` (`evidence/tests/`). После правок по verify (`84f8c35`: +сверка и тесты отказов, код API прежний) переснято `make failure_checks` +(48 / 48) и `make student_test` через LB, поэтому строки отказов S3, мест +загрузки и срока тела называют `84f8c35`. | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | @@ -795,8 +798,8 @@ test_isolated` (`evidence/tests/`), поэтому строки отказов S | «3»: остановка загрузившей реплики → download через другую | `driver.py --port 8080 attachment-failover --mode stop` и `--mode kill` | загрузку принял `5f5d4ac50d9a`, `stop-one.sh` его остановил (`stop` и `kill`), метаданные и байты — 200 от `847ad74efd7c`, SHA-256 совпал, посторонний — 404; после `make replicas` обе `UP` | `evidence/attachments/failover.md` | | «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` | | «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` | -| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB, 193 passed + 5 пропусков тестов реплик в одном процессе (оба — `c1648d9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 240 сценариев 13 спеков, 223 тестами (58 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | -| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 45 / 45, код 0 (`c1648d9`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` | +| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB (`84f8c35`; из восьми прогонов подряд три дали по одному 503 на загрузке — PUT в S3 без тела, `KNOWN_ISSUES.md`), 193 passed + 5 пропусков тестов реплик в одном процессе (`c1648d9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 243 сценария 13 спеков, 226 тестами (61 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | +| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 48 / 48, код 0 (`84f8c35`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` | | «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` | | «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` | | «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` | @@ -818,14 +821,14 @@ test_isolated` (`evidence/tests/`), поэтому строки отказов S | «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; с местами API в S3 не больше 4 PUT от реплики — в метке `uploads` 503 по сроку S3 нет | `evidence/s3/memory.md`, `evidence/uploads/baseline/summary.md` | | Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` | | «4»: ≥ 10 одновременных загрузок, пик памяти | `make bench_uploads` (метка `baseline`, `97a4be4`, `dirty: false`; 72 прогона: 3 варианта × 2 тела × 4 уровня × 3 повтора; реплика 1 CPU / 512 МБ без swap) | «с лимитом», 10 MiB: пик реплики 169,5 / 177,3 / 181,3 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0, лишние — 429; «без лимита» и код до change при 40 × 10 MiB — OOM 3/3, код до change и при 20 × 10 MiB — OOM 3/3; в паспорте — предупреждение о swap хоста (раздел «Одновременные загрузки») | `evidence/uploads/baseline/summary.md` | -| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 3 с; прогон `c1648d9`) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` | -| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | прогон `c1648d9`: тело частями дольше срока тела стенда (4 с при сроке 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` | +| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 3 с; прогон `84f8c35`) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` | +| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | прогон `84f8c35`: тело частями дольше срока тела стенда (4 с при сроке 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` | | «4»: 10 одновременных загрузок проходят | `make student_test` через LB и `make test_isolated` (`test_concurrent_uploads`) | 10 участников одного чата, PNG ~1 MiB: все 201, `id` разные, скачиваются побайтно — и через LB, и на одном процессе | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | | «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` | | «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` | | «5», трек 2: ошибки внесены с обеих сторон, найдены и исправлены, повтор находит 0 | `driver.py --port 8090 reconcile-cycle` (рабочий стенд, `c1648d9`) | внесены O (объект без строки), X (чужой ключ), удалён объект A (в сообщении), удалена строка B, размер C +1, обрыв COMMIT P; после grace 30 с dry-run — 6 находок своих классов (`orphan_object` ×2, `missing_object`, `size_mismatch`, `stale_pending`, `unknown_object`), код 3, строки, объекты и пометки не изменились; байты A — 500; `--apply` — O, B удалены, P убрана, A и C помечены, свежий F не тронут, X остался (код 3); байты A — 404, метаданные 200 = ответ загрузки, история отдаёт A; повтор — только X; после удаления X оператором — код 0; F удалён после grace; A возвращён — `restored_object`, 200 с тем же SHA-256; итоговый dry-run — код 0; 45 проверок, PASS | `evidence/reconcile/cycle.md` | -| «5», трек 2: dry-run, `--apply`, повторный запуск; коды выхода | `make reconcile`, плановая сверка уборщика при старте (`--apply`), `docker compose run … cleaner reconcile` с чужим объектом и с неверными `RECONCILER__*` | стенд после обновления: плановая сверка при старте — 2 086 объектов и строк, `found {}`; `make reconcile` — `found {}`, код 0; чужой объект старше grace — `warning` «Found …», код 3, после его удаления — код 0; `RECONCILER__PAGE_SIZE=5000`, `MAX_CHANGES=0`, `INTERVAL_SECONDS=-1`, `--max-changes 0` — код 2 с именем поля | `evidence/reconcile/service.md` | -| «5», трек 2: свежие и используемые вложения не удаляются, ничего подтверждённого не теряется под нагрузкой | `driver.py --port 8090 reconcile-stress` (4 клиента × 40 с, `--apply` раз в ~3 с, grace 20 с); `make failure_checks` (8 проверок сверки) | 640 загрузок 201 и 640 сообщений, 9 проходов `--apply` с кодом 0; внесённые 2 объекта без строки удалены, 2 потери помечены, новых пометок — только они; каждое из 640 вложений — тот же SHA-256, сообщения отдают свои вложения; повтор — 0; на стенде отказов: свежие объект и вложение не тронуты, вложение в сообщении только помечено (метаданные 200, история с `id`), чужой ключ не удалён (код 3), предел 2 при 3 изменениях — ни одного (код 3, `error`), S3 остановлен — код 1 без изменений, сбой БД на пометке — код 1, повтор доводит; плановая сверка с интервалом 1 с помечает потерю сама; красный прогон на `c13df14` — 8 из 8 упали | `evidence/reconcile/stress.md`, `evidence/tests/failure-checks.md` | +| «5», трек 2: dry-run, `--apply`, повторный запуск; коды выхода | `make reconcile`, плановая сверка уборщика при старте (`--apply`), `docker compose run … cleaner reconcile` с чужим объектом и с неверными `RECONCILER__*`; `driver.py reconcile-signal` | стенд после обновления: плановая сверка при старте — 2 086 объектов и строк, `found {}`; `make reconcile` — `found {}`, код 0; чужой объект старше grace — `warning` «Found …», код 3, после его удаления — код 0; `driver.py reconcile-signal` (временный проект, `84f8c35`): разовый `--apply` при замороженном S3 и `docker stop` — код 1, `interrupted_by: stop`, остановка 5,0 с; `RECONCILER__PAGE_SIZE=5000`, `MAX_CHANGES=0`, `INTERVAL_SECONDS=-1`, `--max-changes 0` — код 2 с именем поля | `evidence/reconcile/service.md` | +| «5», трек 2: свежие и используемые вложения не удаляются, ничего подтверждённого не теряется под нагрузкой | `driver.py --port 8090 reconcile-stress` (4 клиента × 40 с, `--apply` раз в ~3 с, grace 20 с); `make failure_checks` (11 проверок сверки, `84f8c35`) | 640 загрузок 201 и 640 сообщений, 9 проходов `--apply` с кодом 0; внесённые 2 объекта без строки удалены, 2 потери помечены, новых пометок — только они; каждое из 640 вложений — тот же SHA-256, сообщения отдают свои вложения; повтор — 0; на стенде отказов: свежие объект и вложение не тронуты, вложение в сообщении только помечено (метаданные 200, история с `id`), чужой ключ не удалён (код 3), предел 2 при 3 изменениях — ни одного (код 3, `error`), S3 остановлен — код 1 без изменений, сбой БД на пометке — код 1, повтор доводит; плановая сверка с интервалом 1 с помечает потерю сама; объект, на который ссылается строка (в том числе строка другого `id`), — чужой, не удалён; отказ по пределу не мешает уборке зависшей загрузки; строка с ключом вне `<база>/attachments/` — чужая, без пометки и уборки; красный прогон на `c13df14` — 8 из 8 упали, проверки по verify — 1 из 3 на `a6071da`, 2 из 2 на временных регрессиях | `evidence/reconcile/stress.md`, `evidence/tests/failure-checks.md` | | «5», трек 2: права S3 для сверки, схема пометки | `make s3_check`; bootstrap с неверным префиксом; `alembic` с нуля / повтор / откат / `--sql`; `make rolling_update` | ключ уборщика: список `messenger/attachments/` — 200, всего bucket, `.s3-check/` и чужого bucket — 403, 70 проверок PASS; неверный `S3_CLEANER_LIST_PREFIX` — код 1; `ADD COLUMN lost_at` после `SET LOCAL lock_timeout = '2s'`, ревизия `739b8f04d5fb` → `5c3e1f0a9b7d` поочерёдной заменой за 12 с | `evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md` | TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. @@ -1192,5 +1195,5 @@ S3 (change `s3-storage`): остаётся в рабочей базе и bucket: согласованные вложения и помеченные потерянными — одно за прогон цикла и два за прогон стресса (`lost_known` 1 → 3; их байты — 404). -- **`make failure_checks` дольше на ~3,5 мин** (45 проверок, ~8 мин): +- **`make failure_checks` дольше на ~4,5 мин** (48 проверок, ~9 мин): объекты нельзя состарить, тесты ждут grace стенда (20 с). diff --git a/evidence/reconcile/service.md b/evidence/reconcile/service.md index e71af3ea..7b879a55 100644 --- a/evidence/reconcile/service.md +++ b/evidence/reconcile/service.md @@ -1,5 +1,8 @@ # Сверка в процессе уборщика: старт, плановая сверка, остановка, отказ конфигурации, коды +Разделы до «Код 1 разового прохода» сняты с `c1648d9` на рабочем стенде; +последний раздел — с `84f8c35` на временном проекте (правки по verify). + Change `track2-reconciler` (design, решения 1, 8–10; спеки `storage-consistency` «Плановая сверка», `service-configuration` «Параметры сверки», `service-logging` «Журнал сверки», `graceful-shutdown` @@ -98,7 +101,7 @@ reconcile`: ``` put foreign object messenger/attachments/x-service-600294ea-04f4-43ac-88f0-b28ec6183a49 -== make reconcile (grace 30 s), foreign object older than grace +== docker compose run --rm --no-deps -T -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner reconcile (dry-run, grace 30 s), foreign object older than grace {"event": "Started cleaner", "module": "cleaner", "mode": "reconcile", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "reconcile_interval_seconds": 3600, "reconcile_page_size": 1000, "reconcile_max_changes": 100, "reconcile_apply": false, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info"} {"event": "Found storage discrepancy", "module": "attachment_reconcile_service", "method": "reconcile", "apply": false, "kind": "unknown_object", "object_key": "messenger/attachments/x-service-600294ea-04f4-43ac-88f0-b28ec6183a49", "attachment_id": null, "age_seconds": 39, "level": "warning"} {"event": "Finished reconcile pass", "module": "attachment_reconcile_service", "method": "reconcile", "apply": false, "listed_objects": 2867, "checked_rows": 2868, "found": {"unknown_object": 1}, "fixed": {}, "remaining": 1, "fresh_objects": 0, "fresh_rows": 0, "lost_known": 3, "refused": false, "unlogged": 0, "interrupted_by": null, "duration_ms": 813, "level": "warning"} @@ -111,6 +114,60 @@ Stopped cleaner 0 exit=0 ``` +Первый проход — не `make reconcile`: цель Makefile grace не подменяет, а +чужой объект был моложе grace стенда (900 с). Строка-заголовок «==» в +выводе прежде называла его «make reconcile (grace 30 s)»; исправлена на +выполненную команду по замечанию S2 verify, сами записи не менялись. +Второй проход — `make reconcile` (grace 900 с). + Код 3 — расхождение осталось (чужой объект сверка не удаляет), код 0 — расхождений нет. Код 1 (прерван отказом) — `test_reconcile_object_storage_ -stopped` и `test_reconcile_interrupted_by_database` (`make failure_checks`). +stopped` и `test_reconcile_interrupted_by_database` (`make failure_checks`), +код 1 по сигналу — раздел ниже. + +## Код 1 разового прохода, прерванного сигналом + +Требование `graceful-shutdown` «Остановка уборщика»: разовый проход +сверки, прерванный сигналом, выходит с кодом 1 (замечание S5 verify; +design, «Уточнения apply», п. 23). Снято `driver.py reconcile-signal` с +commit `84f8c35`, 2026-10-22 18:14:01 UTC, на **временном** проекте +compose `rcsig`, а не на рабочем стенде: команда замораживает S3, на +`mtusi-lab4` она отказывает (код 2). Стенд — `docker-compose.yml` проекта +с override хранилищ на tmpfs и без публикации портов PostgreSQL и Valkey, +синтетические секреты, сервисы `postgres`, `s3`, `migrate`, +`s3-bootstrap`, `cleaner` (`docker compose up -d --no-build --wait +cleaner`), образ `mtusi-messenger:lab4`, собранный `make failure_checks` +из `84f8c35`. После — `docker compose down -v`: контейнеров `rcsig` 0, +volumes — 155, как до. + +``` +$ COMPOSE_PROJECT_NAME=rcsig COMPOSE_FILE=… COMPOSE_ENV_FILES=… python3 .claude/skills/run-mtusi-messenger/driver.py reconcile-signal +rcsig: s3 paused +docker stop while reconcile waits for paused S3 +rcsig: s3 unpaused +== records of the one-off reconcile +{"event": "Started cleaner", "level": "info", "mode": "reconcile", "timestamp": "2026-10-22T18:14:06.160823Z"} +{"event": "Object storage is unavailable", "level": "warning", "operation": "list_objects_v2", "error_type": "TimeoutError", "duration_ms": 5010, "timestamp": "2026-10-22T18:14:11.171450Z"} +{"event": "Finished reconcile pass", "level": "warning", "duration_ms": 5011, "interrupted_by": "stop", "timestamp": "2026-10-22T18:14:11.172645Z"} +{"event": "Stopped cleaner", "level": "info", "exit_code": 1, "timestamp": "2026-10-22T18:14:11.174668Z"} +docker stop took 5.0 s, exit code 1 +Started cleaner (mode reconcile) expected yes got yes +exit code expected 1 got 1 +Finished reconcile pass interrupted_by expected stop got stop +Stopped cleaner exit_code expected 1 got 1 +Fixed storage discrepancy records expected 0 got 0 +docker stop faster than 10 s expected yes got yes +PASS: one-off reconcile stopped by SIGTERM: exit 1, nothing changed +driver_exit=0 +``` + +- `run -d --no-deps cleaner reconcile --apply` при замороженном S3: + первая страница списка ждёт S3; через секунду после «Started cleaner» — + `docker stop` (SIGTERM). Текущий вызов доведён до своего срока (5 с, + `TimeoutError`), новых вызовов не было: сигнал проверяется перед каждым + вызовом хранилища (design, п. 20); +- итог — `interrupted_by: "stop"`, «Stopped cleaner» с `exit_code` 1 и + код контейнера 1 — проход не завершён; у сервиса тот же сигнал даёт код + 0 (раздел «Остановка во время сверки» выше); +- `docker stop` — 5,0 с, меньше `stop_grace_period` 10 с, без SIGKILL; + записей «Fixed» нет — ничего не изменено. S3 разморожен в `finally`. diff --git a/evidence/tests/failure-checks.md b/evidence/tests/failure-checks.md index c7e38698..7bc41f1c 100644 --- a/evidence/tests/failure-checks.md +++ b/evidence/tests/failure-checks.md @@ -1,10 +1,11 @@ # `make failure_checks`: проверки отказов с уборщиком, согласованностью БД и S3, местами загрузки и сверкой -- Дата: 2026-10-22, 16:45:12–16:53:19 UTC. -- Commit: `c1648d9` (change `track2-reconciler`: сверка bucket и БД в - процессе уборщика, колонка `lost_at`, список по префиксу у ключа - уборщика, восемь новых проверок отказов). Рабочее дерево — `c1648d9` - (вне commit — только файлы `evidence/`), образ собран из него. +- Дата: 2026-10-22, 18:04:24–18:13:30 UTC. +- Commit: `84f8c35` (правки по verify change `track2-reconciler`: строка + с ключом вне префикса вложений — чужой объект, сигнал перед каждым + вызовом хранилища, hook `set-key`, три новые проверки отказов поверх + восьми проверок сверки `c1648d9`). Рабочее дерево — `84f8c35` (вне + commit — только файлы `evidence/`), образ собран из него. - Стенд отказов: проект `mtusi-lab4-failures` — свои PostgreSQL, Valkey и S3 (с bootstrap, пользователи `api` и `cleaner`, у уборщика список только с префиксом `messenger/attachments/`), порты хранилищ не @@ -15,17 +16,20 @@ `MAX_IMAGE_PIXELS=1` в окружении, «тесный» (сроки сессии и ключа 2 с, пул 1) и «узкий по загрузкам» (`UPLOADS_ENV`: 1 место, 1 в очереди, ожидание 1 с, срок тела 3 с). Рабочий стенд `mtusi-lab4` в это время - запущен на том же коде (порядок обновления change в 16:32–16:34, LB — - на `127.0.0.1:8090`: 8080 хоста занят контейнером другого проекта). + запущен на образе `c1648d9` (порядок обновления change в 16:32–16:34; + `84f8c35` меняет только процесс уборщика, стенд отказов собирает его + сам; LB — на `127.0.0.1:8090`: 8080 хоста занят контейнером другого + проекта). Docker Desktop 29.9.1, Apple M3 Pro. - Прежние снимки этого файла: commit `5b42bd2` — 29 из 29 за 190 с; `87c48b9` — 32 из 32 за 224 с; `5889ca2` — 32 из 32 за 228 с; - `ce1ae2c` — 37 из 37 за 255 с; `9d2ee30` — 37 из 37 за 263 с. Сейчас — - 45 из 45 за 462 с: +8 проверок сверки (раздел «Сверка bucket и БД» - ниже), им нужны ожидания grace стенда (20 с) для объектов без строки и - ~35 с нагрузки. + `ce1ae2c` — 37 из 37 за 255 с; `9d2ee30` — 37 из 37 за 263 с; + `c1648d9` — 45 из 45 за 462 с (+8 проверок сверки: ожидания grace + стенда, 20 с, для объектов без строки и ~35 с нагрузки). Сейчас — 48 из + 48 за 524 с: +3 проверки по замечаниям verify (раздел «Сверка bucket и + БД», последние три пункта), одной из них — ожидание grace. -## Итог: код 0, 45 из 45 +## Итог: код 0, 48 из 48 Вывод сборки образа (BuildKit), строки `Container …` compose, записи alembic, вывод bootstrap S3 и журналы контейнеров стенда опущены; путь к @@ -41,63 +45,66 @@ python3 student-tests/run_failures.py [failure_checks] s3 bootstrap [failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off) [failure_checks] start api containers -[failure_checks] ready: api=http://127.0.0.1:50460 tight=http://127.0.0.1:50464 uploads=http://127.0.0.1:50468 +[failure_checks] ready: api=http://127.0.0.1:54563 tight=http://127.0.0.1:54569 uploads=http://127.0.0.1:54573 [failure_checks] pytest -m fault platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- … -collecting ... collected 243 items / 198 deselected / 45 selected +collecting ... collected 246 items / 198 deselected / 48 selected student-tests/test_failures.py::test_expired_token PASSED [ 2%] student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 4%] student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 6%] student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 8%] -student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 11%] -student-tests/test_failures.py::test_pool_exhausted PASSED [ 13%] -student-tests/test_failures.py::test_connection_limit_reached PASSED [ 15%] -student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 17%] -student-tests/test_failures.py::test_readiness_without_database PASSED [ 20%] -student-tests/test_failures.py::test_readiness_without_cache PASSED [ 22%] -student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 24%] -student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 26%] -student-tests/test_failures.py::test_flush_cache PASSED [ 28%] -student-tests/test_failures.py::test_valkey_stopped PASSED [ 31%] -student-tests/test_failures.py::test_valkey_paused PASSED [ 33%] -student-tests/test_failures.py::test_valkey_back PASSED [ 35%] -student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 37%] -student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 40%] -student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 42%] -student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 44%] -student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 46%] -student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 48%] -student-tests/test_failures.py::test_interrupted_body PASSED [ 51%] -student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 53%] -student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 55%] -student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 57%] -student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 60%] -student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 62%] -student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 64%] -student-tests/test_failures.py::test_object_storage_stopped PASSED [ 66%] -student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 68%] -student-tests/test_failures.py::test_object_storage_paused PASSED [ 71%] -student-tests/test_failures.py::test_upload_slots_busy PASSED [ 73%] -student-tests/test_failures.py::test_rejections_before_queue PASSED [ 75%] -student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 77%] -student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 80%] -student-tests/test_failures.py::test_slow_body PASSED [ 82%] -student-tests/test_failures.py::test_reconcile_finds_and_fixes PASSED [ 84%] -student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown PASSED [ 86%] -student-tests/test_failures.py::test_reconcile_restored_original PASSED [ 88%] -student-tests/test_failures.py::test_reconcile_change_limit PASSED [ 91%] +student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 10%] +student-tests/test_failures.py::test_pool_exhausted PASSED [ 12%] +student-tests/test_failures.py::test_connection_limit_reached PASSED [ 14%] +student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 16%] +student-tests/test_failures.py::test_readiness_without_database PASSED [ 18%] +student-tests/test_failures.py::test_readiness_without_cache PASSED [ 20%] +student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 22%] +student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 25%] +student-tests/test_failures.py::test_flush_cache PASSED [ 27%] +student-tests/test_failures.py::test_valkey_stopped PASSED [ 29%] +student-tests/test_failures.py::test_valkey_paused PASSED [ 31%] +student-tests/test_failures.py::test_valkey_back PASSED [ 33%] +student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 35%] +student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 37%] +student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 39%] +student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 41%] +student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 43%] +student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 45%] +student-tests/test_failures.py::test_interrupted_body PASSED [ 47%] +student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 50%] +student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 52%] +student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 54%] +student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 56%] +student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 58%] +student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 60%] +student-tests/test_failures.py::test_object_storage_stopped PASSED [ 62%] +student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 64%] +student-tests/test_failures.py::test_object_storage_paused PASSED [ 66%] +student-tests/test_failures.py::test_upload_slots_busy PASSED [ 68%] +student-tests/test_failures.py::test_rejections_before_queue PASSED [ 70%] +student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 72%] +student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 75%] +student-tests/test_failures.py::test_slow_body PASSED [ 77%] +student-tests/test_failures.py::test_reconcile_finds_and_fixes PASSED [ 79%] +student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown PASSED [ 81%] +student-tests/test_failures.py::test_reconcile_restored_original PASSED [ 83%] +student-tests/test_failures.py::test_reconcile_change_limit PASSED [ 85%] +student-tests/test_failures.py::test_reconcile_keeps_referenced_objects PASSED [ 87%] +student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup PASSED [ 89%] +student-tests/test_failures.py::test_reconcile_foreign_key_untouched PASSED [ 91%] student-tests/test_failures.py::test_reconcile_object_storage_stopped PASSED [ 93%] student-tests/test_failures.py::test_reconcile_interrupted_by_database PASSED [ 95%] student-tests/test_failures.py::test_reconcile_under_load PASSED [ 97%] student-tests/test_failures.py::test_scheduled_reconcile PASSED [100%] -================ 45 passed, 198 deselected in 462.06s (0:07:42) ================ -[failure_checks] postgres log: 438 lines, crash markers 0; "too many clients" 23, "administrator command" 142 +================ 48 passed, 198 deselected in 523.74s (0:08:43) ================ +[failure_checks] postgres log: 458 lines, crash markers 0; "too many clients" 31, "administrator command" 143 [failure_checks] cleanup [failure_checks] results: {'fault': 0, 'postgres': 0} -make failure_checks 2>&1 56,10s user 20,95s system 15% cpu 8:07,69 total +exit=0 ``` -Вся команда — 8 мин 07 с (16:45:12–16:53:19). «too many clients» и +Вся команда — 9 мин 06 с (18:04:24–18:13:30). «too many clients» и «administrator command» — следы проверок «Предел соединений PostgreSQL исчерпан» (`fill-connections`) и остановок PostgreSQL, признаков аварийного перезапуска нет. @@ -121,7 +128,7 @@ $ docker volume ls -q | wc -l - Все контейнеры `mtusi-lab4` стартовали раньше прогона (последние — после `make test-persistence`, `make test-failover` и остановки уборщика для - `evidence/reconcile/service.md` в 16:36–16:43; прогон — с 16:45:12), и + `evidence/reconcile/service.md` в 16:36–16:43; прогон — с 18:04:24), и время старта после прогона то же: рабочий стенд не тронут. Список docker volumes до и после прогона один и тот же (155 имён). - У проекта `mtusi-lab4-failures` не осталось ни контейнеров, ни volumes. @@ -179,6 +186,27 @@ Hook вносит расхождения с обеих сторон (`put-object на 6 с — в журнале «Finished reconcile pass» с `apply: true`, потеря помечена без разового прохода. +По замечаниям verify (hook `set-key` меняет только `object_key` строки): + +- «Объект, на который ссылается строка, не удаляется» + (`…_keeps_referenced_objects`): у X ключ `…/attachments/x-other-` + без объекта, Y ссылается на `/original` (строки Z нет, объект есть), + после G + 1 dry-run и `--apply` — `/original`, `/original` и + `/original` — `unknown_object` и на месте, код 3; X помечено + (`missing_object` по своему ключу), Y — нет; в `finally` ключи + возвращены, объект Z удалён hook. +- «Предел не останавливает уборку зависших» (`…_limit_keeps_cleanup`): + уборщик стенда стоит, обрыв COMMIT даёт зависшую P (`age-row`), три + потери при пределе 2 — код 3, `error` о пределе, `refused: true`, ни + одной пометки, а P убрана (`removed_pending`, ни строки, ни объекта); + затем с пределом 100 помечены все три. +- «Ключ вне префикса вложений не трогается» + (`…_foreign_key_untouched`): готовой строке и зависшей загрузке `set-key` + ставит `<база>/elsewhere/`; dry-run и `--apply` — обе + `unknown_object`, код 3, ни одной записи «Fixed»: строки `ready` и + `pending` на месте, готовая не помечена, их объекты под префиксом + вложений целы. + ## Места загрузки и срок тела (change `upload-memory`) «Узкий по загрузкам» API: 1 место, 1 в очереди, ожидание 1 с, срок тела @@ -440,3 +468,69 @@ failed за 99,5 с; его вывод сохранился не полност самих тестов и hook (`start cleaner` через `compose start` требовал контейнер `migrate`; сравнение метаданных строк, которые изменил сам hook), не кода: после их правки — 8 из 8 и полный прогон 45 из 45. + +## Красные прогоны тестов по замечаниям verify `track2-reconciler` (2026-10-22) + +Три новые проверки (tasks, группа 13) — с тестами и hook `84f8c35`, в +двух временных каталогах из `git archive` (рабочее дерево не менялось). +Рабочий стенд не трогался; после прогонов образ `mtusi-messenger:lab4` +пересобран из `84f8c35` (`docker compose build api`, контейнеры стенда не +пересоздавались), каталоги удалены. + +**13.2, W2 — код приложения `a6071da`** (до правок; `git archive a6071da`, +поверх — `student-tests/` из `84f8c35`), 18:14:37–18:15:58: + +``` +$ python3 student-tests/run_failures.py -k "referenced_objects or limit_keeps_cleanup or foreign_key_untouched" +[failure_checks] project=mtusi-lab4-failures (working stand: mtusi-lab4) +[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off) +student-tests/test_failures.py::test_reconcile_keeps_referenced_objects PASSED [ 33%] +student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup PASSED [ 66%] +student-tests/test_failures.py::test_reconcile_foreign_key_untouched FAILED [100%] +E AssertionError: assert {'95d43699-44...tale_pending'} == {'95d43699-44...known_object'} +E Differing items: +E {'95d43699-44d0-463d-b168-a44f99b0d141': 'missing_object'} != {'95d43699-44d0-463d-b168-a44f99b0d141': 'unknown_object'} +E {'b8dd6a9a-884a-4868-afd1-2e5dc3192d4a': 'stale_pending'} != {'b8dd6a9a-884a-4868-afd1-2e5dc3192d4a': 'unknown_object'} +student-tests/test_failures.py:2001: AssertionError +================= 1 failed, 2 passed, 243 deselected in 59.97s ================= +[failure_checks] postgres log: 62 lines, crash markers 0; "too many clients" 0, "administrator command" 0 +[failure_checks] results: {'fault': 1, 'postgres': 0} +``` + +- `…_foreign_key_untouched` красный: прежний код считал готовую строку с + ключом `<база>/elsewhere/` «метаданными без объекта» (HEAD чужого + префикса, с `--apply` — пометка), а зависшую с таким ключом — + `stale_pending` (уборка удалила бы объект по чужому ключу); +- оба теста W1 на прежнем коде зелёные: эти ветки были верны, замечание — + об их покрытии. + +**13.1, W1 — `84f8c35` с двумя временными регрессиями** в +`src/core/services/attachment_reconcile.py` временного каталога: +`_recheck_orphan` без проверки ссылок (`references = []`) и `_act`, +пропускающий при отказе по пределу и зависшие загрузки (`if +state.refused: continue`), 18:16:04–18:17:05: + +``` +$ python3 student-tests/run_failures.py -k "referenced_objects or limit_keeps_cleanup" +student-tests/test_failures.py::test_reconcile_keeps_referenced_objects FAILED [ 50%] +student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup FAILED [100%] +E Differing items: +E {'messenger/attachments/d39923b2-57c5-4e3d-8d86-0967932df378/original': 'orphan_object'} != {'messenger/attachments/d39923b2-57c5-4e3d-8d86-0967932df378/original': 'unknown_object'} +student-tests/test_failures.py:1884: AssertionError +E AssertionError: assert {} == {'50635edf-66...tale_pending'} +E Right contains 1 more item: +E {'50635edf-667c-44a7-878c-ea7298b94ef6': 'stale_pending'} +student-tests/test_failures.py:1950: AssertionError +====================== 2 failed, 244 deselected in 41.34s ====================== +[failure_checks] postgres log: 59 lines, crash markers 0; "too many clients" 0, "administrator command" 0 +[failure_checks] results: {'fault': 1, 'postgres': 0} +``` + +- без проверки ссылок объект `/original`, на который ссылается Y, стал + «объектом без метаданных» (`orphan_object`) — тест ловит удаление + используемого объекта; +- при уборке зависших под пределом P не убрана (ни одной записи + `removed_pending`) — тест ловит остановку уборки отказом по пределу. + +Те же три теста на `84f8c35` без регрессий — зелёные в полном прогоне +выше (48 из 48). diff --git a/evidence/tests/student-test-lb.md b/evidence/tests/student-test-lb.md index c1588a1f..d4842158 100644 --- a/evidence/tests/student-test-lb.md +++ b/evidence/tests/student-test-lb.md @@ -1,25 +1,29 @@ # `make student_test` через балансировщик -- Дата: 2026-10-22, 16:35:03–16:35:42 UTC (пересъёмка после change - `track2-reconciler`; второй прогон 16:35:55–16:36:33 — счёт по модулям). -- Commit: `c1648d9`, дерево чистое. -- Стенд: рабочий `mtusi-lab4` после порядка обновления change (`docker - compose up -d s3-bootstrap` → `make rolling_update` → `docker compose up - -d --no-deps cleaner`, 16:32–16:34) — `BASE_URL=http://localhost:8090`: - **LB на 8090, а не на 8080 из `.env`**, порт 8080 хоста занят - контейнером другого проекта (`domains-api-1`); `EXPECT_REPLICAS=2` - (`API_REPLICAS`): реплики `151df4af59c3` и `b5c48ae854d1`, PostgreSQL на - ревизии `5c3e1f0a9b7d`, Valkey, S3, уборщик с плановой сверкой. Тесты - реплик выполняются, проверки отказов (`fault`) — нет (`-m 'not fault'`, - их гоняет `make failure_checks`, `failure-checks.md`). -- Что изменилось с прежнего снимка (commit `ce1ae2c`): change - `track2-reconciler` — восемь новых проверок отказов сверки bucket и БД - (`deselected` 45 вместо 37) и 13 новых сценариев в основных спеках: - 12 у `storage-consistency` (сверка, её безопасность, потерянный - оригинал, отказы хранилищ, плановая сверка) и «Потерянный оригинал» у - `attachments`. Все они покрыты проверками отказов: итог сверки — 240 - сценариев в 13 спеках, 223 с тестами (58 — проверками отказов), 17 - исключений. Тестов вне `fault` change не добавил: 198, как раньше. +- Дата: 2026-10-22, 18:17:22–18:18:01 UTC (пересъёмка после правок по + verify change `track2-reconciler`); прогон 18:25:02–18:25:40 — счёт по + модулям. Между ними — повторные прогоны (раздел «Повторные прогоны» + ниже). +- Commit: `84f8c35`, дерево чистое (вне commit — только файлы + `evidence/`). +- Стенд: рабочий `mtusi-lab4` — `BASE_URL=http://localhost:8090`: **LB на + 8090, а не на 8080 из `.env`**, порт 8080 хоста занят контейнером + другого проекта (`domains-api-1`); `EXPECT_REPLICAS=2` (`API_REPLICAS`): + реплики `151df4af59c3` и `b5c48ae854d1`, PostgreSQL на ревизии + `5c3e1f0a9b7d`, Valkey, S3, уборщик с плановой сверкой. Реплики и + уборщик — на образе `c1648d9` (порядок обновления 16:32–16:34): commit + `84f8c35` меняет только процесс уборщика (сверку) и тесты отказов, код + API тот же, а тесты набора — из `84f8c35`. Тесты реплик выполняются, + проверки отказов (`fault`) — нет (`-m 'not fault'`, их гоняет `make + failure_checks`, `failure-checks.md`). +- Что изменилось с прежнего снимка (commit `c1648d9`): правки по verify + — три новые проверки отказов сверки (`deselected` 48 вместо 45) и три + новых сценария `storage-consistency` («Объект, на который ссылается + строка, не удаляется», «Предел не останавливает уборку зависших», «Ключ + вне префикса вложений не трогается»). Все они покрыты проверками + отказов: итог сверки — 243 сценария в 13 спеках, 226 с тестами (61 — + проверками отказов), 17 исключений. Тестов вне `fault` не добавилось: + 198, как раньше. - Файлы исключений сверки покрытия есть в репозитории, новых исключений нет: `test_exclusion_evidence_exists` зелёный. @@ -27,14 +31,17 @@ ``` $ make student_test BASE_URL=http://localhost:8090 -collecting ... collected 243 items / 45 deselected / 198 selected -coverage: 240 scenarios in 13 specs, 223 tested (58 by make failure_checks), 17 excluded -===================== 198 passed, 45 deselected in 38.55s ====================== +collecting ... collected 246 items / 48 deselected / 198 selected +coverage: 243 scenarios in 13 specs, 226 tested (61 by make failure_checks), 17 excluded +===================== 198 passed, 48 deselected in 38.60s ====================== exit=0 ``` ## По модулям +Прогон 18:25:02–18:25:40 — тоже 198 passed за 37,83 с; число тестов +модуля — по сбору того же набора (`pytest --collect-only`, 198 из 246): + ``` 21 student-tests/test_api_conventions.py PASSED 34 student-tests/test_attachments.py PASSED @@ -55,31 +62,79 @@ exit=0 11 student-tests/test_users.py PASSED ``` -## Строки тестов реплик и гонок (`-rsP`) +## Строки тестов реплик и гонок (`-rsP`, прогон 18:17) ``` -two series of 18 requests: {'151df4af59c3': 18, 'b5c48ae854d1': 18} -uploaded via 151df4af59c3, downloaded via ['151df4af59c3', 'b5c48ae854d1'] -coverage: 240 scenarios in 13 specs, 223 tested (58 by make failure_checks), 17 excluded -sent via 151df4af59c3, replayed via ['b5c48ae854d1'] +two series of 18 requests: {'b5c48ae854d1': 18, '151df4af59c3': 18} +uploaded via b5c48ae854d1, downloaded via ['151df4af59c3', 'b5c48ae854d1'] +coverage: 243 scenarios in 13 specs, 226 tested (61 by make failure_checks), 17 excluded +sent via b5c48ae854d1, replayed via ['151df4af59c3'] 409 via ['151df4af59c3', 'b5c48ae854d1'] -one session, 20 requests: {'b5c48ae854d1': 10, '151df4af59c3': 10} -written via 151df4af59c3, read via {'b5c48ae854d1': 3, '151df4af59c3': 3} +one session, 20 requests: {'151df4af59c3': 10, 'b5c48ae854d1': 10} +written via b5c48ae854d1, read via {'151df4af59c3': 3, 'b5c48ae854d1': 3} race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30 username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10 key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages -key race through replicas: {'151df4af59c3': 5, 'b5c48ae854d1': 5} +key race through replicas: {'b5c48ae854d1': 5, '151df4af59c3': 5} ``` - Вложения лабы 4: 34 теста спека `attachments` и пять сценариев рубрики - «4» лабы 4 в `test_rubric.py` — прежние, на новом коде (ветка - `lost_at` в скачивании касается только помеченных сверкой вложений). - «Скачивание через другую реплику»: загрузку принял `151df4af59c3`, - оригинал отдали обе реплики. + «4» лабы 4 в `test_rubric.py`. «Скачивание через другую реплику»: + загрузку принял `b5c48ae854d1`, оригинал отдали обе реплики. - Уровень 4 лаб 2–3: 100 сообщений от 10 клиентов — 100 уникальных в истории; гонка регистрации — один 201; гонка одного ключа через реплики — одно сообщение. -- Сверка покрытия: все 240 сценариев 13 спеков — тест (223, из них 58 - проверками отказов, в том числе все 21 сценарий `storage-consistency`) +- Сверка покрытия: все 243 сценария 13 спеков — тест (226, из них 61 + проверками отказов, в том числе все 24 сценария `storage-consistency`) или исключение с доказательством (17). + +## Повторные прогоны: изредка 503 на загрузке + +Всего с 18:17 до 18:25 — восемь прогонов `make student_test +BASE_URL=http://localhost:8090` на том же стенде: пять — 198 passed, три — +197 passed и 1 failed, каждый раз — загрузка вложения с ответом 503: + +``` +== 18:19:44 +student-tests/test_data_storage.py::test_attachment_order_kept FAILED [ 48%] +E AssertionError: POST /api/v1/chats/e9cd7e61-…/attachments: expected 201; got 503 {"error":{"code":"unavailable","message":"Service is temporarily unavailable","request_id":"5843668b169842e2a529a6e501c0f2bb"}} +================ 1 failed, 197 passed, 48 deselected in 40.72s ================= +== 18:21:48 +student-tests/test_idempotency.py::test_replay_with_attachments FAILED [ 55%] +E AssertionError: POST /api/v1/chats/20b195d4-…/attachments: expected 201; got 503 {"error":{"code":"unavailable","message":"Service is temporarily unavailable","request_id":"31f468538c9f4e64a7cf1c8a5c0e8ca0"}} +================ 1 failed, 197 passed, 48 deselected in 39.23s ================= +``` + +(прогон 18:18:10 — тоже 1 failed, 197 passed; имя теста не сохранилось: +вывод был отфильтрован, в журнале реплики — та же запись в 18:18:30). + +Разбор (по AGENTS.md: сначала причина, потом правка): + +``` +$ docker compose logs --no-log-prefix api | grep # поля записей +18:20:04.681984Z 151df4af59c3 Object storage is unavailable put_object ReadTimeoutError duration_ms=1 key=messenger/attachments/046f82cc-…/original +18:20:04.682084Z 151df4af59c3 Attachment upload left pending step=put +18:20:04.682228Z 151df4af59c3 HTTP request completed status=503 +18:22:10.012482Z 151df4af59c3 Object storage is unavailable put_object ReadTimeoutError duration_ms=1 key=messenger/attachments/e5a48be2-…/original +$ docker compose logs --no-log-prefix s3 +E1022 18:22:10.013066 upload_chunked.go:281 chunked upload failed: truncated request body: read chunk at offset 0 (got 0 bytes): unexpected EOF (returning 0 partial chunks for cleanup) +E1022 18:22:10.013104 s3api_object_handlers_put.go:626 putToFiler: chunked upload failed: truncated request body: read chunk at offset 0 (got 0 bytes): unexpected EOF +``` + +- все три отказа — на реплике `151df4af59c3`, PUT в S3 — `ReadTimeoutError` + через 1 мс (не срок вызова 5 с); S3 получил заголовки PUT и ни байта + тела; строка вложения осталась `pending` до уборщика, 503 — штатный + ответ на отказ PUT (`upload-consistency`): загрузка не подтверждена, + согласованность не нарушена; +- три прогона одного `test_attachments.py` подряд — 34 passed каждый, + 132 загрузки поровну на обе реплики, отказов S3 0; до 18:18 записей + «Object storage is unavailable» в журналах реплик нет с их старта в + 16:38; пауза перед упавшим PUT на этой реплике — 0,04–2,25 с (не простой + дольше `keepalive_timeout` 15 с); +- это не дефект тестов и не стенд чужого проекта: ответ дала реплика + стенда, причина — на пути API → S3. Change `track2-reconciler` её не + касается (реплики на `c1648d9`, путь загрузки не менялся с + `upload-memory`). Причина не найдена — запись «Изредка 503 на + загрузке: PUT в S3 обрывается без тела» в `KNOWN_ISSUES.md` с + предложением разбора; тесты не менялись. diff --git a/openspec/changes/track2-reconciler/tasks.md b/openspec/changes/track2-reconciler/tasks.md index aa656d99..efc7ec01 100644 --- a/openspec/changes/track2-reconciler/tasks.md +++ b/openspec/changes/track2-reconciler/tasks.md @@ -550,7 +550,7 @@ verify — вне репозитория (scratchpad сессии). Evidence с - [x] 13.6 S4. Перепроверка в `--apply` при N ≫ предела — решение не делать в этом change (design, «Уточнения apply», п. 21), передано в `PLAN.md`, `track2-reconcile-cost`. -- [ ] 13.7 S5. `driver.py reconcile-signal` — код 1 разового прохода по +- [x] 13.7 S5. `driver.py reconcile-signal` — код 1 разового прохода по SIGTERM, пока вызов S3 ждёт замороженный S3 (только не рабочий проект compose). После commit основной сессии — снимок на временном стенде в `evidence/reconcile/service.md`, заголовок S2 там же, `make @@ -562,7 +562,28 @@ verify — вне репозитория (scratchpad сессии). Evidence с (`docker-compose.yml` + override хранилищ на tmpfs, синтетические секреты, образ из `make failure_checks`): код 1, `interrupted_by: stop`, «Stopped cleaner» `exit_code` 1, `docker stop` 4,9 с, PASS; проект - удалён, volumes — 155. Снимок evidence — после commit (открыто). + удалён, volumes — 155. + + После commit `84f8c35` (основная сессия), 2026-10-22 18:04–18:25 UTC: + - `make failure_checks` — 48 из 48 за 524 с, вся команда 9 мин 06 с, + crash markers 0, `StartedAt` рабочего стенда прежний → + `evidence/tests/failure-checks.md`; там же раздел красных прогонов + группы 13 (`git archive` во временные каталоги): на `a6071da` — 1 + failed из 3 (`…_foreign_key_untouched`), на `84f8c35` с временными + регрессиями — 2 failed из 2; образ после — пересобран из `84f8c35`; + - `driver.py reconcile-signal` на временном `rcsig` — код 1, + `interrupted_by: stop`, `docker stop` 5,0 с, PASS → новый раздел + `evidence/reconcile/service.md`; заголовок «make reconcile (grace 30 + s)» исправлен на выполненную команду; + - `make student_test BASE_URL=http://localhost:8090` на `84f8c35` — 198 + passed, 243 / 226 / 61 / 17 → `evidence/tests/student-test-lb.md`. + Из восьми прогонов три дали по одному 503 на загрузке: PUT реплики + `151df4af59c3` (код `c1648d9`) в S3 — `ReadTimeoutError` через 1 мс, S3 + — «truncated request body … got 0 bytes». Разбор — там же; причина на + пути API → S3 не найдена, change её не касается — `KNOWN_ISSUES.md`, + тесты не менялись; + - `REPORT.md` — 48 / 48, 243 / 226 / 61 / 17, строки на `84f8c35`, + `reconcile-signal`. Проект `rcsig` удалён, volumes — 155. - [x] 13.8 Проверки на дереве: `make lint`, `make check`, `make validate PYTHON=.venv/bin/python`, `openspec validate track2-reconciler --strict` и `--specs`, `make failure_checks`, `make student_test