docs: re-capture track2-reconciler evidence on 84f8c35

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-22 21:31:49 +03:00
co-authored by Claude Opus 5.5
parent 84f8c353e9
commit 96d2ecca3d
7 changed files with 385 additions and 113 deletions
+42
View File
@@ -33,6 +33,48 @@
меньше 1024 (больше слотов на тот же объём) или явный `-volume.max`;
для стендов проекта не нужно. Запись остаётся открытой.
## Изредка 503 на загрузке: PUT в S3 обрывается без тела
- **Где:** путь загрузки реплики API — `src/core/services/attachment.py`
(`_store`: PUT тем же `BytesIO` после `seek(0)`) и клиент S3
`src/infra/s3/client.py` (aiobotocore поверх aiohttp, без повторов,
пул соединений с `keepalive_timeout` 15 с); сервер — SeaweedFS 4.48.
- **Что:** на рабочем стенде `mtusi-lab4` 2026-10-22 в 18:17–18:25 UTC из
восьми прогонов `make student_test BASE_URL=http://localhost:8090` три
дали по одному падению: загрузка — 503 (`test_attachment_order_kept`,
`test_replay_with_attachments`, ещё один тест в прогоне 18:18). Все
три — на реплике `151df4af59c3` (код `c1648d9`, путь загрузки не менялся
с `upload-memory`). В журнале реплики — `warning` «Object storage is
unavailable», `put_object`, `ReadTimeoutError` через **1 мс** (это не
срок вызова 5 с), затем «Attachment upload left pending» (`step: put`);
в журнале S3 — «chunked upload failed: truncated request body: read
chunk at offset 0 (got 0 bytes): unexpected EOF»: заголовки PUT дошли,
тело — ни байта. Строка остаётся `pending` до уборщика, как и задумано
для отказа PUT (`upload-consistency`), — согласованность не нарушена,
загрузка не подтверждена.
- **Чего не видно:** до 18:18 таких записей в журналах реплик нет с их
старта в 16:38 (в том числе `reconcile-stress`, 649 загрузок); три
прогона одного `test_attachments.py` подряд (132 загрузки поровну на
обе реплики) — без единого отказа; на стенде отказов (`make
failure_checks`, 48 из 48) и в `make test_isolated` не появлялось.
Пауза перед упавшим PUT по журналу реплики — 0,04–2,25 с, то есть не
простой соединения дольше `keepalive_timeout`. Соединений реплик с S3
в `ESTABLISHED` после прогонов нет (только `TIME_WAIT`) у обеих.
Причина не найдена; change `track2-reconciler` её не касается: он
меняет только процесс уборщика, реплики стенда — на `c1648d9`.
- **Чем грозит:** клиент изредка получает 503 на загрузку, которую
повтор (новая загрузка) проводит; данных это не портит.
- **Предложение:** воспроизвести на временном стенде полным набором
`student-tests` в цикле с журналом `aiohttp.client` / `botocore` на
уровне `DEBUG` (заголовки подписи — не в evidence) и `tcpdump` на порту
8333 в сети стенда; проверить переиспользование соединения пула после
ответа S3 с ошибкой или ранним закрытием (тело `BytesIO`, `Expect:
100-continue` botocore, `ServerDisconnectedError` aiohttp, который
aiobotocore отдаёт как `ReadTimeoutError`). Если подтвердится —
`force_close` / `enable_cleanup_closed` у коннектора или один повтор PUT
только при обрыве до отправки тела (решение об этом — отдельным
change: правило `infra.md` «S3 без повторов»).
## Уборщик удаляет объект зависшей загрузки по ключу вне своего префикса
- **Где:** `src/core/services/attachment_cleanup.py`