docs: re-capture track2-reconciler evidence on 84f8c35
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -33,6 +33,48 @@
|
||||
меньше 1024 (больше слотов на тот же объём) или явный `-volume.max`;
|
||||
для стендов проекта не нужно. Запись остаётся открытой.
|
||||
|
||||
## Изредка 503 на загрузке: PUT в S3 обрывается без тела
|
||||
|
||||
- **Где:** путь загрузки реплики API — `src/core/services/attachment.py`
|
||||
(`_store`: PUT тем же `BytesIO` после `seek(0)`) и клиент S3
|
||||
`src/infra/s3/client.py` (aiobotocore поверх aiohttp, без повторов,
|
||||
пул соединений с `keepalive_timeout` 15 с); сервер — SeaweedFS 4.48.
|
||||
- **Что:** на рабочем стенде `mtusi-lab4` 2026-10-22 в 18:17–18:25 UTC из
|
||||
восьми прогонов `make student_test BASE_URL=http://localhost:8090` три
|
||||
дали по одному падению: загрузка — 503 (`test_attachment_order_kept`,
|
||||
`test_replay_with_attachments`, ещё один тест в прогоне 18:18). Все
|
||||
три — на реплике `151df4af59c3` (код `c1648d9`, путь загрузки не менялся
|
||||
с `upload-memory`). В журнале реплики — `warning` «Object storage is
|
||||
unavailable», `put_object`, `ReadTimeoutError` через **1 мс** (это не
|
||||
срок вызова 5 с), затем «Attachment upload left pending» (`step: put`);
|
||||
в журнале S3 — «chunked upload failed: truncated request body: read
|
||||
chunk at offset 0 (got 0 bytes): unexpected EOF»: заголовки PUT дошли,
|
||||
тело — ни байта. Строка остаётся `pending` до уборщика, как и задумано
|
||||
для отказа PUT (`upload-consistency`), — согласованность не нарушена,
|
||||
загрузка не подтверждена.
|
||||
- **Чего не видно:** до 18:18 таких записей в журналах реплик нет с их
|
||||
старта в 16:38 (в том числе `reconcile-stress`, 649 загрузок); три
|
||||
прогона одного `test_attachments.py` подряд (132 загрузки поровну на
|
||||
обе реплики) — без единого отказа; на стенде отказов (`make
|
||||
failure_checks`, 48 из 48) и в `make test_isolated` не появлялось.
|
||||
Пауза перед упавшим PUT по журналу реплики — 0,04–2,25 с, то есть не
|
||||
простой соединения дольше `keepalive_timeout`. Соединений реплик с S3
|
||||
в `ESTABLISHED` после прогонов нет (только `TIME_WAIT`) у обеих.
|
||||
Причина не найдена; change `track2-reconciler` её не касается: он
|
||||
меняет только процесс уборщика, реплики стенда — на `c1648d9`.
|
||||
- **Чем грозит:** клиент изредка получает 503 на загрузку, которую
|
||||
повтор (новая загрузка) проводит; данных это не портит.
|
||||
- **Предложение:** воспроизвести на временном стенде полным набором
|
||||
`student-tests` в цикле с журналом `aiohttp.client` / `botocore` на
|
||||
уровне `DEBUG` (заголовки подписи — не в evidence) и `tcpdump` на порту
|
||||
8333 в сети стенда; проверить переиспользование соединения пула после
|
||||
ответа S3 с ошибкой или ранним закрытием (тело `BytesIO`, `Expect:
|
||||
100-continue` botocore, `ServerDisconnectedError` aiohttp, который
|
||||
aiobotocore отдаёт как `ReadTimeoutError`). Если подтвердится —
|
||||
`force_close` / `enable_cleanup_closed` у коннектора или один повтор PUT
|
||||
только при обрыве до отправки тела (решение об этом — отдельным
|
||||
change: правило `infra.md` «S3 без повторов»).
|
||||
|
||||
## Уборщик удаляет объект зависшей загрузки по ключу вне своего префикса
|
||||
|
||||
- **Где:** `src/core/services/attachment_cleanup.py`
|
||||
|
||||
Reference in New Issue
Block a user