126 lines
11 KiB
Markdown
126 lines
11 KiB
Markdown
# Известные дефекты
|
||
|
||
Найдены попутно, не исправлены без отдельной просьбы (AGENTS.md).
|
||
Исправленные удаляются отсюда, история — в git.
|
||
|
||
## Bootstrap после удаления bucket на маленьком диске: «api key wait (code 500)»
|
||
|
||
- **Где:** `infra/s3/bootstrap.sh` (режим `apply`) и сервер `s3`
|
||
(`docker-compose.yml`: entrypoint образа добавляет `-volume.max=0
|
||
-master.volumeSizeLimitMB=1024`), SeaweedFS 4.48.
|
||
- **Что:** после удаления bucket мимо bootstrap (`s3.bucket.delete`)
|
||
повторный bootstrap пишет «bucket created», затем «FAILED: api key wait
|
||
(code 500)». Найдено в правках по verify change `s3-storage`
|
||
(2026-10-20); воспроизведено и объяснено пробой design change
|
||
`track2-reconciler` (Context, 2026-10-22, проект `rcprobe`).
|
||
- **Причина:** не повторное имя bucket, а слоты томов. С `-volume.max=0`
|
||
число слотов считается по свободному месту диска / 1 ГиБ. Удаление
|
||
bucket удаляет тома его коллекции, но на маленьком диске слоты уже
|
||
заняты томами коллекции по умолчанию (журналы filer), и новых томов для
|
||
`messenger` выделить некуда: в журнале S3 — «No writable volumes and no
|
||
free volumes left for collection:messenger», PUT получает 500.
|
||
- **Условие:** диск, на котором `-volume.max=0` даёт мало слотов, — tmpfs
|
||
проб, а не volume стендов проекта. Проба: tmpfs 4 ГБ — 3 слота из 3
|
||
заняты, ошибка дважды подряд; tmpfs 16 ГБ — 15 слотов, повтор
|
||
bootstrap прошёл за 2 с. Рабочий стенд (volume на диске ВМ) — 417
|
||
слотов, 403 свободны (`weed shell volume.list`): удаление bucket и
|
||
повтор bootstrap этим не падают. Стенды проекта не затронуты.
|
||
- **Чем грозит:** только временным стендам на маленьком tmpfs: после
|
||
удаления bucket повтор bootstrap не проходит. Сверка bucket и БД
|
||
bucket не создаёт и не удаляет: на `NoSuchBucket` она прерывает проход
|
||
без изменений (design change `track2-reconciler`, решение 14).
|
||
- **Предложение:** на маленьких дисках — `-master.volumeSizeLimitMB`
|
||
меньше 1024 (больше слотов на тот же объём) или явный `-volume.max`;
|
||
для стендов проекта не нужно. Запись остаётся открытой.
|
||
|
||
## Изредка 503 на загрузке: PUT в S3 обрывается без тела
|
||
|
||
- **Где:** путь загрузки реплики API — `src/core/services/attachment.py`
|
||
(`_store`: PUT тем же `BytesIO` после `seek(0)`) и клиент S3
|
||
`src/infra/s3/client.py` (aiobotocore поверх aiohttp, без повторов,
|
||
пул соединений с `keepalive_timeout` 15 с); сервер — SeaweedFS 4.48.
|
||
- **Что:** на рабочем стенде `mtusi-lab4` 2026-10-22 в 18:17–18:25 UTC из
|
||
восьми прогонов `make student_test BASE_URL=http://localhost:8090` три
|
||
дали по одному падению: загрузка — 503 (`test_attachment_order_kept`,
|
||
`test_replay_with_attachments`, ещё один тест в прогоне 18:18). Все
|
||
три — на реплике `151df4af59c3` (код `c1648d9`, путь загрузки не менялся
|
||
с `upload-memory`). В журнале реплики — `warning` «Object storage is
|
||
unavailable», `put_object`, `ReadTimeoutError` через **1 мс** (это не
|
||
срок вызова 5 с), затем «Attachment upload left pending» (`step: put`);
|
||
в журнале S3 — «chunked upload failed: truncated request body: read
|
||
chunk at offset 0 (got 0 bytes): unexpected EOF»: заголовки PUT дошли,
|
||
тело — ни байта. Строка остаётся `pending` до уборщика, как и задумано
|
||
для отказа PUT (`upload-consistency`), — согласованность не нарушена,
|
||
загрузка не подтверждена.
|
||
- **Чего не видно:** до 18:18 таких записей в журналах реплик нет с их
|
||
старта в 16:38 (в том числе `reconcile-stress`, 649 загрузок); три
|
||
прогона одного `test_attachments.py` подряд (132 загрузки поровну на
|
||
обе реплики) — без единого отказа; на стенде отказов (`make
|
||
failure_checks`, 48 из 48) и в `make test_isolated` не появлялось.
|
||
Пауза перед упавшим PUT по журналу реплики — 0,04–2,25 с, то есть не
|
||
простой соединения дольше `keepalive_timeout`. Соединений реплик с S3
|
||
в `ESTABLISHED` после прогонов нет (только `TIME_WAIT`) у обеих.
|
||
Причина не найдена; change `track2-reconciler` её не касается: он
|
||
меняет только процесс уборщика, реплики стенда — на `c1648d9`.
|
||
- **Чем грозит:** клиент изредка получает 503 на загрузку, которую
|
||
повтор (новая загрузка) проводит; данных это не портит.
|
||
- **Предложение:** воспроизвести на временном стенде полным набором
|
||
`student-tests` в цикле с журналом `aiohttp.client` / `botocore` на
|
||
уровне `DEBUG` (заголовки подписи — не в evidence) и `tcpdump` на порту
|
||
8333 в сети стенда; проверить переиспользование соединения пула после
|
||
ответа S3 с ошибкой или ранним закрытием (тело `BytesIO`, `Expect:
|
||
100-continue` botocore, `ServerDisconnectedError` aiohttp, который
|
||
aiobotocore отдаёт как `ReadTimeoutError`). Если подтвердится —
|
||
`force_close` / `enable_cleanup_closed` у коннектора или один повтор PUT
|
||
только при обрыве до отправки тела (решение об этом — отдельным
|
||
change: правило `infra.md` «S3 без повторов»).
|
||
|
||
## Уборщик удаляет объект зависшей загрузки по ключу вне своего префикса
|
||
|
||
- **Где:** `src/core/services/attachment_cleanup.py`
|
||
(`remove_stale_pending`: `delete_original` по `object_key` строки) и
|
||
политика `cleaner-objects` в `infra/s3/bootstrap.sh` (`s3:DeleteObject`
|
||
на `<bucket>/*`).
|
||
- **Что:** сервис уборки (`python -m src.cleaner`, `--once`) убирает
|
||
строку `pending` старше grace вместе с объектом по ключу из этой
|
||
строки, не проверяя, что ключ под `<база>/attachments/`. Ключ вне
|
||
префикса API не пишет; он бывает в базе, восстановленной под другим
|
||
именем (её строки ведут к объектам исходной базы), или после ручной
|
||
правки. Тогда уборщик удаляет объект чужого префикса — другой базы.
|
||
Найдено в правках по verify change `track2-reconciler` (замечание W2,
|
||
2026-10-22): сверка такую строку теперь только называет «чужим
|
||
объектом» и не убирает (design, «Уточнения apply», п. 19), а сервис
|
||
уборки — поведение change `upload-consistency` — не менялся.
|
||
- **Чем грозит:** только при строке с чужим ключом: потерей объекта
|
||
другой базы того же bucket. Стенды проекта таких строк не содержат.
|
||
- **Предложение:** в `remove_stale_pending` (или в `lock_stale_pending`)
|
||
— та же проверка `attachment_object_repo.is_own_key`: строку с чужим
|
||
ключом убирать без DELETE объекта (или пропускать с `warning`), сценарий
|
||
в требовании «Уборщик незавершённых загрузок» и тест на стенде отказов
|
||
(`set-key` hook уже есть); при желании — сузить `s3:DeleteObject`
|
||
политики до `<bucket>/<база>/attachments/*`, переделав проверки
|
||
bootstrap, которые удаляют свои объекты ключом уборщика.
|
||
|
||
## LB отвечает 408 на медленные заголовки текстом HAProxy
|
||
|
||
- **Где:** `infra/haproxy/haproxy.cfg`, `defaults`: `timeout
|
||
http-request 10s`, HAProxy 3.4.6.
|
||
- **Что:** клиент, который присылает заголовки запроса дольше 10 с,
|
||
получает от LB 408 со страницей HAProxy в HTML, а не ошибку в формате
|
||
контракта (`{"error": {...}}` с `request_id` = `X-Request-Id`).
|
||
`http-error status 408 … lf-string` его не меняет: такой ответ HAProxy
|
||
строит до потока запроса, где `http-error` уже не действует. Проба
|
||
change `upload-memory` (design, Context, п. 4; таблица «HAProxy,
|
||
сроки»): заголовки за 12 с — 408 HTML и с `http-error status 408`, и
|
||
без него. 400 посреди тела после change идёт в формате контракта.
|
||
- **Чем грозит:** клиент с медленной сетью на заголовках получает ответ
|
||
вне формата контракта. Путь загрузки и остальные пути API не
|
||
затронуты: заголовки приходят за миллисекунды.
|
||
- **Предложение:** `errorfile 408` со статичным JSON не годится:
|
||
`request_id` в нём один на все ответы, а контракт требует тот же id,
|
||
что в `X-Request-Id`, и уникальный. Варианты для разбора: проверить
|
||
`http-errors` / `errorloc` и Lua-ответ в новых версиях HAProxy 3.x;
|
||
либо поднять `timeout http-request` и назвать ограничение в
|
||
`REPORT.md` (уже названо в спеке `load-balancing`, «Ошибки
|
||
балансировщика в формате контракта»).
|