11 KiB
11 KiB
Известные дефекты
Найдены попутно, не исправлены без отдельной просьбы (AGENTS.md). Исправленные удаляются отсюда, история — в git.
Bootstrap после удаления bucket на маленьком диске: «api key wait (code 500)»
- Где:
infra/s3/bootstrap.sh(режимapply) и серверs3(docker-compose.yml: entrypoint образа добавляет-volume.max=0 -master.volumeSizeLimitMB=1024), SeaweedFS 4.48. - Что: после удаления bucket мимо bootstrap (
s3.bucket.delete) повторный bootstrap пишет «bucket created», затем «FAILED: api key wait (code 500)». Найдено в правках по verify changes3-storage(2026-10-20); воспроизведено и объяснено пробой design changetrack2-reconciler(Context, 2026-10-22, проектrcprobe). - Причина: не повторное имя bucket, а слоты томов. С
-volume.max=0число слотов считается по свободному месту диска / 1 ГиБ. Удаление bucket удаляет тома его коллекции, но на маленьком диске слоты уже заняты томами коллекции по умолчанию (журналы filer), и новых томов дляmessengerвыделить некуда: в журнале S3 — «No writable volumes and no free volumes left for collection:messenger», PUT получает 500. - Условие: диск, на котором
-volume.max=0даёт мало слотов, — tmpfs проб, а не volume стендов проекта. Проба: tmpfs 4 ГБ — 3 слота из 3 заняты, ошибка дважды подряд; tmpfs 16 ГБ — 15 слотов, повтор bootstrap прошёл за 2 с. Рабочий стенд (volume на диске ВМ) — 417 слотов, 403 свободны (weed shell volume.list): удаление bucket и повтор bootstrap этим не падают. Стенды проекта не затронуты. - Чем грозит: только временным стендам на маленьком tmpfs: после
удаления bucket повтор bootstrap не проходит. Сверка bucket и БД
bucket не создаёт и не удаляет: на
NoSuchBucketона прерывает проход без изменений (design changetrack2-reconciler, решение 14). - Предложение: на маленьких дисках —
-master.volumeSizeLimitMBменьше 1024 (больше слотов на тот же объём) или явный-volume.max; для стендов проекта не нужно. Запись остаётся открытой.
Изредка 503 на загрузке: PUT в S3 обрывается без тела
- Где: путь загрузки реплики API —
src/core/services/attachment.py(_store: PUT тем жеBytesIOпослеseek(0)) и клиент S3src/infra/s3/client.py(aiobotocore поверх aiohttp, без повторов, пул соединений сkeepalive_timeout15 с); сервер — SeaweedFS 4.48. - Что: на рабочем стенде
mtusi-lab42026-10-22 в 18:17–18:25 UTC из восьми прогоновmake student_test BASE_URL=http://localhost:8090три дали по одному падению: загрузка — 503 (test_attachment_order_kept,test_replay_with_attachments, ещё один тест в прогоне 18:18). Все три — на реплике151df4af59c3(кодc1648d9, путь загрузки не менялся сupload-memory). В журнале реплики —warning«Object storage is unavailable»,put_object,ReadTimeoutErrorчерез 1 мс (это не срок вызова 5 с), затем «Attachment upload left pending» (step: put); в журнале S3 — «chunked upload failed: truncated request body: read chunk at offset 0 (got 0 bytes): unexpected EOF»: заголовки PUT дошли, тело — ни байта. Строка остаётсяpendingдо уборщика, как и задумано для отказа PUT (upload-consistency), — согласованность не нарушена, загрузка не подтверждена. - Чего не видно: до 18:18 таких записей в журналах реплик нет с их
старта в 16:38 (в том числе
reconcile-stress, 649 загрузок); три прогона одногоtest_attachments.pyподряд (132 загрузки поровну на обе реплики) — без единого отказа; на стенде отказов (make failure_checks, 48 из 48) и вmake test_isolatedне появлялось. Пауза перед упавшим PUT по журналу реплики — 0,04–2,25 с, то есть не простой соединения дольшеkeepalive_timeout. Соединений реплик с S3 вESTABLISHEDпосле прогонов нет (толькоTIME_WAIT) у обеих. Причина не найдена; changetrack2-reconcilerеё не касается: он меняет только процесс уборщика, реплики стенда — наc1648d9. - Чем грозит: клиент изредка получает 503 на загрузку, которую повтор (новая загрузка) проводит; данных это не портит.
- Предложение: воспроизвести на временном стенде полным набором
student-testsв цикле с журналомaiohttp.client/botocoreна уровнеDEBUG(заголовки подписи — не в evidence) иtcpdumpна порту 8333 в сети стенда; проверить переиспользование соединения пула после ответа S3 с ошибкой или ранним закрытием (телоBytesIO,Expect: 100-continuebotocore,ServerDisconnectedErroraiohttp, который aiobotocore отдаёт какReadTimeoutError). Если подтвердится —force_close/enable_cleanup_closedу коннектора или один повтор PUT только при обрыве до отправки тела (решение об этом — отдельным change: правилоinfra.md«S3 без повторов»).
Уборщик удаляет объект зависшей загрузки по ключу вне своего префикса
- Где:
src/core/services/attachment_cleanup.py(remove_stale_pending:delete_originalпоobject_keyстроки) и политикаcleaner-objectsвinfra/s3/bootstrap.sh(s3:DeleteObjectна<bucket>/*). - Что: сервис уборки (
python -m src.cleaner,--once) убирает строкуpendingстарше grace вместе с объектом по ключу из этой строки, не проверяя, что ключ под<база>/attachments/. Ключ вне префикса API не пишет; он бывает в базе, восстановленной под другим именем (её строки ведут к объектам исходной базы), или после ручной правки. Тогда уборщик удаляет объект чужого префикса — другой базы. Найдено в правках по verify changetrack2-reconciler(замечание W2, 2026-10-22): сверка такую строку теперь только называет «чужим объектом» и не убирает (design, «Уточнения apply», п. 19), а сервис уборки — поведение changeupload-consistency— не менялся. - Чем грозит: только при строке с чужим ключом: потерей объекта другой базы того же bucket. Стенды проекта таких строк не содержат.
- Предложение: в
remove_stale_pending(или вlock_stale_pending) — та же проверкаattachment_object_repo.is_own_key: строку с чужим ключом убирать без DELETE объекта (или пропускать сwarning), сценарий в требовании «Уборщик незавершённых загрузок» и тест на стенде отказов (set-keyhook уже есть); при желании — сузитьs3:DeleteObjectполитики до<bucket>/<база>/attachments/*, переделав проверки bootstrap, которые удаляют свои объекты ключом уборщика.
LB отвечает 408 на медленные заголовки текстом HAProxy
- Где:
infra/haproxy/haproxy.cfg,defaults:timeout http-request 10s, HAProxy 3.4.6. - Что: клиент, который присылает заголовки запроса дольше 10 с,
получает от LB 408 со страницей HAProxy в HTML, а не ошибку в формате
контракта (
{"error": {...}}сrequest_id=X-Request-Id).http-error status 408 … lf-stringего не меняет: такой ответ HAProxy строит до потока запроса, гдеhttp-errorуже не действует. Проба changeupload-memory(design, Context, п. 4; таблица «HAProxy, сроки»): заголовки за 12 с — 408 HTML и сhttp-error status 408, и без него. 400 посреди тела после change идёт в формате контракта. - Чем грозит: клиент с медленной сетью на заголовках получает ответ вне формата контракта. Путь загрузки и остальные пути API не затронуты: заголовки приходят за миллисекунды.
- Предложение:
errorfile 408со статичным JSON не годится:request_idв нём один на все ответы, а контракт требует тот же id, что вX-Request-Id, и уникальный. Варианты для разбора: проверитьhttp-errors/errorlocи Lua-ответ в новых версиях HAProxy 3.x; либо поднятьtimeout http-requestи назвать ограничение вREPORT.md(уже названо в спекеload-balancing, «Ошибки балансировщика в формате контракта»).