fix: address s3-storage verify findings

- s3 healthcheck and fault hook probe wait for the volume server to
  register with master (first write after restart no longer waits ~5 s)
- s3-bootstrap mounts /data as tmpfs: no anonymous volume per container
- S3 client: NoSuchBucket and AccessDenied are 503 with their own error
  logs, not a missing object or rejected credentials; delete ignores only
  a missing key
- test_isolated verifies prefix removal (weed shell exits 0 on errors)
- s3_check derives ports from listening sockets in the s3 container
- readiness without S3 is also checked with s3 paused

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-20 21:23:38 +03:00
co-authored by Claude Opus 5.5
parent 7d340c0673
commit f57635a5fb
19 changed files with 388 additions and 80 deletions
+35 -6
View File
@@ -6,12 +6,17 @@ Design change `s3-storage`, решения 6–7. Каждый вызов огр
Valkey, не повторяется, а загрузку повторяет клиент контракта. Ошибки
переводятся в доменные исключения:
- отказ соединения, обрыв, таймаут, 5xx и отказ в учётных данных —
`ObjectStorageUnavailable` (503 `unavailable`);
- отказ соединения, обрыв, таймаут, 5xx, отказ в учётных данных или в
доступе и отсутствующий bucket — `ObjectStorageUnavailable` (503
`unavailable`);
- отсутствующий ключ — `StoredObjectMissing` (`head` — `None`, `delete` —
не ошибка);
- прочие ошибки S3 не переводятся: 500, это дефект.
Удалённый bucket у HEAD не отличить от отсутствующего ключа: у ответа нет
тела, и SeaweedFS отвечает одинаковым 404. `head` тогда отдаёт `None`, а
`put`, `open` и `delete` — `ObjectStorageUnavailable`.
В журнал — адрес, bucket, ключ объекта, размер, длительность и класс
ошибки; ключей доступа, секрета и подписи там нет. Логгеры botocore,
aiobotocore и aiohttp стоят на WARNING (`src/infra/logger.py`): на DEBUG
@@ -44,8 +49,14 @@ logger: AbstractLogger = get_logger().bind(module="object_storage")
# коды отказа в учётных данных: секрет или ключ API не совпали с сервером
CREDENTIAL_ERROR_CODES = frozenset(
{"AccessDenied", "InvalidAccessKeyId", "SignatureDoesNotMatch"},
{"InvalidAccessKeyId", "SignatureDoesNotMatch"},
)
# отказ в доступе: у ключа нет прав на bucket или его уже нет (PUT в
# удалённый bucket SeaweedFS отклоняет так же); у HEAD тела нет, только
# статус
ACCESS_DENIED_ERROR_CODES = frozenset({"AccessDenied", "403", "Forbidden"})
# bucket нет: это не «объекта нет», а сломанный стенд
MISSING_BUCKET_ERROR_CODES = frozenset({"NoSuchBucket"})
# отсутствующий ключ: у GET — NoSuchKey, у HEAD тела нет, только статус
MISSING_ERROR_CODES = frozenset({"NoSuchKey", "404", "NotFound"})
# недоступность: отказ соединения и его таймаут (ConnectionError botocore:
@@ -204,8 +215,12 @@ class ObjectStorage:
body.close()
async def delete(self, key: str) -> None:
"""Удалить объект; отсутствие объекта — не ошибка."""
await self._call("delete_object", key)
"""Удалить объект; отсутствие объекта — не ошибка, отсутствие
bucket — `ObjectStorageUnavailable`."""
try:
await self._call("delete_object", key)
except StoredObjectMissing:
return
async def _get_client(self) -> Any:
if self._client is not None:
@@ -326,7 +341,14 @@ class ObjectStorage:
"HTTPStatusCode",
0,
)
if code in MISSING_ERROR_CODES or status == 404:
if code in MISSING_BUCKET_ERROR_CODES:
logger.error(
"Object storage bucket is missing",
error_code=code,
**fields,
)
return ObjectStorageUnavailable()
if code in MISSING_ERROR_CODES:
return StoredObjectMissing()
if code in CREDENTIAL_ERROR_CODES:
logger.error(
@@ -335,6 +357,13 @@ class ObjectStorage:
**fields,
)
return ObjectStorageUnavailable()
if code in ACCESS_DENIED_ERROR_CODES or status == 403:
logger.error(
"Object storage denied access",
error_code=code,
**fields,
)
return ObjectStorageUnavailable()
if status >= 500:
logger.warning(
"Object storage is unavailable",