fix: address s3-storage verify findings
- s3 healthcheck and fault hook probe wait for the volume server to register with master (first write after restart no longer waits ~5 s) - s3-bootstrap mounts /data as tmpfs: no anonymous volume per container - S3 client: NoSuchBucket and AccessDenied are 503 with their own error logs, not a missing object or rejected credentials; delete ignores only a missing key - test_isolated verifies prefix removal (weed shell exits 0 on errors) - s3_check derives ports from listening sockets in the s3 container - readiness without S3 is also checked with s3 paused Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+35
-6
@@ -6,12 +6,17 @@ Design change `s3-storage`, решения 6–7. Каждый вызов огр
|
||||
Valkey, не повторяется, а загрузку повторяет клиент контракта. Ошибки
|
||||
переводятся в доменные исключения:
|
||||
|
||||
- отказ соединения, обрыв, таймаут, 5xx и отказ в учётных данных —
|
||||
`ObjectStorageUnavailable` (503 `unavailable`);
|
||||
- отказ соединения, обрыв, таймаут, 5xx, отказ в учётных данных или в
|
||||
доступе и отсутствующий bucket — `ObjectStorageUnavailable` (503
|
||||
`unavailable`);
|
||||
- отсутствующий ключ — `StoredObjectMissing` (`head` — `None`, `delete` —
|
||||
не ошибка);
|
||||
- прочие ошибки S3 не переводятся: 500, это дефект.
|
||||
|
||||
Удалённый bucket у HEAD не отличить от отсутствующего ключа: у ответа нет
|
||||
тела, и SeaweedFS отвечает одинаковым 404. `head` тогда отдаёт `None`, а
|
||||
`put`, `open` и `delete` — `ObjectStorageUnavailable`.
|
||||
|
||||
В журнал — адрес, bucket, ключ объекта, размер, длительность и класс
|
||||
ошибки; ключей доступа, секрета и подписи там нет. Логгеры botocore,
|
||||
aiobotocore и aiohttp стоят на WARNING (`src/infra/logger.py`): на DEBUG
|
||||
@@ -44,8 +49,14 @@ logger: AbstractLogger = get_logger().bind(module="object_storage")
|
||||
|
||||
# коды отказа в учётных данных: секрет или ключ API не совпали с сервером
|
||||
CREDENTIAL_ERROR_CODES = frozenset(
|
||||
{"AccessDenied", "InvalidAccessKeyId", "SignatureDoesNotMatch"},
|
||||
{"InvalidAccessKeyId", "SignatureDoesNotMatch"},
|
||||
)
|
||||
# отказ в доступе: у ключа нет прав на bucket или его уже нет (PUT в
|
||||
# удалённый bucket SeaweedFS отклоняет так же); у HEAD тела нет, только
|
||||
# статус
|
||||
ACCESS_DENIED_ERROR_CODES = frozenset({"AccessDenied", "403", "Forbidden"})
|
||||
# bucket нет: это не «объекта нет», а сломанный стенд
|
||||
MISSING_BUCKET_ERROR_CODES = frozenset({"NoSuchBucket"})
|
||||
# отсутствующий ключ: у GET — NoSuchKey, у HEAD тела нет, только статус
|
||||
MISSING_ERROR_CODES = frozenset({"NoSuchKey", "404", "NotFound"})
|
||||
# недоступность: отказ соединения и его таймаут (ConnectionError botocore:
|
||||
@@ -204,8 +215,12 @@ class ObjectStorage:
|
||||
body.close()
|
||||
|
||||
async def delete(self, key: str) -> None:
|
||||
"""Удалить объект; отсутствие объекта — не ошибка."""
|
||||
await self._call("delete_object", key)
|
||||
"""Удалить объект; отсутствие объекта — не ошибка, отсутствие
|
||||
bucket — `ObjectStorageUnavailable`."""
|
||||
try:
|
||||
await self._call("delete_object", key)
|
||||
except StoredObjectMissing:
|
||||
return
|
||||
|
||||
async def _get_client(self) -> Any:
|
||||
if self._client is not None:
|
||||
@@ -326,7 +341,14 @@ class ObjectStorage:
|
||||
"HTTPStatusCode",
|
||||
0,
|
||||
)
|
||||
if code in MISSING_ERROR_CODES or status == 404:
|
||||
if code in MISSING_BUCKET_ERROR_CODES:
|
||||
logger.error(
|
||||
"Object storage bucket is missing",
|
||||
error_code=code,
|
||||
**fields,
|
||||
)
|
||||
return ObjectStorageUnavailable()
|
||||
if code in MISSING_ERROR_CODES:
|
||||
return StoredObjectMissing()
|
||||
if code in CREDENTIAL_ERROR_CODES:
|
||||
logger.error(
|
||||
@@ -335,6 +357,13 @@ class ObjectStorage:
|
||||
**fields,
|
||||
)
|
||||
return ObjectStorageUnavailable()
|
||||
if code in ACCESS_DENIED_ERROR_CODES or status == 403:
|
||||
logger.error(
|
||||
"Object storage denied access",
|
||||
error_code=code,
|
||||
**fields,
|
||||
)
|
||||
return ObjectStorageUnavailable()
|
||||
if status >= 500:
|
||||
logger.warning(
|
||||
"Object storage is unavailable",
|
||||
|
||||
Reference in New Issue
Block a user