Вложения: приватный S3-bucket (RustFS 1.0.4) + метаданные в PostgreSQL, upload PNG/JPEG с лимитами до декодирования, авторизованный download, attachment_ids в сообщениях, идемпотентный bootstrap bucket, failover/persistence/S3-down тесты и REPORT.md. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
86 lines
4.3 KiB
Python
86 lines
4.3 KiB
Python
"""Приватное S3-хранилище оригиналов вложений (MinIO, S3 API).
|
|
|
|
Клиент minio-py синхронный, поэтому вызовы уходят в пул потоков (asyncio.to_thread) и не блокируют
|
|
event loop. Таймауты и число повторов ограничены: недоступный S3 даёт 503 за секунды, а не зависание.
|
|
Ключи объектов назначает сервер; bucket приватный, байты отдаёт только API после проверки доступа.
|
|
"""
|
|
import asyncio
|
|
import io
|
|
import logging
|
|
from urllib.parse import urlparse
|
|
|
|
import urllib3
|
|
from minio import Minio
|
|
from minio.error import MinioException, S3Error
|
|
|
|
from .config import Settings
|
|
from .errors import ApiError, unavailable
|
|
|
|
log = logging.getLogger('messenger.storage')
|
|
|
|
|
|
class ObjectMissing(Exception):
|
|
"""Метаданные в БД есть, а объекта в bucket нет (рассогласование хранилищ)."""
|
|
|
|
|
|
class Storage:
|
|
def __init__(self, settings: Settings):
|
|
endpoint = urlparse(settings.s3_endpoint)
|
|
self.bucket = settings.s3_bucket
|
|
# Без повторов на уровне HTTP-клиента: повтор удваивал бы время отказа. Общий дедлайн операции —
|
|
# в _call: getaddrinfo (DNS остановленного контейнера ~8 с) таймаутами urllib3 не ограничен.
|
|
self.deadline = settings.s3_timeout
|
|
http = urllib3.PoolManager(
|
|
timeout=urllib3.Timeout(connect=2, read=settings.s3_timeout),
|
|
retries=urllib3.Retry(total=0, redirect=0),
|
|
maxsize=16,
|
|
)
|
|
self.client = Minio(endpoint.netloc, access_key=settings.s3_access_key,
|
|
secret_key=settings.s3_secret_key, secure=endpoint.scheme == 'https',
|
|
region=settings.s3_region, http_client=http)
|
|
|
|
async def _call(self, fn, *args, **kwargs):
|
|
try:
|
|
return await asyncio.wait_for(asyncio.to_thread(fn, *args, **kwargs), self.deadline)
|
|
except asyncio.TimeoutError:
|
|
# Поток дорабатывает в фоне (его нельзя прервать), но клиент получает 503 в пределах дедлайна.
|
|
log.warning('S3 deadline %.1fs exceeded on %s', self.deadline, fn.__name__)
|
|
raise unavailable() from None
|
|
except S3Error as exc:
|
|
if exc.code in ('NoSuchKey', 'NoSuchObject'):
|
|
raise ObjectMissing() from None
|
|
log.warning('S3 error %s on %s', exc.code, fn.__name__)
|
|
raise unavailable() from None
|
|
except (MinioException, urllib3.exceptions.HTTPError, OSError, ValueError):
|
|
# Нет связи, таймаут, 5xx после повтора — для клиента это временная недоступность.
|
|
log.warning('S3 unavailable on %s', fn.__name__, exc_info=True)
|
|
raise unavailable() from None
|
|
|
|
async def put(self, key: str, data: bytes, content_type: str) -> None:
|
|
await self._call(self.client.put_object, self.bucket, key, io.BytesIO(data), len(data),
|
|
content_type=content_type)
|
|
|
|
async def get(self, key: str) -> bytes:
|
|
def read() -> bytes:
|
|
response = self.client.get_object(self.bucket, key)
|
|
try:
|
|
return response.read()
|
|
finally:
|
|
response.close()
|
|
response.release_conn()
|
|
try:
|
|
return await self._call(read)
|
|
except ObjectMissing:
|
|
log.error('object %s is missing in bucket %s', key, self.bucket)
|
|
raise ApiError(500, 'internal_error', 'Внутренняя ошибка сервера') from None
|
|
|
|
async def delete(self, key: str) -> None:
|
|
await self._call(self.client.remove_object, self.bucket, key)
|
|
|
|
async def delete_quietly(self, key: str) -> None:
|
|
"""Компенсация после неудачной записи метаданных. Сбой здесь не меняет ответ клиенту."""
|
|
try:
|
|
await asyncio.shield(self.delete(key))
|
|
except Exception:
|
|
log.error('compensation failed: orphan object %s left in bucket', key)
|