Files
mtusi2026lab4/app/storage.py
T
RainakandClaude Opus 5.5 2dca5c114b ЛР4 БВТ2304 Запорожец на 3
Вложения: приватный S3-bucket (RustFS 1.0.4) + метаданные в PostgreSQL, upload PNG/JPEG
с лимитами до декодирования, авторизованный download, attachment_ids в сообщениях,
идемпотентный bootstrap bucket, failover/persistence/S3-down тесты и REPORT.md.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-12 18:49:12 +03:00

86 lines
4.3 KiB
Python

"""Приватное S3-хранилище оригиналов вложений (MinIO, S3 API).
Клиент minio-py синхронный, поэтому вызовы уходят в пул потоков (asyncio.to_thread) и не блокируют
event loop. Таймауты и число повторов ограничены: недоступный S3 даёт 503 за секунды, а не зависание.
Ключи объектов назначает сервер; bucket приватный, байты отдаёт только API после проверки доступа.
"""
import asyncio
import io
import logging
from urllib.parse import urlparse
import urllib3
from minio import Minio
from minio.error import MinioException, S3Error
from .config import Settings
from .errors import ApiError, unavailable
log = logging.getLogger('messenger.storage')
class ObjectMissing(Exception):
"""Метаданные в БД есть, а объекта в bucket нет (рассогласование хранилищ)."""
class Storage:
def __init__(self, settings: Settings):
endpoint = urlparse(settings.s3_endpoint)
self.bucket = settings.s3_bucket
# Без повторов на уровне HTTP-клиента: повтор удваивал бы время отказа. Общий дедлайн операции —
# в _call: getaddrinfo (DNS остановленного контейнера ~8 с) таймаутами urllib3 не ограничен.
self.deadline = settings.s3_timeout
http = urllib3.PoolManager(
timeout=urllib3.Timeout(connect=2, read=settings.s3_timeout),
retries=urllib3.Retry(total=0, redirect=0),
maxsize=16,
)
self.client = Minio(endpoint.netloc, access_key=settings.s3_access_key,
secret_key=settings.s3_secret_key, secure=endpoint.scheme == 'https',
region=settings.s3_region, http_client=http)
async def _call(self, fn, *args, **kwargs):
try:
return await asyncio.wait_for(asyncio.to_thread(fn, *args, **kwargs), self.deadline)
except asyncio.TimeoutError:
# Поток дорабатывает в фоне (его нельзя прервать), но клиент получает 503 в пределах дедлайна.
log.warning('S3 deadline %.1fs exceeded on %s', self.deadline, fn.__name__)
raise unavailable() from None
except S3Error as exc:
if exc.code in ('NoSuchKey', 'NoSuchObject'):
raise ObjectMissing() from None
log.warning('S3 error %s on %s', exc.code, fn.__name__)
raise unavailable() from None
except (MinioException, urllib3.exceptions.HTTPError, OSError, ValueError):
# Нет связи, таймаут, 5xx после повтора — для клиента это временная недоступность.
log.warning('S3 unavailable on %s', fn.__name__, exc_info=True)
raise unavailable() from None
async def put(self, key: str, data: bytes, content_type: str) -> None:
await self._call(self.client.put_object, self.bucket, key, io.BytesIO(data), len(data),
content_type=content_type)
async def get(self, key: str) -> bytes:
def read() -> bytes:
response = self.client.get_object(self.bucket, key)
try:
return response.read()
finally:
response.close()
response.release_conn()
try:
return await self._call(read)
except ObjectMissing:
log.error('object %s is missing in bucket %s', key, self.bucket)
raise ApiError(500, 'internal_error', 'Внутренняя ошибка сервера') from None
async def delete(self, key: str) -> None:
await self._call(self.client.remove_object, self.bucket, key)
async def delete_quietly(self, key: str) -> None:
"""Компенсация после неудачной записи метаданных. Сбой здесь не меняет ответ клиенту."""
try:
await asyncio.shield(self.delete(key))
except Exception:
log.error('compensation failed: orphan object %s left in bucket', key)