RabbitMQ (quorum queue, publisher confirms, manual ack, DLX) + отдельный worker: staging в S3 + вложение/job/outbox одной транзакцией -> 202 queued; relay outbox, lease с heartbeat и fencing (worker_id, attempt), retry с backoff+jitter, failed-реестр, безопасный replay с audit; thumbnail/crop/WebP в изолированном процессе с лимитами. Тесты окон отказа (fault injection), трек 1 «Очередь под перегрузкой» с backpressure. Перенесено исправление замечания lab3 PR #99 (U+0000 в тексте). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
121 lines
6.0 KiB
Python
121 lines
6.0 KiB
Python
"""Приватное S3-хранилище оригиналов вложений (MinIO, S3 API).
|
|
|
|
Клиент minio-py синхронный, поэтому вызовы уходят в пул потоков (asyncio.to_thread) и не блокируют
|
|
event loop. Таймауты и число повторов ограничены: недоступный S3 даёт 503 за секунды, а не зависание.
|
|
Ключи объектов назначает сервер; bucket приватный, байты отдаёт только API после проверки доступа.
|
|
"""
|
|
import asyncio
|
|
import io
|
|
import logging
|
|
from urllib.parse import urlparse
|
|
|
|
import urllib3
|
|
from minio import Minio
|
|
from minio.error import MinioException, S3Error
|
|
|
|
from .config import Settings
|
|
from .errors import ApiError, unavailable
|
|
|
|
log = logging.getLogger('messenger.storage')
|
|
|
|
|
|
class ObjectMissing(Exception):
|
|
"""Метаданные в БД есть, а объекта в bucket нет (рассогласование хранилищ)."""
|
|
|
|
|
|
class Storage:
|
|
def __init__(self, settings: Settings):
|
|
endpoint = urlparse(settings.s3_endpoint)
|
|
self.bucket = settings.s3_bucket
|
|
# Без повторов на уровне HTTP-клиента: повтор удваивал бы время отказа. Общий дедлайн операции —
|
|
# в _call: getaddrinfo (DNS остановленного контейнера ~8 с) таймаутами urllib3 не ограничен.
|
|
self.deadline = settings.s3_timeout
|
|
http = urllib3.PoolManager(
|
|
timeout=urllib3.Timeout(connect=2, read=settings.s3_timeout),
|
|
retries=urllib3.Retry(total=0, redirect=0),
|
|
maxsize=16,
|
|
)
|
|
self.client = Minio(endpoint.netloc, access_key=settings.s3_access_key,
|
|
secret_key=settings.s3_secret_key, secure=endpoint.scheme == 'https',
|
|
region=settings.s3_region, http_client=http)
|
|
|
|
async def _call(self, fn, *args, **kwargs):
|
|
try:
|
|
return await asyncio.wait_for(asyncio.to_thread(fn, *args, **kwargs), self.deadline)
|
|
except asyncio.TimeoutError:
|
|
# Поток дорабатывает в фоне (его нельзя прервать), но клиент получает 503 в пределах дедлайна.
|
|
log.warning('S3 deadline %.1fs exceeded on %s', self.deadline, fn.__name__)
|
|
raise unavailable() from None
|
|
except S3Error as exc:
|
|
if exc.code in ('NoSuchKey', 'NoSuchObject'):
|
|
raise ObjectMissing() from None
|
|
log.warning('S3 error %s on %s', exc.code, fn.__name__)
|
|
raise unavailable() from None
|
|
except (MinioException, urllib3.exceptions.HTTPError, OSError, ValueError):
|
|
# Нет связи, таймаут, 5xx после повтора — для клиента это временная недоступность.
|
|
log.warning('S3 unavailable on %s', fn.__name__, exc_info=True)
|
|
raise unavailable() from None
|
|
|
|
async def put(self, key: str, data: bytes, content_type: str) -> None:
|
|
await self._call(self.client.put_object, self.bucket, key, io.BytesIO(data), len(data),
|
|
content_type=content_type)
|
|
|
|
async def get(self, key: str) -> bytes:
|
|
def read() -> bytes:
|
|
response = self.client.get_object(self.bucket, key)
|
|
try:
|
|
return response.read()
|
|
finally:
|
|
response.close()
|
|
response.release_conn()
|
|
try:
|
|
return await self._call(read)
|
|
except ObjectMissing:
|
|
log.error('object %s is missing in bucket %s', key, self.bucket)
|
|
raise ApiError(500, 'internal_error', 'Внутренняя ошибка сервера') from None
|
|
|
|
async def delete(self, key: str) -> None:
|
|
await self._call(self.client.remove_object, self.bucket, key)
|
|
|
|
async def delete_quietly(self, key: str) -> None:
|
|
"""Компенсация после неудачной записи метаданных. Сбой здесь не меняет ответ клиенту."""
|
|
try:
|
|
await asyncio.shield(self.delete(key))
|
|
except Exception:
|
|
log.error('compensation failed: orphan object %s left in bucket', key)
|
|
|
|
# ---------- lab5: операции worker ----------
|
|
|
|
async def get_raw(self, key: str) -> bytes:
|
|
"""Как get(), но отсутствие объекта — ObjectMissing (worker решает сам: это постоянная ошибка)."""
|
|
def read() -> bytes:
|
|
response = self.client.get_object(self.bucket, key)
|
|
try:
|
|
return response.read()
|
|
finally:
|
|
response.close()
|
|
response.release_conn()
|
|
return await self._call(read)
|
|
|
|
async def copy(self, source_key: str, target_key: str) -> None:
|
|
"""Server-side copy внутри bucket: байты оригинала не гоняются через worker повторно."""
|
|
from minio.commonconfig import CopySource
|
|
await self._call(self.client.copy_object, self.bucket, target_key, CopySource(self.bucket, source_key))
|
|
|
|
async def exists(self, key: str) -> bool:
|
|
try:
|
|
await self._call(self.client.stat_object, self.bucket, key)
|
|
return True
|
|
except ObjectMissing:
|
|
return False
|
|
|
|
async def list_older(self, prefix: str, older_than_seconds: int) -> list[str]:
|
|
"""Ключи под prefix старше заданного возраста (для retention staging)."""
|
|
import datetime as dt
|
|
|
|
def scan() -> list[str]:
|
|
border = dt.datetime.now(dt.timezone.utc) - dt.timedelta(seconds=older_than_seconds)
|
|
return [o.object_name for o in self.client.list_objects(self.bucket, prefix=prefix, recursive=True)
|
|
if o.last_modified is not None and o.last_modified < border]
|
|
return await self._call(scan)
|