Files
mtusi2026lab5/app/storage.py
T
RainakandClaude Opus 5.5 0a221b0675 ЛР5 БВТ2304 Запорожец на 5
RabbitMQ (quorum queue, publisher confirms, manual ack, DLX) + отдельный worker:
staging в S3 + вложение/job/outbox одной транзакцией -> 202 queued; relay outbox,
lease с heartbeat и fencing (worker_id, attempt), retry с backoff+jitter, failed-реестр,
безопасный replay с audit; thumbnail/crop/WebP в изолированном процессе с лимитами.
Тесты окон отказа (fault injection), трек 1 «Очередь под перегрузкой» с backpressure.
Перенесено исправление замечания lab3 PR #99 (U+0000 в тексте).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-17 18:33:52 +03:00

121 lines
6.0 KiB
Python

"""Приватное S3-хранилище оригиналов вложений (MinIO, S3 API).
Клиент minio-py синхронный, поэтому вызовы уходят в пул потоков (asyncio.to_thread) и не блокируют
event loop. Таймауты и число повторов ограничены: недоступный S3 даёт 503 за секунды, а не зависание.
Ключи объектов назначает сервер; bucket приватный, байты отдаёт только API после проверки доступа.
"""
import asyncio
import io
import logging
from urllib.parse import urlparse
import urllib3
from minio import Minio
from minio.error import MinioException, S3Error
from .config import Settings
from .errors import ApiError, unavailable
log = logging.getLogger('messenger.storage')
class ObjectMissing(Exception):
"""Метаданные в БД есть, а объекта в bucket нет (рассогласование хранилищ)."""
class Storage:
def __init__(self, settings: Settings):
endpoint = urlparse(settings.s3_endpoint)
self.bucket = settings.s3_bucket
# Без повторов на уровне HTTP-клиента: повтор удваивал бы время отказа. Общий дедлайн операции —
# в _call: getaddrinfo (DNS остановленного контейнера ~8 с) таймаутами urllib3 не ограничен.
self.deadline = settings.s3_timeout
http = urllib3.PoolManager(
timeout=urllib3.Timeout(connect=2, read=settings.s3_timeout),
retries=urllib3.Retry(total=0, redirect=0),
maxsize=16,
)
self.client = Minio(endpoint.netloc, access_key=settings.s3_access_key,
secret_key=settings.s3_secret_key, secure=endpoint.scheme == 'https',
region=settings.s3_region, http_client=http)
async def _call(self, fn, *args, **kwargs):
try:
return await asyncio.wait_for(asyncio.to_thread(fn, *args, **kwargs), self.deadline)
except asyncio.TimeoutError:
# Поток дорабатывает в фоне (его нельзя прервать), но клиент получает 503 в пределах дедлайна.
log.warning('S3 deadline %.1fs exceeded on %s', self.deadline, fn.__name__)
raise unavailable() from None
except S3Error as exc:
if exc.code in ('NoSuchKey', 'NoSuchObject'):
raise ObjectMissing() from None
log.warning('S3 error %s on %s', exc.code, fn.__name__)
raise unavailable() from None
except (MinioException, urllib3.exceptions.HTTPError, OSError, ValueError):
# Нет связи, таймаут, 5xx после повтора — для клиента это временная недоступность.
log.warning('S3 unavailable on %s', fn.__name__, exc_info=True)
raise unavailable() from None
async def put(self, key: str, data: bytes, content_type: str) -> None:
await self._call(self.client.put_object, self.bucket, key, io.BytesIO(data), len(data),
content_type=content_type)
async def get(self, key: str) -> bytes:
def read() -> bytes:
response = self.client.get_object(self.bucket, key)
try:
return response.read()
finally:
response.close()
response.release_conn()
try:
return await self._call(read)
except ObjectMissing:
log.error('object %s is missing in bucket %s', key, self.bucket)
raise ApiError(500, 'internal_error', 'Внутренняя ошибка сервера') from None
async def delete(self, key: str) -> None:
await self._call(self.client.remove_object, self.bucket, key)
async def delete_quietly(self, key: str) -> None:
"""Компенсация после неудачной записи метаданных. Сбой здесь не меняет ответ клиенту."""
try:
await asyncio.shield(self.delete(key))
except Exception:
log.error('compensation failed: orphan object %s left in bucket', key)
# ---------- lab5: операции worker ----------
async def get_raw(self, key: str) -> bytes:
"""Как get(), но отсутствие объекта — ObjectMissing (worker решает сам: это постоянная ошибка)."""
def read() -> bytes:
response = self.client.get_object(self.bucket, key)
try:
return response.read()
finally:
response.close()
response.release_conn()
return await self._call(read)
async def copy(self, source_key: str, target_key: str) -> None:
"""Server-side copy внутри bucket: байты оригинала не гоняются через worker повторно."""
from minio.commonconfig import CopySource
await self._call(self.client.copy_object, self.bucket, target_key, CopySource(self.bucket, source_key))
async def exists(self, key: str) -> bool:
try:
await self._call(self.client.stat_object, self.bucket, key)
return True
except ObjectMissing:
return False
async def list_older(self, prefix: str, older_than_seconds: int) -> list[str]:
"""Ключи под prefix старше заданного возраста (для retention staging)."""
import datetime as dt
def scan() -> list[str]:
border = dt.datetime.now(dt.timezone.utc) - dt.timedelta(seconds=older_than_seconds)
return [o.object_name for o in self.client.list_objects(self.bucket, prefix=prefix, recursive=True)
if o.last_modified is not None and o.last_modified < border]
return await self._call(scan)