forked from mtusi2026/mtusi2026lab4
167 lines
7.2 KiB
Python
167 lines
7.2 KiB
Python
"""S3-клиент (MinIO) и потоковая валидация изображений.
|
||
|
||
Потоковая загрузка: читаем тело запроса чанками, считаем SHA-256 и размер,
|
||
не держим весь файл в памяти. MIME определяем по magic bytes, пиксели —
|
||
через Pillow с защитой от decompression bomb.
|
||
"""
|
||
import hashlib
|
||
import io
|
||
import logging
|
||
import uuid
|
||
from typing import BinaryIO
|
||
|
||
import boto3
|
||
from botocore.client import Config as BotoConfig
|
||
from botocore.exceptions import BotoCoreError, ClientError
|
||
from PIL import Image, UnidentifiedImageError
|
||
|
||
from .config import settings
|
||
from .errors import ApiError
|
||
|
||
logger = logging.getLogger("messenger.s3")
|
||
|
||
PNG_MAGIC = b"\x89PNG\r\n\x1a\n"
|
||
JPEG_MAGIC = b"\xff\xd8\xff"
|
||
|
||
# Жёсткий лимит Pillow: любая попытка декодировать больше пикселей
|
||
# бросает DecompressionBombError до выделения памяти под растр.
|
||
Image.MAX_IMAGE_PIXELS = settings.max_image_pixels
|
||
|
||
# Сколько байт достаточно, чтобы прочитать заголовок PNG/JPEG и размеры.
|
||
_HEADER_BYTES = 64 * 1024
|
||
|
||
|
||
def _client():
|
||
return boto3.client(
|
||
"s3",
|
||
endpoint_url=settings.s3_endpoint,
|
||
region_name=settings.s3_region,
|
||
aws_access_key_id=settings.s3_access_key_id,
|
||
aws_secret_access_key=settings.s3_secret_access_key,
|
||
use_ssl=settings.s3_use_ssl,
|
||
config=BotoConfig(signature_version="s3v4", s3={"addressing_style": "path"}),
|
||
)
|
||
|
||
|
||
def ensure_bucket() -> None:
|
||
"""Идемпотентно создаёт bucket, если его нет."""
|
||
client = _client()
|
||
try:
|
||
client.head_bucket(Bucket=settings.s3_bucket)
|
||
except ClientError as exc:
|
||
code = exc.response.get("Error", {}).get("Code", "")
|
||
if code in ("404", "NoSuchBucket", "NotFound"):
|
||
client.create_bucket(Bucket=settings.s3_bucket)
|
||
logger.info("created bucket %s", settings.s3_bucket)
|
||
else:
|
||
raise
|
||
|
||
|
||
def new_object_key(chat_id: str, attachment_id: str) -> str:
|
||
"""Случайный ключ; filename не используется как путь."""
|
||
return f"chats/{chat_id}/{attachment_id}/{uuid.uuid4().hex}"
|
||
|
||
|
||
def _detect_mime(head: bytes) -> str | None:
|
||
if head.startswith(PNG_MAGIC):
|
||
return "image/png"
|
||
if head.startswith(JPEG_MAGIC):
|
||
return "image/jpeg"
|
||
return None
|
||
|
||
|
||
def _validate_header(header: bytes, declared_mime: str) -> str:
|
||
"""Проверяет magic bytes и размеры по заголовку.
|
||
|
||
Полное декодирование не выполняется: Pillow читает только заголовок
|
||
(IHDR для PNG, SOF для JPEG), что не выделяет память под растр.
|
||
Возвращает фактический MIME. Бросает ApiError(415/413).
|
||
"""
|
||
actual = _detect_mime(header[:16])
|
||
if actual is None:
|
||
raise ApiError(415, "unsupported_media_type", "Поддерживаются только PNG и JPEG")
|
||
if actual != declared_mime:
|
||
raise ApiError(415, "unsupported_media_type", "Content-Type не совпадает с содержимым")
|
||
try:
|
||
with Image.open(io.BytesIO(header)) as img:
|
||
width, height = img.size
|
||
except Image.DecompressionBombError:
|
||
raise ApiError(413, "payload_too_large", "Слишком много пикселей")
|
||
except (UnidentifiedImageError, OSError):
|
||
raise ApiError(415, "unsupported_media_type", "Повреждённое изображение")
|
||
if width <= 0 or height <= 0:
|
||
raise ApiError(415, "unsupported_media_type", "Повреждённое изображение")
|
||
if width * height > settings.max_image_pixels:
|
||
raise ApiError(413, "payload_too_large", "Слишком много пикселей")
|
||
return actual
|
||
|
||
|
||
async def read_upload(stream, declared_mime: str) -> tuple[bytes, str, str]:
|
||
"""Читает async-поток Starlette с лимитом.
|
||
|
||
Возвращает (bytes, sha256, actual_mime). Файл ≤10 MiB, поэтому держим
|
||
его в памяти — это упрощает валидацию и не создаёт неограниченного
|
||
потребления RAM (лимит жёсткий). Валидация заголовка выполняется по
|
||
первым 64 KiB до полного чтения тела.
|
||
"""
|
||
limit = settings.max_upload_bytes
|
||
buf = bytearray()
|
||
hasher = hashlib.sha256()
|
||
async for chunk in stream:
|
||
if not chunk:
|
||
continue
|
||
buf.extend(chunk)
|
||
hasher.update(chunk)
|
||
# Лимит размера приоритетнее валидации содержимого: контракт
|
||
# требует 413 при превышении bytes, даже если заголовок битый.
|
||
if len(buf) > limit:
|
||
raise ApiError(413, "payload_too_large", "Файл больше 10 MiB")
|
||
if not buf:
|
||
raise ApiError(400, "invalid_request", "Пустое тело запроса")
|
||
# Валидация заголовка — только после того, как убедились, что лимит
|
||
# не превышен. Иначе битый заголовок в oversized-файле дал бы 415
|
||
# вместо 413, что нарушает приоритет кодов контракта.
|
||
actual = _validate_header(bytes(buf[:_HEADER_BYTES]), declared_mime)
|
||
return bytes(buf), hasher.hexdigest(), actual
|
||
|
||
|
||
def put_object(key: str, data: bytes, content_type: str) -> None:
|
||
client = _client()
|
||
try:
|
||
client.put_object(
|
||
Bucket=settings.s3_bucket,
|
||
Key=key,
|
||
Body=data,
|
||
ContentType=content_type,
|
||
)
|
||
except (BotoCoreError, ClientError) as exc:
|
||
logger.error("s3 put failed: %s", type(exc).__name__)
|
||
raise ApiError(503, "unavailable", "Хранилище недоступно")
|
||
|
||
|
||
def get_object(key: str) -> tuple[bytes, str]:
|
||
client = _client()
|
||
try:
|
||
resp = client.get_object(Bucket=settings.s3_bucket, Key=key)
|
||
body = resp["Body"].read()
|
||
ctype = resp.get("ContentType") or "application/octet-stream"
|
||
return body, ctype
|
||
except ClientError as exc:
|
||
code = exc.response.get("Error", {}).get("Code", "")
|
||
if code in ("NoSuchKey", "404", "NotFound"):
|
||
raise ApiError(404, "not_found", "Объект не найден")
|
||
logger.error("s3 get failed: %s", type(exc).__name__)
|
||
raise ApiError(503, "unavailable", "Хранилище недоступно")
|
||
except BotoCoreError as exc:
|
||
logger.error("s3 get failed: %s", type(exc).__name__)
|
||
raise ApiError(503, "unavailable", "Хранилище недоступно")
|
||
|
||
|
||
def delete_object(key: str) -> None:
|
||
"""Best-effort удаление для компенсации при сбое между S3 и БД."""
|
||
client = _client()
|
||
try:
|
||
client.delete_object(Bucket=settings.s3_bucket, Key=key)
|
||
except (BotoCoreError, ClientError) as exc:
|
||
logger.warning("s3 delete failed: %s", type(exc).__name__)
|