forked from mtusi2026/mtusi2026lab5
107 lines
4.8 KiB
Python
107 lines
4.8 KiB
Python
"""
|
||
Приём тела загрузки (lab4): потоково, с лимитами, без накопления файла в RAM.
|
||
|
||
- Content-Length больше лимита → 413 сразу, тело не читается.
|
||
- Тело читается кусками (как пришли из сокета) и одновременно:
|
||
считается SHA-256 и MD5, растёт счётчик байт. Как только байт больше лимита —
|
||
413, чтение прекращается (работает и для chunked без Content-Length).
|
||
- Байты копятся в SpooledTemporaryFile: первые UPLOAD_SPOOL_MEMORY_BYTES в памяти,
|
||
дальше — во временном файле. Это буфер одного запроса, а не хранилище:
|
||
файл удаляется при закрытии (в finally), оригинал живёт только в S3.
|
||
- Общий таймаут на всё тело: «медленный» клиент не держит слот вечно.
|
||
"""
|
||
from __future__ import annotations
|
||
|
||
import asyncio
|
||
import base64
|
||
import hashlib
|
||
import tempfile
|
||
import unicodedata
|
||
from dataclasses import dataclass
|
||
from typing import BinaryIO
|
||
|
||
from starlette.requests import ClientDisconnect, Request
|
||
|
||
ALLOWED_TYPES = ("image/png", "image/jpeg")
|
||
# Управляющие символы направления текста: «photognp.exe» выглядит как «photoexe.png».
|
||
_BIDI_CONTROLS = set("")
|
||
|
||
|
||
class UploadError(Exception):
|
||
def __init__(self, status: int, code: str, message: str):
|
||
self.status, self.code, self.message = status, code, message
|
||
|
||
|
||
def validate_filename(name: str | None) -> str:
|
||
"""filename — только отображаемое имя. Отклоняем всё, что похоже на путь
|
||
или прячет настоящий вид имени. Никаких «исправлений»: либо как есть, либо 400."""
|
||
if name is None or not (1 <= len(name) <= 255) or not name.strip():
|
||
raise UploadError(400, "invalid_request", "filename must be 1..255 characters")
|
||
if name in (".", ".."):
|
||
raise UploadError(400, "invalid_request", "filename is not allowed")
|
||
for ch in name:
|
||
if ch in "/\\" or ch == "\x00" or ch in _BIDI_CONTROLS \
|
||
or unicodedata.category(ch) in ("Cc", "Cs"):
|
||
raise UploadError(400, "invalid_request", "filename contains forbidden characters")
|
||
return name
|
||
|
||
|
||
def declared_type(request: Request) -> str:
|
||
media = request.headers.get("content-type", "").split(";", 1)[0].strip().lower()
|
||
if media not in ALLOWED_TYPES:
|
||
raise UploadError(415, "unsupported_media_type", "Content-Type must be image/png or image/jpeg")
|
||
return media
|
||
|
||
|
||
def check_declared_length(request: Request, limit: int) -> int | None:
|
||
raw = request.headers.get("content-length")
|
||
if raw is None:
|
||
return None
|
||
if not raw.isdigit():
|
||
raise UploadError(400, "invalid_request", "bad Content-Length")
|
||
length = int(raw)
|
||
if length > limit:
|
||
# Отказ до чтения тела: ни байта сверх заголовков не принимаем.
|
||
raise UploadError(413, "payload_too_large", f"file is larger than {limit} bytes")
|
||
return length
|
||
|
||
|
||
@dataclass
|
||
class Received:
|
||
file: BinaryIO
|
||
size: int
|
||
sha256_hex: str
|
||
md5_b64: str
|
||
|
||
|
||
async def receive(request: Request, limit: int, timeout: float, spool_memory: int) -> Received:
|
||
spool = tempfile.SpooledTemporaryFile(max_size=spool_memory, prefix="upload-")
|
||
sha, md5 = hashlib.sha256(), hashlib.md5(usedforsecurity=False)
|
||
size = 0
|
||
try:
|
||
async with asyncio.timeout(timeout):
|
||
async for chunk in request.stream():
|
||
if not chunk:
|
||
continue
|
||
size += len(chunk)
|
||
if size > limit:
|
||
raise UploadError(413, "payload_too_large", f"file is larger than {limit} bytes")
|
||
sha.update(chunk)
|
||
md5.update(chunk)
|
||
spool.write(chunk)
|
||
except TimeoutError:
|
||
spool.close()
|
||
raise UploadError(400, "invalid_request", "request body was not received in time") from None
|
||
except ClientDisconnect:
|
||
# Прерванная загрузка: в S3 ничего не записано, буфер удаляется здесь.
|
||
spool.close()
|
||
raise UploadError(400, "invalid_request", "upload was interrupted") from None
|
||
except BaseException:
|
||
spool.close()
|
||
raise
|
||
if size == 0:
|
||
spool.close()
|
||
raise UploadError(400, "invalid_request", "request body is empty")
|
||
spool.seek(0)
|
||
return Received(spool, size, sha.hexdigest(), base64.b64encode(md5.digest()).decode())
|