Files
mtusi2026lab5/app/uploads.py
T

107 lines
4.8 KiB
Python
Raw Blame History

This file contains invisible Unicode characters
This file contains invisible Unicode characters that are indistinguishable to humans but may be processed differently by a computer. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""
Приём тела загрузки (lab4): потоково, с лимитами, без накопления файла в RAM.
- Content-Length больше лимита → 413 сразу, тело не читается.
- Тело читается кусками (как пришли из сокета) и одновременно:
считается SHA-256 и MD5, растёт счётчик байт. Как только байт больше лимита —
413, чтение прекращается (работает и для chunked без Content-Length).
- Байты копятся в SpooledTemporaryFile: первые UPLOAD_SPOOL_MEMORY_BYTES в памяти,
дальше — во временном файле. Это буфер одного запроса, а не хранилище:
файл удаляется при закрытии (в finally), оригинал живёт только в S3.
- Общий таймаут на всё тело: «медленный» клиент не держит слот вечно.
"""
from __future__ import annotations
import asyncio
import base64
import hashlib
import tempfile
import unicodedata
from dataclasses import dataclass
from typing import BinaryIO
from starlette.requests import ClientDisconnect, Request
ALLOWED_TYPES = ("image/png", "image/jpeg")
# Управляющие символы направления текста: «photo‮gnp.exe» выглядит как «photoexe.png».
_BIDI_CONTROLS = set("‎‏‪‫‬‭‮⁦⁧⁨⁩")
class UploadError(Exception):
def __init__(self, status: int, code: str, message: str):
self.status, self.code, self.message = status, code, message
def validate_filename(name: str | None) -> str:
"""filename — только отображаемое имя. Отклоняем всё, что похоже на путь
или прячет настоящий вид имени. Никаких «исправлений»: либо как есть, либо 400."""
if name is None or not (1 <= len(name) <= 255) or not name.strip():
raise UploadError(400, "invalid_request", "filename must be 1..255 characters")
if name in (".", ".."):
raise UploadError(400, "invalid_request", "filename is not allowed")
for ch in name:
if ch in "/\\" or ch == "\x00" or ch in _BIDI_CONTROLS \
or unicodedata.category(ch) in ("Cc", "Cs"):
raise UploadError(400, "invalid_request", "filename contains forbidden characters")
return name
def declared_type(request: Request) -> str:
media = request.headers.get("content-type", "").split(";", 1)[0].strip().lower()
if media not in ALLOWED_TYPES:
raise UploadError(415, "unsupported_media_type", "Content-Type must be image/png or image/jpeg")
return media
def check_declared_length(request: Request, limit: int) -> int | None:
raw = request.headers.get("content-length")
if raw is None:
return None
if not raw.isdigit():
raise UploadError(400, "invalid_request", "bad Content-Length")
length = int(raw)
if length > limit:
# Отказ до чтения тела: ни байта сверх заголовков не принимаем.
raise UploadError(413, "payload_too_large", f"file is larger than {limit} bytes")
return length
@dataclass
class Received:
file: BinaryIO
size: int
sha256_hex: str
md5_b64: str
async def receive(request: Request, limit: int, timeout: float, spool_memory: int) -> Received:
spool = tempfile.SpooledTemporaryFile(max_size=spool_memory, prefix="upload-")
sha, md5 = hashlib.sha256(), hashlib.md5(usedforsecurity=False)
size = 0
try:
async with asyncio.timeout(timeout):
async for chunk in request.stream():
if not chunk:
continue
size += len(chunk)
if size > limit:
raise UploadError(413, "payload_too_large", f"file is larger than {limit} bytes")
sha.update(chunk)
md5.update(chunk)
spool.write(chunk)
except TimeoutError:
spool.close()
raise UploadError(400, "invalid_request", "request body was not received in time") from None
except ClientDisconnect:
# Прерванная загрузка: в S3 ничего не записано, буфер удаляется здесь.
spool.close()
raise UploadError(400, "invalid_request", "upload was interrupted") from None
except BaseException:
spool.close()
raise
if size == 0:
spool.close()
raise UploadError(400, "invalid_request", "request body is empty")
spool.seek(0)
return Received(spool, size, sha.hexdigest(), base64.b64encode(md5.digest()).decode())