""" Приём тела загрузки (lab4): потоково, с лимитами, без накопления файла в RAM. - Content-Length больше лимита → 413 сразу, тело не читается. - Тело читается кусками (как пришли из сокета) и одновременно: считается SHA-256 и MD5, растёт счётчик байт. Как только байт больше лимита — 413, чтение прекращается (работает и для chunked без Content-Length). - Байты копятся в SpooledTemporaryFile: первые UPLOAD_SPOOL_MEMORY_BYTES в памяти, дальше — во временном файле. Это буфер одного запроса, а не хранилище: файл удаляется при закрытии (в finally), оригинал живёт только в S3. - Общий таймаут на всё тело: «медленный» клиент не держит слот вечно. """ from __future__ import annotations import asyncio import base64 import hashlib import tempfile import unicodedata from dataclasses import dataclass from typing import BinaryIO from starlette.requests import ClientDisconnect, Request ALLOWED_TYPES = ("image/png", "image/jpeg") # Управляющие символы направления текста: «photo‮gnp.exe» выглядит как «photoexe.png». _BIDI_CONTROLS = set("‎‏‪‫‬‭‮⁦⁧⁨⁩") class UploadError(Exception): def __init__(self, status: int, code: str, message: str): self.status, self.code, self.message = status, code, message def validate_filename(name: str | None) -> str: """filename — только отображаемое имя. Отклоняем всё, что похоже на путь или прячет настоящий вид имени. Никаких «исправлений»: либо как есть, либо 400.""" if name is None or not (1 <= len(name) <= 255) or not name.strip(): raise UploadError(400, "invalid_request", "filename must be 1..255 characters") if name in (".", ".."): raise UploadError(400, "invalid_request", "filename is not allowed") for ch in name: if ch in "/\\" or ch == "\x00" or ch in _BIDI_CONTROLS \ or unicodedata.category(ch) in ("Cc", "Cs"): raise UploadError(400, "invalid_request", "filename contains forbidden characters") return name def declared_type(request: Request) -> str: media = request.headers.get("content-type", "").split(";", 1)[0].strip().lower() if media not in ALLOWED_TYPES: raise UploadError(415, "unsupported_media_type", "Content-Type must be image/png or image/jpeg") return media def check_declared_length(request: Request, limit: int) -> int | None: raw = request.headers.get("content-length") if raw is None: return None if not raw.isdigit(): raise UploadError(400, "invalid_request", "bad Content-Length") length = int(raw) if length > limit: # Отказ до чтения тела: ни байта сверх заголовков не принимаем. raise UploadError(413, "payload_too_large", f"file is larger than {limit} bytes") return length @dataclass class Received: file: BinaryIO size: int sha256_hex: str md5_b64: str async def receive(request: Request, limit: int, timeout: float, spool_memory: int) -> Received: spool = tempfile.SpooledTemporaryFile(max_size=spool_memory, prefix="upload-") sha, md5 = hashlib.sha256(), hashlib.md5(usedforsecurity=False) size = 0 try: async with asyncio.timeout(timeout): async for chunk in request.stream(): if not chunk: continue size += len(chunk) if size > limit: raise UploadError(413, "payload_too_large", f"file is larger than {limit} bytes") sha.update(chunk) md5.update(chunk) spool.write(chunk) except TimeoutError: spool.close() raise UploadError(400, "invalid_request", "request body was not received in time") from None except ClientDisconnect: # Прерванная загрузка: в S3 ничего не записано, буфер удаляется здесь. spool.close() raise UploadError(400, "invalid_request", "upload was interrupted") from None except BaseException: spool.close() raise if size == 0: spool.close() raise UploadError(400, "invalid_request", "request body is empty") spool.seek(0) return Received(spool, size, sha.hexdigest(), base64.b64encode(md5.digest()).decode())