Вложения: приватный S3-bucket (RustFS 1.0.4) + метаданные в PostgreSQL, upload PNG/JPEG с лимитами до декодирования, авторизованный download, attachment_ids в сообщениях, идемпотентный bootstrap bucket, failover/persistence/S3-down тесты и REPORT.md. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
139 lines
6.1 KiB
Python
139 lines
6.1 KiB
Python
"""Строгий разбор JSON и параметров: лишние поля, неверные типы, malformed JSON -> 400."""
|
|
import base64
|
|
import json
|
|
import re
|
|
from datetime import datetime
|
|
from uuid import UUID
|
|
|
|
from fastapi import Request
|
|
|
|
from .errors import ApiError, invalid
|
|
|
|
MAX_BODY_BYTES = 64 * 1024
|
|
USERNAME_RE = re.compile(r'[a-z0-9_]{3,32}')
|
|
|
|
|
|
async def read_json(request: Request) -> dict:
|
|
media_type = request.headers.get('content-type', '').split(';')[0].strip().lower()
|
|
if media_type != 'application/json':
|
|
raise ApiError(415, 'unsupported_media_type', 'Ожидается Content-Type: application/json')
|
|
body = await request.body()
|
|
if len(body) > MAX_BODY_BYTES:
|
|
raise ApiError(413, 'payload_too_large', 'Слишком большое тело запроса')
|
|
try:
|
|
data = json.loads(body.decode('utf-8'))
|
|
except (UnicodeDecodeError, ValueError):
|
|
raise invalid('Некорректный JSON') from None
|
|
if not isinstance(data, dict):
|
|
raise invalid('Ожидается JSON-объект')
|
|
return data
|
|
|
|
|
|
def fields(data: dict, required: set[str], optional: set[str] = frozenset()) -> None:
|
|
extra = set(data) - required - optional
|
|
if extra:
|
|
raise invalid('Неизвестные поля: ' + ', '.join(sorted(extra)))
|
|
missing = required - set(data)
|
|
if missing:
|
|
raise invalid('Отсутствуют поля: ' + ', '.join(sorted(missing)))
|
|
|
|
|
|
def text_field(data: dict, name: str, min_len: int, max_len: int, *, allow_blank: bool = False) -> str:
|
|
value = data[name]
|
|
if not isinstance(value, str):
|
|
raise invalid(f'Поле {name} должно быть строкой')
|
|
try:
|
|
value.encode('utf-8') # отсекает одиночные суррогаты из \uD800-экранирования
|
|
except UnicodeEncodeError:
|
|
raise invalid(f'Поле {name} содержит некорректный Unicode') from None
|
|
if not min_len <= len(value) <= max_len: # len(str) в Python = число code points
|
|
raise invalid(f'Длина поля {name} должна быть {min_len}..{max_len} символов')
|
|
if not allow_blank and not value.strip():
|
|
raise invalid(f'Поле {name} не может состоять из пробелов')
|
|
return value
|
|
|
|
|
|
def username(data: dict) -> str:
|
|
value = data['username']
|
|
if not isinstance(value, str) or not USERNAME_RE.fullmatch(value):
|
|
raise invalid('username должен соответствовать [a-z0-9_]{3,32}')
|
|
return value
|
|
|
|
|
|
def uuid_value(value, what: str = 'идентификатор') -> UUID:
|
|
if not isinstance(value, str):
|
|
raise invalid(f'Некорректный {what}')
|
|
try:
|
|
parsed = UUID(value)
|
|
except ValueError:
|
|
raise invalid(f'Некорректный {what}') from None
|
|
if str(parsed) != value.lower(): # только каноническая форма 8-4-4-4-12
|
|
raise invalid(f'Некорректный {what}')
|
|
return parsed
|
|
|
|
|
|
def limit_param(request: Request) -> int:
|
|
raw = request.query_params.get('limit')
|
|
if raw is None:
|
|
return 50
|
|
if not re.fullmatch(r'[0-9]{1,3}', raw) or not 1 <= int(raw) <= 100:
|
|
raise invalid('limit должен быть целым 1..100')
|
|
return int(raw)
|
|
|
|
|
|
# Курсор: base64url(JSON {"s": область, "t": created_at, "i": id}). Для клиента это непрозрачная строка.
|
|
# Подделка курсора ничего не даёт: доступ к чату проверяется отдельно, а область привязывает
|
|
# курсор к конкретному чату/списку — курсор другого чата отклоняется с 400.
|
|
|
|
def encode_cursor(scope: str, created_at: datetime, item_id: UUID) -> str:
|
|
raw = json.dumps({'s': scope, 't': created_at.isoformat(), 'i': str(item_id)}, separators=(',', ':'))
|
|
return base64.urlsafe_b64encode(raw.encode()).decode().rstrip('=')
|
|
|
|
|
|
def decode_cursor(request: Request, scope: str) -> tuple[datetime, UUID] | None:
|
|
raw = request.query_params.get('cursor')
|
|
if raw is None:
|
|
return None
|
|
try:
|
|
if len(raw) > 512:
|
|
raise ValueError
|
|
data = json.loads(base64.urlsafe_b64decode(raw + '=' * (-len(raw) % 4)))
|
|
if not isinstance(data, dict) or set(data) != {'s', 't', 'i'} or data['s'] != scope:
|
|
raise ValueError
|
|
created_at = datetime.fromisoformat(data['t'])
|
|
if created_at.tzinfo is None:
|
|
raise ValueError
|
|
return created_at, UUID(data['i'])
|
|
except (ValueError, TypeError, UnicodeDecodeError):
|
|
raise invalid('Некорректный cursor') from None
|
|
|
|
|
|
# Имя файла — только для отображения: в ключ S3 и пути оно не попадает. Разделители путей,
|
|
# NUL и управляющие символы (C0, DEL, C1) отклоняются, чтобы имя нельзя было выдать за путь.
|
|
FILENAME_FORBIDDEN_RE = re.compile(r'[/\\\x00-\x1f\x7f-\x9f]')
|
|
|
|
|
|
def filename_param(request: Request) -> str:
|
|
values = request.query_params.getlist('filename')
|
|
if len(values) != 1:
|
|
raise invalid('Требуется ровно один параметр filename')
|
|
value = values[0]
|
|
try:
|
|
value.encode('utf-8')
|
|
except UnicodeEncodeError:
|
|
raise invalid('filename содержит некорректный Unicode') from None
|
|
if not 1 <= len(value) <= 255 or not value.strip() or value in ('.', '..') \
|
|
or FILENAME_FORBIDDEN_RE.search(value):
|
|
raise invalid('Недопустимое имя файла')
|
|
return value
|
|
|
|
|
|
def attachment_ids(data: dict) -> list[UUID]:
|
|
raw = data.get('attachment_ids', [])
|
|
if not isinstance(raw, list) or len(raw) > 10:
|
|
raise invalid('attachment_ids должен быть массивом из 0..10 UUID')
|
|
ids = [uuid_value(x, 'attachment_id') for x in raw]
|
|
if len(set(ids)) != len(ids):
|
|
raise invalid('attachment_ids содержит дубликаты')
|
|
return ids
|