Files
mtusi2026lab4/src/messenger/objects.py
T
2026-10-22 17:27:32 +03:00

165 lines
7.9 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Объектное хранилище S3 (SeaweedFS): байты вложений (с lab4).
Источник истины для СОДЕРЖИМОГО файла — приватный bucket, для МЕТАДАННЫХ — PostgreSQL.
Ни одна реплика API не хранит оригинал у себя: любая реплика скачивает его из общего S3,
поэтому файл доступен и после остановки реплики, которая его приняла.
API ходит в S3 под отдельным пользователем с минимальными правами (secrets/s3_config.json):
читать, писать, удалять и перечислять объекты только своего bucket (действия Read/Write/List
с именем bucket). Создавать и удалять bucket, менять его политику он не может.
Ключ объекта назначает сервер (случайный UUID), имя файла от клиента в ключ не попадает.
Любая сетевая ошибка или таймаут S3 превращается в Unavailable (503), а не в 500.
"""
import concurrent.futures
import logging
import threading
import uuid
from datetime import datetime
import boto3
from botocore.config import Config
from botocore.exceptions import BotoCoreError, ClientError
from . import config
from .errors import Unavailable
log = logging.getLogger("messenger.objects")
PREFIX = "originals/" # все оригиналы лежат под этим префиксом
CHUNK_BYTES = 64 * 1024 # скачивание отдаётся клиенту кусками, файл целиком в память не читается
_client = None
_client_lock = threading.Lock()
# Каждая операция S3 выполняется в отдельном пуле потоков с общим пределом времени
# S3_OPERATION_TIMEOUT_SECONDS. Таймауты boto3 (connect/read) не покрывают поиск имени в DNS:
# когда контейнер s3 остановлен, разрешение имени "s3" внутри Docker может висеть 10+ с.
# Предел гарантирует быстрый 503, даже если зависший поток ещё ждёт ответа DNS.
_pool = concurrent.futures.ThreadPoolExecutor(max_workers=16, thread_name_prefix="s3")
def _bounded(action: str, fn, timeout: float | None = None):
future = _pool.submit(fn)
try:
return future.result(timeout=timeout or config.S3_OPERATION_TIMEOUT_SECONDS)
except concurrent.futures.TimeoutError:
log.warning("S3 %s: нет ответа за %s с", action, timeout or config.S3_OPERATION_TIMEOUT_SECONDS)
raise Unavailable("Хранилище файлов временно недоступно") from None
class MissingObject(Exception):
"""Строка в БД есть, а объекта в S3 нет (нарушение согласованности, см. cleanup.py)."""
def new_key() -> str:
return PREFIX + uuid.uuid4().hex
def client():
"""Один клиент на процесс (клиенты boto3 потокобезопасны), создаётся при первом обращении."""
global _client
with _client_lock:
if _client is None:
_client = boto3.session.Session().client(
"s3",
endpoint_url=config.S3_ENDPOINT,
region_name=config.S3_REGION,
aws_access_key_id=config.S3_ACCESS_KEY_ID,
aws_secret_access_key=config.S3_SECRET_ACCESS_KEY,
config=Config(
signature_version="s3v4",
s3={"addressing_style": "path"}, # http://s3:9000/<bucket>/<key>
connect_timeout=config.S3_CONNECT_TIMEOUT_SECONDS,
read_timeout=config.S3_READ_TIMEOUT_SECONDS,
retries={"max_attempts": config.S3_MAX_ATTEMPTS, "mode": "standard"},
max_pool_connections=20,
# Без дополнительных CRC-заголовков новых версий boto3: целостность проверяем
# своим SHA-256 (он же в метаданных объекта), а сервер S3 не обязан их понимать.
request_checksum_calculation="when_required",
response_checksum_validation="when_required",
),
)
return _client
def _unavailable(action: str, exc: Exception) -> Unavailable:
# В лог — только тип ошибки и код S3: без ключей доступа и адресов с паролями.
code = exc.response.get("Error", {}).get("Code", "") if isinstance(exc, ClientError) else ""
log.warning("S3 %s не удалось: %s %s", action, type(exc).__name__, code)
return Unavailable("Хранилище файлов временно недоступно")
def _is_missing(exc: ClientError) -> bool:
return exc.response.get("Error", {}).get("Code") in ("NoSuchKey", "404", "NotFound")
def put(key: str, fileobj, size: int, content_type: str, sha256: str) -> None:
"""Записать оригинал. Тело читается из файла кусками (boto3 не держит его целиком в памяти)."""
fileobj.seek(0)
_bounded("PUT", lambda: _put(key, fileobj, size, content_type, sha256))
def _put(key, fileobj, size, content_type, sha256):
try:
client().put_object(Bucket=config.S3_BUCKET, Key=key, Body=fileobj, ContentLength=size,
ContentType=content_type, Metadata={"sha256": sha256})
except (BotoCoreError, ClientError) as exc:
raise _unavailable("PUT", exc) from None
def open_stream(key: str):
"""Открыть объект на чтение: StreamingBody, из которого читаем кусками по CHUNK_BYTES."""
return _bounded("GET", lambda: _open_stream(key))
def _open_stream(key: str):
try:
return client().get_object(Bucket=config.S3_BUCKET, Key=key)["Body"]
except ClientError as exc:
if _is_missing(exc):
raise MissingObject(key) from None
raise _unavailable("GET", exc) from None
except BotoCoreError as exc:
raise _unavailable("GET", exc) from None
def iter_chunks(body):
"""Генератор для StreamingResponse: отдаёт файл кусками и закрывает соединение с S3."""
try:
while True:
chunk = body.read(CHUNK_BYTES)
if not chunk:
return
yield chunk
finally:
body.close()
def delete(key: str) -> None:
"""Удалить объект. Идемпотентно: удаление уже удалённого ключа — не ошибка."""
_bounded("DELETE", lambda: _delete(key))
def _delete(key: str) -> None:
try:
client().delete_object(Bucket=config.S3_BUCKET, Key=key)
except (BotoCoreError, ClientError) as exc:
raise _unavailable("DELETE", exc) from None
def list_objects(prefix: str = PREFIX):
"""Все объекты под префиксом: [(ключ, время изменения)]. Нужен уборщику для сверки с БД."""
return _bounded("LIST", lambda: _list_objects(prefix), timeout=config.S3_OPERATION_TIMEOUT_SECONDS * 10)
def _list_objects(prefix: str):
result: list[tuple[str, datetime]] = []
try:
for page in client().get_paginator("list_objects_v2").paginate(Bucket=config.S3_BUCKET, Prefix=prefix):
result += [(item["Key"], item["LastModified"]) for item in page.get("Contents", [])]
except (BotoCoreError, ClientError) as exc:
raise _unavailable("LIST", exc) from None
return result