165 lines
7.9 KiB
Python
165 lines
7.9 KiB
Python
"""Объектное хранилище S3 (SeaweedFS): байты вложений (с lab4).
|
||
|
||
Источник истины для СОДЕРЖИМОГО файла — приватный bucket, для МЕТАДАННЫХ — PostgreSQL.
|
||
Ни одна реплика API не хранит оригинал у себя: любая реплика скачивает его из общего S3,
|
||
поэтому файл доступен и после остановки реплики, которая его приняла.
|
||
|
||
API ходит в S3 под отдельным пользователем с минимальными правами (secrets/s3_config.json):
|
||
читать, писать, удалять и перечислять объекты только своего bucket (действия Read/Write/List
|
||
с именем bucket). Создавать и удалять bucket, менять его политику он не может.
|
||
Ключ объекта назначает сервер (случайный UUID), имя файла от клиента в ключ не попадает.
|
||
|
||
Любая сетевая ошибка или таймаут S3 превращается в Unavailable (503), а не в 500.
|
||
"""
|
||
import concurrent.futures
|
||
import logging
|
||
import threading
|
||
import uuid
|
||
from datetime import datetime
|
||
|
||
import boto3
|
||
from botocore.config import Config
|
||
from botocore.exceptions import BotoCoreError, ClientError
|
||
|
||
from . import config
|
||
from .errors import Unavailable
|
||
|
||
log = logging.getLogger("messenger.objects")
|
||
|
||
PREFIX = "originals/" # все оригиналы лежат под этим префиксом
|
||
CHUNK_BYTES = 64 * 1024 # скачивание отдаётся клиенту кусками, файл целиком в память не читается
|
||
|
||
_client = None
|
||
_client_lock = threading.Lock()
|
||
|
||
|
||
# Каждая операция S3 выполняется в отдельном пуле потоков с общим пределом времени
|
||
# S3_OPERATION_TIMEOUT_SECONDS. Таймауты boto3 (connect/read) не покрывают поиск имени в DNS:
|
||
# когда контейнер s3 остановлен, разрешение имени "s3" внутри Docker может висеть 10+ с.
|
||
# Предел гарантирует быстрый 503, даже если зависший поток ещё ждёт ответа DNS.
|
||
_pool = concurrent.futures.ThreadPoolExecutor(max_workers=16, thread_name_prefix="s3")
|
||
|
||
|
||
def _bounded(action: str, fn, timeout: float | None = None):
|
||
future = _pool.submit(fn)
|
||
try:
|
||
return future.result(timeout=timeout or config.S3_OPERATION_TIMEOUT_SECONDS)
|
||
except concurrent.futures.TimeoutError:
|
||
log.warning("S3 %s: нет ответа за %s с", action, timeout or config.S3_OPERATION_TIMEOUT_SECONDS)
|
||
raise Unavailable("Хранилище файлов временно недоступно") from None
|
||
|
||
|
||
class MissingObject(Exception):
|
||
"""Строка в БД есть, а объекта в S3 нет (нарушение согласованности, см. cleanup.py)."""
|
||
|
||
|
||
def new_key() -> str:
|
||
return PREFIX + uuid.uuid4().hex
|
||
|
||
|
||
def client():
|
||
"""Один клиент на процесс (клиенты boto3 потокобезопасны), создаётся при первом обращении."""
|
||
global _client
|
||
with _client_lock:
|
||
if _client is None:
|
||
_client = boto3.session.Session().client(
|
||
"s3",
|
||
endpoint_url=config.S3_ENDPOINT,
|
||
region_name=config.S3_REGION,
|
||
aws_access_key_id=config.S3_ACCESS_KEY_ID,
|
||
aws_secret_access_key=config.S3_SECRET_ACCESS_KEY,
|
||
config=Config(
|
||
signature_version="s3v4",
|
||
s3={"addressing_style": "path"}, # http://s3:9000/<bucket>/<key>
|
||
connect_timeout=config.S3_CONNECT_TIMEOUT_SECONDS,
|
||
read_timeout=config.S3_READ_TIMEOUT_SECONDS,
|
||
retries={"max_attempts": config.S3_MAX_ATTEMPTS, "mode": "standard"},
|
||
max_pool_connections=20,
|
||
# Без дополнительных CRC-заголовков новых версий boto3: целостность проверяем
|
||
# своим SHA-256 (он же в метаданных объекта), а сервер S3 не обязан их понимать.
|
||
request_checksum_calculation="when_required",
|
||
response_checksum_validation="when_required",
|
||
),
|
||
)
|
||
return _client
|
||
|
||
|
||
def _unavailable(action: str, exc: Exception) -> Unavailable:
|
||
# В лог — только тип ошибки и код S3: без ключей доступа и адресов с паролями.
|
||
code = exc.response.get("Error", {}).get("Code", "") if isinstance(exc, ClientError) else ""
|
||
log.warning("S3 %s не удалось: %s %s", action, type(exc).__name__, code)
|
||
return Unavailable("Хранилище файлов временно недоступно")
|
||
|
||
|
||
def _is_missing(exc: ClientError) -> bool:
|
||
return exc.response.get("Error", {}).get("Code") in ("NoSuchKey", "404", "NotFound")
|
||
|
||
|
||
def put(key: str, fileobj, size: int, content_type: str, sha256: str) -> None:
|
||
"""Записать оригинал. Тело читается из файла кусками (boto3 не держит его целиком в памяти)."""
|
||
fileobj.seek(0)
|
||
_bounded("PUT", lambda: _put(key, fileobj, size, content_type, sha256))
|
||
|
||
|
||
def _put(key, fileobj, size, content_type, sha256):
|
||
try:
|
||
client().put_object(Bucket=config.S3_BUCKET, Key=key, Body=fileobj, ContentLength=size,
|
||
ContentType=content_type, Metadata={"sha256": sha256})
|
||
except (BotoCoreError, ClientError) as exc:
|
||
raise _unavailable("PUT", exc) from None
|
||
|
||
|
||
def open_stream(key: str):
|
||
"""Открыть объект на чтение: StreamingBody, из которого читаем кусками по CHUNK_BYTES."""
|
||
return _bounded("GET", lambda: _open_stream(key))
|
||
|
||
|
||
def _open_stream(key: str):
|
||
try:
|
||
return client().get_object(Bucket=config.S3_BUCKET, Key=key)["Body"]
|
||
except ClientError as exc:
|
||
if _is_missing(exc):
|
||
raise MissingObject(key) from None
|
||
raise _unavailable("GET", exc) from None
|
||
except BotoCoreError as exc:
|
||
raise _unavailable("GET", exc) from None
|
||
|
||
|
||
def iter_chunks(body):
|
||
"""Генератор для StreamingResponse: отдаёт файл кусками и закрывает соединение с S3."""
|
||
try:
|
||
while True:
|
||
chunk = body.read(CHUNK_BYTES)
|
||
if not chunk:
|
||
return
|
||
yield chunk
|
||
finally:
|
||
body.close()
|
||
|
||
|
||
def delete(key: str) -> None:
|
||
"""Удалить объект. Идемпотентно: удаление уже удалённого ключа — не ошибка."""
|
||
_bounded("DELETE", lambda: _delete(key))
|
||
|
||
|
||
def _delete(key: str) -> None:
|
||
try:
|
||
client().delete_object(Bucket=config.S3_BUCKET, Key=key)
|
||
except (BotoCoreError, ClientError) as exc:
|
||
raise _unavailable("DELETE", exc) from None
|
||
|
||
|
||
def list_objects(prefix: str = PREFIX):
|
||
"""Все объекты под префиксом: [(ключ, время изменения)]. Нужен уборщику для сверки с БД."""
|
||
return _bounded("LIST", lambda: _list_objects(prefix), timeout=config.S3_OPERATION_TIMEOUT_SECONDS * 10)
|
||
|
||
|
||
def _list_objects(prefix: str):
|
||
result: list[tuple[str, datetime]] = []
|
||
try:
|
||
for page in client().get_paginator("list_objects_v2").paginate(Bucket=config.S3_BUCKET, Prefix=prefix):
|
||
result += [(item["Key"], item["LastModified"]) for item in page.get("Contents", [])]
|
||
except (BotoCoreError, ClientError) as exc:
|
||
raise _unavailable("LIST", exc) from None
|
||
return result
|