"""Доступ к S3-совместимому хранилищу (SeaweedFS) через клиент minio-py. API работает с bucket под ОТДЕЛЬНЫМИ credentials с правами только Read+Write на этот bucket (без List, без создания/удаления bucket, без политик и IAM) — см. scripts/init-secrets.sh и REPORT.md. Публичных URL/redirect нет: байты всегда идут через авторизованный API. """ import logging import os import threading import time from urllib.parse import urlsplit import urllib3 from minio import Minio from minio.error import S3Error log = logging.getLogger("messenger.s3") # minio-py для объектов больше part_size делает multipart и держит в памяти # один part. 5 MiB — минимум S3: файл 10 MiB -> 2 части по 5 MiB. PART_SIZE = 5 * 1024 * 1024 STREAM_CHUNK = 64 * 1024 # Служебные объекты S3Health: health/<реплика> (вне prefix originals/, janitor их не трогает). HEALTH_PREFIX = "health/" class StorageUnavailable(Exception): """S3 недоступен/таймаут/ошибка сервера -> 503.""" class ObjectMissing(Exception): """Метаданные есть, объекта нет (рассогласование) -> 503 + лог.""" def _secret(name): path = os.environ.get(name + "_FILE") if path: with open(path, encoding="utf-8") as f: return f.read().strip() return os.environ.get(name, "") def make_client(access_env="S3_ACCESS_KEY_ID", secret_env="S3_SECRET_ACCESS_KEY", connect_timeout=None, read_timeout=None): endpoint = urlsplit(os.environ.get("S3_ENDPOINT", "http://s3:8333")) connect_timeout = connect_timeout or float(os.environ.get("S3_CONNECT_TIMEOUT_SECONDS", "2")) read_timeout = read_timeout or float(os.environ.get("S3_READ_TIMEOUT_SECONDS", "5")) # Короткие таймауты и без собственных повторов: зависший S3 не держит поток # дольше таймаута LB, повтор решает клиент (для upload — новым запросом). http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=connect_timeout, read=read_timeout), retries=urllib3.Retry(total=0, connect=0, read=0, redirect=0, status=0), maxsize=int(os.environ.get("S3_POOL_SIZE", "16")), block=False) return Minio(endpoint.netloc, access_key=_secret(access_env), secret_key=_secret(secret_env), secure=endpoint.scheme == "https", region=os.environ.get("S3_REGION", "us-east-1"), http_client=http) def _is_transport_error(exc): return isinstance(exc, (urllib3.exceptions.HTTPError, OSError)) class ObjectStore: def __init__(self, client, bucket): self.client = client self.bucket = bucket def put(self, key, fileobj, length, content_type): try: self.client.put_object(self.bucket, key, fileobj, length, content_type=content_type, part_size=PART_SIZE) except S3Error as exc: log.warning("s3 put failed: %s", exc.code) raise StorageUnavailable() except Exception as exc: if _is_transport_error(exc): log.warning("s3 put failed: %s", type(exc).__name__) raise StorageUnavailable() raise def open(self, key): """Поток объекта (urllib3 response). Закрывать: resp.close(); resp.release_conn().""" try: return self.client.get_object(self.bucket, key) except S3Error as exc: if exc.code in ("NoSuchKey", "NoSuchObject"): raise ObjectMissing() log.warning("s3 get failed: %s", exc.code) raise StorageUnavailable() except Exception as exc: if _is_transport_error(exc): log.warning("s3 get failed: %s", type(exc).__name__) raise StorageUnavailable() raise def delete(self, key): """Идемпотентно: отсутствие объекта — не ошибка (S3 DELETE так и работает).""" try: self.client.remove_object(self.bucket, key) except S3Error as exc: if exc.code in ("NoSuchKey", "NoSuchObject"): return raise StorageUnavailable() except Exception as exc: if _is_transport_error(exc): raise StorageUnavailable() raise def ping(self, probe_key): """PUT + GET маленького служебного объекта health/<реплика>: проверяет S3, credentials и РЕАЛЬНЫЕ пути записи и чтения. HEAD bucket/healthz для этого мало: у SeaweedFS после рестарта они успешны, а первая запись ещё ~5 с висит (выбор raft-лидера master, выдача volume под запись).""" import io self.client.put_object(self.bucket, probe_key, io.BytesIO(b"ok"), 2, content_type="text/plain") resp = self.client.get_object(self.bucket, probe_key) try: if resp.read() != b"ok": raise RuntimeError("probe mismatch") finally: resp.close() resp.release_conn() return True class S3Health: """Фоновая проверка S3, как DbHealth для PostgreSQL. S3 НЕ входит в /health/ready: он общий для всех реплик, и его отказ не лечится исключением реплики из LB, а текстовые сообщения без него работают. Флаг нужен, чтобы upload при известном отказе S3 сразу получал 503, не принимая 10 MiB.""" def __init__(self, store, interval, stale_after, instance_id): self.store = store self.probe_key = HEALTH_PREFIX + instance_id self.interval = interval self.stale_after = stale_after self.last_ok = None self._stop = threading.Event() self._ok_event = threading.Event() # выставлен, пока последняя проверка успешна def start(self): threading.Thread(target=self._loop, name="s3-health", daemon=True).start() def stop(self): self._stop.set() def ok(self): last = self.last_ok return last is not None and time.monotonic() - last <= self.stale_after def wait_startup(self, timeout): """Только на старте реплики (успешной проверки ещё не было): подождать до timeout, пока S3 станет доступен для записи. При подтверждённом отказе — не ждать.""" if self.last_ok is None: self._ok_event.wait(timeout) return self.ok() def known_down(self): """S3 был доступен и перестал отвечать. На старте реплики (успешной проверки ещё не было) — False: чтение может работать раньше, чем прогреется запись.""" last = self.last_ok return last is not None and time.monotonic() - last > self.stale_after def _loop(self): healthy = None while not self._stop.is_set(): try: self.store.ping(self.probe_key) self.last_ok = time.monotonic() self._ok_event.set() if healthy is not True: log.info("s3 health: ok") healthy = True except Exception as exc: self._ok_event.clear() if healthy is not False: log.warning("s3 health: failing (%s)", type(exc).__name__) healthy = False self._stop.wait(self.interval)