ЛР 5 — БПИ2303 — Лазарев — на 4

Асинхронная обработка вложений: RabbitMQ 4.1 (quorum-очереди, publisher
confirms, manual ack, DLQ), transactional outbox, отдельный worker.

- upload: оригинал в staging S3, затем одной транзакцией queued + jobs +
  outbox -> 202; API к брокеру не подключается
- relay: публикация outbox с confirm, reaper истёкших аренд, redrive
- worker: claim по строке jobs, аренда с heartbeat и fencing по
  lease_token, transform в подпроцессе с RLIMIT_AS/RLIMIT_CPU/таймаутом,
  thumbnail 256, crop 128, WebP 1280 по детерминированным ключам
- retry с backoff и jitter, постоянные/временные ошибки, реестр failed,
  ops replay (ready не повторяется), DLQ для невалидных сообщений
- janitor: очистка staging и сирот; миграция 004 с backfill вложений lab4
- тесты отказов: окна COMMIT/publish, крахи worker до/после S3 и ack,
  заморозка worker, всплеск загрузок, права брокера; evidence/ и REPORT.md
This commit is contained in:
2026-11-13 16:28:18 +03:00
parent 276dbdad8a
commit 13bec4ab8b
86 changed files with 10257 additions and 25 deletions
+182
View File
@@ -0,0 +1,182 @@
"""Доступ к S3-совместимому хранилищу (SeaweedFS) через клиент minio-py.
API работает с bucket под ОТДЕЛЬНЫМИ credentials с правами только Read+Write на этот
bucket (без List, без создания/удаления bucket, без политик и IAM) — см.
scripts/init-secrets.sh и REPORT.md. Публичных URL/redirect нет: байты всегда идут
через авторизованный API.
"""
import logging
import os
import threading
import time
from urllib.parse import urlsplit
import urllib3
from minio import Minio
from minio.error import S3Error
log = logging.getLogger("messenger.s3")
# minio-py для объектов больше part_size делает multipart и держит в памяти
# один part. 5 MiB — минимум S3: файл 10 MiB -> 2 части по 5 MiB.
PART_SIZE = 5 * 1024 * 1024
STREAM_CHUNK = 64 * 1024
# Служебные объекты S3Health: health/<реплика> (вне prefix originals/, janitor их не трогает).
HEALTH_PREFIX = "health/"
class StorageUnavailable(Exception):
"""S3 недоступен/таймаут/ошибка сервера -> 503."""
class ObjectMissing(Exception):
"""Метаданные есть, объекта нет (рассогласование) -> 503 + лог."""
def _secret(name):
path = os.environ.get(name + "_FILE")
if path:
with open(path, encoding="utf-8") as f:
return f.read().strip()
return os.environ.get(name, "")
def make_client(access_env="S3_ACCESS_KEY_ID", secret_env="S3_SECRET_ACCESS_KEY",
connect_timeout=None, read_timeout=None):
endpoint = urlsplit(os.environ.get("S3_ENDPOINT", "http://s3:8333"))
connect_timeout = connect_timeout or float(os.environ.get("S3_CONNECT_TIMEOUT_SECONDS", "2"))
read_timeout = read_timeout or float(os.environ.get("S3_READ_TIMEOUT_SECONDS", "5"))
# Короткие таймауты и без собственных повторов: зависший S3 не держит поток
# дольше таймаута LB, повтор решает клиент (для upload — новым запросом).
http = urllib3.PoolManager(
timeout=urllib3.Timeout(connect=connect_timeout, read=read_timeout),
retries=urllib3.Retry(total=0, connect=0, read=0, redirect=0, status=0),
maxsize=int(os.environ.get("S3_POOL_SIZE", "16")),
block=False)
return Minio(endpoint.netloc, access_key=_secret(access_env), secret_key=_secret(secret_env),
secure=endpoint.scheme == "https", region=os.environ.get("S3_REGION", "us-east-1"),
http_client=http)
def _is_transport_error(exc):
return isinstance(exc, (urllib3.exceptions.HTTPError, OSError))
class ObjectStore:
def __init__(self, client, bucket):
self.client = client
self.bucket = bucket
def put(self, key, fileobj, length, content_type):
try:
self.client.put_object(self.bucket, key, fileobj, length, content_type=content_type,
part_size=PART_SIZE)
except S3Error as exc:
log.warning("s3 put failed: %s", exc.code)
raise StorageUnavailable()
except Exception as exc:
if _is_transport_error(exc):
log.warning("s3 put failed: %s", type(exc).__name__)
raise StorageUnavailable()
raise
def open(self, key):
"""Поток объекта (urllib3 response). Закрывать: resp.close(); resp.release_conn()."""
try:
return self.client.get_object(self.bucket, key)
except S3Error as exc:
if exc.code in ("NoSuchKey", "NoSuchObject"):
raise ObjectMissing()
log.warning("s3 get failed: %s", exc.code)
raise StorageUnavailable()
except Exception as exc:
if _is_transport_error(exc):
log.warning("s3 get failed: %s", type(exc).__name__)
raise StorageUnavailable()
raise
def delete(self, key):
"""Идемпотентно: отсутствие объекта — не ошибка (S3 DELETE так и работает)."""
try:
self.client.remove_object(self.bucket, key)
except S3Error as exc:
if exc.code in ("NoSuchKey", "NoSuchObject"):
return
raise StorageUnavailable()
except Exception as exc:
if _is_transport_error(exc):
raise StorageUnavailable()
raise
def ping(self, probe_key):
"""PUT + GET маленького служебного объекта health/<реплика>: проверяет S3,
credentials и РЕАЛЬНЫЕ пути записи и чтения. HEAD bucket/healthz для этого мало:
у SeaweedFS после рестарта они успешны, а первая запись ещё ~5 с висит
(выбор raft-лидера master, выдача volume под запись)."""
import io
self.client.put_object(self.bucket, probe_key, io.BytesIO(b"ok"), 2, content_type="text/plain")
resp = self.client.get_object(self.bucket, probe_key)
try:
if resp.read() != b"ok":
raise RuntimeError("probe mismatch")
finally:
resp.close()
resp.release_conn()
return True
class S3Health:
"""Фоновая проверка S3, как DbHealth для PostgreSQL.
S3 НЕ входит в /health/ready: он общий для всех реплик, и его отказ не лечится
исключением реплики из LB, а текстовые сообщения без него работают. Флаг нужен,
чтобы upload при известном отказе S3 сразу получал 503, не принимая 10 MiB."""
def __init__(self, store, interval, stale_after, instance_id):
self.store = store
self.probe_key = HEALTH_PREFIX + instance_id
self.interval = interval
self.stale_after = stale_after
self.last_ok = None
self._stop = threading.Event()
self._ok_event = threading.Event() # выставлен, пока последняя проверка успешна
def start(self):
threading.Thread(target=self._loop, name="s3-health", daemon=True).start()
def stop(self):
self._stop.set()
def ok(self):
last = self.last_ok
return last is not None and time.monotonic() - last <= self.stale_after
def wait_startup(self, timeout):
"""Только на старте реплики (успешной проверки ещё не было): подождать до timeout,
пока S3 станет доступен для записи. При подтверждённом отказе — не ждать."""
if self.last_ok is None:
self._ok_event.wait(timeout)
return self.ok()
def known_down(self):
"""S3 был доступен и перестал отвечать. На старте реплики (успешной проверки ещё
не было) — False: чтение может работать раньше, чем прогреется запись."""
last = self.last_ok
return last is not None and time.monotonic() - last > self.stale_after
def _loop(self):
healthy = None
while not self._stop.is_set():
try:
self.store.ping(self.probe_key)
self.last_ok = time.monotonic()
self._ok_event.set()
if healthy is not True:
log.info("s3 health: ok")
healthy = True
except Exception as exc:
self._ok_event.clear()
if healthy is not False:
log.warning("s3 health: failing (%s)", type(exc).__name__)
healthy = False
self._stop.wait(self.interval)