Files
mtusi2026lab5/app/broker.py
T

141 lines
6.1 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""
Брокер заданий (lab5): Redis Streams на ОТДЕЛЬНОМ экземпляре Redis с AOF.
Почему это durable-брокер, а не Pub/Sub:
- XADD записывает сообщение в stream; Redis запущен с `appendonly yes` и
`appendfsync always`: ответ на XADD отправляется только после fsync журнала AOF.
Ответ XADD (ID сообщения) — наш аналог publisher confirm: брокер принял и сохранил.
- Consumer group: XREADGROUP выдаёт сообщение одному worker и кладёт его в PEL
(pending entries list). Пока worker не сделал XACK, сообщение остаётся в PEL
и переживает рестарт брокера и смерть worker. XACK — consumer ack: worker
устойчиво зафиксировал результат. Это разные границы.
- Брошенные сообщения (worker умер до XACK) забирает другой worker через XAUTOCLAIM.
- `maxmemory-policy noeviction`: Redis никогда не вытеснит сообщения из памяти.
В сообщении только ID и служебные поля (contracts/jobs.schema.json):
ни байтов, ни URL, ни ключей bucket, ни credentials.
"""
from __future__ import annotations
import json
import uuid
from datetime import datetime, timezone
import redis
import redis.asyncio as aioredis
from .config import settings
JOB_TYPE = "attachment.process.v1"
SCHEMA_VERSION = 1
_REQUIRED = {"schema_version", "job_id", "type", "attachment_id", "pipeline_version",
"attempt", "created_at"}
_OPTIONAL = {"traceparent", "tracestate"}
class BrokerUnavailable(Exception):
pass
class BadMessage(ValueError):
"""Сообщение не соответствует jobs.schema.json — в DLQ, без обработки."""
def iso_z(ts: datetime) -> str:
return ts.astimezone(timezone.utc).isoformat(timespec="microseconds").replace("+00:00", "Z")
def make_payload(job_id, attachment_id, pipeline_version: int, attempt: int,
created_at: datetime) -> dict:
return {"schema_version": SCHEMA_VERSION, "job_id": str(job_id), "type": JOB_TYPE,
"attachment_id": str(attachment_id), "pipeline_version": int(pipeline_version),
"attempt": int(attempt), "created_at": iso_z(created_at)}
def parse(raw) -> dict:
"""Строгая проверка по jobs.schema.json (additionalProperties: false)."""
try:
data = json.loads(raw)
except (TypeError, ValueError) as exc:
raise BadMessage("not json") from exc
if not isinstance(data, dict):
raise BadMessage("not an object")
keys = set(data)
if not _REQUIRED <= keys or keys - _REQUIRED - _OPTIONAL:
raise BadMessage("unexpected fields")
if data["schema_version"] != SCHEMA_VERSION or data["type"] != JOB_TYPE:
raise BadMessage("unknown schema/type")
for k in ("job_id", "attachment_id"):
try:
uuid.UUID(str(data[k]))
except ValueError as exc:
raise BadMessage(f"bad {k}") from exc
for k in ("pipeline_version", "attempt"):
if not isinstance(data[k], int) or isinstance(data[k], bool) or data[k] < 1:
raise BadMessage(f"bad {k}")
if not isinstance(data["created_at"], str) or not data["created_at"].endswith("Z"):
raise BadMessage("bad created_at")
return data
def dumps(payload: dict) -> str:
return json.dumps(payload, separators=(",", ":"), sort_keys=True)
# ----------------------------------------------------------- sync (worker, CLI)
def sync_client(read_timeout: float | None = None) -> redis.Redis:
"""read_timeout у worker больше BLOCK в XREADGROUP (2 с), иначе блокирующее
чтение пустой очереди выглядело бы как обрыв связи."""
return redis.Redis.from_url(settings.broker_url,
socket_timeout=read_timeout or settings.broker_timeout,
socket_connect_timeout=settings.broker_timeout,
decode_responses=True)
def ensure_group(r: redis.Redis) -> None:
"""Группа создаётся с ID 0: сообщения, опубликованные ДО первого запуска worker,
тоже будут прочитаны (с '$' они бы потерялись)."""
try:
r.xgroup_create(settings.jobs_stream, settings.jobs_group, id="0", mkstream=True)
except redis.ResponseError as exc:
if "BUSYGROUP" not in str(exc):
raise
def publish_sync(r: redis.Redis, payload: dict) -> str:
"""Возвращает ID сообщения — подтверждение приёма брокером (после fsync AOF)."""
try:
return r.xadd(settings.jobs_stream, {"job": dumps(payload)})
except redis.RedisError as exc:
raise BrokerUnavailable(type(exc).__name__) from exc
def to_dlq(r: redis.Redis, raw: str, reason: str, source_id: str = "") -> None:
r.xadd(settings.dlq_stream, {"job": raw if isinstance(raw, str) else "", "reason": reason[:200],
"source_id": source_id, "at": iso_z(datetime.now(timezone.utc))})
# ----------------------------------------------------------- async (API)
_aclient: aioredis.Redis | None = None
def init_async() -> None:
global _aclient
_aclient = aioredis.Redis.from_url(settings.broker_url, socket_timeout=settings.broker_timeout,
socket_connect_timeout=settings.broker_timeout,
decode_responses=True)
async def close_async() -> None:
if _aclient is not None:
await _aclient.aclose()
async def publish(payload: dict) -> str:
if _aclient is None:
init_async()
try:
return await _aclient.xadd(settings.jobs_stream, {"job": dumps(payload)})
except (redis.RedisError, OSError) as exc:
raise BrokerUnavailable(type(exc).__name__) from exc