From 32bbd25143e7f976dd926e95d61c31c0b054d51e Mon Sep 17 00:00:00 2001 From: vasyukova Date: Sat, 31 Oct 2026 00:00:52 +0300 Subject: [PATCH] =?UTF-8?q?=D0=98=D1=81=D0=BF=D1=80=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=B7=D0=B0=D0=BC=D0=B5=D1=87=D0=B0=D0=BD=D0=B8?= =?UTF-8?q?=D0=B5=203=20(=D0=BF=D0=BE=D1=80=D1=8F=D0=B4=D0=BE=D0=BA=20?= =?UTF-8?q?=D0=B8=D0=BD=D1=81=D1=82=D1=80=D1=83=D0=BC=D0=B5=D0=BD=D1=82?= =?UTF-8?q?=D0=B0=D1=86=D0=B8=D0=B8=20FastAPI):=20SERVER=20span=20=D1=82?= =?UTF-8?q?=D0=B5=D0=BF=D0=B5=D1=80=D1=8C=20=D0=B2=D0=BD=D0=B5=D1=88=D0=BD?= =?UTF-8?q?=D0=B8=D0=B9=20=D0=B8=20=D0=BF=D1=80=D0=BE=D0=B4=D0=BE=D0=BB?= =?UTF-8?q?=D0=B6=D0=B0=D0=B5=D1=82=20=D0=B2=D1=85=D0=BE=D0=B4=D0=BD=D0=BE?= =?UTF-8?q?=D0=B9=20traceparent.=20=D0=94=D0=BE=D0=B1=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=B4=D0=BE=D1=87=D0=B5=D1=80=D0=BD=D0=B8=D0=B5?= =?UTF-8?q?=20S3/DB=20spans=20=D0=B2=D0=BD=D1=83=D1=82=D1=80=D0=B8=20job.c?= =?UTF-8?q?onsume=20=D0=B4=D0=BB=D1=8F=20=D1=80=D0=B0=D0=B7=D0=BB=D0=BE?= =?UTF-8?q?=D0=B6=D0=B5=D0=BD=D0=B8=D1=8F=20=D0=B7=D0=B0=D0=B4=D0=B5=D1=80?= =?UTF-8?q?=D0=B6=D0=BA=D0=B8=20=D0=BF=D0=BE=20=D0=B7=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D1=81=D0=B8=D0=BC=D0=BE=D1=81=D1=82=D1=8F=D0=BC?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- src/app/main.py | 37 ++++++++++----- src/app/worker.py | 118 ++++++++++++++++++++++++++++++++++++++-------- 2 files changed, 123 insertions(+), 32 deletions(-) diff --git a/src/app/main.py b/src/app/main.py index 8ff9209..354c8ce 100644 --- a/src/app/main.py +++ b/src/app/main.py @@ -12,13 +12,14 @@ from fastapi.responses import JSONResponse from starlette.exceptions import HTTPException as StarletteHTTPException import psycopg import uvicorn +from opentelemetry import trace as _otel_trace from opentelemetry.instrumentation.fastapi import FastAPIInstrumentor from .api import attachments, auth, chats, health, messages, users from .storage.db import init_pool, close_pool from .telemetry import init_telemetry, INSTANCE_ID, meter, tracer -# Базовый логгер: реальный формат выставит telemetry.install_log_format() +# Базовый логгер: реальный формат выставляет telemetry.install_log_format() # при вызове init_telemetry(). Здесь — минимальный fallback для импорта. logging.basicConfig(level=logging.INFO, stream=sys.stdout) logger = logging.getLogger("app") @@ -47,7 +48,6 @@ app = FastAPI( # OTel инициализация и FastAPI auto-instrumentation. init_telemetry("messenger-api", "1.6.0") -FastAPIInstrumentor.instrument_app(app) # --- Метрики HTTP --- @@ -62,7 +62,7 @@ _http_hist = meter("messenger").create_histogram( unit="s", ) -# Хелпер: убираем реальные UUID из маршрута → route template. +# Фильтр: убираем реальные UUID из маршрута → route template. import re as _re _ROUTE_UUID_RE = _re.compile(r"[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}") @@ -81,26 +81,32 @@ def custom_openapi(): app.openapi = custom_openapi -# Отдельный tracer для собственного span в middleware. Появляется как -# child к server span FastAPI (он активен во время обработки запроса). +# Отдельный tracer для событийного span в middleware. Он создаётся как child +# SERVER span, который создаёт OTel FastAPI instrumentation ниже. +# ВАЖНО: FastAPIInstrumentor.instrument_app(app) вызывается ПОСЛЕ объявления +# middleware, поэтому OTel ASGI middleware оказывается внешним: он извлекает +# W3C traceparent из входящих headers, продолжает внешний trace и создаёт +# SERVER span. Наш middleware выполняется внутри него, создаёт http.request +# как INTERNAL child, и логи/метрики берут корректный trace_id. _http_tracer = tracer("app.http") @app.middleware("http") async def observability_middleware(request: Request, call_next): - """X-Request-Id и X-Instance-Id во всех ответах + структурный лог + метрики. + """X-Request-Id и X-Instance-Id во всех ответах + структурированный лог + метрики. - Лог event=http пишется ВНУТРИ активного span (`http.request`), иначе - после await call_next() span FastAPI уже закрыт, и в лог попадёт - trace_id=000… (это ломало корреляцию лог↔trace в Loki). + Лог event=http пишется ВНУТРИ активного span (`http.request`), он + child SERVER span от OTel auto-instrumentation, поэтому trace_id + корректно связывает лог с внешним trace. """ request_id = request.headers.get("X-Request-Id") or uuid.uuid4().hex request.state.request_id = request_id started = time.monotonic() route = _route_template(request.url.path) - # Свой span, дочерний к FastAPI server span. Внутри него — вся обработка - # запроса и запись структурированного лога с настоящим trace_id. + # http.request — INTERNAL child текущего (SERVER) span, созданного OTel + # auto-instrumentation. Parent берётся из активного контекста: входящий + # traceparent уже извлечён ASGI middleware. with _http_tracer.start_as_current_span( "http.request", attributes={ @@ -140,7 +146,14 @@ async def observability_middleware(request: Request, call_next): return response -# --- Обработчики ошибок (без изменений с lab5) --- +# FastAPI auto-instrumentation ДОЛЖНА быть установлена ПОСЛЕ пользовательского +# @app.middleware("http"), чтобы оказаться внешним middleware и создать SERVER +# span с корректным parent из входного traceparent. Этот вызов также +# инструментирует httpx/requests client-вызовы внутри приложения. +FastAPIInstrumentor.instrument_app(app) + + +# --- Обработчики ошибок (без изменений) --- _ERROR_CODES = { 400: "invalid_request", 401: "unauthorized", diff --git a/src/app/worker.py b/src/app/worker.py index 1e52adf..d646d8d 100644 --- a/src/app/worker.py +++ b/src/app/worker.py @@ -1,8 +1,8 @@ """Worker lab5/lab6: обработка вложений из RabbitMQ с трейсингом. -- at-least-once, идемпотентно, retry через TTL-очереди, DLQ. +- at-least-once, идемпотентно, retry через TTL-очередь, DLQ. - OTel: consumer span на каждый job, извлечение trace context из заголовков - сообщения (W3C traceparent/tracestate). + сообщения (W3C traceparent/tracestate), child spans на S3/DB операции. - Метрики: jobs_processed_total{outcome}, job_processing_duration_seconds. """ import io @@ -28,8 +28,6 @@ from .storage.rabbit import ( ) from .telemetry import init_telemetry, meter -# Базовый логгер настраивается в telemetry.install_log_format() при старте -# init_telemetry: trace_id/span_id подставляются фильтром. logging.basicConfig(level=logging.INFO, stream=sys.stdout) log = logging.getLogger("worker") @@ -56,6 +54,30 @@ _jobs_hist = _meter.create_histogram( ) +# --- span helpers: дочерние операции S3/DB --- +# +# ВАЖНО: атрибуты, содержащие точку (`db.operation`, `aws.s3.key` и т.п.), +# нельзя передавать как kwargs — Python-идентификатор с точкой невозможен. +# Поэтому оба хелпера принимают dict атрибутов. + +def _s3_span(name: str, attrs: dict): + """Context manager для S3-операции (CLIENT span внутри job.consume).""" + return _tracer.start_as_current_span( + name, + kind=SpanKind.CLIENT, + attributes={"messaging.system": "s3", **attrs}, + ) + + +def _db_span(name: str, attrs: dict): + """Context manager для DB-операции (CLIENT span внутри job.consume).""" + return _tracer.start_as_current_span( + name, + kind=SpanKind.CLIENT, + attributes={"db.system": "postgresql", **attrs}, + ) + + def _handle_sigterm(signum, frame): global _stop log.info("event=sigterm_received signal=%s", signum) @@ -118,8 +140,26 @@ def _sha256(data: bytes) -> str: return hashlib.sha256(data).hexdigest() +def _s3_put_variant(chat_id, att_id, name: str, data: bytes, ctype: str) -> str: + """Общий путь: S3 PUT варианта внутри CLIENT span.""" + key = s3.variant_key(chat_id, att_id, name) + with _s3_span("s3.put_object", { + "aws.s3.key": key, + "s3.operation": "put_object", + "s3.variant": name, + "s3.content_type": ctype, + "s3.size_bytes": len(data), + }): + s3.put_bytes(key, data, ctype) + return key + + def process_job(payload: dict) -> None: - """Обработка одного job. Идемпотентна через finalize_ready.""" + """Обработка одного job. Идемпотентна через finalize_ready. + + Внутри активного job.consume (CONSUMER) span создаются дочерние CLIENT + spans для S3 и DB, чтобы разложить задержку обработки по зависимостям. + """ attachment_id = payload["attachment_id"] pipeline_version = payload.get("pipeline_version", 1) job_id = payload["job_id"] @@ -127,7 +167,12 @@ def process_job(payload: dict) -> None: log.info("event=job_received job_id=%s attachment_id=%s attempt=%s", job_id, attachment_id, payload.get("attempt", 1)) - if not storage.claim_processing(attachment_id, LEASE_SECONDS): + with _db_span("db.claim_processing", { + "db.operation": "UPDATE", + "attachment_id": str(attachment_id), + }): + claimed = storage.claim_processing(attachment_id, LEASE_SECONDS) + if not claimed: log.info("event=job_skipped_already_done attachment_id=%s", attachment_id) return @@ -141,7 +186,12 @@ def process_job(payload: dict) -> None: return try: - raw, ctype = s3.get_object(staging_key) + with _s3_span("s3.get_object", { + "aws.s3.key": staging_key, + "s3.operation": "get_object", + "s3.variant": "staging", + }): + raw, ctype = s3.get_object(staging_key) except Exception as exc: # noqa: BLE001 raise RuntimeError("staging_unavailable") from exc @@ -149,14 +199,27 @@ def process_job(payload: dict) -> None: img = Image.open(io.BytesIO(raw)) img.load() except Exception as exc: # noqa: BLE001 - storage.finalize_failed(attachment_id, "invalid_image") + with _db_span("db.finalize_failed", { + "db.operation": "UPDATE", + "error_code": "invalid_image", + }): + storage.finalize_failed(attachment_id, "invalid_image") log.warning("event=invalid_image attachment_id=%s type=%s", attachment_id, type(exc).__name__) return img_rgb = _to_rgb_white(img) + + # Финал: S3 PUT оригинала final_key = s3.original_key(att.chat_id, att.id) - s3.put_bytes(final_key, raw, att.content_type) + with _s3_span("s3.put_object", { + "aws.s3.key": final_key, + "s3.operation": "put_object", + "s3.variant": "original", + "s3.content_type": att.content_type, + "s3.size_bytes": len(raw), + }): + s3.put_bytes(final_key, raw, att.content_type) variants = [{ "name": "original", @@ -168,9 +231,9 @@ def process_job(payload: dict) -> None: "sha256": _sha256(raw), }] + # Thumbnail _, thumb_bytes = _make_thumbnail(img_rgb) - thumb_key = s3.variant_key(att.chat_id, att.id, "thumbnail") - s3.put_bytes(thumb_key, thumb_bytes, "image/jpeg") + thumb_key = _s3_put_variant(att.chat_id, att.id, "thumbnail", thumb_bytes, "image/jpeg") tw, th = Image.open(io.BytesIO(thumb_bytes)).size variants.append({ "name": "thumbnail", "object_key": thumb_key, @@ -178,9 +241,9 @@ def process_job(payload: dict) -> None: "width": tw, "height": th, "sha256": _sha256(thumb_bytes), }) + # Crop _, crop_bytes = _make_crop(img_rgb) - crop_key = s3.variant_key(att.chat_id, att.id, "crop") - s3.put_bytes(crop_key, crop_bytes, "image/jpeg") + crop_key = _s3_put_variant(att.chat_id, att.id, "crop", crop_bytes, "image/jpeg") cw, ch = Image.open(io.BytesIO(crop_bytes)).size variants.append({ "name": "crop", "object_key": crop_key, @@ -188,9 +251,9 @@ def process_job(payload: dict) -> None: "width": cw, "height": ch, "sha256": _sha256(crop_bytes), }) + # Optimized _, opt_bytes = _make_optimized(img_rgb) - opt_key = s3.variant_key(att.chat_id, att.id, "optimized") - s3.put_bytes(opt_key, opt_bytes, "image/webp") + opt_key = _s3_put_variant(att.chat_id, att.id, "optimized", opt_bytes, "image/webp") ow, oh = Image.open(io.BytesIO(opt_bytes)).size variants.append({ "name": "optimized", "object_key": opt_key, @@ -198,10 +261,21 @@ def process_job(payload: dict) -> None: "width": ow, "height": oh, "sha256": _sha256(opt_bytes), }) - storage.finalize_ready(attachment_id, pipeline_version, variants) + with _db_span("db.finalize_ready", { + "db.operation": "UPDATE", + "pipeline_version": pipeline_version, + "variants_count": len(variants), + }): + storage.finalize_ready(attachment_id, pipeline_version, variants) + # Cleanup staging — best-effort, не критичен для результата. try: - s3.delete_object(staging_key) + with _s3_span("s3.delete_object", { + "aws.s3.key": staging_key, + "s3.operation": "delete_object", + "s3.variant": "staging", + }): + s3.delete_object(staging_key) except Exception: pass @@ -210,7 +284,7 @@ def process_job(payload: dict) -> None: def _extract_trace_context(properties) -> otel_context.Context: - """Извлекаем W3C traceparent/tracestate из headers. Ошибки → пустой контекст.""" + """Извлекает W3C traceparent/tracestate из headers. Ошибка → пустой контекст.""" try: headers = dict(properties.headers or {}) carrier = { @@ -227,7 +301,7 @@ def _extract_trace_context(properties) -> otel_context.Context: def _on_message(ch, method, properties, body): - """Callback consumer. ack/nack — явно. Обёрнуто в consumer span.""" + """Callback consumer. ack/nack — явно. Оборачивает обработку в CONSUMER span.""" parent_ctx = _extract_trace_context(properties) started = time.monotonic() with _tracer.start_as_current_span( @@ -266,7 +340,11 @@ def _on_message(ch, method, properties, body): payload.get("attachment_id"), retry_count + 1, type(exc).__name__) if retry_count + 1 >= MAX_ATTEMPTS: try: - storage.finalize_failed(payload["attachment_id"], "retry_exhausted") + with _db_span("db.finalize_failed", { + "db.operation": "UPDATE", + "error_code": "retry_exhausted", + }): + storage.finalize_failed(payload["attachment_id"], "retry_exhausted") except Exception: pass try: