diff --git a/src/app/api/attachments.py b/src/app/api/attachments.py index 088e66a..4aeb214 100644 --- a/src/app/api/attachments.py +++ b/src/app/api/attachments.py @@ -1,4 +1,8 @@ -"""Вложения (lab5): upload → 202 queued, async worker, download вариантов.""" +"""Вложения (lab5/lab6): upload → 202 queued, async worker, download вариантов. + +lab6: при создании outbox-строки кладём в payload W3C traceparent/tracestate +текущего HTTP-запроса. Ошибка инжекта не должна блокировать upload. +""" import hashlib import io import os @@ -12,6 +16,7 @@ from fastapi.responses import Response from PIL import Image, UnidentifiedImageError from starlette.concurrency import run_in_threadpool from botocore.exceptions import ClientError +from opentelemetry.trace.propagation.tracecontext import TraceContextTextMapPropagator from ..models.schemas import Attachment, User from ..storage import s3 @@ -24,6 +29,7 @@ router = APIRouter(prefix="/api/v1", tags=["attachments"]) MAX_UPLOAD_BYTES = int(os.environ.get("MAX_UPLOAD_BYTES", "10485760")) MAX_IMAGE_PIXELS = int(os.environ.get("MAX_IMAGE_PIXELS", "40000000")) PIPELINE_VERSION = 1 +_propagator = TraceContextTextMapPropagator() def _require_member(chat_id: UUID, user_id: UUID): @@ -140,6 +146,14 @@ async def upload_attachment( ) job_id = uuid4() + + # lab6: снимок W3C trace context активного HTTP span. + trace_carrier: dict[str, str] = {} + try: + _propagator.inject(trace_carrier) + except Exception: + trace_carrier = {} + outbox_payload = { "job_id": str(job_id), "type": "attachment.process.v1", @@ -147,6 +161,10 @@ async def upload_attachment( "pipeline_version": PIPELINE_VERSION, "created_at": now.isoformat().replace("+00:00", "Z"), } + if trace_carrier.get("traceparent"): + outbox_payload["traceparent"] = trace_carrier["traceparent"] + if trace_carrier.get("tracestate"): + outbox_payload["tracestate"] = trace_carrier["tracestate"] # 2) INSERT attachment + outbox в ОДНОЙ транзакции. # При сбое — компенсация: удаляем staging. diff --git a/src/app/outbox_worker.py b/src/app/outbox_worker.py index 493b203..5021783 100644 --- a/src/app/outbox_worker.py +++ b/src/app/outbox_worker.py @@ -1,25 +1,28 @@ -"""Outbox worker lab5/lab6: publish неопубликованных job в RabbitMQ с трейсингом.""" +"""Outbox worker lab5/lab6: publish неопубликованных job в RabbitMQ с трейсингом. + +lab6: payload строки outbox содержит traceparent/tracestate, снятые в момент +upload-запроса API. Восстанавливаем контекст, создаём span job.publish как +child upload-span и инжектим обновлённый traceparent в headers сообщения. + +Лог event=outbox_published пишется ВНУТРИ span job.publish, чтобы в Loki +попадал настоящий trace_id (корреляция лог↔trace). +""" import logging import signal import sys import time import traceback -import pika -from opentelemetry import trace +from opentelemetry import context as otel_context, trace from opentelemetry.trace import SpanKind, Status, StatusCode from opentelemetry.trace.propagation.tracecontext import TraceContextTextMapPropagator from .storage.db import init_pool, close_pool from .storage.postgres import storage -from .storage.rabbit import EXCHANGE, QUEUE, publish_job +from .storage.rabbit import QUEUE, publish_job from .telemetry import init_telemetry -logging.basicConfig( - level=logging.INFO, - format="%(asctime)s %(levelname)s %(name)s %(message)s", - stream=sys.stdout, -) +logging.basicConfig(level=logging.INFO, stream=sys.stdout) log = logging.getLogger("outbox") _stop = False @@ -35,21 +38,48 @@ def _handle_sigterm(signum, frame): _stop = True -def _publish_with_trace(payload: dict) -> None: - """Публикует payload с traceparent, чтобы consumer дал child span. +def _extract_parent(payload: dict) -> otel_context.Context: + carrier: dict[str, str] = {} + if payload.get("traceparent"): + carrier["traceparent"] = str(payload["traceparent"]) + if payload.get("tracestate"): + carrier["tracestate"] = str(payload["tracestate"]) + if not carrier: + return otel_context.Context() + try: + return _propagator.extract(carrier=carrier) + except Exception as exc: # noqa: BLE001 + log.warning("event=trace_parent_parse_failed type=%s", type(exc).__name__) + return otel_context.Context() - При ошибке пусть летит наверх — outbox ретраит сам. - """ + +def _publish_with_trace(payload: dict, outbox_id: int) -> None: + """Публикует payload; mark_published и лог — внутри span.""" + parent_ctx = _extract_parent(payload) carrier: dict[str, str] = {} with _tracer.start_as_current_span( - "job.publish", kind=SpanKind.PRODUCER, - attributes={"messaging.system": "rabbitmq", - "messaging.destination.name": QUEUE, - "job.id": str(payload.get("job_id", ""))}, + "job.publish", + context=parent_ctx, + kind=SpanKind.PRODUCER, + attributes={ + "messaging.system": "rabbitmq", + "messaging.destination.name": QUEUE, + "job.id": str(payload.get("job_id", "")), + "job.type": str(payload.get("type", "unknown")), + "outbox.id": int(outbox_id), + }, ) as span: try: - _propagator.inject(carrier) + try: + _propagator.inject(carrier) + except Exception as exc: # noqa: BLE001 + log.warning("event=trace_inject_failed type=%s", type(exc).__name__) + carrier = {} publish_job(payload, extra_headers=carrier) + storage.mark_outbox_published(outbox_id) + # Лог внутри span → record.trace_id валидный. + log.info("event=outbox_published id=%s job_id=%s", + outbox_id, payload.get("job_id")) span.set_status(Status(StatusCode.OK)) except Exception as exc: span.record_exception(exc) @@ -75,10 +105,7 @@ def main() -> None: if _stop: break try: - _publish_with_trace(payload) - storage.mark_outbox_published(outbox_id) - log.info("event=outbox_published id=%s job_id=%s", - outbox_id, payload.get("job_id")) + _publish_with_trace(payload, outbox_id) except Exception as exc: # noqa: BLE001 log.warning( "event=outbox_publish_failed id=%s type=%s msg=%s", diff --git a/src/app/telemetry.py b/src/app/telemetry.py index 781a5e0..01efa89 100644 --- a/src/app/telemetry.py +++ b/src/app/telemetry.py @@ -1,15 +1,13 @@ """Единая точка инициализации OpenTelemetry для API и worker. -- Отдаём OTLP/HTTP в Collector (otel-collector:4318). -- resource attributes: service.name / service.version / service.instance.id / - deployment.environment.name=lab. -- Без сетевых зависимостей в момент старта: экспортёр сам буферизует и - ретраит. При недоступности Collector приложение продолжает работать - (см. README уровня 4). +- OTLP/HTTP → Collector (otel-collector:4318). +- resource: service.name/version/instance.id/deployment.environment.name=lab. +- LoggingFilter подставляет trace_id/span_id в каждую запись, чтобы они + попадали и в stdout (видно глазами), и в Loki (в тексте строки) — это + требование lab6 level4 (связь лога и trace). """ import logging import os -import socket import uuid from opentelemetry import metrics, trace @@ -27,13 +25,10 @@ from opentelemetry.exporter.otlp.proto.http._log_exporter import OTLPLogExporter _INITIALIZED = False - -# Instance id: стабильный в пределах процесса. Отличается у каждой реплики. INSTANCE_ID = os.environ.get("INSTANCE_ID") or uuid.uuid4().hex[:12] def _endpoint() -> str: - # OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318 return os.environ.get("OTEL_EXPORTER_OTLP_ENDPOINT", "http://otel-collector:4318").rstrip("/") @@ -50,13 +45,12 @@ def _resource(service_name: str, service_version: str) -> Resource: def _build_trace_provider(resource: Resource) -> TracerProvider: provider = TracerProvider(resource=resource) - exporter = OTLPSpanExporter( - endpoint=_endpoint() + "/v1/traces", - timeout=5, + exporter = OTLPSpanExporter(endpoint=_endpoint() + "/v1/traces", timeout=5) + provider.add_span_processor( + BatchSpanProcessor(exporter, max_queue_size=2048, + max_export_batch_size=512, + schedule_delay_millis=2000) ) - provider.add_span_processor(BatchSpanProcessor(exporter, max_queue_size=2048, - max_export_batch_size=512, - schedule_delay_millis=2000)) return provider @@ -81,23 +75,75 @@ def _build_logger_provider(resource: Resource) -> LoggerProvider: return provider +class TraceContextFilter(logging.Filter): + """Подставляет record.trace_id / record.span_id из активного span. + + Если активного span нет — пишет "0"*32 и "0"*16, чтобы лог-формат + оставался валидным (не падал с KeyError). Так же OTel сам поступает. + """ + + def filter(self, record: logging.LogRecord) -> bool: + span = trace.get_current_span() + span_ctx = span.get_span_context() if span else None + if span_ctx is not None and span_ctx.is_valid: + record.trace_id = format(span_ctx.trace_id, "032x") + record.span_id = format(span_ctx.span_id, "016x") + else: + record.trace_id = "0" * 32 + record.span_id = "0" * 16 + return True + + +_LOG_FORMAT = ( + "%(asctime)s %(levelname)s %(name)s " + "trace_id=%(trace_id)s span_id=%(span_id)s %(message)s" +) + + +def install_log_format() -> None: + """Единый формат логов API/worker/outbox. + + Поля trace_id/span_id гарантированно существуют благодаря + TraceContextFilter. Их наличие обеспечивает уровень 4 (корреляция + логов и trace) и делает Loki-запросы `|= "trace_id="` рабочими. + """ + handler = logging.StreamHandler() + handler.addFilter(TraceContextFilter()) + handler.setFormatter(logging.Formatter(_LOG_FORMAT)) + root = logging.getLogger() + root.handlers = [handler] + root.setLevel(logging.INFO) + + def init_telemetry(service_name: str, service_version: str = "1.6.0") -> None: - """Инициализация OTel. Идемпотентна в пределах процесса.""" + """Идемпотентная инициализация OTel для процесса.""" global _INITIALIZED if _INITIALIZED: return + # Сначала — единый формат логов и фильтр trace_id. + install_log_format() + resource = _resource(service_name, service_version) trace.set_tracer_provider(_build_trace_provider(resource)) metrics.set_meter_provider(_build_meter_provider(resource)) logger_provider = _build_logger_provider(resource) set_logger_provider(logger_provider) - # Прокидываем OTel лог-хендлер в корневой logger, чтобы все `logging.info` - # шли и в stdout (basicConfig ниже), и в OTLP/Loki через Collector. - handler = LoggingHandler(level=logging.INFO, logger_provider=logger_provider) - root = logging.getLogger() - root.addHandler(handler) + # OTel handler шлёт те же записи в Collector → Loki. Он тоже видит + # trace_id из record, потому что span-контекст един. + # + # ВАЖНО: LoggingHandler.emit() формирует тело через self.format(record), + # где self.formatter наследуется от logging.Handler. Без явного + # formatter'а тело будет голым сообщением (msg % args) — без + # trace_id=/span_id=. Это ломало поиск в Loki `|= "trace_id="`. + # Поэтому задаём тот же формат и навешиваем TraceContextFilter + # непосредственно на OTel-хэндлер: фильтр должен отработать ДО emit, + # чтобы record.trace_id существовал на момент форматирования. + otel_handler = LoggingHandler(level=logging.INFO, logger_provider=logger_provider) + otel_handler.addFilter(TraceContextFilter()) + otel_handler.setFormatter(logging.Formatter(_LOG_FORMAT)) + logging.getLogger().addHandler(otel_handler) _INITIALIZED = True logging.getLogger("telemetry").info( diff --git a/src/app/worker.py b/src/app/worker.py index 93f04f8..1e52adf 100644 --- a/src/app/worker.py +++ b/src/app/worker.py @@ -12,8 +12,6 @@ import os import signal import sys import time -from datetime import datetime, timezone -from typing import Optional import pika from PIL import Image, ImageOps @@ -30,11 +28,9 @@ from .storage.rabbit import ( ) from .telemetry import init_telemetry, meter -logging.basicConfig( - level=logging.INFO, - format="%(asctime)s %(levelname)s %(name)s %(message)s", - stream=sys.stdout, -) +# Базовый логгер настраивается в telemetry.install_log_format() при старте +# init_telemetry: trace_id/span_id подставляются фильтром. +logging.basicConfig(level=logging.INFO, stream=sys.stdout) log = logging.getLogger("worker") PIPELINE_VERSION = 1 @@ -53,14 +49,10 @@ init_telemetry("messenger-worker", "1.6.0") _tracer = trace.get_tracer("worker") _meter = meter("messenger-worker") _jobs_counter = _meter.create_counter( - "jobs_processed_total", - description="Jobs processed by outcome", - unit="1", + "jobs_processed_total", description="Jobs processed by outcome", unit="1", ) _jobs_hist = _meter.create_histogram( - "job_processing_duration_seconds", - description="Job processing duration", - unit="s", + "job_processing_duration_seconds", description="Job processing duration", unit="s", ) @@ -71,6 +63,7 @@ def _handle_sigterm(signum, frame): def _now_iso() -> str: + from datetime import datetime, timezone return datetime.now(timezone.utc).isoformat().replace("+00:00", "Z") @@ -217,20 +210,20 @@ def process_job(payload: dict) -> None: def _extract_trace_context(properties) -> otel_context.Context: - """Достаём W3C traceparent/tracestate из headers сообщения. - - Трейс API-upload → outbox publish → worker consume получает одну общую - цепочку. При отсутствии headers возвращаем пустой контекст. - """ - headers = dict(properties.headers or {}) - if "traceparent" not in headers and "tracestate" not in headers: + """Извлекаем W3C traceparent/tracestate из headers. Ошибки → пустой контекст.""" + try: + headers = dict(properties.headers or {}) + carrier = { + k.lower(): str(v) + for k, v in headers.items() + if k.lower() in ("traceparent", "tracestate") + } + if not carrier: + return otel_context.Context() + return _propagator.extract(carrier=carrier) + except Exception as exc: # noqa: BLE001 + log.warning("event=trace_extract_failed type=%s", type(exc).__name__) return otel_context.Context() - carrier = { - k.lower(): str(v) - for k, v in headers.items() - if k.lower() in ("traceparent", "tracestate") - } - return _propagator.extract(carrier=carrier) def _on_message(ch, method, properties, body):